JP2019055256A - 対象のバイタルサインを決定する装置及び方法 - Google Patents
対象のバイタルサインを決定する装置及び方法 Download PDFInfo
- Publication number
- JP2019055256A JP2019055256A JP2018228617A JP2018228617A JP2019055256A JP 2019055256 A JP2019055256 A JP 2019055256A JP 2018228617 A JP2018228617 A JP 2018228617A JP 2018228617 A JP2018228617 A JP 2018228617A JP 2019055256 A JP2019055256 A JP 2019055256A
- Authority
- JP
- Japan
- Prior art keywords
- skin
- vital sign
- region
- skin pixel
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000002123 temporal effect Effects 0.000 claims abstract description 37
- 230000005670 electromagnetic radiation Effects 0.000 claims abstract description 23
- 230000008859 change Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 abstract description 25
- 238000012545 processing Methods 0.000 description 35
- 230000005855 radiation Effects 0.000 description 23
- 238000013186 photoplethysmography Methods 0.000 description 22
- 230000003595 spectral effect Effects 0.000 description 13
- 239000008280 blood Substances 0.000 description 12
- 210000004369 blood Anatomy 0.000 description 12
- 238000005259 measurement Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 10
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 9
- 229910052760 oxygen Inorganic materials 0.000 description 9
- 239000001301 oxygen Substances 0.000 description 9
- 238000012805 post-processing Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000036387 respiratory rate Effects 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000010412 perfusion Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 208000018262 Peripheral vascular disease Diseases 0.000 description 1
- 240000006365 Vitis vinifera Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000037424 autonomic function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008081 blood perfusion Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 230000037311 normal skin Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000541 pulsatile effect Effects 0.000 description 1
- 238000002106 pulse oximetry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009528 vital sign measurement Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30076—Plethysmography
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cardiology (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
【課題】信号対雑音比、対象の動きにより引き起こされるアーチファクトを減少したバイタルサインを決定する装置を提供する。【解決手段】対象のバイタルサイン39を決定する装置30であり、対象の皮膚領域を含む関心のある領域から反射された電磁放射線16から得られるデータストリーム26を受ける。データストリームは、関心のある領域の複数の皮膚ピクセル領域に対する、1つ又は複数の皮膚ピクセルの1つの皮膚ピクセル領域あたりのデータ信号を含み、時間の経過に伴うそれぞれの皮膚ピクセル領域から反射された電磁放射線を表す。皮膚領域の空間的及び/又は時間的特性を分析する分析器は、時間の経過に伴う皮膚領域の滑らかさ、サイズ、均一性、並びに/又は、皮膚領域の色度及び/若しくは輝度成分を決定するように構成される。【選択図】図1
Description
本発明は、対象のバイタルサインを決定する装置及び方法に関する。特に、本発明は、人間又は動物等の観察される対象におけるバイタルサインを検出するのに使用することができる非影響光学測定方法に関する。これに関連して、光学測定は、遠隔フォトプレチスモグラフィ(R−PPG)を意味する。
例えば心拍数(HR)、呼吸数(RR)又は血液の酸素飽和度等、人間のバイタルサインは、人間の現在の状態の指標として、及び、重大な医学的事象の強力な予測因子として役立つ。この理由のため、バイタルサインは、入院患者及び外来患者の医療環境において、自宅にて、又は、さらなるヘルス、レジャー及びフィットネス環境において広くモニターされる。
バイタルサインを測定する1つの方法はプレチスモグラフィである。プレチスモグラフィは、一般的に、臓器又は身体部位の容積変動の測定を意味し、特に、心拍毎に対象の体を通って移動する心血管脈波(cardio−vascular pulse wave)による容積変動の検出を意味する。
フォトプレチスモグラフィ(PPG)は、関心のある領域又は容積の光の反射率又は透過率における経時変化を評価する光学測定技術である。PPGは、周囲の組織よりも血液が光を吸収するため、心拍毎の血液量における変動が対応して透過率又は反射率に影響を与えるという原理に基づく。心拍数に関する情報の他に、PPG波形は、呼吸等のさらなる生理現象に起因し得る情報を含み得る。異なる(典型的には赤色及び赤外線の)波長にて透過率及び/又は反射率を評価することによって、血液の酸素飽和度を決定することができる。
対象の心拍数及び(動脈)血液の酸素飽和度(SpO2とも呼ばれる)を測定するための従来のパルスオキシメーターは、例えば指先、耳たぶ又は額等、対象の皮膚に取り付けられ、従って、「接触」PPG装置と呼ばれる。典型的なパルスオキシメーターは、光源として赤色LED及び赤外線LED、並びに、患者組織を透過してきた光を検出するための1つのフォトダイオードを含む。市販のパルスオキシメーターは、赤色の波長及び赤外線の波長での測定を迅速に切り換え、その結果、2つの異なる波長で同じ組織の領域又は容積の透過率を測定する。これは、時分割多重化と呼ばれる。各波長での時間の経過に伴う透過率は、赤色及び赤外線の波長に対するPPG波形を与える。接触PPGは基本的には非侵襲性の技術とみなされるけれども、接触PPG測定は、パルスオキシメーターが対象に直接取り付けられ且ついかなるケーブルも動く自由を制限するため、不快なものとして経験されることが多くある。
最近では、非影響測定に対する非接触の遠隔PPG(R−PPG)装置が紹介されている。遠隔PPGは、関心のある対象から離して配置された光源、又は一般に、放射源を利用する。同様に、例えばカメラ又は光検出器等の検出器も、関心のある対象から離して配置することができる。従って、遠隔フォトプレチスモグラフィシステム及び装置は、非影響のものであると考慮され、さらに、医学的並びに非医学的な毎日の適用に対して適切である。しかし、遠隔PPG装置は、典型的には、より低い信号対雑音比を達成する。
非特許文献1は、フォトプレチスモグラフィ信号は、環境光及び従来の消費者レベルのビデオカメラを使用して離れて測定することができるということを実証している。
非特許文献2は、異なる波長でのプレチスモグラフィ信号の測定に基づく組織における動脈血酸素飽和度の非接触画像に対する遠隔PPGシステムを開示している。このシステムは、モノクロームCMOSカメラ、及び、3つの異なる波長のLEDを有する光源を含む。カメラは、3つの異なる波長で3つの対象の動画を順次取得する。脈拍数を、1つの波長での動画から決定することができる一方で、少なくとも2つの異なる波長での動画が、酸素飽和度を決定するために要求される。測定は、一度に1つの波長のみを使用して暗室内で行われる。
遠隔PPG技術を使用して、バイタルサインを、拍出血液量によってもたらされる微小な皮膚における光吸収の変化によって明らかにされるように、ビデオカメラの信号から測定することができる。この信号は非常に小さく、且つ、照明の変化及び動きによるはるかに大きな変動において隠れているため、根本的に低い信号対雑音比(SNR)を改善することにおいて一般的関心がある。遠隔PPG装置及び方法の改善されたエラー強さが要求される激しい動き、挑戦的な環境的照射条件、又は、高く要求される適用の正確性では、依然として要求が厳しい状況である。
Verkruysse et al.,"Remote plethysmographic imaging using ambient light",Optics Express,16(26),22 December 2008,pp.21434−21445
Wieringa,et al.,"Contactless Multiple Wavelength Photoplethysmographic Imaging:A First Step Toward "SpO2 Camera"Technology",Ann.Biomed.Eng.33,1034−1041(2005)
"Spatial Texture Analysis:A comparative Study",Maneesha Singh and Sameer Singh,PANN Research,Department of Computer Science,University of Exeter,ICPR ‘02 Proceedings of the 16th International Conference on Pattern Recognition(ICPR‘02)Volume1−Volume1,Page 10676,IEEE Computer Society Washington,DC,USA
信号対雑音比、及び、対象の動きにより引き起こされるアーチファクトの減少における効率が増加した、対象のバイタルサインを決定するための改善された装置及び方法を提供することが本発明の目的である。
本発明の第1の態様において、対象のバイタルサインを決定する装置が示され、当該装置は:
− 対象の皮膚領域を含む関心のある領域から反射された検出される電磁放射線から得られるデータストリームを受けるインターフェースであって、上記データストリームは、上記関心のある領域の複数の皮膚ピクセル領域に対する、1つ又は複数の皮膚ピクセルの1つの皮膚ピクセル領域あたりのデータ信号を含み、データ信号は、時間の経過に伴うそれぞれの皮膚ピクセル領域から反射された検出される電磁放射線を表す、インターフェースと、
− 皮膚領域の空間的及び/又は時間的特性を分析する分析器と、
− 皮膚領域内の皮膚ピクセル領域のデータ信号に基づき、対象のバイタルサイン情報信号を決定するプロセッサと、
− 上記バイタルサイン情報信号から所望のバイタルサインを決定するポストプロセッサと、
を含み、決定された上記空間的及び/又は時間的特性は、バイタルサイン情報信号を決定するプロセッサによって、及び/又は、所望のバイタルサインを決定するポストプロセッサによって使用される。
− 対象の皮膚領域を含む関心のある領域から反射された検出される電磁放射線から得られるデータストリームを受けるインターフェースであって、上記データストリームは、上記関心のある領域の複数の皮膚ピクセル領域に対する、1つ又は複数の皮膚ピクセルの1つの皮膚ピクセル領域あたりのデータ信号を含み、データ信号は、時間の経過に伴うそれぞれの皮膚ピクセル領域から反射された検出される電磁放射線を表す、インターフェースと、
− 皮膚領域の空間的及び/又は時間的特性を分析する分析器と、
− 皮膚領域内の皮膚ピクセル領域のデータ信号に基づき、対象のバイタルサイン情報信号を決定するプロセッサと、
− 上記バイタルサイン情報信号から所望のバイタルサインを決定するポストプロセッサと、
を含み、決定された上記空間的及び/又は時間的特性は、バイタルサイン情報信号を決定するプロセッサによって、及び/又は、所望のバイタルサインを決定するポストプロセッサによって使用される。
本発明のさらなる態様において、対象の血液の酸素飽和度を決定するための対応する方法が示され、当該方法は:
− 対象の皮膚領域を含む関心のある領域から反射された検出される電磁放射線から得られるデータストリームを受けるステップであって、上記データストリームは、上記関心のある領域の複数の皮膚ピクセル領域に対する、1つ又は複数の皮膚ピクセルの1つの皮膚ピクセル領域あたりのデータ信号を含み、データ信号は、時間の経過に伴うそれぞれの皮膚ピクセル領域から反射された検出される電磁放射線を表す、ステップと、
− 皮膚領域の空間的及び/又は時間的特性を分析するステップと、
− 皮膚領域内の皮膚ピクセル領域のデータ信号に基づき、対象のバイタルサイン情報信号を決定するステップと、
− 上記バイタルサイン情報信号から所望のバイタルサインを決定するステップと、
を含み、決定された上記空間的及び/又は時間的特性は、バイタルサイン情報信号を決定するために、及び/又は、所望のバイタルサインを決定するポストプロセッサによって使用される。
− 対象の皮膚領域を含む関心のある領域から反射された検出される電磁放射線から得られるデータストリームを受けるステップであって、上記データストリームは、上記関心のある領域の複数の皮膚ピクセル領域に対する、1つ又は複数の皮膚ピクセルの1つの皮膚ピクセル領域あたりのデータ信号を含み、データ信号は、時間の経過に伴うそれぞれの皮膚ピクセル領域から反射された検出される電磁放射線を表す、ステップと、
− 皮膚領域の空間的及び/又は時間的特性を分析するステップと、
− 皮膚領域内の皮膚ピクセル領域のデータ信号に基づき、対象のバイタルサイン情報信号を決定するステップと、
− 上記バイタルサイン情報信号から所望のバイタルサインを決定するステップと、
を含み、決定された上記空間的及び/又は時間的特性は、バイタルサイン情報信号を決定するために、及び/又は、所望のバイタルサインを決定するポストプロセッサによって使用される。
本発明の別のさらなる態様において、コンピュータプログラムが提供され、コンピュータプログラムは、該コンピュータプログラムがコンピュータ上で実行された場合にコンピュータに方法のステップを行わせるプログラムコード手段を含み、同様に、コンピュータプログラムプロダクトを格納する非一時的なコンピュータ可読記録媒体が提供され、コンピュータプログラムプロダクトは、コンピュータプロセッサによって実行された場合に、本明細書において開示される方法が行われるようにする。
本発明の好ましい実施形態が従属項において定められている。本発明の方法、コンピュータプログラム及び媒体は、本発明の装置と類似の及び/又は同じ、さらに、従属項において定められる好ましい実施形態を有するということが理解されたい。
本発明によると、抽出されるバイタルサインの改善が、所望のバイタルサイン信号の抽出に使用される皮膚領域の空間的及び/又は時間的特性の分析、特に皮膚領域の滑らかさの時間的整合性及び/又は空間の分析によって達成される。例えば、検出される皮膚領域の空間的均一性が(例えば測定又は推定される等)決定され、並びに/又は、隣接する画像フレーム間の皮膚領域のサイズ及び均一性の差が(例えば測定又は推定される等)決定される。皮膚領域の時間的及び/又は空間的特性に関する、特に、皮膚領域の空間的均一性及び時間的整合性に関する決定された情報は、抽出及び/又は後処理、特に、バイタルサイン情報信号を決定するため、及び/又は、所望のバイタルサインを決定するために使用される1つ若しくは複数のパラメータ及び/又はアルゴリズムを調整するため、或いは、決定された皮膚領域の空間的及び/又は時間的特性に対して最適な後処理方法を選択するために使用される。このように、信号対雑音比、及び、対象の動きにより引き起こされるアーチファクトの減少における効率を、能率的に改善することができる。
皮膚領域の空間的特性は、空間ブロック、空間テクスチャ、色の均一性のダイナミックレンジ及びピクセル値の分散又はエントロピーを含むがそれらに限定されない。空間特性は、時間的特性の一部でもあり得る。例えば、ダイナミックレンジだけでなく、ダイナミックレンジの時間的整合性も、空間的及び時間的特性として使用することができる。
生物学的組織との電磁放射線、特に光の相互作用は複雑であり、さらに、(多重)散乱、後方散乱、吸収、透過及び(拡散)反射の(光学)処理を含む。本発明に関連して使用される場合「反射する」という用語は、鏡面反射に限定されるとして解釈されることはないが、上述のタイプの組織との電磁放射線、特に光の相互作用、及び、いかなるその組合せも含む。
本発明に関連して使用される場合「バイタルサイン」という用語は、対象(すなわち生物)の生理学的パラメータ及び派生パラメータを意味する。特に、「バイタルサイン」という用語は、(脈拍数とも呼ばれることがある)心拍数(HR)、心拍変動(脈拍変動)、拍動性強度、灌流、灌流指標、灌流変動、Traube Hering Mayer波、呼吸数(RR)、体温、血圧、(動脈)血液の酸素飽和度又はグルコースレベル等、血液及び/又は組織中の物質の濃度を含む。
本発明に関連して使用される場合「バイタルサイン情報」という用語は、上記の1つ又は複数の測定されたバイタルサインを含み、さらに、後の分析に役立ち得る生理学的パラメータを指すデータ、対応する波形トレース又は時間の生理学的パラメータを指すデータを含む。
対象のバイタルサイン情報信号を得るために、皮膚領域内の皮膚ピクセル領域のデータ信号が評価される。ここで、「皮膚ピクセル領域」とは、1つの皮膚ピクセル又は隣接する皮膚ピクセルの群を含む領域を意味し、すなわち、データ信号は、単一ピクセル又は皮膚ピクセルの群に対して得られてもよい。
一実施形態において、上記分析器は、時間の経過に伴う皮膚領域の滑らかさ、サイズ、均一性、並びに/又は、皮膚領域の色度及び/若しくは輝度成分を決定するように構成される。このように、皮膚領域の1つ又は複数のパラメータを利用することができる。一般的に、滑らかさは高周波特性をさらに表し、均一性は等しいDCレベルの指標である。滑らかな領域は、ピクセル値における滑らかな移行の存在のために依然として不均一であり得る。
一般的に、時間の経過に伴う皮膚領域の空間的均一性及びその安定性を決定する方法がいくつかある。別の実施形態によると、上記分析器は、(皮膚ピクセルの群を含む)皮膚ピクセルブロックに皮膚領域を分割すること、上記皮膚ピクセルブロックの空間的均一性を決定すること、並びに、滑らかな及び/又は肌理を有する(textured)滑らかな皮膚ピクセルブロックの数を決定することによって、時間の経過に伴う皮膚領域の空間的均一性を決定するように構成される。好ましくは、上記分析器は、時間の経過に伴う滑らかな及び/又は肌理を有する皮膚ピクセルブロックの数を決定するように構成される。従って、滑らかな及び/又は肌理を有する皮膚ピクセルブロックの数の時間変化を評価することができ、さらに、データ信号及び/又はバイタルサイン情報信号の(後)処理を適応させて、1つ又は複数の所望のバイタルサインを最終的に得るために使用することができる。
別の実施形態において、上記分析器は、上記皮膚領域の空間的及び/又は時間的特性から信頼度情報を決定するように構成され、上記信頼度情報は、皮膚領域内の皮膚ピクセル領域のデータ信号に基づき決定されるバイタルサイン情報又はバイタルサインの決定の信頼度を示し、上記プロセッサ及び/又は上記ポストプロセッサは、バイタルサイン情報信号を決定するために、及び/又は、所望のバイタルサインを決定するポストプロセッサによって上記信頼度情報を使用するように構成される。このように、バイタルサイン情報又はバイタルサインの決定に関するさらなる知識がさらに利用されるため、例えばいくぶん信頼できないバイタルサイン情報を無視することができるか又は非常に信頼できるバイタルサイン情報若しくはバイタルサインよりも少ない重みを付加することができるために、所望のバイタルサインの正確性をさらに増すことができる。
信頼度情報は、異なる方法で決定されてもよい。1つの方法において、上記分析器は、時間の経過に伴う滑らかな及び/若しくは肌理を有する皮膚ピクセルブロックの数の変化、並びに/又は、時間の経過に伴う皮膚領域のサイズの変化を使用して上記信頼度情報を決定するように構成される。好ましくは、上記分析器は、信頼度情報を決定して、信頼度が高いほど、滑らかな皮膚ピクセルブロックの数は多く且つ皮膚領域のサイズは大きいということを示すように構成される。一般的に、(後)処理の調整に対する基本原理は:後処理の円滑さが、皮膚領域の空間的均一性の減少及び/又はその時間的不安定性の増加と共に増すということである。
(後)処理を適応させるために、種々の選択肢が存在する。好ましい実施形態において、上記ポストプロセッサは、上記決定された空間的及び/又は時間的特性に基づき、上記ポストプロセッサの低域フィルタの時間幅及び/又は時定数を設定するように構成される。別の実施形態において、上記ポストプロセッサは、上記決定された空間的及び/又は時間的特性に基づき、上記ポストプロセッサの帯域フィルタの幅を設定するように構成される。好ましい後処理の調整の選択は、決定されるバイタルサインの遅延時間及び正確性に関する要求次第である。より大きい値までフィルタの時定数を変えることは、変化に対する遅い反応(高遅延)という犠牲においてより優れた信号対雑音比(正確性)をもたらす、時間の経過に伴うさらなる平均化を意味する。
好ましくは、一実施形態において、上記ポストプロセッサは、信頼度情報が所定の信頼度の閾値を超える信頼度を示す場合にのみ、決定されるバイタルサインを更新するように構成される。このように、もしかすると間違っている決定されたバイタルサインの結果は無視され、さらに、(もしかすると誤った測定によって引き起こされる)バイタルサインの大き過ぎる変化が回避される。
別の有利な実施形態において、上記プロセッサは、その関連する時間的安定性に従って皮膚領域の皮膚ピクセルブロックをランク付けするように、及び、皮膚領域内の最も時間的に安定した皮膚ピクセルブロックからの皮膚ピクセルのデータ信号に基づき、対象のバイタルサイン情報信号を決定するように構成される。或いは又は加えて、上記プロセッサは、その関連する時間的安定性に従って、皮膚領域の皮膚ピクセルブロックに対する信頼度の重みを決定するように、及び、関連する皮膚ピクセルブロックの決定された信頼度の重みに従って重みづけされた皮膚ピクセルのデータ信号に基づき、対象のバイタルサイン情報信号を決定するように構成される。この方法で、バイタルサイン決定の信頼度をさらに上げることができる。
本発明は、概して、(例えば、緑色の光のスペクトル範囲において等)単一のスペクトル部分を表す単一のデータ信号成分を含むデータ信号と共に機能するけれども、一実施形態において、上記データ信号は、少なくとも2つのデータ信号成分を含み、第1のデータ信号成分は第1のスペクトル部分、特に可視光の部分を表し、さらに、第2のデータ信号成分は第2の表示するスペクトル部分、特に赤外線の部分を表す。このアイデアは、血液の吸収及び組織の吸収次第である放射線の侵入深さが、基本的には、入射放射線の波長次第でもあるという事実を活用する。典型的には、赤外線(又は近赤外線)及び赤色の光が、より短い波長を有する可視光よりも対象の組織内に深く侵入する。例として、第1のスペクトル部分は、可視放射の緑色の部分における帯又は副帯から形成することができる。
好ましい実施形態において、提案される装置は、特に1つ又は2つの異なるスペクトル範囲の、対象から反射された電磁放射線を離れて検出するための画像処理ユニット、特にカメラをさらに含む。画像処理ユニットは、遠隔監視用途に特に適している。画像処理ユニットは、1つ又は複数の画像処理要素を含み得る。例えば、画像処理ユニットは、フォトダイオード又は電荷結合素子のアレイを含み得る。一実施形態によると、画像処理ユニットは、少なくとも2つのグループの画像処理要素を含み、そのそれぞれが、複数のデータ信号成分のうち単一のデータ信号成分を検出するように構成される。別の実施形態によると、画像処理ユニットは、データ信号成分の検出を可能にする反応特徴を有する単一のグループの画像処理要素を使用することができる。画像処理ユニットは、データ信号成分を代わって表す一連の画像フレームをキャプチャするようにさらに構成することができる。
別の好ましい実施形態において、提案される装置は、例えば1つ又は2つの異なるスペクトル範囲における電磁放射線を対象に向けるための放射源、特に光源をさらに含む。放射源は、広帯域の照射源によって具体化することができ、及び/又は、単一のグループ又は2つ若しくはさらなるグループの放射要素さえ使用することができる。しかし、提案される装置は、必ずしも放射源を含んでいなければいけないわけではなく、装置に接続されていない環境光源も使用することができる。
本発明の上記及び他の態様が、以下に記載の実施形態から明らかになり、以下に記載の実施形態を参考にして解明される。
図1は、本発明による装置30が使用されるシステム10の概略図を示している。システム10は、遠隔PPGモニタリングのために、遠隔の対象12又は対象12の少なくとも一部14(関心のある領域)を表す画像フレームを記録するために利用することができる。関心のある領域14は、例として、対象12の前頭部分、顔面部分、又は、より一般的には1つ又は複数の皮膚の部分を含む。記録されるデータ、例えば、一連の画像フレームは、対象12によって反射された電磁放射線16から得ることができる。おそらく、特定の条件下で、電磁放射線の少なくとも一部は、対象12自体によって放たれ得るか又は透過させられ得る。放射線透過は、対象12が、対象12を通る光を放つ強い照射源に曝露される場合に生じ得る。放射線放出は、体熱により引き起こされる赤外線に的がしぼられ且つ該赤外線がキャプチャされる場合に生じ得る。しかし、遠隔PPG用途に対しては、キャプチャされることになる電磁放射線16の大部分は、対象12によって反射された放射線として考慮することができる。対象12は、ヒト若しくは動物、又は一般的に生物であり得る。さらに、対象12は、所望の信号を高度に示すヒトの一部であるとして考慮することができる。
日光18a、人工の放射源18b又はいくつかの放射源の組合せ等の放射源は、対象12に作用するか又は衝突する。放射源18a、18bは、基本的に、対象12に達する入射放射線20a、20bを放つ。加えて、又は、代わりとなる案において、システム10は、電磁放射線24の内部線源22も含み得るか又はそれを使用することもでき、内部線源22は、入射放射線24を放ち且つそれを対象12に向け、さらに、代わりとなる実施形態において装置30の一部であってもよい。放射線24の内部線源22は、規定の特徴を有する放射線、特に、規定のスペクトル部分に属する放射線を対象12に向けるように構成することができる。本発明の一実施形態に従って少なくとも2つの異なるスペクトル部分がキャプチャされ且つ処理されるため、この実施形態の別の態様によると、電磁放射線24の内部線源22はこれらのスペクトル部分に「一致する」ということが好ましい。
例えば一連の画像フレーム等のキャプチャされたデータから生理学的情報を抽出するために、関心のある領域14等の対象12の規定の一部又は一部分からの放射線16が、画像処理ユニット28によって検出される。画像処理ユニット28は、例として、電磁放射線16の少なくとも1つのスペクトル成分に属する情報をキャプチャするように構成される光センサ手段によって具体化することができる。一実施形態において、画像処理ユニット28は、(例えばRGBカメラ等)ビデオカメラ等のカメラ又はカメラのセットによって具体化される。画像処理ユニット28は、代わりとなる実施形態において装置30の一部でもあり得る。
言うまでもなく、装置30は、前もってすでに記録され、さらに、合間に記憶されるか又は一時記憶領域へ移される入力信号、すなわち入力データストリーム26を処理するように適応させることもできる。上記のように、電磁放射線16は、少なくとも1つのバイタルサインパラメータ26、本発明に関連して特に心拍数、呼吸数及び/又は血液の酸素飽和度を高度に示すことができる連続的又は別々の特徴信号を含有することができる。
本発明による対象のバイタルサインを決定する装置30は、対象12の皮膚領域を含む関心のある領域14から反射された検出される電磁放射線16(放たれたか又は透過された放射線を含む)から得られるデータストリーム26を(画像処理ユニット28から又は記憶装置若しくはバッファから)受ける(入力)インターフェース32を含む。上記データストリーム26は、上記関心のある領域の1つ又は複数の皮膚ピクセルの複数の皮膚ピクセル領域に対する(好ましくは、全ての皮膚ピクセル領域に対する、又は、全ての個々の皮膚ピクセルにさえ対する)1つの皮膚ピクセルあたりのデータ信号を含み、データ信号は、時間の経過に伴うそれぞれの皮膚ピクセル領域から反射された検出される電磁放射線16を表す。
分析器34は、皮膚領域14の空間的及び/又は時間的特性を分析するために提供される。従って、皮膚領域の空間的及び/又は時間的特性に関する情報が、分析器34から出力される。一実施形態において、分析器は、複数の皮膚ピクセルのデータ信号によって表される時間的皮膚の反射率から、(例えば緑色の光等の)単一のスペクトルバンドにおける、又は、赤色及び赤外線のスペクトルバンドにおける相対振幅を計算する。
装置30は、皮膚領域内の皮膚ピクセル領域のデータ信号に基づき対象のバイタルサイン情報信号を決定するプロセッサ36、及び、上記バイタルサイン情報信号から所望のバイタルサインを決定するポストプロセッサ38をさらに含む。このデータ信号を処理する方法は、一般的に、遠隔PPGの分野において既知であり、従って、ここではより詳細には説明されないものとする。しかし、既知の装置及び方法とは反対に、上記決定される空間的及び/又は時間的特性が、バイタルサイン情報信号を決定するプロセッサ36、及び/又は、所望のバイタルサインを決定するポストプロセッサ38によって使用される。
最後に、(出力)インターフェース40を提供することができ、このインターフェース40には、例えば、さらなる分析に対して及び/又は表示手段に対して出力データ41を提供するために、決定されたバイタルサイン39を届けることができる。インターフェース32も40も、同じ(ハードウェア)コネクタによって具体化することができる。
一実施形態において、コントローラ42が、画像処理ユニット28及び放射源22のうち少なくとも1つを選択的に制御するために提供される。
分析器34、プロセッサ36及びポストプロセッサ38(さらに、提供される場合はコントローラ42)は、所望のデータ処理を定めるようにそれぞれのロジックコマンド(プログラムコード)によって駆動される計算装置又は少なくとも計算装置の一部であるとして考慮することができる共通の処理装置50によって実行されてもよい。処理ユニット50は、以下において処理されるいくつかの成分又はユニットを含んでもよい。処理ユニット50の各成分又はユニットは、仮想的又は離散的に実行することができるということが理解されるべきである。例えば、処理ユニット50は、マルチコアプロセッサ又はシングルコアプロセッサ等の多くのプロセッサを含んでもよい。少なくとも1つのプロセッサを、処理ユニット50によって利用することができる。プロセッサのそれぞれを、(例えば中央処理ユニット等の)標準プロセッサとして、又は、(例えばグラフィックスプロセッサ等の)専用プロセッサとして構成することができる。従って、処理ユニット50は、データ処理のいくつかのタスクを適したプロセッサに割り当てるように適切に作動させることができる。
処理ユニット50並びにインターフェース32、40は、一般的には、提案される装置30に相当する共通の処理機器又はハウジングにおいて具体化することができる。画像処理ユニット28及び放射源22は、一般的に、外部の要素であるが、装置30の他の要素と共に、例えば共通のハウジングを用いて装置30内に統合することもできる。
以下において、本発明の背景及び好ましい実施形態の詳細が説明される。
通常、バイタルサインの測定に対する既知の接触又は非接触センサは、後処理アルゴリズムを測定されたバイタルサインに適用して、アーチファクトを減らす、及び/又は、測定の一貫性を改善する。既知の1D後処理アルゴリズムのほとんどは、1D信号自体から又はさらなる(コンテキスト)センサから取得された情報によって制御される。例えば、着用式接触PPGセンサ(例えばリスト又はフィンガーセンサ等)は、埋め込まれた加速度計からのデータを使用して、1Dバイタルサイン情報信号におけるモーションアーチファクトを減らす。
1つの選択肢は、対象の反復運動の周波数に関する情報に基づき、例えば心拍信号等の抽出されたバイタルサイン情報信号を後処理することである。そのような情報は、対象の反復運動を表す動きベクトル又は他のデータから取得することができる。対象の通常の動きの間の心拍モニタリングのエラー強さを著しく改善する一方で、その方法は、対象の動きが通常のものではない場合に著しい改善を提供しない。例えば、対象が突然カメラから対象の顔をそむけた場合、抽出される心拍信号は失われ、反復周期運動の検出に頼る後処理アルゴリズムは、抽出される信号の一貫性を改善しない。
さらに、動きのタイプによって、抽出されるPPG信号の質に対する影響は異なる。例えば、顔の並進運動は、同じ皮膚領域が絶えず可視である場合、同じ周波数及び速度を有する顔の回転運動と比較して(たとえあるとしても)はるかに少ないアーチファクトをもたらし、回転運動に対しては、可視の皮膚領域は絶えず変化している。
運動周波数情報の使用が最適ではない場合のさらに別の例は、話している顔からの(特に心拍信号に関する)バイタルサイン情報信号(PPG信号と呼ばれる場合もある)の測定である。この場合、大多数の動きベクトルは重大な動きを示さないが、話をすることによって引き起こされる顔の皮膚の変形は、抽出されるバイタルサイン情報信号において重大なアーチファクトを導く。
提案される装置及び方法は、皮膚の動きによって引き起こされるアーチファクトの減少においてより能率的であり、さらに、異なるタイプの動きに対してより反応がよい。抽出されるバイタルサインの改善は、特に、バイタルサインの抽出に使用される皮膚領域の時間的整合性及び/又は空間的滑らかさの分析に基づいている。
カメラベースのバイタルサインモニタリングシステムにおいて、血液量の変化によって引き起こされる(例えば人物の顔等の)皮膚領域のより小さな色の変化が測定され、さらに、バイタルサイン情報信号が抽出される。色の変化は極度に小さく、それは、いかなる妨害(動き、照射の変化)も信号に影響を与えるということを意味する。モニターされる対象の動きは、皮膚領域の空間変位及び変化を引き起こす。変位及び変形によって引き起こされるアーチファクトのレベルは大いに異なり得る。(例えば横の運動の間の)変形を有することのない皮膚領域の空間変位は、心拍信号の抽出に対して、皮膚領域の変形と比較してより問題にはならない。ほとんどの場合、皮膚領域の変位によって引き起こされるアーチファクトは補正することができ、さらに、通常の皮膚領域の変位からの残りのアーチファクトは、測定されたバイタルサイン情報信号のスペクトルから運動スペクトルを取り除くことによって後処理の間に首尾よく処理することができる。
皮膚領域の変形によって引き起こされるアーチファクトは、典型的には、(変形の量に応じて)はるかにより激しく、補正するのがはるかにより困難である。皮膚の変形の間に、感知領域内の皮膚ピクセルの量は変わる一方、皮膚領域の大部分がそのままであり得る。従って、皮膚領域の動きベクトルの分析は、アーチファクトの補正には十分ではない。
さらに、抽出されるバイタルサイン情報信号の強度及びそのSNRは、皮膚領域にわたり等しくない。皮膚領域のうち、他の部分よりもノイズを伴う信号を生成する部分がいくつかある。例えば、滑らかな皮膚を有する領域は、非常に肌理を有する皮膚領域と比較してより明瞭なバイタルサイン情報信号を有することになる。従って、強いバイタルサイン情報信号を有する初めは滑らかな領域の変形は、すでに乏しいバイタルサイン情報信号を有した肌理を有する領域の変形よりもはるかに大きなアーチファクト(における変化)をもたらす。
本発明の一実施形態において、皮膚領域の空間的及び時間的特性を分析すること、並びに、この分析の結果を使用して、皮膚領域の皮膚ピクセル領域のデータ信号の処理、及び/又は、抽出されたバイタルサイン情報信号の後処理を適応させることが提案される。好ましくは、測定値の信頼度に対する計量も生じる。
図2は、本発明による方法の一実施形態の流れ図を示している。第1のステップS10において、関心のある領域14の皮膚領域は、最新及び隣接する画像フレームにおいて、ピクセルの2Dブロック(本明細書においては皮膚ピクセルブロックとも呼ばれる)に分割される。第2のステップS12において、複数のブロックの(好ましくはそれぞれの)空間的均一性が決定され、さらに、皮膚領域のサイズが、最新のフレームに対して決定される。さらに、「滑らかな」及び「肌理を有する」空間ブロックの数が決定される。均一性は、例えばエントロピー及び/又はダイナミックレンジを使用する等、いくつかの方法を使用して測定することができる。そのような方法の一例は、非特許文献3に記載されている。
第3のステップS14において、隣接する画像フレームにおける皮膚領域の空間的均一性及びサイズが決定される。第4のステップS16において、考慮される画像フレームにおける皮膚領域のサイズ間の差、並びに、「滑らかな」及び「肌理を有する」ブロックの数の変化が決定される。
第5のステップS18において、信頼度の計量が、以下の質的関係を有する時間的及び空間的安定性のパラメータに基づき生じる。全皮膚領域のサイズにおける、及び、「滑らかな」ブロックの数における差が大きいほど、抽出されたバイタルサイン情報信号又はバイタルサイン(例えば呼吸の心拍等)は信頼度が低い。皮膚領域内の「滑らかな」ブロックの数が多いほど、抽出されたバイタルサイン情報信号又はバイタルサインの信頼度は高い。
第6のステップS20において、後処理のパラメータが、ステップS18での分析の結果に基づき調整される。例えば、低域フィルタの時間窓(又は時定数)を増やして、抽出されたバイタルサイン情報信号又はバイタルサインの変動を減らすことができる。或いは、抽出されたバイタルサイン情報信号又はバイタルサインに適用される帯域フィルタの幅を、以前に信頼可能な値の辺りまで減らす及び/又はシフトさせることができる。さらに別の代わりとなる案は、以前のポストプロセッサの出力を、(ステップS18からの)信頼度の計量が、以前の値に対して高い信頼度を、及び、最新のものに対して低い信頼度を示した場合に保存することができるということである。その値は、抽出されたバイタルサイン情報信号又はバイタルサインが再度信頼できるということを信頼度の計量が示す場合にのみ、次回に調整することができる。
上記の処理の結果として、抽出される信号の変動は、皮膚領域が空間的及び時間的に安定ではない場合に減らされる。
ポストプロセッサ38を調整することの代わりに、信頼度の測定(又は根底にある分析)を、以下の実施形態から明らかなように、他の処理段階でも使用することができる。
本発明の別の実施形態において、皮膚領域内の全てのブロックが、その時間的安定性に応じてランク付けされ、さらに、最も高い時間的不安定性を有する皮膚ブロックが、感知領域から完全に除去されるか又は無視される(すなわち、いかなる信号も、所望のバイタルサインを決定するためにそれらのブロックから抽出されず及び/又は使用されない)。
本発明のさらに別の実施形態において、類似のアプローチを使用して、最終信号に対する皮膚領域の別々の空間ブロックの寄与に重みづけすることができる。考察された測定に基づき、比較的少ない数のアーチファクトが生じるということが期待される皮膚領域の部分は、他の部分よりも重みが加えられる。
本発明のさらに別の実施形態において、(例えば、隣接する画像フレーム間のブロックの色度又は/及び輝度の平均値の変化等)隣接する画像フレームにおけるブロックの色及び/又は強度の安定性の分析を含むことが提案される。色度又は/及び輝度の平均値の変化を有するブロックの数が特定のレベルを超える場合、決定されたバイタルサインは信頼できるものではない。信頼度の計量は従って(例えば、図2において説明される実施形態のステップS16において等)適応される。
例として、本発明は、例えば非影響遠隔患者モニタリング等のヘルスケア、一般的な監視、セキュリティモニタリング、及び、フィットネス機器等のいわゆるライフスタイル環境等の分野において適用することができる。適用業務は、酸素飽和度(パルスオキシメトリ)、心拍数、血圧、心拍出量、血液灌流の変化のモニタリング、自律神経機能の評価及び末梢血管疾患の検出を含んでもよい。
本発明は、図面及び上記の説明において詳細に例示及び記述されてきたけれども、そのような例示及び記述は、例示的又は例証的であり、拘束性はないと考慮されることになり;本発明は、開示された実施形態に限定されない。開示された実施形態に対する他の変化は、請求された発明を実行する際に、図面、明細書、及び付随の特許請求の範囲の調査から当業者により理解する及びもたらすことができる。
特許請求の範囲において、「含む」という用語は、他の要素又はステップを除外せず、不定冠詞はその複数形を除外しない。1つの要素又は他のユニットは、特許請求の範囲において列挙されたいくつかの項目の機能を満たすことができる。特定の手段が互いに異なる従属項において記載されているという単なる事実は、これらの手段の組合せを役立つよう使用することができないと示しているわけではない。
コンピュータプログラムは、他のハードウェアと共に若しくはその一部として供給される、光記憶媒体又は固体記憶媒体等、適したメディア上に記憶/分散させてもよいが、インターネット又は他の有線若しくは無線の通信システムを介して等、他の形状で分散させてもよい。
本明細書において使用される場合、「コンピュータ」という用語は、各種の処理装置を意味する。言い換えると、かなりの計算能力を有するモバイルデバイスも、標準的なデスクトップコンピュータよりも少ない処理動力資源を提供するけれども、計算装置と呼ぶことができる。さらに、「コンピュータ」という用語は、クラウド環境において提供される計算能力を含むか又はそれを使用することができる分散計算処理装置を意味することもあり得る。
特許請求の範囲におけるいかなる参照番号も、その範囲を限定するとして解釈されるべきではない。
Claims (14)
- 対象のバイタルサインを決定する装置であって、
− 前記対象の皮膚領域を含む関心のある領域から反射された検出される電磁放射線から得られるデータストリームを受けるインターフェースであり、前記データストリームは、前記関心のある領域の複数の皮膚ピクセル領域に対する、1つ又は複数の皮膚ピクセルの1つの皮膚ピクセル領域あたりのデータ信号を含み、前記データ信号は、時間の経過に伴うそれぞれの皮膚ピクセル領域から反射された前記検出される電磁放射線を表す、インターフェースと、
− 前記皮膚領域の空間的及び/又は時間的特性を分析する分析器と、
− 前記皮膚領域内の皮膚ピクセル領域のデータ信号に基づき、前記対象のバイタルサイン情報信号を決定するプロセッサと、
− 前記バイタルサイン情報信号から所望のバイタルサインを決定するポストプロセッサと、
を含み、決定された前記空間的及び/又は時間的特性は、前記バイタルサイン情報信号を決定するプロセッサによって、及び/又は、前記所望のバイタルサインを決定するポストプロセッサによって使用される、装置。 - 前記分析器は、時間の経過に伴う前記皮膚領域の滑らかさ、サイズ、均一性、並びに/又は、前記皮膚領域の色度及び/若しくは輝度成分を決定するように構成される、請求項1に記載の装置。
- 前記分析器は、皮膚ピクセルブロックに前記皮膚領域を分割すること、前記皮膚ピクセルブロックの空間的均一性を決定すること、並びに、滑らかな及び/又は肌理を有する滑らかな皮膚ピクセルブロックの数を決定することによって、時間の経過に伴う前記皮膚領域の空間的均一性を決定するように構成される、請求項1に記載の装置。
- 前記分析器は、時間の経過に伴う滑らかな及び/又は肌理を有する皮膚ピクセルブロックの数を決定するように構成される、請求項3に記載の装置。
- 前記分析器は、前記皮膚領域の空間的及び/又は時間的特性から信頼度情報を決定するように構成され、前記信頼度情報は、前記皮膚領域内の皮膚ピクセル領域のデータ信号に基づき決定されるバイタルサイン情報又はバイタルサインの決定の信頼度を示し、さらに、
前記プロセッサ及び/又は前記ポストプロセッサは、前記バイタルサイン情報信号を決定するために、及び/又は、前記所望のバイタルサインを決定するポストプロセッサによって前記信頼度情報を使用するように構成される、請求項1に記載の装置。 - 前記分析器は、時間の経過に伴う滑らかな及び/若しくは肌理を有する滑らかな皮膚ピクセルブロックの数の変化、並びに/又は、時間の経過に伴う前記皮膚領域のサイズの変化を使用して前記信頼度情報を決定するように構成される、請求項4及び5に記載の装置。
- 前記分析器は、前記信頼度情報を決定して、信頼度が高いほど、滑らかな皮膚ピクセルブロックの数は多く且つ前記皮膚領域のサイズは大きいということを示すように構成される、請求項6に記載の装置。
- 前記ポストプロセッサは、前記決定された空間的及び/又は時間的特性に基づき、前記ポストプロセッサの低域フィルタの時間幅及び/又は時定数を設定するように構成される、請求項1に記載の装置。
- 前記ポストプロセッサは、前記決定された空間的及び/又は時間的特性に基づき、前記ポストプロセッサの帯域フィルタの幅を設定するように構成される、請求項1に記載の装置。
- 前記ポストプロセッサは、前記信頼度情報が所定の信頼度の閾値を超える信頼度を示す場合にのみ、決定される前記バイタルサインを更新するように構成される、請求項5に記載の装置。
- 前記プロセッサは、その関連する時間的安定性に従って前記皮膚領域の皮膚ピクセルブロックをランク付けするように、及び、前記皮膚領域内の最も時間的に安定した皮膚ピクセルブロックからの皮膚ピクセルのデータ信号に基づき、前記対象のバイタルサイン情報信号を決定するように構成される、請求項5に記載の装置。
- 前記プロセッサは、その関連する時間的安定性に従って、前記皮膚領域の皮膚ピクセルブロックに対する信頼度の重みを決定するように、及び、関連する皮膚ピクセルブロックの決定された前記信頼度の重みに従って重みづけされた皮膚ピクセルのデータ信号に基づき、前記対象のバイタルサイン情報信号を決定するように構成される、請求項5に記載の装置。
- 対象のバイタルサインを決定する方法であって、
− 前記対象の皮膚領域を含む関心のある領域から反射された検出される電磁放射線から得られるデータストリームを受けるステップであり、前記データストリームは、前記関心のある領域の複数の皮膚ピクセル領域に対する、1つ又は複数の皮膚ピクセルの1つの皮膚ピクセル領域あたりのデータ信号を含み、前記データ信号は、時間の経過に伴うそれぞれの皮膚ピクセル領域から反射された前記検出される電磁放射線を表す、ステップと、
− 前記皮膚領域の空間的及び/又は時間的特性を分析するステップと、
− 前記皮膚領域内の皮膚ピクセル領域のデータ信号に基づき、前記対象のバイタルサイン情報信号を決定するステップと、
− 前記バイタルサイン情報信号から所望のバイタルサインを決定するステップと、
を含み、決定された前記空間的及び/又は時間的特性は、前記バイタルサイン情報信号を決定するために、及び/又は、前記所望のバイタルサインを決定するポストプロセッサによって使用される、方法。 - コンピュータプログラムであって、当該コンピュータプログラムがコンピュータ上で実行された場合に前記コンピュータに請求項13に記載の方法のステップを実行させるプログラムコード手段を含む、コンピュータプログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361781269P | 2013-03-14 | 2013-03-14 | |
EP13159173.7 | 2013-03-14 | ||
EP13159173 | 2013-03-14 | ||
US61/781,269 | 2013-03-14 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015562489A Division JP6482479B2 (ja) | 2013-03-14 | 2014-03-12 | 対象のバイタルサインを決定する装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019055256A true JP2019055256A (ja) | 2019-04-11 |
Family
ID=50442568
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015562489A Expired - Fee Related JP6482479B2 (ja) | 2013-03-14 | 2014-03-12 | 対象のバイタルサインを決定する装置及び方法 |
JP2018228617A Pending JP2019055256A (ja) | 2013-03-14 | 2018-12-06 | 対象のバイタルサインを決定する装置及び方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015562489A Expired - Fee Related JP6482479B2 (ja) | 2013-03-14 | 2014-03-12 | 対象のバイタルサインを決定する装置及び方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10052038B2 (ja) |
EP (1) | EP2967378B1 (ja) |
JP (2) | JP6482479B2 (ja) |
CN (2) | CN113080872A (ja) |
BR (1) | BR112015022109A2 (ja) |
RU (1) | RU2674226C2 (ja) |
WO (1) | WO2014141084A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020178964A (ja) * | 2019-04-26 | 2020-11-05 | 株式会社日立製作所 | 生体情報検出装置、生体情報検出方法および生体情報検出プログラム |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3122173B2 (en) | 2014-03-26 | 2024-05-29 | SCR Engineers Ltd | Livestock location system |
US10986817B2 (en) | 2014-09-05 | 2021-04-27 | Intervet Inc. | Method and system for tracking health in animal populations |
US11071279B2 (en) | 2014-09-05 | 2021-07-27 | Intervet Inc. | Method and system for tracking health in animal populations |
EP3247261A1 (en) * | 2015-01-19 | 2017-11-29 | Koninklijke Philips N.V. | Device, system and method for skin detection |
TWI556793B (zh) * | 2015-07-09 | 2016-11-11 | 國立臺灣科技大學 | 非接觸式即時生理訊號及動作偵測方法 |
US9801587B2 (en) | 2015-10-19 | 2017-10-31 | Garmin Switzerland Gmbh | Heart rate monitor with time varying linear filtering |
CN105455781A (zh) * | 2015-11-17 | 2016-04-06 | 努比亚技术有限公司 | 信息处理方法及电子设备 |
US11540780B2 (en) | 2015-12-23 | 2023-01-03 | Koninklijke Philips N.V. | Device, system and method for determining a vital sign of a person |
US10019883B2 (en) | 2016-01-21 | 2018-07-10 | Htc Corporation | Method for monitoring breathing activity, electronic device, and computer-readable storage medium using the same |
GB201601140D0 (en) * | 2016-01-21 | 2016-03-09 | Oxehealth Ltd | Method and apparatus for estimating heart rate |
GB201601143D0 (en) | 2016-01-21 | 2016-03-09 | Oxehealth Ltd | Method and apparatus for health and safety monitoring of a subject in a room |
GB201601217D0 (en) | 2016-01-22 | 2016-03-09 | Oxehealth Ltd | Signal processing method and apparatus |
CN108778109B (zh) * | 2016-03-01 | 2022-02-11 | 皇家飞利浦有限公司 | 用于确定对象的生命体征的设备、系统和方法 |
JP6686576B2 (ja) * | 2016-03-15 | 2020-04-22 | オムロン株式会社 | 関心度推定装置、関心度推定方法、プログラムおよび記録媒体 |
US10335045B2 (en) | 2016-06-24 | 2019-07-02 | Universita Degli Studi Di Trento | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
WO2018002275A1 (en) | 2016-06-30 | 2018-01-04 | Koninklijke Philips N.V. | Method and apparatus for face detection/recognition systems |
GB201615899D0 (en) | 2016-09-19 | 2016-11-02 | Oxehealth Ltd | Method and apparatus for image processing |
CN109890278B (zh) | 2016-10-27 | 2023-04-04 | 皇家飞利浦有限公司 | 用于获得对象的生命信号的设备、系统和方法 |
US10885349B2 (en) | 2016-11-08 | 2021-01-05 | Oxehealth Limited | Method and apparatus for image processing |
JP6957929B2 (ja) * | 2017-03-28 | 2021-11-02 | 日本電気株式会社 | 脈波検出装置、脈波検出方法、及びプログラム |
GB201706449D0 (en) | 2017-04-24 | 2017-06-07 | Oxehealth Ltd | Improvements in or realting to in vehicle monitoring |
JP6928219B2 (ja) * | 2017-06-16 | 2021-09-01 | グローリー株式会社 | 脈拍周期検出装置、脈拍周期検出方法、脈拍周期検出プログラム、及び脈波検出装置 |
EP3440996A1 (en) * | 2017-08-08 | 2019-02-13 | Koninklijke Philips N.V. | Device, system and method for determining a physiological parameter of a subject |
US11311202B2 (en) | 2017-11-14 | 2022-04-26 | Arizona Board Of Regents On Behalf Of Arizona State University | Robust real-time heart rate monitoring method based on heartbeat harmonics using small-scale radar |
CN111919236A (zh) * | 2018-02-23 | 2020-11-10 | 艾卢诺斯公司 | 生理参数的监测 |
GB201803508D0 (en) | 2018-03-05 | 2018-04-18 | Oxehealth Ltd | Method and apparatus for monitoring of a human or animal subject |
WO2019186955A1 (ja) * | 2018-03-29 | 2019-10-03 | 日本電気株式会社 | 生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム |
WO2019202671A1 (en) * | 2018-04-17 | 2019-10-24 | Nec Corporation | Pulse rate estimation apparatus, pulse rate estimation method, and computer-readable storage medium |
US11832584B2 (en) | 2018-04-22 | 2023-12-05 | Vence, Corp. | Livestock management system and method |
US11259710B2 (en) * | 2018-05-16 | 2022-03-01 | Mitsubishi Electric Research Laboratories, Inc. | System and method for remote measurements of vital signs |
EP3626160A1 (en) * | 2018-09-24 | 2020-03-25 | Dianova A/S | A handheld imaging element with a movement sensor |
CN112911927B (zh) | 2018-10-10 | 2023-06-27 | 世亚工程设备有限公司 | 牲畜干乳方法和装置 |
IL263409B2 (en) * | 2018-12-02 | 2023-06-01 | Linet Spol Sro | Detection of tiny movement in the human body |
GB201900032D0 (en) | 2019-01-02 | 2019-02-13 | Oxehealth Ltd | Method and apparatus for monitoring of a human or animal subject |
GB201900034D0 (en) | 2019-01-02 | 2019-02-13 | Oxehealth Ltd | Method and apparatus for monitoring of a human or animal subject |
GB201900033D0 (en) | 2019-01-02 | 2019-02-13 | Oxehealth Ltd | Mrthod and apparatus for monitoring of a human or animal subject |
US11771380B2 (en) | 2019-03-19 | 2023-10-03 | Arizona Board Of Regents On Behalf Of Arizona State University | Vital sign monitoring system using an optical sensor |
US11783483B2 (en) | 2019-03-19 | 2023-10-10 | Arizona Board Of Regents On Behalf Of Arizona State University | Detecting abnormalities in vital signs of subjects of videos |
JP7174358B2 (ja) * | 2019-03-29 | 2022-11-17 | 株式会社アイシン | 脈拍数検出装置、及び脈拍数検出プログラム |
CN111953438B (zh) * | 2019-05-16 | 2022-08-02 | 中国信息通信研究院 | 5g下行链路电磁环境对人体照射的评估方法及装置 |
US20220237825A1 (en) * | 2019-05-31 | 2022-07-28 | Nippon Telegraph And Telephone Corporation | Image processing apparatus, image processing method, and program |
AU2020327715B2 (en) * | 2019-08-13 | 2022-12-15 | Neteera Technologies Ltd. | A system for denoising motion artifact signals and method thereof |
EP3808253A1 (en) | 2019-10-15 | 2021-04-21 | Koninklijke Philips N.V. | High dynamic range vital signs extraction |
CN111027485A (zh) * | 2019-12-11 | 2020-04-17 | 南京邮电大学 | 一种基于人脸视频检测与色度模型的心率检测方法 |
EP3836154A1 (en) | 2019-12-13 | 2021-06-16 | Morten Bo Søndergaard Svendsen | A method and an apparatus for imaging curved surfaces |
EP3839883A1 (en) | 2019-12-18 | 2021-06-23 | Morten Bo Søndergaard Svendsen | A method and a system for obtaining image data of an object |
CN113749611B (zh) * | 2020-05-28 | 2022-11-11 | 华为技术有限公司 | 数据测量方法及相关装置 |
IL275518B (en) | 2020-06-18 | 2021-10-31 | Scr Eng Ltd | Animal tag |
USD990062S1 (en) | 2020-06-18 | 2023-06-20 | S.C.R. (Engineers) Limited | Animal ear tag |
USD990063S1 (en) | 2020-06-18 | 2023-06-20 | S.C.R. (Engineers) Limited | Animal ear tag |
AU2021388045A1 (en) | 2020-11-25 | 2023-06-22 | Identigen Limited | A system and method for tracing members of an animal population |
CN116702015B (zh) * | 2023-08-09 | 2023-11-28 | 中国科学技术大学 | 信号处理方法、装置、无人机及计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09131323A (ja) * | 1995-11-09 | 1997-05-20 | Kanebo Ltd | 皮膚表面解析装置及び皮膚表面評価方法 |
JP2003310562A (ja) * | 2002-04-15 | 2003-11-05 | Samsung Electronics Co Ltd | Ppgを用いた心拍検出装置及びその方法 |
JP2005535359A (ja) * | 2002-02-22 | 2005-11-24 | デイテックス−オーメダ インコーポレイテッド | フォトプレスチモグラフィ信号の変動に基づく生理的パラメータの監視 |
WO2012093320A2 (en) * | 2011-01-05 | 2012-07-12 | Koninklijke Philips Electronics N.V. | Video coding and decoding devices and methods preserving ppg relevant information |
JP2013506526A (ja) * | 2009-10-06 | 2013-02-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 生体中の少なくとも周期的現象を表す成分を含む信号を処理する方法およびシステム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59160446A (ja) | 1982-09-02 | 1984-09-11 | ネルコ−・インコ−ポレ−テツド | オキシメータ装置 |
JPH02172443A (ja) | 1988-12-23 | 1990-07-04 | Minolta Camera Co Ltd | 光電脈波型オキシメーター |
US7483733B2 (en) * | 1999-07-26 | 2009-01-27 | Cardiosense, Ltd. | Non-invasive method and apparatus to detect and monitor early medical shock, and related conditions |
JP2006102159A (ja) | 2004-10-06 | 2006-04-20 | Nippon Telegr & Teleph Corp <Ntt> | 生体情報計測装置 |
EP1835845A4 (en) * | 2004-12-28 | 2008-09-10 | Hypermed Inc | HYPERSPECTRAL / MULTISPECTRAL IMAGERY FOR THE DETERMINATION, EVALUATION AND MONITORING OF SYSTEMIC PHYSIOLOGY OR IMPACT CONDITIONS |
GB0607270D0 (en) | 2006-04-11 | 2006-05-17 | Univ Nottingham | The pulsing blood supply |
US20090226071A1 (en) * | 2008-03-06 | 2009-09-10 | Motorola, Inc. | Method and Apparatus to Facilitate Using Visible Light Images to Determine a Heart Rate |
US8532932B2 (en) | 2008-06-30 | 2013-09-10 | Nellcor Puritan Bennett Ireland | Consistent signal selection by signal segment selection techniques |
US10213164B2 (en) * | 2008-09-26 | 2019-02-26 | Qualcomm Incorporated | Method and apparatus for under-sampled acquisition and transmission of photoplethysmograph (PPG) data and reconstruction of full band PPG data at the receiver |
CN102341828B (zh) * | 2009-03-06 | 2014-03-12 | 皇家飞利浦电子股份有限公司 | 处理至少一个活体的图像 |
JP5685598B2 (ja) | 2009-10-06 | 2015-03-18 | コーニンクレッカ フィリップス エヌ ヴェ | 画素値に基づく少なくとも値の変化を表す時間変化する信号の形成 |
US9286944B2 (en) | 2009-11-04 | 2016-03-15 | Koninklijke Philips N.V. | Methods and systems for providing a combination of media data and metadata |
KR100997444B1 (ko) | 2009-11-17 | 2010-11-30 | (주)에이치쓰리시스템 | 광용적맥파 측정기 |
BR112012017166A2 (pt) * | 2009-12-23 | 2016-03-15 | Delta Dansk Elektronik Lys Og Akustik | dispositivo de monitoração |
RU2444988C1 (ru) * | 2010-07-27 | 2012-03-20 | Общество с ограниченной ответственностью Производственное объединение "НЕЙРОКОМ-ЭЛЕКТРОНТРАНС" | Электродное устройство для носимого экг-монитора |
DE102010056615A1 (de) * | 2010-12-30 | 2012-07-05 | Vladimir Blazek | Kamerabasierte Transilluminatins-Messvorrichtung zur kontaktlosen, ortsaufgelösten Vitalparameterbestimmung Frühgeborener |
CN103476330B (zh) | 2011-04-21 | 2016-07-13 | 皇家飞利浦有限公司 | 用于人的生命体征测量的设备和方法 |
GB201114406D0 (en) | 2011-08-22 | 2011-10-05 | Isis Innovation | Remote monitoring of vital signs |
-
2014
- 2014-03-07 US US14/200,622 patent/US10052038B2/en active Active
- 2014-03-12 CN CN202110400485.3A patent/CN113080872A/zh active Pending
- 2014-03-12 WO PCT/IB2014/059662 patent/WO2014141084A1/en active Application Filing
- 2014-03-12 EP EP14716015.4A patent/EP2967378B1/en active Active
- 2014-03-12 JP JP2015562489A patent/JP6482479B2/ja not_active Expired - Fee Related
- 2014-03-12 CN CN201480014747.0A patent/CN105188520A/zh active Pending
- 2014-03-12 RU RU2015143896A patent/RU2674226C2/ru not_active IP Right Cessation
- 2014-03-12 BR BR112015022109A patent/BR112015022109A2/pt not_active Application Discontinuation
-
2018
- 2018-12-06 JP JP2018228617A patent/JP2019055256A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09131323A (ja) * | 1995-11-09 | 1997-05-20 | Kanebo Ltd | 皮膚表面解析装置及び皮膚表面評価方法 |
JP2005535359A (ja) * | 2002-02-22 | 2005-11-24 | デイテックス−オーメダ インコーポレイテッド | フォトプレスチモグラフィ信号の変動に基づく生理的パラメータの監視 |
JP2003310562A (ja) * | 2002-04-15 | 2003-11-05 | Samsung Electronics Co Ltd | Ppgを用いた心拍検出装置及びその方法 |
JP2013506526A (ja) * | 2009-10-06 | 2013-02-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 生体中の少なくとも周期的現象を表す成分を含む信号を処理する方法およびシステム |
WO2012093320A2 (en) * | 2011-01-05 | 2012-07-12 | Koninklijke Philips Electronics N.V. | Video coding and decoding devices and methods preserving ppg relevant information |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020178964A (ja) * | 2019-04-26 | 2020-11-05 | 株式会社日立製作所 | 生体情報検出装置、生体情報検出方法および生体情報検出プログラム |
JP7373298B2 (ja) | 2019-04-26 | 2023-11-02 | 株式会社日立製作所 | 生体情報検出装置、生体情報検出方法および生体情報検出プログラム |
Also Published As
Publication number | Publication date |
---|---|
US10052038B2 (en) | 2018-08-21 |
WO2014141084A1 (en) | 2014-09-18 |
RU2015143896A (ru) | 2017-04-19 |
JP2016513521A (ja) | 2016-05-16 |
JP6482479B2 (ja) | 2019-03-13 |
BR112015022109A2 (pt) | 2017-07-18 |
EP2967378A1 (en) | 2016-01-20 |
CN105188520A (zh) | 2015-12-23 |
RU2015143896A3 (ja) | 2018-03-19 |
CN113080872A (zh) | 2021-07-09 |
US20140276099A1 (en) | 2014-09-18 |
EP2967378B1 (en) | 2020-08-05 |
RU2674226C2 (ru) | 2018-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6482479B2 (ja) | 対象のバイタルサインを決定する装置及び方法 | |
JP6423807B2 (ja) | 対象のバイタルサインを決定する装置及び方法 | |
JP6537985B2 (ja) | 被験者の血中酸素飽和度を決定するデバイス及び方法 | |
JP6608822B2 (ja) | 対象のバイタルサインを決定する装置及び方法 | |
JP6525890B2 (ja) | 対象者のバイタルサイン情報を決定するためのシステム及び方法 | |
JP6615176B2 (ja) | 非干渉的な皮膚組織ハイドレーション測定デバイス及び関連方法 | |
JP6270287B2 (ja) | 生理的情報を抽出するデバイス及び方法 | |
EP3212059B1 (en) | Device, system and method for extracting physiological information | |
JP6114469B2 (ja) | 生理学的情報を抽出する装置、システム及び方法 | |
JP6268182B2 (ja) | 生理学的情報を抽出する装置及び方法 | |
JP2018534968A (ja) | 生理情報を抽出するためのデバイス、システム、及び方法 | |
JP2019532747A (ja) | 被検体のバイタルサインを得るためのデバイス、システム及び方法 | |
EP3422931A1 (en) | Device, system and method for determining a vital sign of a subject |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200630 |