JP2022073152A - 酸素飽和度測定装置、携帯装置、及び、酸素飽和度測定プログラム - Google Patents
酸素飽和度測定装置、携帯装置、及び、酸素飽和度測定プログラム Download PDFInfo
- Publication number
- JP2022073152A JP2022073152A JP2020182956A JP2020182956A JP2022073152A JP 2022073152 A JP2022073152 A JP 2022073152A JP 2020182956 A JP2020182956 A JP 2020182956A JP 2020182956 A JP2020182956 A JP 2020182956A JP 2022073152 A JP2022073152 A JP 2022073152A
- Authority
- JP
- Japan
- Prior art keywords
- oxygen saturation
- pulse
- signal
- spectrum
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 title claims abstract description 181
- 229910052760 oxygen Inorganic materials 0.000 title claims abstract description 181
- 239000001301 oxygen Substances 0.000 title claims abstract description 181
- 238000005259 measurement Methods 0.000 title abstract description 42
- 238000001228 spectrum Methods 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims description 65
- 230000003595 spectral effect Effects 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 210000001061 forehead Anatomy 0.000 abstract description 10
- 238000004458 analytical method Methods 0.000 abstract description 7
- 101100328887 Caenorhabditis elegans col-34 gene Proteins 0.000 description 75
- 230000008569 process Effects 0.000 description 37
- 238000004364 calculation method Methods 0.000 description 19
- 239000008280 blood Substances 0.000 description 10
- 210000004369 blood Anatomy 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 102000001554 Hemoglobins Human genes 0.000 description 7
- 108010054147 Hemoglobins Proteins 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000002106 pulse oximetry Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- RRLHMJHRFMHVNM-BQVXCWBNSA-N [(2s,3r,6r)-6-[5-[5-hydroxy-3-(4-hydroxyphenyl)-4-oxochromen-7-yl]oxypentoxy]-2-methyl-3,6-dihydro-2h-pyran-3-yl] acetate Chemical compound C1=C[C@@H](OC(C)=O)[C@H](C)O[C@H]1OCCCCCOC1=CC(O)=C2C(=O)C(C=3C=CC(O)=CC=3)=COC2=C1 RRLHMJHRFMHVNM-BQVXCWBNSA-N 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004199 lung function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000037307 sensitive skin Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
血液は、ヘモグロビンと酸素が結合することにより酸素を運搬するが、ヘモグロビンに酸素が多く結合した酸素飽和度が高い血液は鮮紅色をしており、酸素を放出した酸素飽和度が低い血液は暗褐色をしている。
そして、酸素と結合した酸化ヘモグロビン(HbO2、ただし2は下付き文字)は赤外光をよく吸収し、酸素と結合していない還元ヘモグロビン(Hb)は赤色光をよく吸収するという性質の違いを利用して血液の赤色度合いを測定し、これによって2つのヘモグロビンの比率を計算して酸素飽和度を測定する。
また、敏感肌や怪我などによりプローブの装着が困難な人もいることから、カメラを用いた非接触による測定装置も開発されている。
図15は、酸素飽和度に対する赤、緑、青色光の吸収率の違いを示した図である。参考のため、カメラの照明範囲も示してある。図に示したように、赤色領域では酸化ヘモグロビン(HbO2)と還元ヘモグロビン(Hb)の吸収率の違いが大きいのに対し、青、緑色領域では違いが少ない。そこで、非特許文献1では、画像の赤色成分を緑色成分で正規化した値を用いて酸素飽和度を算出する較正式が求められている。
この技術では、被験者の皮膚をRGBカメラで動画撮影し、R成分とG成分をスペクトルに分解し、各色成分の脈拍に対応するピーク値を較正表に入力して酸素飽和度を求めている。
例えば、蛍光灯の光の強度は50[Hz]程度で変動するが、エイリアシング(正確な表現ではないが、概略的には、サンプリング周波数(ここではフレームレート)に比べて周波数の高い波が、周波数の低い波として検出される現象)によって脈拍付近にピークを形成する場合がある。
そこで、特許文献1の技術は、次のように、自己回帰全極モデルを利用して、脈拍に対応するピークを外乱によるピークから識別する。
撮影した動画のR成分やG成分に自己回帰全極モデルを適用すると、スペクトルのピークに対応する極が複素平面上に現れる。
そこで、特許文献1の技術は、関心領域のピークのうち、基準関心領域のピークに対応するものを無視することにより、関心領域から脈拍によるピークを得る。
極の原点からの距離は、ピーク値に対応しているため、特許文献1の技術は、脈拍によるR、G成分のピークを較正表に適用して酸素飽和度を求める。
しかし、この手法は、顔とは他領域である基準関心領域でのピークを利用して間接的に脈拍によるピークを得るものであって、安定性に欠けるという問題があった。
また、特許文献1の技術は、関心領域と基準関心領域の2か所についてスペクトル解析を行わなければならず、かつ、計算に使用するアルゴリズムが複雑であり、計算資源を多く使用するという問題もあった。
(2)請求項2に記載の発明では、前記脈拍取得手段は、前記取得した動画のYIQ色空間におけるQ成分のピークのスペクトル値から前記脈拍を取得し、前記スペクトル値取得手段は、前記Q成分のピークのスペクトル値に対応する、前記赤色成分のピークのスペクトル値と、他の色成分のピークのスペクトル値を取得する、ことを特徴とする請求項1に記載の酸素飽和度測定装置を提供する。
(3)請求項3に記載の発明では、前記脈拍取得手段は、前記動画取得手段で取得した前記動画に基づいて前記脈拍を取得する、ことを特徴とする請求項1に記載の酸素飽和度測定装置を提供する。
(4)請求項4に記載の発明では、前記脈拍取得手段は、前記撮影した動画の所定の色成分の変化に基づいて、前記脈拍を取得する、ことを特徴とする請求項3に記載の酸素飽和度測定装置を提供する。
(5)請求項5に記載の発明では、前記スペクトル取得手段は、前記所定の色成分のスペクトルを取得し、前記脈拍取得手段は、前記取得した所定の色成分のスペクトルのピークの周波数に基づいて前記脈拍を取得する、ことを特徴とする請求項4に記載の酸素飽和度測定装置を提供する。
(6)請求項6に記載の発明では、前記他の色成分は、緑色成分、又は青色成分である、ことを特徴とする請求項1から請求項5のうちの1の請求項に記載の酸素飽和度測定装置を提供する。
(7)請求項7に記載の発明では、前記脈拍を取得する前記所定の色成分はQ成分である、ことを特徴とする請求項4、または請求項5に記載の酸素飽和度測定装置を提供する。
(8)請求項8に記載の発明では、前記動画取得手段は、RGB色空間による動画を取得し、前記RGB色空間をYIQ色空間に変換する変換手段を具備し、前記スペクトル取得手段は、前記RGB色空間における前記赤色成分、前記他の色成分のスペクトルを取得し、更に、前記変換したYIQ色空間におけるQ成分のスペクトルを取得する、ことを特徴とする請求項7に記載の酸素飽和度測定装置を提供する。
(9)請求項9に記載の発明では、対象者を撮影するカメラと、請求項7に記載の酸素飽和度測定装置と、を具備したことを特徴とする携帯装置を提供する。
(10)請求項10に記載の発明では、対象者の皮膚領域を撮影した動画を取得する動画取得機能と、前記動画の撮影時における前記対象者の脈拍を取得する脈拍取得機能と、前記取得した動画の赤色成分と、他の色成分のスペクトルを取得するスペクトル取得機能と、前記取得した赤色成分のスペクトルと、他の色成分のスペクトルのそれぞれについて、前記取得した脈拍に対応するピークのスペクトル値を取得するスペクトル値取得機能と、前記取得した赤色成分のスペクトル値と、前記他の色成分のスペクトル値から酸素飽和度を取得する酸素飽和度取得機能と、前記取得した酸素飽和度を出力する出力機能と、をコンピュータで実現する酸素飽和度測定プログラムを提供する。
酸素飽和度測定装置1(図1)は、可視光カメラで構成されたカメラ8によって対象者11の顔を動画撮影する。
酸素飽和度測定装置1は、対象者11の額部分に測定領域23を設定し、動画のRGB信号をRGB色空間からYIQ色空間に変換し、Q信号を観察する。Q信号は、外乱の影響を受けにくく、対象者11の脈拍に従って脈動する。
そこで、酸素飽和度測定装置1は、Q信号をフーリエ変換し、そのスペクトルのピーク(外乱の影響がないため、これが脈拍ピークとなる)の周波数によって対象者11の脈拍数を検出する。
R、G信号のスペクトルには、脈拍ピークのほかに外乱による外乱ピークも現れる。そこで、酸素飽和度測定装置1は、何れの信号でも脈拍数は同じであるため、Q信号の解析によって得た脈拍ピークの周波数を対応させることにより、R、G信号のスペクトルで脈拍ピークを特定する。
そして、酸素飽和度測定装置1は、R、G信号の脈拍ピークによって得たこれら信号の大きさ(脈波の振幅)を所定の公式に代入して酸素飽和度を算出する。
図1は、本実施形態の酸素飽和度測定装置1の構成を説明するための図である。
酸素飽和度測定装置1は、スマートフォンや携帯電話などの携帯端末やノート型コンピュータなどの携帯装置で構成されており、ユーザは、手軽に酸素飽和度を測定することができる。
酸素飽和度は、一般にSpO2と表記される。ただし2は下付文字である。文字コードの誤変換を防ぐために、以下では、下付文字を通常の文字で表す。
病院で用いる場合は、病室にカメラを設定して、病室で寝ている患者の顔を動画撮影し、これを別室や別施設に設定したサーバに送信する。サーバは、送られてきた動画をリアルタイムで解析して酸素飽和度を測定する。あるいは、録画した動画を使って後から測定してもよい。
あるいは、患者が自宅でスマートフォンによって自己の顔を動画撮影し、これをインターネットなどの通信ネットワークを介して診察室にいる医師に送信して、医師のコンピュータで患者の酸素飽和度を測定するような使い方もできる。
本実施形態では、酸素飽和度測定プログラムに従って、カメラ8が撮影した対象者11の動画を周波数解析して酸素飽和度を測定する。
この測定は可視光領域から赤外線領域で行うことができるが、本実施形態では、自然光や一般的な照明の下でのRGBカメラによる撮影を想定し、可視光領域で行うこととする。
RAM4は、読み書きが可能なメモリであって、CPU2が動作する際のワーキングメモリを提供する。
本実施形態では、動画を構成するフレーム画像(1コマの静止画像)の画像データを展開して記憶したり、計算結果を記憶したりすることにより、CPU2が、フレーム画像の皮膚部分で酸素飽和度を測定するのを支援する。
そこで、本実施形態では、対象者11の顔を撮影し、その額部分で酸素飽和度を測定する。
入力部6は、表示デバイスに重畳して設置されたタッチパネルなどの入力デバイスを用いて構成されており、画面表示に対するタッチの有無などから、操作画面への入力などを受け付ける。
本実施形態では、例えば、酸素飽和度測定プログラムをサーバからダウンロードしてインストールする際の通信を行ったり、測定した酸素飽和度を、例えば、病院の健康管理システムに送信したりするのに用いる。また、動画を病院のサーバに送信するのに用いて、病院での遠隔による酸素飽和度の測定を支援することもできる。
対象者11は、カメラ8のレンズを自己の顔に向けて撮影することにより、これを動画撮影することができる。
当該フレーム画像は、画像を構成する最小単位である画素(ピクセル)の配列により構成されている。
CPU2は、酸素飽和度測定プログラムを実行することにより、対象者11の額に測定領域を設定したり、測定領域の画像信号を周波数解析して酸素飽和度を算出したりする。
照明装置12がエイリアシングなどによる光外乱の発生要因となる場合があるが、このような場合であっても酸素飽和度測定装置1は後述の方法によって外乱の影響を除去し、適切に酸素飽和度を測定することができる。
なお、酸素飽和度の測定は、照明装置12を使用せずに、太陽光による自然光の下で行うこともできる。
フレーム画像21は、酸素飽和度測定装置1が撮影した動画を構成するフレーム画像の一例を示している。
酸素飽和度測定装置1は、フレーム画像21で対象者11の顔領域22を検出し、その額部分に測定領域23を設定する。
顔領域22の検出方法は、例えば、固定領域を選択する方法、皮膚の色により設定する方法、顔検索により決定する方法などがある。
皮膚の色により設定する方法は、フレーム画像21をRGB色空間からHSV色空間に変換し、H成分とS成分を用いて皮膚部分を検出することにより、顔を検出するものである。H成分とS成分の上下限値を設定し、この間にある領域を抽出することによって皮膚領域を効果的に識別できることは、本願発明者が実験によって見出したものである。
顔検索により決定する方法は、一般に顔認識の際に用いられているものであって、顔の領域を矩形によって検出するものである。
なお、額が髪によって隠れている場合もあるため、上記第2番目の方法で顔領域22を皮膚の色により検出し、皮膚領域内の額領域に測定領域23を設定すると効果的である。
なお、先述したように、頬の領域や顔全体を測定領域にすることも可能である。更に、手の甲、首など、皮膚が露出している場所なら酸素飽和度が測定可能である。
波形グラフ30は、横軸を時間、縦軸を振幅として、測定領域23を撮影した動画のR信号31、G信号32、B信号33の波形を表している。更に、RGB色空間をYIQ色空間に変換したQ信号34も示してある。
このため、図に示したR信号31、G信号32、B信号33は、脈拍に従って変動する脈波と、これら外乱波形が重畳した振幅の波形として観測される。
これを周波数解析すると、光外乱や動き外乱が周期性を有している場合、図3で示すように、脈拍によるピークに加えて、これら外乱によるピークも現れることになる。
このように、Q信号34によって光外乱や動き外乱を除去できることは、本願発明者が実験の末に見出したものである。
これらのグラフは、左からQ信号34、R信号31、G信号32、及びB信号33(図2)をFFT(Fast Fourier Transform:高速フーリエ変換)によって周波数領域のスペクトルに変換したものである。横軸は脈拍数、縦軸はFFTによる振幅(スペクトル値)を表している。
発明者の実験により、Q信号34には、光外乱や動き外乱による外乱ピークが現れない(即ち、Q信号は外乱の影響を受けない)ことがわかった。そのため、外乱下であっても、Q信号34によって対象者11の脈拍を波として検出することができ、これを周波数領域に変換することにより、最大ピークで脈拍数を検出することができる。
図の例では、各信号の110[BPM]付近に脈拍ピークよりも大きい外乱ピークが現れている。単に周波数領域における最大ピークを探索して脈拍とした場合、これら外乱ピークの方が脈拍ピークよりも振幅が大きい場合、これらが探索されてしまう。
そのため、酸素飽和度測定装置1は、R信号31、G信号32、B信号33でQ信号34の脈拍ピークと同じ周波数(実質同一と判断できる範囲で若干前後してもよい)に形成されているピークを脈拍ピークとして特定することができ、外乱ピークに紛れた脈拍ピークを識別することができる。
換言するなら、血液系に特有の周波数によって血液系による反射を識別することにより、血液や外乱やノイズが合わさった赤色程度から、血液による赤色程度を後処理で抽出することができる。
(1)特許文献1の技術では、外乱ピークを特定することにより、消去法を用いて間接的に脈拍ピークを得ているのに対し、酸素飽和度測定装置1は、脈拍ピークを直接的に対象者11から検出している。
(2)特許文献1の技術では、脈拍ピークを得るのに、外乱ピークを検出するための皮膚を含まない基準関心領域を別途設けているのに対し、酸素飽和度測定装置1は、単一の領域である測定領域23によって各色成分の脈拍ピークを検出することができる。
(3)特許文献1の技術では、2つの複素平面上に極を配置して比較するという複雑なアルゴリズムが必要であるが(次数をどうするかなどの問題が予想される)、酸素飽和度測定装置1は、汎用のFFTを用いて脈拍ピークを簡単に計算できる。
以上のように、酸素飽和度測定装置1の用いる技術は、特許文献1の技術に比べて単純で直接的であるため、外乱に対して頑強であると共に、スマートフォンの計算能力でも十分に動作させることができる。
ここでは、R信号とG信号を用いて酸素飽和度を計算する場合について説明する。
式(1)は、酸素飽和度の計算に用いる比率Rを求める式である。
比率Rは、R信号のAC分(外乱を除いた脈波のもの)をR信号のDC分で除したものを分子とし、G信号のAC分(外乱を除いた脈波のもの)をG信号のDC分で除したものを分母とし、これによってR信号をG信号で正規化することにより定義される。
SpO2(酸素飽和度)は、係数αに比率Rを乗じたものに定数βを加算して求められる。α、βは、カメラの特性などに依存し、カメラなどに応じて実験により求められる。本実施形態では、α=-21.1、β=104.3であった。
R信号とB信号を用いて酸素飽和度を求めることもでき、この場合、本実施形態では、α=-19.2、β=109.7であった。
そこで、本実施形態のように、式(2)の較正式を用いて酸素飽和度を都度計算するように酸素飽和度測定装置1を構成してもよいし、あるいは、較正表を予め用意しておいてこれを参照して酸素飽和度を求めるように酸素飽和度測定装置1を構成してもよい。
このように、酸素飽和度測定装置1は、赤色成分のスペクトル値及び他の色成分のスペクトル値と、酸素飽和度との対応関係を用いて酸素飽和度を取得している。
図5は、酸素飽和度測定装置1が行う酸素飽和度測定処理を説明するためのフローチャートである。この処理ではパラメータの設定と初期化を行う。
以下の処理は、酸素飽和度測定装置1のCPU2が記憶部10(図1)に記憶してある酸素飽和度測定プログラムに従って行うものである。
CPU2は、酸素飽和度測定処理を開始すると、取得ウィンドウの長さをRAM4に記憶して設定する(ステップ5)。
取得ウィンドウの長さは、FFTを行って、酸素飽和度を計算する一区切りの期間であって、ここでは一例として15秒とする。即ち、15秒間の信号をフーリエ変換することにより脈拍ピークを探索して酸素飽和度を計算する。
測定頻度は、何れの期間ごとに酸素飽和度を測定するかであって、ここでは一例として1秒ごとに酸素飽和度を測定して表示することとする。
これによって、酸素飽和度測定装置1は、例えば、15秒間の動画データを周波数解析して酸素飽和度を計算する処理を1秒間間隔で行い、1秒ごとに酸素飽和度の値を出力して酸素飽和度の表示を更新する。
これは、対象者11の酸素飽和度を測定する時間であって、ここでは一例として1時間とする。
即ち、酸素飽和度測定装置1は、酸素飽和度の測定を開始すると、例えば、1時間測定を継続する。なお、1時間以内であっても、入力部6を操作して手動により測定を中止することもできる。
脈拍数レンジは、周波数領域において脈拍を検出する領域であって、ここでは一例として40~150BPMとした。
解析範囲を脈拍数レンジに限定することによって、脈拍のあり得ない領域での無駄な解析を省略することができ、これによって計算リソースの無駄遣いを防止することができる。
酸素飽和度測定装置1は、脈拍ピークのS/N比によって信号の信頼度を判定するが、S/N比基準は、その判定基準である。ここでは、一例として0とする。
S/N比が0ということは、脈拍の狭い周波数領域に含まれるパワーと、それ以外の広い周波数領域に含まれるパワーが等しいことを意味し、大きな脈拍ピークが得られる場合に信頼度が高いと判断される。
本実施形態では、当該基準値を満たすほどの大きな脈拍ピークが得られ、これによって信頼性の高い酸素飽和度の測定を行うことができる。なお、この基準値は一例であって、他の基準値を用いてもよい。
これは、式(2)のα、β(図4)であって、本実施形態では、R信号とG信号で酸素飽和度を測定することとし、R信号、G信号用のα、βを設定する。なお、R信号とB信号を用いる場合は、R信号とB信号用のαとβを設定する。
現在時間は、取得ウィンドウの長さ(15秒間)の時間の経過を判断するのに用いる。
次に、CPU2は、フレーム間隔をRAM4に記憶することにより設定する(ステップ50)。フレーム間隔は、例えば、ステップ45で記憶したフレームレートの逆数を計算して設定する。
CPU2は、カメラ8が対象者11の顔を動画撮影してRGB信号によって出力したフレーム画像をカメラ8から受信して、これをRAM4に記憶する(ステップ60)。
そして、CPU2は、フレーム画像の画像データのうち、測定領域23に該当する皮膚領域を抽出してRAM4に記憶し、以下の処理を測定領域23の画像データに限定する(ステップ65)。
このように、酸素飽和度測定装置1は、対象者を撮影するカメラを備え、更に、対象者の皮膚領域をRGB信号で規定されたRGB色空間によって撮影した動画を取得する動画取得手段を備えている。
このように、酸素飽和度測定装置1は、RGB色空間をYIQ信号で規定されるYIQ色空間に変換する変換手段を備えている。
なお、R信号とB信号を用いて酸素飽和度を測定する場合は、Gチャンネルの代わりにBチャンネルを用いる。以下、同様である。
そして、CPU2は、ステップ90で更新した現在時間が、ステップ5でRAM4に記憶した取得ウィンドウの長さ以上であるか否かを判断する(ステップ100)。
更新した現在時間が取得ウィンドウの長さ未満である場合(ステップ100;N)、CPU2は、ステップ60に戻って、次の撮影に係るフレーム画像の処理を行う。
更新した現在時間が取得ウィンドウの長さ以上である場合(ステップ100;Y)、CPU2は、取得ウィンドウの長さの間に、ステップ80(図6)で記憶した全てのR信号の平均値(Rmとする)を計算してRAM4に記憶する(ステップ110)。このRmは、式(1)のR信号(図4)のDC分に相当する。
同様に、CPU2は、取得ウィンドウの長さの間に、ステップ85(図6)で記憶した全てのG信号の平均値(Gmとする)を計算してRAM4に記憶する(ステップ115)。このGmは、式(1)のG信号(図4)のDC分に相当する。
同様に、CPU2は、R信号のトレンドを計算して、元のR信号から当該トレンドを減算することによりトレンド成分を除去し、当該減算後のR信号をRAM4に記憶し(ステップ125)、更に、G信号のトレンドを計算して、元のG信号から当該トレンドを減算することによりトレンド成分を除去し、当該減算後のG信号をRAM4に記憶する(ステップ130)。
以下では、これらトレンド成分を除いたQ、R、G信号を用いる。
この時間ベクトルは、FFTの計算に必要なものであって、後ほど、当該作成した時間ベクトルに対応するようにQ、R、G信号を補完して、これらの信号のスペクトルをFFTにて計算する。
以下、CPU2は、Q、R、G信号を処理するが、まず、処理対象をQ信号に限定し(ステップ150)、Q信号から処理する。
次に、CPU2は、ステップ120(図7)でRAM4に記憶したトレンド成分除去済みのQ信号について、後述のスペクトル計算処理を行う(ステップ155)。これによって、図3に示した外乱の影響を受けないQ信号34のようなスペクトルが得られる。
このように、酸素飽和度測定装置1は、動画取得手段で取得した動画の所定の色成分(ここではQ値によるQ成分)の変化に基づいて動画の撮影時における対象者の脈拍を取得する脈拍取得手段を備えている。
なお、CPU2は、信頼度が当該基準以上である場合に十分であると判断し、当該基準未満である場合に十分でないと判断する。
信頼度が十分でない場合(ステップ170;N)、CPU2は、表示部5に「弱い信号」と警告を表示し(ステップ260)、ノイズに対して信号が弱いため酸素飽和度の測定が行えない旨をユーザに表示して、処理を終了する。
信頼度が十分である場合(ステップ170;Y)、CPU2は、次の処理対象をステップ125(図7)でRAM4に記憶したトレンド成分除去済みのR信号に限定する(ステップ180)。
そして、CPU2は、当該R信号に対してスペクトル計算処理を行う(ステップ185)。これによって、外乱の影響を含めたR信号31(図3)のようなスペクトルが得られる。
そして、CPU2は、ステップ185で得たR信号のスペクトルにおいて、当該読み出した脈拍数に該当するピーク(脈拍ピーク)でのスペクトル値を取得してRAM4に記憶する(ステップ190)。このスペクトル値は、式(1)のR信号(図4)のAC分に相当する。
このように、酸素飽和度測定装置1は、脈拍に対応するピークのスペクトル値を取得するスペクトル値取得手段を備えている。
次に、CPU2は、ステップ190で得たスペクトル値の信頼度を信頼度計算処理にて計算し、その信頼度をRAM4に記憶する(ステップ200)。
このようにしてR信号の処理が完了すると、CPU2は、次の処理対象をステップ130(図7)でRAM4に記憶したトレンド成分除去済みのG信号に限定する(ステップ210)。
そして、CPU2は、当該G信号に対してスペクトル計算処理を行う(ステップ215)。これによって、外乱の影響を含めた、G信号32(図3)のようなスペクトルが得られる。
そして、CPU2は、ステップ215で得たG信号のスペクトルにおいて、当該読み出した脈拍数に該当するピーク(脈拍ピーク)でのスペクトル値を取得してRAM4に記憶する(ステップ220)。このスペクトル値は、式(1)のG信号(図4)のAC分に相当する。
次に、CPU2は、ステップ220で得たスペクトル値の信頼度を信頼度計算処理にて計算し、その信頼度をRAM4に記憶する(ステップ230)。
次に、CPU2は、ステップ200(図9)でRAM4に記憶したR信号の信頼度と、ステップ230(図10)でRAM4に記憶したG信号の信頼度を読み出し、これらをステップ25(図5)でRAM4に記憶したS/N比基準と比較することにより、両方とも信頼度が十分であるか否かを判断する(ステップ240)。
そして、少なくとも一方が十分でない場合(ステップ240;N)、CPU2は、「弱い信号」の警告を表示部5に表示して(ステップ260)処理を終了する。
このように、酸素飽和度測定装置1は、R信号による赤色成分のスペクトル値と、他の色成分(ここではG信号による緑色成分)のスペクトル値から酸素飽和度を取得する酸素飽和度取得手段を備えている。
酸素飽和度測定装置1は、以上の処理をステップ10(図5)でRAM4に記憶した測定頻度(例えば、1秒)ごとに行って、表示部5に表示する酸素飽和度を更新していく。
このように、酸素飽和度測定装置1は、酸素飽和度を出力する出力手段を備えている。
まず、CPU2は、ステップ135(図7)でRAM4に記憶した時間ベクトルを読み出す。
そして、当該読み出した時間ベクトルに対応するように信号(Q、R、G信号)を補間してRAM4に記憶する(ステップ270)。
また、当該スペクトル取得手段は、脈拍を検出する場合、Q信号で規定される所定の色成分(Q成分)のスペクトルを取得する。
CPU2は、ステップ155(図8)で得たスペクトルにおいて、Q信号の最大ピークを探索する(ステップ290)。
そして、CPU2は、探索した最大ピークの周波数を計算して、これを対象者11の脈拍による脈拍数と定義してRAM4に記憶する(ステップ295)。
このように、酸素飽和度測定装置1の有する脈拍取得手段は、所定の色成分(本実施形態ではQ成分)のスペクトルのピークの周波数に基づいて対象者11の脈拍を取得している。
ここでは、ステップ165(図8)でQ信号の信頼度計算処理について説明するが、ステップ200(図9)におけるR信号の信頼度計算処理とステップ230におけるG信号の信頼度計算処理も同様に行う。
マスクの値は、周波数領域に対応させた「1」と「0」の2値によって構成されており、±5[BPM]の範囲は「1」、範囲外は「0」に設定されている。
そして、CPU2は、ステップ330、335でRAM4に記憶したHR_M1とHR_M2から、これらを合わせた1つの信号マスク(HR_M)を作成してRAM4に記憶する(ステップ340)。
そして、CPU2は、ステップ155(図8)でRAM4に記憶したQ信号のスペクトルを正規化してRAM4に記憶する(ステップ350)。
正規化したQ信号のスペクトルをFFT_HRnとすると、これは、Q信号のスペクトルFFT_HRを、FFT_HRの最大値で除した値となる。
numは、正規化したスペクトルのうち、マスクした基本波と高調波のパワーに相当する値であって、FFT_HRn(i)の自乗にHR_M(i)を乗じてiで総和を取ったものである。iは、FFT_HRnとHR_Mの離散値を指定するパラメータである。これにより、正規化したスペクトルから、脈拍の基本波と高調波の部分のパワーを抜き出すことができる。
denは、正規化したスペクトルのうち、マスクした基本波と高調波以外の領域のパワーに相当する値であって、FFT_HRn(i)の自乗にHRn_M(i)を乗じてiで総和を取ったものである。これにより、正規化したスペクトルから、脈拍の基本波と高調波以外の部分のパワーを抜き出すことができる。
S/N比(HR_SNRとする)は、denに対するnumの比の常用対数を10倍とすることにより計算する。CPU2は、当該S/N比を信頼度として使用する。
なお、以上の実施形態は一例であって、各種の変形が可能である。
例えば、本実施形態では、R、G信号を用いて酸素飽和度を計算したが、フィルタによって赤色領域の光と緑色領域の光を分光した所定の帯域幅を有する光を用いることも可能である。
また、測定の前にカメラのカメラパラメータ(露出、ゲイン、ホワイトバランスなど)を規定値に設定しておくと、より精度を高めることができる。
加えて、本実施形態では、Q信号によって脈拍を検出したが、他の何らかの方法によって(例えば、対象者11に装着させたセンサから検出する)求めてもよい。
(1)非接触で生体センシングを行って外乱下でも脈拍推定を行うことができ、これによって血液中の酸素濃度をモニタリングすることができる。
(2)Q信号に基づいて脈拍数を推定して、その脈拍数を用いてR、G、B信号から酸素濃度を推定することができる。
(3)動き、または環境光の変化による外乱を脈波として誤認識されるのを防ぐことができるほか、酸素飽和度の検出に用いる測定領域23から脈拍も検出するため、酸素濃度の推定のロバスト(頑強)性が向上する。
(4)可視光照明(環境光など)下で、可視光カメラにより顔(額または頬領域)のRGB信号からYIQ色空間のQ信号を計算して、Q信号から脈拍数を推定することができる。
(5)R信号とG信号、または、R信号とB信号を正規化して、脈拍数の周波数で各スペクトルの高さを推定して、酸素濃度を推定することができる。
2 CPU
3 ROM
4 RAM
5 表示部
6 入力部
7 通信制御部
8 カメラ
10 記憶部
11 対象者
12 照明装置
21 フレーム画像
22 顔領域
23 測定領域
30 波形グラフ
31 R信号
32 G信号
33 B信号
34 Q信号
Claims (10)
- 対象者の皮膚領域を撮影した動画を取得する動画取得手段と、
前記動画の撮影時における前記対象者の脈拍を取得する脈拍取得手段と、
前記取得した動画の赤色成分と、他の色成分のスペクトルを取得するスペクトル取得手段と、
前記取得した赤色成分のスペクトルと、他の色成分のスペクトルのそれぞれについて、前記取得した脈拍に対応するピークのスペクトル値を取得するスペクトル値取得手段と、
前記取得した赤色成分のスペクトル値と、前記他の色成分のスペクトル値から酸素飽和度を取得する酸素飽和度取得手段と、
前記取得した酸素飽和度を出力する出力手段と、
を具備したことを特徴とする酸素飽和度測定装置。 - 前記脈拍取得手段は、前記取得した動画のYIQ色空間におけるQ成分のピークのスペクトル値から前記脈拍を取得し、
前記スペクトル値取得手段は、前記Q成分のピークのスペクトル値に対応する、前記赤色成分のピークのスペクトル値と、他の色成分のピークのスペクトル値を取得する、
ことを特徴とする請求項1に記載の酸素飽和度測定装置。 - 前記脈拍取得手段は、前記動画取得手段で取得した前記動画に基づいて前記脈拍を取得する、
ことを特徴とする請求項1に記載の酸素飽和度測定装置。 - 前記脈拍取得手段は、前記撮影した動画の所定の色成分の変化に基づいて、前記脈拍を取得する、
ことを特徴とする請求項3に記載の酸素飽和度測定装置。 - 前記スペクトル取得手段は、前記所定の色成分のスペクトルを取得し、
前記脈拍取得手段は、前記取得した所定の色成分のスペクトルのピークの周波数に基づいて前記脈拍を取得する、
ことを特徴とする請求項4に記載の酸素飽和度測定装置。 - 前記他の色成分は、緑色成分、又は青色成分である、
ことを特徴とする請求項1から請求項5のうちの1の請求項に記載の酸素飽和度測定装置。 - 前記脈拍を取得する前記所定の色成分はQ成分である、
ことを特徴とする請求項4、または請求項5に記載の酸素飽和度測定装置。 - 前記動画取得手段は、RGB色空間による動画を取得し、
前記RGB色空間をYIQ色空間に変換する変換手段を具備し、
前記スペクトル取得手段は、前記RGB色空間における前記赤色成分、前記他の色成分のスペクトルを取得し、更に、前記変換したYIQ色空間におけるQ成分のスペクトルを取得する、
ことを特徴とする請求項7に記載の酸素飽和度測定装置。 - 対象者を撮影するカメラと、
請求項7に記載の酸素飽和度測定装置と、
を具備したことを特徴とする携帯装置。 - 対象者の皮膚領域を撮影した動画を取得する動画取得機能と、
前記動画の撮影時における前記対象者の脈拍を取得する脈拍取得機能と、
前記取得した動画の赤色成分と、他の色成分のスペクトルを取得するスペクトル取得機能と、
前記取得した赤色成分のスペクトルと、他の色成分のスペクトルのそれぞれについて、前記取得した脈拍に対応するピークのスペクトル値を取得するスペクトル値取得機能と、
前記取得した赤色成分のスペクトル値と、前記他の色成分のスペクトル値から酸素飽和度を取得する酸素飽和度取得機能と、
前記取得した酸素飽和度を出力する出力機能と、
をコンピュータで実現する酸素飽和度測定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020182956A JP2022073152A (ja) | 2020-10-30 | 2020-10-30 | 酸素飽和度測定装置、携帯装置、及び、酸素飽和度測定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020182956A JP2022073152A (ja) | 2020-10-30 | 2020-10-30 | 酸素飽和度測定装置、携帯装置、及び、酸素飽和度測定プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022073152A true JP2022073152A (ja) | 2022-05-17 |
Family
ID=81603931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020182956A Pending JP2022073152A (ja) | 2020-10-30 | 2020-10-30 | 酸素飽和度測定装置、携帯装置、及び、酸素飽和度測定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022073152A (ja) |
-
2020
- 2020-10-30 JP JP2020182956A patent/JP2022073152A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3229676B1 (en) | Method and apparatus for physiological monitoring | |
JP6321014B2 (ja) | 動きロバストバイタル信号モニタリング | |
JP6371837B2 (ja) | 被験者のバイタルサインを取得するデバイスと方法 | |
JP6067706B2 (ja) | 歪が低減された信号検出 | |
US9185353B2 (en) | Removing environment factors from signals generated from video images captured for biomedical measurements | |
US9907474B2 (en) | Signal selection for obtaining a remote photoplethysmographic waveform | |
RU2589389C2 (ru) | Устройство и способ извлечения информации из характеристических сигналов | |
JP6697378B2 (ja) | 対象のバイタルサインを得るデバイス | |
CN105451646B (zh) | 用于提取生理信息的设备、系统和方法 | |
EP3057486B1 (en) | Automatic camera adjustment for remote photoplethysmography | |
US20190000391A1 (en) | Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject | |
JP6268182B2 (ja) | 生理学的情報を抽出する装置及び方法 | |
US11701026B2 (en) | Respiratory state estimating device, portable device, wearable device, medium, respiratory state estimating method and respiratory state estimator | |
JP2015100432A (ja) | 心拍数測定装置及び心拍数測定方法 | |
EP3308702B1 (en) | Pulse estimation device, and pulse estimation method | |
JP2018534968A (ja) | 生理情報を抽出するためのデバイス、システム、及び方法 | |
JP2013248387A (ja) | 呼吸速度推定のためのビデオプロセッシング | |
JP2015116368A (ja) | 脈拍計測装置、脈拍計測方法及び脈拍計測プログラム | |
JP2022073152A (ja) | 酸素飽和度測定装置、携帯装置、及び、酸素飽和度測定プログラム | |
Ruminski | The accuracy of pulse rate estimation from the sequence of face images | |
KR20220072714A (ko) | 생체 신호 측정 시스템 및 그것의 생체 신호 측정 방법 | |
ERDEM | Group Members |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210728 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230801 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20231020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240402 |