JP2023075384A - 脈波検出システム、脈波検出方法及びプログラム - Google Patents
脈波検出システム、脈波検出方法及びプログラム Download PDFInfo
- Publication number
- JP2023075384A JP2023075384A JP2021188254A JP2021188254A JP2023075384A JP 2023075384 A JP2023075384 A JP 2023075384A JP 2021188254 A JP2021188254 A JP 2021188254A JP 2021188254 A JP2021188254 A JP 2021188254A JP 2023075384 A JP2023075384 A JP 2023075384A
- Authority
- JP
- Japan
- Prior art keywords
- color space
- pulse wave
- image data
- unit
- space conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
【課題】非接触で精度の高い脈波の検出を、簡単かつ安価な構成で行う。【解決手段】対象者の顔を撮影した画像データを取得し、取得した画像データを、色相と彩度と明度との成分からなるHSV色空間の画像データに変換する第1色空間変換部101と、第1色空間変換部101により変換されたHSV色空間の画像データを、原色の色空間に変換する第2色空間変換部102と、第2色空間変換部102により変換された原色の色空間の画像データから、各原色の成分を独立で分析する独立成分分析部103と、独立成分分析部で分析された結果を周波数解析するフーリエ変換部104と、フーリエ変換部104でフーリエ変換した結果から脈波に相当する成分を取得し平均化する信号選択及び平均化部105とを備える。【選択図】図1
Description
本発明は、非接触で対象者の脈波を検出して、対象者の状態を検出できる脈波検出システム、脈波検出方法及びプログラムに関する。
近年、コロナ禍などの様々な環境の変化に伴って、勤務中などに対象者(勤務者)のストレス評価を行って、対象者の状態を把握する重要度が増している。ストレス評価を行う手法として様々なものがあるが、一つの手法として、心臓の脈動に連動した脈波を検出して行うものがある。
脈波は、例えば対象者の手首などに装着されるスマートウォッチのセンサで計測が可能である。そして、計測した脈波を用いてストレスを評価する手法としては、例えば脈波のピーク間隔のパワースペクトル密度から、ストレスが加わった状態か、あるいはリラックスした状態かを判別することができる。
また、脈波を用いてストレスを評価する別の手法として、脈波の振幅値を用いた手法がある。脈波の振幅値が増加するとき、ストレスが加わった状態であると評価でき、脈波の振幅値が減少するとき、リラックスした状態と評価できる。
また、脈波を用いてストレスを評価する別の手法として、脈波の振幅値を用いた手法がある。脈波の振幅値が増加するとき、ストレスが加わった状態であると評価でき、脈波の振幅値が減少するとき、リラックスした状態と評価できる。
特許文献1には、計測対象者を撮影して、撮影した画像から脈泊などの生体情報を取得して、ストレスレベルなどの状態を判断する技術が記載されている。
特許文献1に記載されているように、スマートウォッチなどの器具を装着することなく、非接触で脈波よりストレス評価を行うことは、従来から提案されている。しかしながら、画像から検出した脈波は精度が高くないため、必ずしもストレス評価が正確でないという問題があった。また、従来から脈波を検出する精度を高める研究は種々行われているが、高い精度で脈波を検出するためには、サンプリング周波数が高い、専用の高価な検出機器が必要であり、サンプリング周波数などがそれほど高くない一般的な機器を使って、精度の高い脈波の検出ができることが望まれていた。
本発明の目的は、簡単かつ安価な構成で、非接触で精度の高い脈波の検出が可能な脈波検出システム、脈波検出方法及びプログラムを提供することにある。
本発明の脈波検出システムは、対象者の顔を撮影した画像データを取得する画像入力部と、画像入力部が取得した画像データを、色相と彩度と明度との成分からなるHSV色空間の画像データに変換する第1色空間変換部と、第1色空間変換部により変換されたHSV色空間の画像データを、原色の色空間に変換する第2色空間変換部と、第2色空間変換部により変換された原色の色空間の画像データから、各原色の成分を独立で分析する独立成分分析部と、独立成分分析部で分析された結果を周波数解析するフーリエ変換部と、フーリエ変換部でフーリエ変換した結果から脈波に相当する成分を取得し平均化する信号選択及び平均化部と、を備える。
また、本発明の脈波検出方法は、対象者の顔を撮影した画像データに基づいて、情報処理装置が演算処理を行って、前記対象者の脈波を検出する脈波検出方法であり、情報処理装置が行う演算処理として、対象者の顔を撮影した画像データを取得する画像取得処理と、画像取得処理で得られた画像データを、色相と彩度と輝度との成分からなるHSV色空間の画像データに変換する第1色空間変換処理と、第1色空間変換処理により変換されたHSV色空間の画像データを、原色の色空間に変換する第2色空間変換処理と、第2色空間変換処理により変換された原色の色空間の画像データから、各原色の成分を独立で分析する独立成分分析処理と、独立成分分析処理で分析された結果を周波数解析するフーリエ変換処理と、フーリエ変換処理でフーリエ変換した結果から脈波に相当する成分を取得し平均化する信号選択及び平均化処理と、を含む。
また、本発明のプログラムは、上述した脈波検出方法の各処理を手順としてコンピュータに実行させるものである。
また、本発明のプログラムは、上述した脈波検出方法の各処理を手順としてコンピュータに実行させるものである。
本発明によれば、顔を撮影した画像から脈波を精度よく検出できるようになる。このため、例えば検出した脈波に基づいて、精度の高いストレス評価が可能になる。特に、画像データを取得するカメラとして、一般的なWEBカメラのような安価なカメラを使用した画像から、脈波を精度よく検出できるようになり、安価な構成で精度の高いストレス評価が可能になる。
以下、本発明の一実施の形態例(以下「本例」と称する)を、添付図面を参照して説明する。
[システム構成]
図1は、本例の脈波検出システム100が行う処理についての構成を示す機能ブロック図である。
本例の脈波検出システム100は、カメラ1で撮影された画像データを取り込む。画像データは、脈波を検出する対象者の顔を撮影したものである。カメラ1で撮影された画像データは一定のフレームレートの動画データであり、各フレームの画像データが、赤(R)、緑(G)、青(B)の原色の画素データで構成される。画像データのフレームレートは、例えば30フレーム/毎秒であり、各フレーム内の画素は、赤(R)、緑(G)又は青(B)の輝度値を所定の階調で示す。
図1は、本例の脈波検出システム100が行う処理についての構成を示す機能ブロック図である。
本例の脈波検出システム100は、カメラ1で撮影された画像データを取り込む。画像データは、脈波を検出する対象者の顔を撮影したものである。カメラ1で撮影された画像データは一定のフレームレートの動画データであり、各フレームの画像データが、赤(R)、緑(G)、青(B)の原色の画素データで構成される。画像データのフレームレートは、例えば30フレーム/毎秒であり、各フレーム内の画素は、赤(R)、緑(G)又は青(B)の輝度値を所定の階調で示す。
脈波検出システム100に取り込まれた画像データは、第1色空間変換部101に供給される。第1色空間変換部101は、原色の画像データを、色相(Hue)、彩度(Saturation・Chroma)、明度(Value・Brightness)の三つの成分からなるHSV色空間の画像データに変換する。HSV色空間の明度は、輝度とも称される。
ここで、第1色空間変換部101は、色相(Hue)について制限を行って、特定の色相帯を取り出す処理を行う。特定の色相帯を取り出す処理の具体例については後述する。
ここで、第1色空間変換部101は、色相(Hue)について制限を行って、特定の色相帯を取り出す処理を行う。特定の色相帯を取り出す処理の具体例については後述する。
第1色空間変換部101で変換されたHSV色空間の画像データは、第2色空間変換部102に供給される。第2色空間変換部102は、HSV色空間の画像データを、赤(R)、緑(G)、青(B)の原色の画像データに再変換する。
第2色空間変換部102で変換された画像データは、それぞれの成分ごとに独立成分分析部103に供給される。独立成分分析部103は、各色成分のフレームごとの変化の振幅を取得する分析処理を行う。この独立成分分析部103では、顔画像に含まれる肌の箇所などについて、心拍に相当する微細な振動状況の振幅値を得る処理が行われる。
第2色空間変換部102で変換された画像データは、それぞれの成分ごとに独立成分分析部103に供給される。独立成分分析部103は、各色成分のフレームごとの変化の振幅を取得する分析処理を行う。この独立成分分析部103では、顔画像に含まれる肌の箇所などについて、心拍に相当する微細な振動状況の振幅値を得る処理が行われる。
すなわち、独立成分分析部103は、フレームごとの各色成分の変化から、脈波が含まれる振幅の成分を取り出す分析処理を行う。
独立成分分析部103が各色成分を分析処理した振幅のデータは、フーリエ変換部104に供給される。
フーリエ変換部104は、振幅のデータを周波数解析する。フーリエ変換部104で周波数解析された結果は、信号選択及び平均化部105に供給される。
独立成分分析部103が各色成分を分析処理した振幅のデータは、フーリエ変換部104に供給される。
フーリエ変換部104は、振幅のデータを周波数解析する。フーリエ変換部104で周波数解析された結果は、信号選択及び平均化部105に供給される。
信号選択及び平均化部105は、周波数解析された結果に基づいて、脈波を検出するための信号を選択し、選択した信号の平均化を行う。信号選択及び平均化部105で選択及び平均化が行われた信号は、出力部106から脈波の検出値として出力される。
[脈波の検出状態の例]
図2は、本例の脈波検出システム100が対象者の脈波を検出する状態の例を示す。
図2に示すように、例えばパーソナルコンピュータで構成された脈波検出システム100に装着されたカメラ1で、そのパーソナルコンピュータを操作する対象者の顔を撮影して、脈波を検出する。脈波を検出した結果は、例えば対象者のストレス評価に使用することができる。なお、脈波検出システム100としてのパーソナルコンピュータは、例えば対象者が業務を行うコンピュータに、脈波検出を行うためのプログラムを実装することで、対象者自身が勤務中のストレス評価を行うことができる。
図2は、本例の脈波検出システム100が対象者の脈波を検出する状態の例を示す。
図2に示すように、例えばパーソナルコンピュータで構成された脈波検出システム100に装着されたカメラ1で、そのパーソナルコンピュータを操作する対象者の顔を撮影して、脈波を検出する。脈波を検出した結果は、例えば対象者のストレス評価に使用することができる。なお、脈波検出システム100としてのパーソナルコンピュータは、例えば対象者が業務を行うコンピュータに、脈波検出を行うためのプログラムを実装することで、対象者自身が勤務中のストレス評価を行うことができる。
[脈波検出システムのハードウェア構成例]
図3は、脈波検出システム100をコンピュータで構成した場合のハードウェア構成例を示す。
図3に示すコンピュータ(脈波検出システム100)は、バスにそれぞれ接続された、CPU(Central Processing Unit)100a、主記憶部100b、不揮発性ストレージ100c、ネットワークインタフェース100d、画像入力部100e、出力部100f、及び操作部100gを備える。
図3は、脈波検出システム100をコンピュータで構成した場合のハードウェア構成例を示す。
図3に示すコンピュータ(脈波検出システム100)は、バスにそれぞれ接続された、CPU(Central Processing Unit)100a、主記憶部100b、不揮発性ストレージ100c、ネットワークインタフェース100d、画像入力部100e、出力部100f、及び操作部100gを備える。
CPU100aは、脈波検出システム100が行う機能を実現するソフトウェアのプログラムコードを主記憶部100b又は不揮発性ストレージ100cから読み出して実行する演算処理部である。
CPU100aが主記憶部100b又は不揮発性ストレージ100cからプログラムコードを読み出して、主記憶部100bのワークエリアで演算処理を実行することで、主記憶部100bに様々な処理機能部が構成される。例えば主記憶部100bには、図1に示す第1色空間変換部101、第2色空間変換部102,独立成分分析部103、フーリエ変換部104、信号選択及び平均化部105が構成される。
CPU100aが主記憶部100b又は不揮発性ストレージ100cからプログラムコードを読み出して、主記憶部100bのワークエリアで演算処理を実行することで、主記憶部100bに様々な処理機能部が構成される。例えば主記憶部100bには、図1に示す第1色空間変換部101、第2色空間変換部102,独立成分分析部103、フーリエ変換部104、信号選択及び平均化部105が構成される。
不揮発性ストレージ100cには、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカードなどの大容量情報記憶媒体が用いられる。不揮発性ストレージ100cには、脈波検出システム100が持つ機能を実現するソフトウェアと、そのプログラムの実行で得られたデータが記憶される。
ネットワークインタフェース100dは、例えば、NIC(Network Interface Card)などが用いられ、他の装置とのデータの送受信が行われる。
画像入力部100eには、カメラ1からの画像データが入力され、画像取得処理が行われる。
出力部100fには、ディスプレイ2が接続され、脈波の検出結果、並びに脈波の検出に基づいたストレス評価などの評価結果を示す画像などのデータが出力部100fから出力され、これらの検出結果や評価結果がディスプレイ2に表示される。なお、検出結果や評価結果は、ネットワークインタフェース100dを介して外部の機器に伝送してもよい。
操作部100gは、このコンピュータの操作者が操作するキーボードやマウスなどの機器の操作を受け付ける。
画像入力部100eには、カメラ1からの画像データが入力され、画像取得処理が行われる。
出力部100fには、ディスプレイ2が接続され、脈波の検出結果、並びに脈波の検出に基づいたストレス評価などの評価結果を示す画像などのデータが出力部100fから出力され、これらの検出結果や評価結果がディスプレイ2に表示される。なお、検出結果や評価結果は、ネットワークインタフェース100dを介して外部の機器に伝送してもよい。
操作部100gは、このコンピュータの操作者が操作するキーボードやマウスなどの機器の操作を受け付ける。
[脈波検出処理の流れ]
図4は、本例の脈波検出システム100が、図1に示す構成にて行う脈波検出処理の流れを示すフローチャートである。
まず、脈波検出システム100の画像入力部100e(図3)が、カメラ1が撮影した対象者の顔画像データを取り込む(ステップS11)。
そして、第1色空間変換部101で、原色の画像データが、色相(Hue)、彩度(Saturation・Chroma)、明度(Value・Brightness)の三つの成分からなるHSV色空間の画像データに変換される第1色空間変換処理が行われる(ステップS12)。HSV色空間の画像データに変換する際には、色相(Hue)について制限を行って、特定の色相帯を取り出す処理が行われる。
図4は、本例の脈波検出システム100が、図1に示す構成にて行う脈波検出処理の流れを示すフローチャートである。
まず、脈波検出システム100の画像入力部100e(図3)が、カメラ1が撮影した対象者の顔画像データを取り込む(ステップS11)。
そして、第1色空間変換部101で、原色の画像データが、色相(Hue)、彩度(Saturation・Chroma)、明度(Value・Brightness)の三つの成分からなるHSV色空間の画像データに変換される第1色空間変換処理が行われる(ステップS12)。HSV色空間の画像データに変換する際には、色相(Hue)について制限を行って、特定の色相帯を取り出す処理が行われる。
その後、第1色空間変換部101で変換されたHSV色空間の画像データが、第2色空間変換部102で、赤(R)、緑(G)、青(B)の原色の画像データに再変換される処理(第2色空間変換処理)が行われる(ステップS13)。
さらに、第2色空間変換部102で変換された画像データが、それぞれの成分ごとに独立成分分析部103で色成分ごとに個別に分析される処理(独立成分分析処理)が行われ、フレームごとの画素ごとの変化から振幅データが得られる(ステップS14)。
さらに、第2色空間変換部102で変換された画像データが、それぞれの成分ごとに独立成分分析部103で色成分ごとに個別に分析される処理(独立成分分析処理)が行われ、フレームごとの画素ごとの変化から振幅データが得られる(ステップS14)。
そして、ステップS14の独立性分分析処理で得られた振幅のデータが、フーリエ変換部104によってフーリエ変換により周波数解析される(ステップS15)。このフーリエ変換部104で周波数解析された結果から、信号選択及び平均化部105で信号選択及び平均化が行われ、平均化された結果から脈波が検出されて、脈波の検出値が出力される(ステップS16)。このステップS16では、検出された脈波の状態に基づいて、対象者のストレス評価の判定も行われ、判定されたストレス評価結果が出力される。
[脈波検出を行うための各処理の説明]
図5は、心拍成分である脈波を模した原波形の例(a)と、従来から知られた脈波検出装置である光電脈波計で原波形をサンプリングして得られる波形(b)と、動画のデータのサンプリングレートで原波形をサンプリングして得られる波形(c)とを比較したものである。
図5(b)に示す光電脈波計の場合には、サンプリング周波数が例えば1000Hzであり、図5(a)に示す原波形のピーク形状がそのままデータとして取り込まれている。
図5は、心拍成分である脈波を模した原波形の例(a)と、従来から知られた脈波検出装置である光電脈波計で原波形をサンプリングして得られる波形(b)と、動画のデータのサンプリングレートで原波形をサンプリングして得られる波形(c)とを比較したものである。
図5(b)に示す光電脈波計の場合には、サンプリング周波数が例えば1000Hzであり、図5(a)に示す原波形のピーク形状がそのままデータとして取り込まれている。
一方、図5(c)に示す動画のデータから被写体の動きを検出した場合、サンプリング周波数がフレーム周波数に対応した30Hzであり、図5(a)に示す原波形のピークが潰れた状態である。すなわち、本例の脈波検出システム100が扱う動画のデータは、パソコンの機器で通常使用されるWebカメラ等のカメラによって取得された動画のデータであり、30Hzなどの比較的低い周波数の画像データであり、サンプリング周波数も対応して低くなる。
この図5(c)に示す動きの成分が、本例の脈波検出システム100で取り込まれる脈波の成分に相当し、そのままでは心拍成分である脈波を正しく検出することは困難である。このため、本例の脈波検出システム100では、図1に示す構成及び図4に示す処理の流れにより、適正な脈波検出ができるようにしている。以下、本例の脈波検出システム100における、各処理を順に説明する。
この図5(c)に示す動きの成分が、本例の脈波検出システム100で取り込まれる脈波の成分に相当し、そのままでは心拍成分である脈波を正しく検出することは困難である。このため、本例の脈波検出システム100では、図1に示す構成及び図4に示す処理の流れにより、適正な脈波検出ができるようにしている。以下、本例の脈波検出システム100における、各処理を順に説明する。
図6の上段は、第1色空間変換部101で変換されるHSV色空間の内の色相(Hue)を0°~360°の範囲で示している。なお、図6の上段のグラフは、本来は0°から360°までの色の変化を示すグラフであるが、図面上では白黒で表現しているため、色は示されていない。そこで、図6では、3原色R、G、Bに相当する色相の位置を図中に矢印で示している。
なお、0°~360°までの色相の内で、人間の肌の色(Skin color)は、0°から15°の範囲であることが判っている。但し、ここでの肌の色は、例えばコーカソイドおよびモンゴロイドを想定した場合であり、人種によって肌の色の範囲は、多少の相違が考えられる。
なお、0°~360°までの色相の内で、人間の肌の色(Skin color)は、0°から15°の範囲であることが判っている。但し、ここでの肌の色は、例えばコーカソイドおよびモンゴロイドを想定した場合であり、人種によって肌の色の範囲は、多少の相違が考えられる。
したがって、本例の第1色空間変換部101は、HSV色空間に変換された画像データについて、色相として、0°から15°まで等の人間の肌の色の成分を抽出する処理を行う。なお、色相から肌の色の成分を抽出する帯域は、あくまでも一つの例として示したものであり、この帯域に限定されない。
このように、第1色空間変換部101は、カメラからの画像データをHSV色空間に変換して、人間の肌の色に相当する成分を取り出した上で、第2色空間変換部102に供給する。第2色空間変換部102は、入力されたHSV色空間の信号をRGB色空間に再変換することで、再変換されたRGB色空間の画像データとして、血流の変化を捉えやすい画像データを得る。
このように、第1色空間変換部101は、カメラからの画像データをHSV色空間に変換して、人間の肌の色に相当する成分を取り出した上で、第2色空間変換部102に供給する。第2色空間変換部102は、入力されたHSV色空間の信号をRGB色空間に再変換することで、再変換されたRGB色空間の画像データとして、血流の変化を捉えやすい画像データを得る。
なお、図6の下段に示すように、HSV色空間の内の色相には肌情報が含まれる。一方、脈波検出に悪影響を及ぼす成分として、輝度に交流光源の成分が含まれる。したがって、輝度に含まれる交流光源の成分に相当する帯域は除去してもよい。
また、図6の下段に示すように、RGB色空間の内の赤(R)成分には、動脈情報が含まれ、緑(G)成分には毛細血管情報が含まれている。
また、図6の下段に示すように、RGB色空間の内の赤(R)成分には、動脈情報が含まれ、緑(G)成分には毛細血管情報が含まれている。
図7の左側は、独立成分分析部103で得られた波形の時間変化を示す。図7の左側に示すグラフの縦軸は振幅、横軸は時間である。この図7の左側に示す波形は、独立成分分析部103で得られた画像内の微細な動きを振幅で表したものである。ここで独立成分分析部103が扱う画像データは、既に説明したように人間の肌の色に相当する成分を取り出したものであり、顔の肌の部分の微細な動きを振幅で示したものに相当する。
図7の左側に示す振幅波形は、フーリエ変換部104でフーリエ変換され、周波数解析が行われる。ここで、通常のフーリエ変換では、フーリエ変換処理(いわゆるFFT処理)を行うデータ区間として、図7の左側に示すように、区間d1,d2,d3,・・・と一定時間ごとにデータを区切って、FFT処理を行うデータを順に得る。
これに対して、本例のフーリエ変換部104では、図7の左側に示すように、一部がオーバーラップした区間D11,D12,D13,・・・を設定して、FFT処理が行われ、区間ごとの周波数解析結果のデータが順に得られる。ここでは、50%ずつオーバーラップするようにして、FFT処理区間D11,D12,D13を設定しているが、50%は一例である。
これに対して、本例のフーリエ変換部104では、図7の左側に示すように、一部がオーバーラップした区間D11,D12,D13,・・・を設定して、FFT処理が行われ、区間ごとの周波数解析結果のデータが順に得られる。ここでは、50%ずつオーバーラップするようにして、FFT処理区間D11,D12,D13を設定しているが、50%は一例である。
そして、信号選択及び平均化部105は、各区間D11,D12,D13,・・・について周波数解析した結果から、心拍成分が適切に取得できた信号を選択し、その選択した周波数解析を一定区間ごとに平均化する処理を行う。
信号選択及び平均化部105で心拍成分が適切に取得できた信号を選択する際には、心拍成分が含まれる周波数である1Hzから2Hzまでの帯域で、第1ピークが検出された周波数解析結果が選択され、その選択した周波数解析結果の第1ピークの振幅値が得られる。
信号選択及び平均化部105で心拍成分が適切に取得できた信号を選択する際には、心拍成分が含まれる周波数である1Hzから2Hzまでの帯域で、第1ピークが検出された周波数解析結果が選択され、その選択した周波数解析結果の第1ピークの振幅値が得られる。
すなわち、図7の右側の上段に示すように、信号選択及び平均化部105は、ある区間の周波数解析結果として、1Hzから2Hzまでの帯域Da内に、第1ピークP1があるものを選択し、この第1ピークP1の振幅値(縦軸)を得る。これに対して、図7の右側の下段に示すように、信号選択及び平均化部105は、ある区間の周波数解析結果として、1Hzから2Hzまでの帯域Db外の周波数位置に第1ピークP2があるものは、選択しない。なお、本例の脈波検出処理では、第1ピークP1の振幅値を使用し、その第1ピークP2の周波数位置の情報は、脈波の検出には使用されない。
そして、信号選択及び平均化部105は、このようにして選択された周波数解析結果の振幅値を集めて、平均化処理を行う。例えば、図7の左側に示すように、信号選択及び平均化部105は、一定時間A1ごとに選択された周波数解析結果を集めて、平均化処理を行う。一定時間A1は、各区間D11,D12,D13,・・・の時間よりも十分に長い時間とする。
このように、信号選択及び平均化部105で得られた振幅値の平均は、出力部106から出力され、脈波検出システム100に接続されたディスプレイ2などに表示される。表示された振幅値の平均は、脈波と相関のある値になっており、ディスプレイ2には、検出された脈波が表示されることになる。
このように、信号選択及び平均化部105で得られた振幅値の平均は、出力部106から出力され、脈波検出システム100に接続されたディスプレイ2などに表示される。表示された振幅値の平均は、脈波と相関のある値になっており、ディスプレイ2には、検出された脈波が表示されることになる。
[色相として制限する帯域と脈波(心拍)との相関の例]
既に説明したように、第1色空間変換部101で変換されたHSV色空間の画像データは、色相として、人間の肌の色の成分を抽出する処理が行われる。
上述した説明では、人間の肌の色の成分を抽出する処理として、色相の0°から15°を取り出すようにしたが、より帯域を狭くした例を図8に示す。図8(a),(b),(c)の上段の画像は、顔から肌の色の成分を取り出した領域を示し、下段の表は検出した脈波と、実際の心拍数との類似度を示す。図8(a),(b),(c)の上段の画像において、抽出対象となる該当部分は、顔が見えているところ、すなわち、画像中の「黒くない部分」であり、黒い箇所は帯域外で抽出しない箇所になります。下段の表に示す類似度は1に近い値のとき、心拍数への類似度が高いことを示す。
既に説明したように、第1色空間変換部101で変換されたHSV色空間の画像データは、色相として、人間の肌の色の成分を抽出する処理が行われる。
上述した説明では、人間の肌の色の成分を抽出する処理として、色相の0°から15°を取り出すようにしたが、より帯域を狭くした例を図8に示す。図8(a),(b),(c)の上段の画像は、顔から肌の色の成分を取り出した領域を示し、下段の表は検出した脈波と、実際の心拍数との類似度を示す。図8(a),(b),(c)の上段の画像において、抽出対象となる該当部分は、顔が見えているところ、すなわち、画像中の「黒くない部分」であり、黒い箇所は帯域外で抽出しない箇所になります。下段の表に示す類似度は1に近い値のとき、心拍数への類似度が高いことを示す。
図8(a)は、色相の4°から14°の帯域を取り出して、脈波に相当する心拍を検出した例を示す。この例では、図8(a)の上段の画像から判るように、顔のかなりの領域を使って検出している。色相の4°から14°の帯域を使った場合、6人の被験者のいずれも類似度が高く、良好に脈波を検出できることが判る。
図8(b)は、色相の5°から9°の帯域を取り出して、脈波に相当する心拍を検出した例を示す。この例では、図8(a)の上段の画像と、図8(b)の上段の画像を比較すると判るように、使用する領域が若干狭くなっており、耳朶の領域を重点的に取り出すことになる。色相の5°から9°の帯域を使った場合、一人の被験者(被験者4)のみ若干類似度が低下しているが、他の5人の被験者は類似度が高く、この帯域の場合でも脈波を検出できることが判る。
図8(c)は、色相の2°から5°の帯域を取り出して、脈波に相当する心拍を検出した例を示す。この例では、図8(c)の上段の画像から判るように、顔の頬を中心とした比較的狭い領域を使って検出する状態になる。色相の5°から9°の帯域を使った場合、6人の被験者のいずれも類似度が高く、良好に脈波を検出できることが判る。
なお、参考までに示すと、従来方式により、画像から脈波を検出した場合の、検出した脈波と実際に計測した心拍との相関を示す類似度は、0.70程度であり、図8に示す類似度の平均値0.87~0.88は、従来よりも非常に高い相関が得られることが判る。
なお、参考までに示すと、従来方式により、画像から脈波を検出した場合の、検出した脈波と実際に計測した心拍との相関を示す類似度は、0.70程度であり、図8に示す類似度の平均値0.87~0.88は、従来よりも非常に高い相関が得られることが判る。
このように、本例の脈波検出システム100によると、対象者の顔画像を取得して処理することで、非常に精度の高い脈波の検出が可能になる。特に、対象者の顔画像を撮影するカメラとして、パソコンなどに接続可能な一般的なフレームレートのWEBカメラが使用でき、簡単かつ安価な構成で、精度の高い脈波の検出が可能になる。
そして、検出した脈波の変化状態から、対象者のストレス評価を適切に行うことが可能になる。例えば脈波が高い状態が続くとき、ストレスが加わっている状態と評価することができる。あるいは、脈波が低く変化する状態が検出されたとき、ストレスが少なくなっている状態と評価することができる。検出した脈波からストレスを評価する具体的な例については、既に知られた様々な手法が適用可能である。
そして、検出した脈波の変化状態から、対象者のストレス評価を適切に行うことが可能になる。例えば脈波が高い状態が続くとき、ストレスが加わっている状態と評価することができる。あるいは、脈波が低く変化する状態が検出されたとき、ストレスが少なくなっている状態と評価することができる。検出した脈波からストレスを評価する具体的な例については、既に知られた様々な手法が適用可能である。
なお、図1に示す脈波検出システム100は、脈波を検出するシステムとして構成した例を示すが、本例の脈波検出システム100は、例えば図3に示すコンピュータで構成することが可能である。このため、本例の脈波検出システム100として作動させるためのプログラムを、コンピュータやスマートフォンなどの情報処理装置に組み込むことで、コンピュータやスマートフォンなどでの各種処理の実行と並行して、脈波を検出する処理を行うことができる。その結果、対象者の脈波の検出、ならびにその脈波の検出結果の評価によるストレス評価を随時行うことが可能になる。本例の脈波検出システム100として作動させるためのプログラムは、図4のフローチャートで説明した各処理を手順として実行することで、作成できる。また、このプログラムは、各種メモリ、ICカード、SDカード、光ディスク等の記録媒体に置くことができる。
1…カメラ、2…ディスプレイ、4…被験者、100…脈波検出システム、100a…CPU、100b…主記憶部、100c…不揮発性ストレージ、100d…ネットワークインタフェース、100e…画像入力部、100f…出力部、100g…操作部、101…第1色空間変換部、102…第2色空間変換部、103…独立成分分析部、104…フーリエ変換部、105…平均化部、106…出力部
Claims (5)
- 対象者の顔を撮影した画像データを取得して、取得した画像データを、色相と彩度と明度との成分からなるHSV色空間の画像データに変換する第1色空間変換部と、
前記第1色空間変換部により変換されたHSV色空間の画像データを、原色の色空間に変換する第2色空間変換部と、
前記第2色空間変換部により変換された原色の色空間の画像データから、各原色の成分を独立で分析する独立成分分析部と、
前記独立成分分析部で分析された結果を周波数解析するフーリエ変換部と、
前記フーリエ変換部でフーリエ変換した結果から脈波に相当する成分を取得し平均化する信号選択及び平均化部と、を備える
脈波検出システム。 - 前記第2色空間変換部は、HSV色空間の画像データの内で、色相については肌色のデータを抽出して、原色の色空間に変換する
請求項1に記載の脈波検出システム。 - 前記フーリエ変換部が周波数解析する1単位の区間は、前後の区間と一部がオーバーラップした区間である
請求項1又は2に記載の脈波検出システム。 - 対象者の顔を撮影した画像データに基づいて、情報処理装置が演算処理を行って、前記対象者の脈波を検出する脈波検出方法であって、
前記情報処理装置が行う演算処理として、
前記対象者の顔を撮影した画像データを、色相と彩度と輝度との成分からなるHSV色空間の画像データに変換する第1色空間変換処理と、
前記第1色空間変換処理により変換されたHSV色空間の画像データを、原色の色空間に変換する第2色空間変換処理と、
前記第2色空間変換処理により変換された原色の色空間の画像データから、各原色の成分を独立で分析する独立成分分析処理と、
前記独立成分分析処理で分析された結果を周波数解析するフーリエ変換処理と、
前記フーリエ変換処理でフーリエ変換した結果から脈波に相当する成分を取得し平均化する信号選択及び平均化処理と、を含む
脈波検出方法。 - 対象者の顔を撮影した画像データに基づいて、前記対象者の脈波を検出するプログラムであって、
前記対象者の顔を撮影した画像データを、色相と彩度と輝度との成分からなるHSV色空間の画像データに変換する第1色空間変換手順と、
前記第1色空間変換手順により変換されたHSV色空間の画像データを、原色の色空間に変換する第2色空間変換手順と、
前記第2色空間変換手順により変換された原色の色空間の画像データから、各原色の成分を独立で分析する独立成分分析手順と、
前記独立成分分析手順で分析された結果を周波数解析するフーリエ変換手順と、
前記フーリエ変換手順でフーリエ変換した結果から脈波に相当する成分を取得し平均化する信号選択及び平均化手順と、
をコンピュータに実装して実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021188254A JP2023075384A (ja) | 2021-11-19 | 2021-11-19 | 脈波検出システム、脈波検出方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021188254A JP2023075384A (ja) | 2021-11-19 | 2021-11-19 | 脈波検出システム、脈波検出方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023075384A true JP2023075384A (ja) | 2023-05-31 |
Family
ID=86542503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021188254A Pending JP2023075384A (ja) | 2021-11-19 | 2021-11-19 | 脈波検出システム、脈波検出方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023075384A (ja) |
-
2021
- 2021-11-19 JP JP2021188254A patent/JP2023075384A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10383532B2 (en) | Method and apparatus for measuring heart rate | |
EP3308702B1 (en) | Pulse estimation device, and pulse estimation method | |
Tasli et al. | Remote PPG based vital sign measurement using adaptive facial regions | |
JP6545658B2 (ja) | ビリルビンレベルを推定すること | |
JPWO2015121949A1 (ja) | 信号処理装置、信号処理方法及び信号処理プログラム | |
Hernandez-Ortega et al. | A comparative evaluation of heart rate estimation methods using face videos | |
CN111938622A (zh) | 心率检测方法、装置及系统、可读存储介质 | |
CN110036407B (zh) | 用于基于人类巩膜和瞳孔校正数字图像颜色的系统和方法 | |
JP2018068720A (ja) | 脈拍検出装置及び脈拍検出方法 | |
KR102468654B1 (ko) | 보정된 이미지 기반 심박 추정 방법 및 그 장치 | |
JP2020537552A (ja) | 複数のセンサを伴うダイレクトフォトプレチスモグラフィ(ppg)のためのコンピュータ実装方法及びシステム | |
JP6058240B1 (ja) | 画像解析装置、画像解析システム、画像解析装置の作動方法 | |
US20210121083A1 (en) | Model setting device, contactless blood pressure measurement device, model setting method, and recording medium | |
WO2020003910A1 (ja) | 心拍検出装置、心拍検出方法及びプログラム | |
Panigrahi et al. | Non-contact HR extraction from different color spaces using RGB camera | |
WO2017085894A1 (ja) | 脈波分析装置、脈波分析方法、および脈波分析プログラム | |
Oviyaa et al. | Real time tracking of heart rate from facial video using webcam | |
JP2023075384A (ja) | 脈波検出システム、脈波検出方法及びプログラム | |
JP2021023490A (ja) | 生体情報検出装置 | |
JP2021045375A (ja) | 生体情報検出装置及び生体情報検出方法 | |
WO2017154477A1 (ja) | 脈拍推定装置、脈拍推定システムおよび脈拍推定方法 | |
JP2023032776A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN112597949A (zh) | 一种基于视频的心理压力测量方法及其系统 | |
WO2017104056A1 (ja) | 生体情報計測装置、生体情報計測方法および生体情報計測プログラム | |
JP3718156B2 (ja) | 眼球動特性の測定装置 |