JP2015198789A - 情報処理装置、脈波計測プログラムおよび脈波計測方法 - Google Patents

情報処理装置、脈波計測プログラムおよび脈波計測方法 Download PDF

Info

Publication number
JP2015198789A
JP2015198789A JP2014079751A JP2014079751A JP2015198789A JP 2015198789 A JP2015198789 A JP 2015198789A JP 2014079751 A JP2014079751 A JP 2014079751A JP 2014079751 A JP2014079751 A JP 2014079751A JP 2015198789 A JP2015198789 A JP 2015198789A
Authority
JP
Japan
Prior art keywords
pulse wave
region
measurement
determination unit
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014079751A
Other languages
English (en)
Other versions
JP6417697B2 (ja
Inventor
利昭 舟久保
Toshiaki Funakubo
利昭 舟久保
明大 猪又
Akita Inomata
明大 猪又
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014079751A priority Critical patent/JP6417697B2/ja
Publication of JP2015198789A publication Critical patent/JP2015198789A/ja
Application granted granted Critical
Publication of JP6417697B2 publication Critical patent/JP6417697B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】脈波伝搬速度を簡易に計測する。【解決手段】情報処理装置1は、生体の表面が撮像された画像を取得し、取得された画像から所定の特徴点を認識し、認識した特徴点の位置に対し、予め定められた位置関係となる第1の領域と第2の領域とを決定する計測領域決定部34と、決定された第1の領域に関する画素の輝度変化から第1の領域に関する脈波信号を検出し、決定された第2の領域に関する画素の輝度変化から第2の領域に関する脈波信号を検出し、第1の領域に関する脈波信号と第2の領域に関する脈波信号との遅延時間を算出する脈波時差算出部37と、を有する。【選択図】図1

Description

本発明は、情報処理装置等に関する。
脈波伝搬速度(PWV:Pulse Wave Velocity)は、動脈における脈波の伝搬速度を示すものであり、動脈硬化等の心血管疾患の発見に役立つことが知られている。この脈波伝搬速度を測定する方法として、例えば、血管パターンにおける心拍同期信号の検出位置を2個所決定し、両検出位置間の距離と心拍同期信号の発生時間に基づいて脈波伝搬速度を測定する装置が知られている。かかる装置では、生体を拘束(静止)したうえで、心拍同期信号の検出位置を2個所決定して脈波伝搬速度を測定する。
また、脈波において、計測領域の輝度の時間変化によって当該計測領域の脈波信号を検出する技術も知られている。
また、電極を生体に装着して、脈波伝搬速度を測定する技術も知られている。例えば、心電図法が挙げられる。
しかしながら、上記の従来技術では、脈波伝搬速度を簡易に計測できないという問題がある。
すなわち、従来の装置では、生体を拘束したうえで、脈波伝搬速度を測定するので、簡易に脈波伝搬速度を測定できない。また、心電図法では、生体に装着して、脈波伝搬速度を測定するので、簡易に脈波伝搬速度を測定できない。
1つの側面では、脈波伝搬速度を簡易に計測できる情報処理装置、脈波計測プログラムおよび脈波計測方法を提供することを目的とする。
一態様の情報処理装置は、生体の表面が撮像された画像を取得する取得部と、前記取得部によって取得された画像から所定の特徴点を認識し、認識した特徴点の位置に対し、予め定められた位置関係となる第1の領域と第2の領域とを決定する決定部と、前記決定部によって決定された前記第1の領域に関する画素の輝度変化から前記第1の領域に関する脈波信号を検出し、前記決定部によって決定された前記第2の領域に関する画素の輝度変化から前記第2の領域に関する脈波信号を検出し、前記第1の領域に関する脈波信号と前記第2の領域に関する脈波信号との遅延時間を算出する算出部と、を有する。
一実施形態によれば、脈波伝搬速度を簡易に計測できる。
図1は、実施例1に係る情報処理装置の構成を示す機能ブロック図である。 図2は、実施例1に係る計測領域決定を説明する図である。 図3は、計測領域の脈波信号の一例を示す図である。 図4は、実施例1に係る脈波時差算出を説明する図である。 図5Aは、実施例1に係る脈波計測処理の手順の一例を示すフローチャートである。 図5Bは、出力表示処理の手順の一例を示すフローチャートである。 図6は、実施例2に係る情報処理装置の構成を示す機能ブロック図である。 図7は、実施例2に係る計測領域決定を説明する図である。 図8は、実施例2に係る脈波計測処理の手順の一例を示すフローチャートである。 図9は、実施例3に係る計測領域決定を説明する図である。 図10Aは、実施例3に係る脈波計測処理の手順の一例を示すフローチャートである。 図10Bは、実施例3に係る脈波計測処理の手順の一例を示すフローチャートである。 図10Cは、実施例3に係る脈波計測処理の手順の一例を示すフローチャートである。 図11は、脈波計測プログラムを実行するコンピュータの一例について説明するための図である。
以下に、本願の開示する情報処理装置、脈波計測プログラムおよび脈波計測方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
[情報処理装置の構成]
図1は、実施例1に係る情報処理装置の構成を示す機能ブロック図である。図1に示す情報処理装置1は、太陽光や室内光等の環境光の下で生体に計測器具を接触させずに、被験者が撮影された画像を用いて被験者の脈波を計測する脈波計測サービスを提供する装置である。ここで言う「脈波」とは、血液の体積の変動、すなわち血流の増減を表す指標を指し、いわゆる心拍数や心拍波形等が含まれる。また、ここで言う脈波計測とは、動脈における脈波の伝搬時間を示す脈波伝搬時間(PTT:Pulse Transmission Time)や伝搬速度を示す脈波伝搬速度(PWV:Pulse Wave Velocity)の計測が含まれる。
かかる情報処理装置1の一態様としては、パッケージソフトウェアやオンラインソフトウェアとして脈波計測サービスを提供する脈波計測プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、情報処理装置1は、上記の脈波計測サービスを提供するWebサーバとして実装することとしてもよいし、アウトソーシングによって上記の脈波計測サービスを提供するクラウドとして実装することとしてもかまわない。
情報処理装置1は、図1に示すように、撮像機能部10と、記憶部20と、制御部30とを有する。撮像機能部10は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を用いた撮像装置であり、一例として、カメラが挙げられる。例えば、撮像機能部10には、R(red)、G(green)、B(blue)等3種以上の受光素子を搭載することができる。撮像機能部10は、被験者の顔等の生体の表面を撮像し、撮像した画像を制御部30へ出力する。なお、かかる撮像機能部10の実装例としては、情報処理装置1が、撮像機能部10を搭載している場合を例示したが、これに限定されず、撮像機能部10を外部端子を介して接続することとしても良い。また、ネットワーク経由または記憶デバイス経由で画像を取得できる場合には、必ずしも撮像機能部10を有する必要はない。
記憶部20は、例えばフラッシュメモリ(Flash Memory)やFRAM(登録商標)(Ferroelectric Random Access Memory)等の不揮発性の半導体メモリ素子等の記憶装置に対応する。記憶部20は、生体特徴記憶部21と、計測領域情報記憶部22と、脈波伝搬距離記憶部23とを有する。
生体特徴記憶部21は、被験者の生体の表面が撮像された画像から検出する特徴物の名称をあらかじめ記憶する。例えば、特徴物には、例えば、生体の表面の中で明暗差のある部分であり、顔では、目、鼻、口等が挙げられる。
計測領域情報記憶部22は、計測領域の決定に用いられる計測領域情報をあらかじめ記憶する。計測領域は、脈波計測で使用される。計測領域として、特徴物と異なる特徴的でない領域が採用されることが望ましい。計測領域として特徴的な領域が採用されると、脈波の計測の精度が落ちるからである。一例として、計測領域として目の近傍領域が採用されると、瞬きによる輝度変化が大きなノイズとなり、後述する血流依存の輝度変化を検出できなかったり、血流の影響が少ない黒目によって血流依存の輝度変化量が小さくなってしまうからである。別の例として、計測領域として鼻の領域が採用されると、鼻の凹凸によって起こる領域内の輝度差が、顔の移動等によって生じる計測領域の決定誤差によって、時間領域の輝度変化として大きく表れてしまう為、血流依存の輝度変化を正確に検出できないからである。計測領域情報には、例えば、計測領域となる領域の特徴物に対する相対的な、領域中心座標および領域サイズが含まれる。一例として、領域中心座標は、両目中心を特徴物とする場合、両目から等距離直線上の座標であって、両目中点から両目間距離の1/2の距離にある座標であるとする。領域サイズは、両目間距離の1/4の長さを半径とする円であるとする。別の例として、領域中心座標は、右目中心の座標を中心に両目間の線分から±45の角度上の座標であって、両目間距離の1/√2の距離にある座標であるとする。領域サイズは、両目間距離の1/7の長さを半径とする円であるとする。すなわち、計測領域情報とは、特徴物との関係で定められる計測領域の位置関係の情報を意味する。なお、後述する計測領域決定部34によって計測領域情報と特徴点座標から2つの計測領域が決定される。後述する脈波時差算出部37によって、決定された2つの計測領域に関する画素の輝度変化から脈波時差が計測される。
脈波伝搬距離記憶部23は、脈波が伝搬する距離(脈波伝搬距離)をあらかじめ記憶する。脈波伝搬距離は、心臓から2つの計測領域それぞれ迄の血管長の差であり、2つの計測領域に応じて定められる。但し、脈波伝搬距離は、2つの計測領域間で正確な距離であることが望ましいが、必ずしも正確な距離でなくても良い。脈波伝搬距離は、2つの計測領域間に伝搬する脈波の距離として適切な値であれば良い。なお、脈波伝搬距離は、後述するPWV算出部38によってPWVを算出する際に用いられる。
制御部30は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。そして、制御部30は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路の電子回路に対応する。または、制御部30は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路に対応する。さらに、制御部30は、入力部31と、画像バッファ32と、特徴点座標決定部33と、計測領域決定部34と、輝度算出部35と、脈波バッファ36と、脈波時差算出部37と、PWV算出部38と、出力部39とを有する。なお、計測領域決定部34は、決定部の一例である。脈波時差算出部37は、算出部の一例である。
入力部31は、脈波計測に用いられる生体の特徴物の名称を入力し、生体特徴記憶部21に記録する。また、入力部31は、計測領域情報を入力し、計測領域情報記憶部22に記録する。また、入力部31は、2つの計測領域に応じた脈波伝搬距離を入力し、脈波伝搬距離記憶部23に記録する。例えば、入力部31は、情報処理装置1に接続されるキーボード等の入力装置から各種情報を入力する。
画像バッファ32は、画像を蓄積するバッファである。例えば、画像バッファ32には、撮像機能部10によって被験者の生体の表面が撮像されたフレーム画像が登録される。一例として、画像バッファ32には、所定のフレーム数にわたってフレーム画像を形成するK個の画素1〜画素Kの輝度f(n)〜f(n)が保存される。ここでいう「n」は、フレーム画像のフレーム番号を指す。なお、画像バッファ32は、人から計測され得る最長の心拍周期よりも大きな期間にわたってフレーム画像を蓄積可能なバッファサイズNを持つものとする。なお、撮像機能部10よりフレーム画像が逐次入力される場合は、バッファサイズNを1としても良い。
特徴点座標決定部33は、画像バッファ32に蓄積されたフレーム画像から特徴点の座標を決定する。例えば、特徴点座標決定部33は、画像バッファ32に蓄積されたフレーム画像から生体特徴記憶部21に記憶された特徴物の名称に対応する特徴物を認識する。そして、特徴点座標決定部33は、認識した特徴物の中心に位置する特徴点の座標を決定する。なお、特徴点座標決定部33は、画像バッファ32に蓄積されたフレーム画像毎に実施される。
計測領域決定部34は、特徴点座標決定部33によって決定された特徴点の座標に対し、予め定められた位置関係となる2つの計測領域を決定する。例えば、計測領域決定部34は、特徴点座標決定部33によって決定された特徴点の座標に対し、計測領域情報に定められた位置関係にある2つの計測領域を決定する。計測領域情報は、計測領域情報記憶部22に記憶されている。なお、計測領域決定部34は、画像バッファ32に蓄積されたフレーム画像毎に実施される。
ここで、計測領域決定部34による計測領域決定について、図2を参照して説明する。図2は、実施例1に係る計測領域決定を説明する図である。図2右図は、図2左図で表した被験者について、撮像機能部10から距離が変化した場合を示している。なお、図2では、計測領域情報に含まれる領域中心座標を、右目の座標を中心に両目間の線分から±45の角度上の座標であって、両目間距離の1/√2の距離にある座標であるとする。計測領域情報に含まれる領域サイズを、両目間距離の1/7の長さを半径とする円であるとする。そして、特徴点Aが右目の中心、特徴点Bが左目の中心である。
図2左図に示すように、計測領域決定部34は、特徴点座標決定部33によって決定された特徴点A,Bの座標に対し、計測領域情報に定められた位置関係にある2つの計測領域を決定する。ここでは、計測領域決定部34は、特徴点Aの座標に特徴点AB間の線分から+45度にある座標であって特徴点AB間の距離の1/√2の距離にある座標を計測領域1の領域中心座標として決定する。計測領域決定部34は、特徴点AB間の距離の1/7の長さを半径とする円を計測領域1の領域サイズとして決定する。同様に、計測領域決定部34は、特徴点Aの座標に特徴点AB間の線分から−45度にある座標であって特徴点AB間の距離の1/√2の距離にある座標を計測領域2の領域中心座標として決定する。計測領域決定部34は、特徴点AB間の距離の1/7の長さを半径とする円を計測領域2の領域サイズとして決定する。このようにして、計測領域1および計測領域2が決定される。
図2右図に示すように、撮像機能部10と被験者との距離が変化しても、計測領域決定部34は、変化前と同じ計測領域を決定する。すなわち、計測領域決定部34は、変化前と同じ特徴点A,Bにおける変化後の座標に対し、計測領域情報に定められた位置関係にある2つの計測領域を決定するので、変化前と同じ計測領域1,2を追従できる。
図1に戻って、輝度算出部35は、画像バッファ32に蓄積されたフレーム画像のうち計測領域の画像部分における画素の輝度を算出する。例えば、輝度算出部35は、画像バッファ32に蓄積されたフレーム画像のうち計測領域決定部34によって決定された計測領域の画像部分に対応する複数の画素の輝度を検出する。そして、輝度算出部35は、検出した複数の画素の輝度の平均を、計測領域の輝度として算出する。輝度算出部35は、計測領域決定部34によって決定された計測領域毎に、輝度を算出する。そして、輝度算出部35は、算出された計測領域毎の輝度を脈波バッファ36へ格納する。なお、輝度算出部35は、画像バッファ32に蓄積されたフレーム画像毎に実施される。
脈波バッファ36は、脈波信号を蓄積するバッファである。例えば、脈波バッファ36には、輝度算出部35によって算出された計測領域毎の輝度が登録される。一例として、脈波バッファ36には、所定のフレーム数にわたって2つの計測領域の輝度f(n),f(n)が保存される。ここでいう「n」は、フレーム画像のフレーム番号を指す。脈波バッファ36に保存された所定のフレーム数にわたる計測領域における輝度の時間変化により脈波信号が検出できる。なお、脈波バッファ36は、人から計測され得る最長の心拍周期よりも大きな期間にわたって輝度を蓄積可能なバッファサイズNを持つものとする。
ここで、計測領域の脈波信号について、図3を参照して説明する。図3は、計測領域の脈波信号の一例を示す図である。図3上図に示すように、時刻t1〜t2〜t3に撮像されたフレーム画像が表されている。○で示された部分が計測領域1であるとする。一例として、t1時刻に撮像されたフレーム画像について、輝度算出部35は、当該フレーム画像のうち計測領域1の画像部分に対応する複数の画素の輝度を検出する。そして、輝度算出部35は、検出した複数の画素の輝度の平均を、計測領域1の輝度として算出する。そして、t1時刻以降の時刻〜t2〜t3に撮像された各フレーム画像について、輝度算出部35は、t1時刻の場合と同様に、それぞれ計測領域1の輝度を算出する。図3下図に示すように、輝度算出部35によって算出された各輝度によって、計測領域1の輝度の時間変化(輝度変化)が検出できる。すなわち、計測領域1の輝度変化によって計測領域1の脈波信号が検出できる。
図1に戻って、脈波時差算出部37は、2つの計測領域のうち一方の計測領域の画素の輝度変化と、他方の計測領域の画素の輝度変化とから、一方の計測領域の画素に対する他方の計測領域の画素の輝度変化の遅延時間を算出する。例えば、脈波時差算出部37は、脈波バッファ36に蓄積された計測領域1の輝度変化から計測領域1の脈波信号を検出する。また、脈波時差算出部37は、脈波バッファ36に蓄積された計測領域2の輝度変化から計測領域2の脈波信号を検出する。そして、脈波時差算出部37は、計測領域間の脈波信号の位相差から脈波伝搬時差を算出する。一例として、脈波時差算出部37は、一方の脈波信号を固定し、他方の脈波信号の時間軸に対してオフセットをかける。そして、脈波時差算出部37は、両方の脈波信号の相関係数を求め、求めた相関係数が一定の閾値を超え、かつ極大となるオフセット量の内、オフセット量の絶対値が最少となる時間オフセットを脈波が心臓から2つの計測領域まで伝搬する時間の差、すなわち脈波時差とする。
ここで、脈波時差の算出について、図4を参照して説明する。図4は、実施例1に係る脈波時差算出を説明する図である。図4左図には、撮像された1つのフレーム画像内の計測領域1および計測領域2が示されている。図4右図には、計測領域1の輝度の時間変化と計測領域2の輝度の時間変化が示されている。横軸が時刻を示し、縦軸が各領域の輝度を示す。脈波時差算出部37は、計測領域1および計測領域2間の脈波信号の位相差から脈波時差を算出する。ここでは、脈波時差が0.35秒であることを示している。なお、計測領域の脈波信号は、輝度信号の時間変化によって脈波信号を検出する従来の技術を用いて検出されれば良い。
図1に戻って、PWV算出部38は、2つの計測領域間の脈波時差と、2つの計測領域間の脈波伝搬距離とから脈波伝搬速度(PWV)を算出する。例えば、PWV算出部38は、脈波時差算出部37によって算出された計測領域1および計測領域2間の脈波時差と、脈波伝搬距離記憶部23に記憶された脈波伝搬距離とからPWVを算出する。具体的には、脈波伝搬距離をL(m)とし、脈波時差をTd(s)とすると、PWVは、以下の数式(10)で表せる。
PWV=L/Td ・・・式(10)
また2つの計測領域が同一の血管経路上にあると仮定した上で、脈波時差Tdを脈波伝搬時間(PTT)として出力しても良い。
出力部39は、各種の情報を出力する。例えば、出力部39は、PWV算出部38によって算出されたPWVを、例えばモニタやディスプレイに出力する。また、出力部39は、PWVが所定の閾値を超えた場合や、一定期間過去のPWV値を記憶し、最新のPWV値との差分が所定の閾値を超えた場合に、PWVに大きな変化があったことを示す通知を、PWVとともに出力しても良い。なお、出力部39は、情報処理装置1と異なるクライアント端末等の表示部に表示することもできる。
[脈波計測処理の手順]
次に、実施例1に係る脈波計測処理の手順の一例を、図5Aおよび図5Bを参照して説明する。図5Aは、実施例1に係る脈波計測処理の手順の一例を示すフローチャートである。図5Bは、出力表示処理の手順の一例を示すフローチャートである。
図5Aに示すように、入力部31は、脈波計測に用いられる生体の特徴物の名称を入力し、生体特徴記憶部21に記録する(ステップS11)。一例として、入力部31は、生体の特徴物として、両目および鼻を、生体特徴記憶部21に記録する。
そして、入力部31は、計測領域の決定に用いられる計測領域情報を入力し、計測領域情報記憶部22に記録する(ステップS12)。すなわち、入力部31は、脈波計測に用いられる2つの計測領域の決定に用いられる計測領域情報を記録する。一例として、入力部31は、計測領域情報に含まれる領域中心座標が、特徴物である両目から等距離直線上の座標であって、両目中点から両目間距離の1/2の距離にある座標であることを入力する。入力部31は、計測領域情報に含まれる領域サイズが、両目間距離の1/4の長さを半径とする円であることを入力する。
そして、入力部31は、脈波伝搬距離を入力し、脈波伝搬距離記憶部23に記録する(ステップS13)。すなわち、入力部31は、脈波計測に用いられる2つの計測領域に応じた脈波伝搬距離を記録する。
続いて、特徴点座標決定部33は、タイマの値をリセットする(ステップS14)。そして、撮像機能部10は、生体画像を撮像し(ステップS15)、撮像した生体画像を画像バッファ32に一時記憶する(ステップS16)。
そして、特徴点座標決定部33は、画像バッファ32に記憶された生体画像から、生体特徴記憶部21に記憶された特徴物の名称に対応する特徴点の座標を決定する(ステップS17)。例えば、特徴点座標決定部33は、生体特徴記憶部21から、生体の特徴物の名称を取得する。ここでは、生体の特徴物の名称として、両目および鼻が取得される。そして、特徴点座標決定部33は、取得した両目に関し、画像バッファ32に記憶された生体画像から両目頭、目尻および鼻先を認識する。そして、特徴点座標決定部33は、認識した両目頭および目尻に基づいて、生体画像上の両目の中心座標A,Bを特徴点の座標として決定し、鼻先座標Cを用いて、外積CA×CBの大きさが正の場合はBを、負の場合はAを右目として決定する。但し、撮像した画像が鏡像の場合は左右を逆とする。
そして、計測領域決定部34は、2つの計測領域を決定する(ステップS18)。例えば、計測領域決定部34は、特徴点座標決定部33によって決定された特徴点の座標と、計測領域情報記憶部22に記憶された計測領域情報から、2つの計測領域の中心座標および半径を決定する。
そして、輝度算出部35は、2つの計測領域毎に輝度を算出する(ステップS19)。例えば、輝度算出部35は、生体画像上の計測領域の画像部分に含まれる複数の画素の輝度を検出する。そして、輝度算出部35は、検出した複数の画素の輝度の平均を、計測領域の輝度として算出する。輝度算出部35は、計測領域決定部34によって決定された2つの計測領域毎にそれぞれ輝度を算出する。
そして、輝度算出部35は、計測領域毎に算出したそれぞれの輝度を現時点の脈波信号として脈波バッファ36に一時記録する(ステップS20)。
そして、特徴点座標決定部33は、タイマの値をカウントアップする(ステップS21)。そして、特徴点座標決定部33は、タイマの値があらかじめ定められた固定値であるタイマ長と一致するか否かを判定する(ステップS22)。タイマの値がタイマ長と一致しないと判定した場合(ステップS22;No)、特徴点座標決定部33は、次の生体画像の処理をすべく、ステップS15に移行する。本例では撮像した画像が一定のフレームレートで入力される前提での処理を示しているが、フレームレートが変動する場合は、タイマの代わりに時刻情報を用いて、S21およびS22の処理を行っても良い。
一方、タイマの値がタイマ長と一致すると判定した場合(ステップS22;Yes)、脈波時差算出部37は、2つの計測領域の脈波信号の時差を算出する(ステップS23)。例えば、脈波時差算出部37は、脈波バッファ36に蓄積された一方の計測領域の輝度変化から脈波信号を検出する。そして、脈波時差算出部37は、脈波バッファ36に蓄積された他方の計測領域の輝度変化から脈波信号を検出する。そして、脈波時差算出部37は、検出した2つの脈波信号の時差を算出する。
続いて、PWV算出部38は、2つの計測領域間のPWVを算出する(ステップS24)。例えば、PWV算出部38は、脈波時差算出部37によって算出された脈波時差と、脈波伝搬距離記憶部23に記憶された脈波伝搬距離とから、PWVを算出する。ここでは、PWV算出部38は、算出されたPWVの値をPとする。
そして、PWV算出部38および出力部39は、被験者の脈波の計測結果を出力すべく、出力表示処理を実行する(ステップS25)。なお、出力表示処理については、図5Bを参照して説明する。
[出力表示処理の手順]
図5Bに示すように、PWV算出部38は、PWVの算出処理が1回目であるか否かを判定する(ステップS31)。PWVの算出処理が1回目であると判定した場合(ステップS31;Yes)、PWV算出部38は、記憶部20に記憶された、PWVの記憶値を初期化する(ステップS32)。一例として、PWV算出部38は、記憶値Pbを、算出されたPWVの値Pで初期化する。すなわち、PWV算出部38は、記憶値PbをPWVの値Pとする。そして、PWV算出部38は、ステップS33に移行する。
一方、PWVの算出処理が1回目でないと判定した場合(ステップS31;No)、PWV算出部38は、算出されたPWVの変化を求めるべく、ステップS33に移行する。
ステップS33では、出力部39は、算出されたPWVの値Pと記憶値Pbとの差が閾値THより大きいか否かを判定する(ステップS33)。なお、閾値THは、PWVの大きな変化を検出するために用いられる固定値であり、あらかじめ定められる。PWVの値Pと記憶値Pbとの差が閾値THより大きいと判定した場合(ステップS33;Yes)、出力部39は、警報を表示する(ステップS34)。例えば、出力部39は、PWVに大きな変化があったことを示す通知を表示する。そして、出力部39は、ステップS35に移行する。
一方、PWVの値Pと記憶値Pbとの差が閾値TH以下であると判定した場合(ステップS33;No)、出力部39は、ステップS35に移行する。
ステップS35では、出力部39は、PWVの現状値(P)を表示する(ステップS35)。そして、出力部39は、PWVの現状値(P)を記憶する(ステップS36)。一例として、出力部39は、PWVの現状値(P)を、記憶値Pbに設定する。そして、出力部39は、出力表示処理を終了する。
ここで、本フローは画像フレームが更新される毎に処理を行う例として示しているが、PやPbについて一定期間の値を記憶し、その期間毎に平均処理等を行った結果を用いて、出力処理を行っても良い。
[実施例1の効果]
上記実施例1によれば、情報処理装置1は、撮像機能部10によって撮像された生体画像から所定の特徴点を認識し、認識した特徴点の位置に対し、予め定められた位置関係となる第1の計測領域と第2の計測領域とを決定する。そして、情報処理装置1は、決定された第1の計測領域に関する画素の輝度変化と、決定された第2の計測領域に関する画素の輝度変化とから、第1の計測領域に関する画素に対する第2の計測領域に関する画素の輝度変化の遅延時間を算出する。かかる構成によれば、情報処理装置1は、撮像された1つの生体画像について、所定の特徴点の位置に対する、予め定められた位置関係となる2つの計測領域を決定する。このため、情報処理装置1は、撮像毎に被験者と撮像機能部10との距離が異なっていても、撮像毎に撮像された複数の生体画像について同じ2つの計測領域を追従できるので、2つの計測領域間の輝度変化の遅延時間を計測できる。よって、情報処理装置1は、計測される遅延時間を用いて、生体上の特定の箇所間に相当するPWVを簡易に計測でき、長期的な変化の検出が容易となる。
また、上記実施例1によれば、情報処理装置1は、認識した特徴点の位置に対し、予め定められた位置関係となる第1の計測領域と第2の計測領域であって生体の特徴的でない第1の計測領域と第2の計測領域とを決定することも可能である。かかる構成によれば、情報処理装置1は、第1の計測領域と第2の計測領域とを生体の特徴的でない領域に決定することで、生体の動きと複雑な構造による反射光量の変化の影響を軽減することができる。この結果、情報処理装置1は、2つの計測領域において、血流起因の輝度変化および領域間の輝度変化の遅延量を正確に計測できることとなり、2つの計測領域間のPWVを正確に計測できる。
ところで、実施例1に係る情報処理装置1は、撮像毎に被験者と撮像機能部10との距離が変化しても、PWVを計測する場合を説明した。すなわち、撮像機能部10を基準として被験者が同一方向を向いて前後する場合である。しかしながら、情報処理装置1は、これに限定されず、さらに、撮像毎に被験者の向く方向が変化しても、PWVを計測するようにしても良い。すなわち、撮像機能部10を基準として被験者が上下左右する場合である。
そこで、実施例2では、さらに、撮像毎に被験者の向く方向が変化しても、PWVを計測する情報処理装置1について説明する。
[実施例2に係る情報処理装置の構成]
図6は、実施例2に係る情報処理装置の構成を示す機能ブロック図である。なお、図1に示す情報処理装置1と同一の構成については同一符号を示すことで、その重複する構成および動作の説明については省略する。実施例1と実施例2とが異なるところは、制御部30の特徴点座標決定部33を特徴点座標決定部33Aに変更した点にある。実施例1と実施例2とが異なるところは、制御部30の計測領域決定部34を計測領域決定部34Aに変更した点にある。実施例1と実施例2とが異なるところは、記憶部20の生体特徴記憶部21を生体特徴記憶部21Aに変更した点にある。実施例1と実施例2とが異なるところは、記憶部20の計測領域情報記憶部22を計測領域情報記憶部22Aに変更した点にある。
生体特徴記憶部21Aは、被験者の生体の表面が撮像された画像から検出する特徴物の名称および予め定められた生体の基準方向の座標を基準座標として予め記憶する。例えば、特徴物には、生体の表面の中で明暗差のある部分であり、顔では、両目、鼻、口角等が挙げられる。一例として、特徴物の名称は、両目と口角であるとする。基準座標は、両目中点の座標を(0,0)とし、右目中心の座標を(1、0)とし、口角中点の座標を(0、k)であるとする。このときkは、両目間距離の半分に対する両目中点と口角中点間の距離の比に相当し、ユーザ毎の値として記憶されていても良いし、一般的な値を記憶されていても良い。但し、口角中点の座標は、比率を用いることに限定されず、具体的な座標の値であっても良い。なお、基準座標は、両目中点の座標、右目中心の座標および口角中点の座標を一例としたが、特徴物に関連する3点の座標があれば良い。
計測領域情報記憶部22Aは、計測領域の決定に用いられる、予め定められた生体の基準方向に対応する計測領域の情報をあらかじめ記憶する。計測領域は、脈波計測で使用される。計測領域として、特徴物と異なる特徴的でない領域が採用されることが望ましい。計測領域の情報には、例えば、生体の基準方向に対応する計測領域の座標系、生体の基準方向に対応する計測領域の領域中心座標および領域サイズが含まれる。一例として、計測領域の座標系は、両目中点を基準座標の原点(0,0)として、原点から右目中心方向をx軸、原点から口角中心方向をy軸とする。領域中心座標は、フレーム画像内の具体的な座標を表す。ここでは、2つの計測領域のそれぞれの領域中心座標を(x、y)、(x、y)とする。領域サイズは、所定の長さを半径とする円であるとし、例えば、両目間距離の1/7の長さを半径とする円であるとする。すなわち、計測領域情報とは、特徴物との関係で定められる計測領域の位置関係の情報を意味するが、特に、生体の基準方向に対応する計測領域の情報を指す。なお、後述する計測領域決定部34Aによって計測領域情報から2つの計測領域が決定される。後述する脈波時差算出部37によって、決定された2つの計測領域に関する画素の輝度変化から脈波時差が計測される。
特徴点座標決定部33Aは、画像バッファ32に蓄積されたフレーム画像から特徴点の座標を決定する。例えば、特徴点座標決定部33Aは、画像バッファ32に蓄積されたフレーム画像から生体特徴記憶部21Aに記憶された特徴物の名称に対応する特徴物を認識する。そして、特徴点座標決定部33Aは、認識した特徴物の中心に位置する特徴点の座標を決定する。そして、特徴点座標決定部33Aは、特徴点の座標から基準座標に対応する座標を算出する。一例として、基準座標が両目中点の座標、右目中心の座標、口角中点の座標であるとする。すると、特徴点座標決定部33Aは、両目の座標から両目中点の座標を算出する。特徴点座標決定部33Aは、口角の座標から口角中点の座標を算出する。特徴点座標決定部33Aは、両目及び口角中点の座標から右目の座標を特定する。なお、特徴点座標決定部33Aは、画像バッファ32に蓄積されたフレーム画像毎に実施される。
計測領域決定部34Aは、生体特徴記憶部21Aに記憶された3点の基準座標および特徴点座標決定部33Aによって決定された3点の基準座標に対応する座標を用いて、基準方向の計測領域の位置を変換対象のフレーム画像上の位置に変換する。例えば、計測領域決定部34Aは、3点の基準座標および3点の基準座標に対応する座標から求められる写像を用いて、基準方向で予め定めた複数の特徴点の位置に対して予め定めた位置関係を補正し、補正した位置関係にある計測領域を決定する。ここでいう写像は、予め定められた生体の基準方向に対する座標系が、生体の3次元回転を受け、2次元の画像上に投影された変換行列のことをいう。なお、計測領域決定部34による計測領域決定の詳細な説明は、後述する。
ここで、計測領域決定について、図7を参照して詳細に説明する。図7は、実施例2に係る計測領域決定を説明する図である。図7左図に示すように、基準座標と計測領域が定義されている。基準座標として、両目中点の座標が、O(0,0)であり、右目中点の座標が、X(1、0)であり、口角中点の座標は、Y(0、k)である。なお、基準座標は、生体特徴記憶部21Aに記憶されている。また、2つの計測領域として、各領域中心座標が、(x、y)、(x、y)であり、領域サイズが、半径rとする円である。なお、計測領域は、計測領域記憶部22Aに記憶されている。また、特徴物の名称として、両目および口角が、生体特徴記憶部21Aに記憶されているとする。
このような前提のもと、特徴点座標決定部33Aは、画像バッファ32に蓄積されたフレーム画像から生体特徴記憶部21Aに記憶された特徴物の名称に対応する特徴物を認識し、認識した特徴物の特徴点の座標を決定する。そして、特徴点座標決定部33Aは、特徴点の座標から基準座標に対応する座標を算出する。ここでは、特徴点座標決定部33Aは、右目中心の基準座標に対応する座標を、X´(x,y)と決定する。特徴点座標決定部33Aは、両目中点の基準座標に対応する座標を、O´(x,y)と算出する。特徴点座標決定部33Aは、口角中点の基準座標に対応する座標を、Y´(x,y)と算出する。
ここで、基準方向の座標(x,y)から変換対象のフレーム画像の座標(x´,y´)への一次変換行列をAとすると、一次変換行列Aと、基準座標および基準座標に対応する座標の関係は、以下の式(1)となる。なお、基準座標は、O(0,0)、X(1,0)、Y(0、k)であり、基準座標に対応する座標は、O´(x,y)、X´(x,y)、Y´(x,y)である。
Figure 2015198789
これにより、一次変換行列Aは、以下の式(2)で表わせる。
Figure 2015198789
したがって、変換対象のフレーム画像上の計測領域1,2の座標(x´、y´)は、以下の式(3)のように、基準方向の計測領域1,2の座標(x、y)を用いて、表すことが出来る。
Figure 2015198789
このとき、変換対象のフレーム画像上の計測領域1の中心点P´を(x、y)とすると、中心点P´(x、y)は、P(x、y)の式(3)によって写像し、原点を当該画像上の原点O´(x,y)の位置にオフセットするものとして、以下の式(5)のように表わせる。
Figure 2015198789
計測領域決定部34Aは、この式(5)によって、フレーム画像上の計測領域1の中心点P´(x、y)を算出する。
また、式(3)から、変換対象のフレーム画像上の計測領域1の位置P´(x´,y´)に対する基準方向の計測領域1の位置P(x,y)の関係は、以下の式(4)のように導出される。
Figure 2015198789
よって、基準方向の計測領域1の半径rの円内の写像は、式(4)により以下の式(6)で表わせる。
Figure 2015198789
したがって、変換対象のフレーム画像上の計測領域1は、式(6)を点P´(x,y)の位置にオフセットしたものであるため、以下の式(7)を満たすP´(x´,y´)の集合として求まる。
Figure 2015198789
計測領域決定部34Aは、この式(7)を満たす座標の集合として、フレーム画像上の計測領域1に含まれる画素の座標を決定する。
同様に、計測領域2も、式(5),式(7)の(x、y),(x、y)を(x2、y2),(xb、yb)の置き換えることによって求まる。このようにして、計測領域1および計測領域2が決定される。
[脈波計測処理の手順]
次に、実施例2に係る脈波計測処理の手順の一例を、図8を参照して説明する。図8は、実施例2に係る脈波計測処理の手順の一例を示すフローチャートである。なお、図8のフローチャートでは、特徴物を顔の両目および口角として説明する。
図8に示すように、入力部31は、脈波計測に用いられる生体の特徴物の名称および基準座標を入力し、生体特徴記憶部21に記録する(ステップS41)。一例として、入力部31は、生体の特徴物として、両目および口角を、生体特徴記憶部21Aに記録する。入力部31は、両目中点の座標(0,0)、右目中心の座標(1、0)、口角中点の座標(0,k)を基準座標として入力する。なお、kは、両目間距離の半分に対する両目中心と口角中点間の距離の比に相当し、ユーザ毎の値として記憶されていても良いし、一般的な値を記憶されていても良い。
そして、入力部31は、計測領域の決定に用いられる計測領域情報を入力し、計測領域情報記憶部22Aに記録する(ステップS42)。すなわち、入力部31は、フレーム画像毎に2つの計測領域の決定に用いられる計測領域情報を記録する。一例として、入力部31は、生体の基準方向に対応する計測領域の座標系を、原点(両目中点)から右目中心方向をx軸、原点から口角中点方向をy軸とし、右目中心のx座標に対する口角中点のy座標の比をkとするように入力する。入力部31は、生体の基準方向に対応する2つの領域中心座標として、(x、y)、(x、y)を入力する。入力部31は、生体の基準方向に対応する領域サイズとして、半径rとする円であることを入力する。
そして、入力部31は、脈波伝搬距離を入力し、脈波伝搬距離記憶部23に記録する(ステップS43)。すなわち、入力部31は、脈波計測に用いられる2つの計測領域に応じた脈波伝搬距離を記録する。
続いて、特徴点座標決定部33Aは、タイマの値をリセットする(ステップS44)。そして、撮像機能部10は、生体画像を撮像し(ステップS45)、撮像した生体画像を画像バッファ32に一時記憶する(ステップS46)。
そして、特徴点座標決定部33Aは、画像バッファ32に記憶された生体画像から特徴点の座標を決定する(ステップS47)。例えば、特徴点座標決定部33Aは、生体特徴記憶部21Aに記憶された特徴物の名称を取得する。ここでは、両目および口角が取得される。そして、特徴点座標決定部33Aは、画像バッファ32に記憶された生体画像から両目中心、口角を認識し、認識した両目中心および口角の座標を決定する。さらに、特徴点座標決定部33Aは、基準座標に対応する座標を算出する。すなわち、特徴点座標決定部33Aは、基準座標に対応する座標として、両目中点の座標および口角中点の座標を算出する。特徴点座標決定部33Aは、両目中点および口角中点の座標を用いて、基準座標に対応する座標として、右目中心の座標を決定する。
そして、計測領域決定部34Aは、生体特徴記憶部21Aに記憶された3点の基準座標および特徴点座標決定部33Aによって決定された3点の基準座標に対応する座標を用いて、2つの計測領域を決定する(ステップS49)。例えば、計測領域決定部34Aは、3点の基準座標および3点の基準座標に対応する座標から一次変換行列を算出する。計測領域決定部34Aは、算出された一次変換行列を用いて、生体の基準方向の計測領域の位置を変換対象のフレーム画像上の位置に変換する。一例として、計測領域決定部34Aは、一次変換行列を用いて生成される式(5)および生体の基準方向の計測領域の中心点によって、変換対象のフレーム画像上の計測領域の中心点を算出する。例えば、図7の計測領域1の場合、生体の基準方向の計測領域1の中心点がP(x、y)であり、式(5)によって計測領域1の中心点P´(x、y)が算出される。計測領域2の場合、生体の基準方向の計測領域2の中心点がP(x、y)であり、式(5)によって計測領域2の中心点P´(x、y)が算出される。そして、計測領域決定部34Aは、式(7)を満たす座標の集合として、フレーム画像上の計測領域に含まれる画素の座標を決定する。例えば、図7の計測領域1の場合、計測領域1の座標P´(x´、y´)の集合が決定される。計測領域2の場合、計測領域2の座標P´(x´、y´)の集合が決定される。
そして、輝度算出部35は、2つの計測領域毎に輝度を算出する(ステップS50)。そして、輝度算出部35は、計測領域毎に算出したそれぞれの輝度を現時点の脈波信号として脈波バッファ36に一時記録する(ステップS51)。
そして、特徴点座標決定部33Aは、タイマの値をカウントアップする(ステップS52)。そして、特徴点座標決定部33Aは、タイマの値があらかじめ定められた固定値であるタイマ長と一致するか否かを判定する(ステップS53)。タイマの値がタイマ長と一致しないと判定した場合(ステップS53;No)、特徴点座標決定部33Aは、次の生体画像の処理をすべく、ステップS45に移行する。本例では撮像した画像が一定のフレームレートで入力される前提での処理を示しているが、フレームレートが変動する場合は、タイマの代わりに時刻情報を用いて、S21およびS22の処理を行っても良い。
一方、タイマの値がタイマ長と一致すると判定した場合(ステップS53;Yes)、脈波時差算出部37は、2つの計測領域の脈波信号の時差を算出する(ステップS54)。続いて、PWV算出部38は、2つの計測領域間のPWVを算出する(ステップS55)。
そして、PWV算出部38および出力部39は、被験者の脈波の計測結果を出力すべく、出力表示処理を実行する(ステップS56)。なお、出力表示処理については、図5Bのフローチャートと同様であるので、説明を省略する。
[実施例2の効果]
上記実施例2によれば、情報処理装置1は、撮像機能部10によって撮像された生体画像から複数の特徴点を認識し、認識した複数の特徴点の位置の位置関係から、予め定められた生体の基準方向に対する一次変換行列を算出する。そして、情報処理装置1は、算出した一次変換行列を用いて、生体の基準方向の複数の特徴点の位置に対して予め定められた位置関係を補正し、補正した位置関係にある第1の計測領域と第2の計測領域とを決定する。かかる構成によれば、情報処理装置1は、撮像された生体の表面に歪みがあっても、撮像毎に同じ第1の計測領域と第2の計測領域を追従することができるので、2つの計測領域間の輝度変化の遅延時間を計測できる。よって、情報処理装置1は、計測される遅延時間を用いて、生体上の特定の箇所間に相当するPWVを簡易に計測でき、長期的な変化の検出が容易となる。
ところで、実施例1に係る情報処理装置1では、関節を介しない1組の部位(例えば、顔)を対象に2つの計測領域を決定する場合を説明した。しかしながら、情報処理装置1は、これに限定されず、関節を介する2組の部位(例えば、顔と手のひら)を対象にそれぞれの計測領域を決定しても良い。
そこで、実施例3では、さらに、関節を介する2組の部位(例えば、顔と手のひら)を対象にそれぞれの計測領域を決定する情報処理装置1について説明する。なお、実施例3では、一例として、関節を介する2組の部位を、「顔」と「手のひら」であるとして説明する。
[実施例3に係る情報処理装置の構成]
実施例3に係る情報処理装置1は、図1に示す情報処理装置1の構成と同一であるので、その説明を省略する。
ここで、計測領域決定部34による計測領域決定について、図9を参照して説明する。図9は、実施例3に係る計測領域決定を説明する図である。図9右図は、図9左図で表した被験者について、撮像機能部10から距離が変化した場合を示している。なお、図9では、α組の特徴物の名称を両目とし、β組の特徴物の名称を左手の第一指間股および第四指間股とする。尚、第一指間股とは、親指と人差し指間の股を差し、第四指間股とは、薬指と小指間の股を差すものとする。α組の特徴物の名称とβ組の特徴物の名称は、生体特徴記憶部21に記憶される。また、図9では、α組の計測領域情報に含まれる領域中心座標を、両目中点にある座標であるとする。α組の計測領域情報に含まれる領域サイズを、両目間距離の1/4の長さを半径とする円であるとする。β組の計測領域情報に含まれる領域中心座標を、第一指間股と第四指間股の中点にある座標であるとする。β組の計測領域情報に含まれる領域サイズを、又間距離の1/4の長さを半径とする円であるとする。α組の計測領域情報とβ組の計測領域情報は、計測領域情報記憶部22に記憶される。
図9左図に示すように、計測領域決定部34は、特徴点座標決定部33によって決定された特徴物α組の特徴点の座標に対し、計測領域情報に定められた位置関係にある計測領域を決定する。ここでは、計測領域決定部34は、特徴物α組の特徴点αと特徴点αの中点にある座標を計測領域1の領域中心座標として決定する。計測領域決定部34は、特徴点αα間の距離の1/4の長さを半径とする円を計測領域1の領域サイズとして決定する。同様に、計測領域決定部34は、特徴点座標決定部33によって決定された特徴物β組の特徴点の座標に対し、計測領域情報に定められた位置関係にある計測領域を決定する。ここでは、計測領域決定部34は、特徴物β組の特徴点βと特徴点βの中点にある座標を計測領域2の領域中心座標として決定する。計測領域決定部34は、特徴点ββ間の距離の1/4の長さを半径とする円を計測領域2の領域サイズとして決定する。このようにして、計測領域1および計測領域2が決定される。
図9右図に示すように、撮像機能部10と被験者との距離が変化しても、計測領域決定部34は、変化前と同じ計測領域を決定する。すなわち、計測領域決定部34は、変化前と同じ特徴物α組の特徴点α、αにおける変化後の座標に対し、計測領域情報に定められた位置関係にある計測領域1を決定するので、変化前と同じ計測領域1を追従できる。計測領域決定部34は、変化前と同じ特徴物β組の特徴点β、βにおける変化後の座標に対し、計測領域情報に定められた位置関係にある計測領域2を決定するので、変化前と同じ計測領域2を追従できる。
これにより、脈波時差算出部37は、関節を介する2組の部位を対象に決定される2つの計測領域を用いて脈波時差を算出できるので、関節を介さない1組の部位を対象に脈波時差を算出した場合と比べて、大きい値を結果値とすることができる。この結果、例えば、脈波時差算出部37は、脈波時差の誤差を小さくすることができ、PWVを精度良く計測できる。
[脈波計測処理の手順]
次に、実施例3に係る脈波計測処理の手順の一例を、図10A〜図10Cを参照して説明する。図10A〜図10Cは、実施例3に係る脈波計測処理の手順の一例を示すフローチャートである。なお、図10Aは、2組の部位を対象にそれぞれの計測領域を決定する場合のフローチャートであり、図10Bおよび図10Cは、1組の部位を対象に2つの計測領域を決定する場合のフローチャートである。
図10Aに示すように、入力部31は、脈波計測に用いられる生体の特徴物の名称を入力し、生体特徴記憶部21に記録する(ステップS61)。一例として、入力部31は、α組の特徴物の名称を両目として、β組の特徴物名称を左手の第一指間股および第四指間股として生体特徴記憶部21に記録する。
そして、入力部31は、計測領域の決定に用いられる計測領域情報を入力し、計測領域情報記憶部22に記録する(ステップS62)。すなわち、入力部31は、脈波計測に用いられる2つの計測領域の決定に用いられる計測領域情報を記録する。一例として、入力部31は、α組の計測領域情報に含まれる領域中心座標が両目中点にある座標であることを入力する。入力部31は、α組の計測領域情報に含まれる領域サイズが、両目間距離の1/4の長さを半径とする円であることを入力する。加えて、入力部31は、β組の計測領域情報に含まれる領域中心座標が第一指間股と第四指間股の中点にある座標であることを入力する。入力部31は、β組の計測領域情報に含まれる領域サイズが、又間距離の1/4の長さを半径とする円であることを入力する。
そして、入力部31は、脈波伝搬距離を入力し、脈波伝搬距離記憶部23に記録する(ステップS63)。すなわち、入力部31は、脈波計測に用いられる2つの計測領域に応じた脈波伝搬距離を記録する。
続いて、特徴点座標決定部33は、タイマの値をリセットする(ステップS64)。なお、タイマは、2組の部位を対象に処理される場合のタイマt1と、1組の部位を対象に処理される場合のタイマt2,t3に区別されるものとする。ここでいうタイマの値のリセットは、t1〜t3のリセットのことを意味する。そして、撮像機能部10は、生体画像を撮像し(ステップS65)、撮像した生体画像を画像バッファ32に一時記憶する(ステップS66)。
そして、特徴点座標決定部33は、画像バッファ32に記憶された生体画像から、生体特徴記憶部21に記憶された特徴物の名称に対応する特徴物を認識する(ステップS67)。例えば、特徴点座標決定部33は、生体特徴記憶部21から、生体の特徴物の名称を取得する。そして、特徴点座標決定部33は、画像バッファ32に記憶された生体画像から、取得した特徴物の名称に対応する特徴物を認識する。ここでは、特徴点座標決定部33は、生体特徴記憶部21に記憶された特徴物の名称に基づいて、α組の特徴物を示す両目と、β組の特徴物を示す左手の第一指間股および第四指間股とを認識する。
そして、特徴点座標決定部33は、2組の特徴物を共に認識したか否かを判定する(ステップS68)。2組の特徴物を共に認識したと判定した場合(ステップS68;Yes)、特徴点座標決定部33は、2組の部位を対象にそれぞれの計測領域を決定する場合と判断する。そして、特徴点座標決定部33は、他のタイマt2、t3の値を使用しないのでリセットする(ステップS69)。
そして、特徴点座標決定部33は、画像バッファ32に記憶された生体画像から、2組の特徴物に対応する特徴点の座標を決定する(ステップS70)。例えば、特徴点座標決定部33は、α組の特徴物を示す両目について、生体画像上の左右の目の中心座標を、α組の特徴点の座標として決定する。特徴点座標決定部33は、β組の特徴物を示す左手の第一指間股および小指について、生体画像上の左手の第一指間股および第四指間股の座標を、β組の特徴点の座標として決定する。
そして、計測領域決定部34は、2つの計測領域を決定する(ステップS71)。例えば、計測領域決定部34は、特徴点座標決定部33によって決定されたα組の特徴点の座標と、計測領域情報記憶部22に記憶されたα組の計測領域情報から、α組の計測領域の中心座標および半径を決定する。計測領域決定部34は、特徴点座標決定部33によって決定されたβ組の特徴点の座標と、計測領域情報記憶部22に記憶されたβ組の計測領域情報から、β組の計測領域の中心座標および半径を決定する。
そして、輝度算出部35は、2つの計測領域毎に輝度を算出する(ステップS72)。すなわち、輝度算出部35は、計測領域決定部34によって決定されたα組の計測領域とβ組の計測領域のそれぞれの輝度を算出する。そして、輝度算出部35は、計測領域毎に算出したそれぞれの輝度を現時点の脈波信号として脈波バッファ36に一時記録する(ステップS73)。
そして、特徴点座標決定部33は、タイマの値をカウントアップする(ステップS74)。そして、特徴点座標決定部33は、タイマの値があらかじめ定められた固定値であるタイマ長と一致するか否かを判定する(ステップS75)。タイマの値がタイマ長と一致しないと判定した場合(ステップS75;No)、特徴点座標決定部33は、次の生体画像の処理をすべく、ステップS65に移行する。
一方、タイマの値がタイマ長と一致すると判定した場合(ステップS75;Yes)、脈波時差算出部37は、2つの計測領域の脈波信号の時差を算出する(ステップS76)。すなわち、例えば、脈波時差算出部37は、α組の計測領域およびβ組の計測領域のそれぞれの脈波信号の時差を算出する。
続いて、PWV算出部38は、2つの計測領域間のPWVを算出する(ステップS77)。例えば、PWV算出部38は、脈波時差算出部37によって算出された脈波時差と、脈波伝搬距離記憶部23に記憶された脈波伝搬距離とから、PWVを算出する。
そして、PWV算出部38および出力部39は、被験者の脈波の計測結果を出力すべく、出力表示処理を実行する(ステップS78)。なお、出力表示処理については、図5Bのフローチャートと同様であるので、説明を省略するが、計測結果が、どの計測領域によって計測されたかの情報も合わせて表示することが好ましい。
ステップS68において、2組の特徴物を共に認識しないと判定した場合(ステップS68;No)、特徴点座標決定部33は、1組の部位を対象に2つの計測領域を決定する場合と判断し、ステップS81に移行する。ステップS81では、特徴点座標決定部33は、特徴物の1つの組を認識したか否かを判定する(ステップS81)。例えば、特徴点座標決定部33は、α組の特徴物(両目)を認識した否かを判定する。特徴物の1つの組を認識したと判定した場合(ステップS81;Yes)、特徴点座標決定部33は、1組の部位を対象に2つの計測領域を決定する場合と判断する。なお、例えば、1組の部位を対象に2つの計測領域を決定する場合は、顔の部位を対象に2つの計測領域を決定する場合である。入力部31が、脈波計測に用いられる2つの計測領域の決定に用いられる、顔の部位に関する計測領域情報を記録し、2つの計測領域に応じた脈波伝搬距離を入力しているとする。
そして、特徴点座標決定部33は、認識した特徴物の特徴点を決定すべく、以下の処理を行う。特徴点座標決定部33は、処理が中断された他の評価領域用のタイマt1、t3の値をリセットする(ステップS82)。
そして、以下の処理は、図5AのS17〜S25と同じ処理であるので、簡略して説明する。特徴点座標決定部33は、画像バッファ32に記憶された生体画像から、生体特徴記憶部21に記憶された特徴物の名称に対応する特徴点の座標を決定する(ステップS83)。そして、計測領域決定部34は、2つの計測領域を決定する(ステップS84)。そして、輝度算出部35は、2つの計測領域毎に輝度を算出する(ステップS85)。そして、輝度算出部35は、計測領域毎に算出したそれぞれの輝度を現時点の脈波信号として脈波バッファ36に一時記憶する(ステップS86)。
そして、特徴点座標決定部33は、タイマの値をカウントアップし(ステップS87)、タイマの値があらかじめ定められた固定値であるタイマ長と一致するか否かを判定する(ステップS88)。タイマの値がタイマ長と一致しないと判定した場合(ステップS88;No)、特徴点座標決定部33は、次の生体画像の処理をすべく、ステップS65に移行する。一方、タイマの値がタイマ長と一致すると判定した場合(ステップS88;Yes)、脈波時差算出部37は、2つの計測領域の脈波信号の時差を算出する(ステップS89)。
続いて、PWV算出部38は、2つの計測領域間のPWVを算出する(ステップS90)。そして、PWV算出部38および出力部39は、被験者の脈波の計測結果を出力すべく、出力表示処理を実行する(ステップS91)。なお、出力表示処理については、図5Bのフローチャートと同様であるので、説明を省略するが、計測結果が、どの計測領域によって計測されたかの情報も合わせて表示することが好ましい。
ステップS81では、特徴点座標決定部33が、特徴物の1つの組を認識しなかったと判定した場合(ステップS81;No)、他の組の認識を判断すべく、ステップS101に移行する。ステップS101では、特徴点座標決定部33は、特徴物の他の組を認識したか否かを判定する(ステップS101)。例えば、特徴点座標決定部33は、β組(左手の第一指間股および第四指間股)の特徴物を認識したか否かを判定する。特徴物の他の組を認識しないと判定した場合(ステップS101;No)、特徴点座標決定部33は、再度画像を撮像すべく、ステップS64に移行する。
一方、特徴物の他の組を認識したと判定した場合(ステップS101;Yes)、特徴点座標決定部33は、1組の部位を対象に2つの計測領域を決定する場合と判断する。なお、例えば、1組の部位を対象に2つの計測領域を決定する場合は、手のひらの部位を対象に2つの計測領域を決定する場合である。入力部31が、脈波計測に用いられる2つの計測領域の決定に用いられる、手のひらの部位に関する計測領域情報を記録し、2つの計測領域に応じた脈波伝搬距離を入力しているとする。
そして、特徴点座標決定部33は、認識した特徴物の特徴点を決定すべく、以下の処理を行う。特徴点座標決定部33は、処理が中断された他の評価領域用のタイマt1、t2の値をリセットする(ステップS102)。そして、以下のステップS103〜S111の処理は、ステップS83〜S91と同じ処理であるので、説明を省略する。
[実施例3の効果]
上記実施例3によれば、情報処理装置1は、撮像機能部10によって撮像された生体画像から関節を介して接続される2組の特徴点を認識する。そして、情報処理装置1は、認識した一方の組の特徴点の位置に対し、予め定められた位置関係となる第1の計測領域を決定し、認識した他方の組の特徴点の位置に対し、予め定められた位置関係となる第2の計測領域を決定する。かかる構成によれば、情報処理装置1は、関節を介して接続される2組の特徴点を用いてそれぞれ第1の計測領域、第2の計測領域を決定するので、関節を介して接続される計測領域間の輝度変化の遅延時間を計測することができる。この結果、情報処理装置1は、関節を介して接続される生体上の特定の箇所間に相当するPWVを簡易に計測でき、長期的な変化の検出が容易となる。
[分散および統合]
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、情報処理装置1が有する撮像機能部10に対応する処理を、情報処理装置1と異なるクライアント端末または撮像装置で実行させることも可能である。かかる場合、情報処理装置1は、通信I/F部を有し、クライアント端末または撮像装置との間で通信するようにすれば良い。ここでいう通信I/F部の一態様としては、LANカード等のネットワークインタフェースカードを採用できる。また、記憶部20を情報処理装置1の外部装置に記憶するようにしても良いし、記憶部20を記憶した外部装置を情報処理装置1とネットワーク経由で接続するようにしても良い。
[脈波計測プログラム]
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。そこで、以下では、図11を用いて、上記の実施例と同様の機能を有する脈波計測プログラムを実行するコンピュータの一例について説明する。
図11は、実施例1,実施例2および実施例3に係る脈波計測プログラムを実行するコンピュータの一例について説明するための図である。図11に示すように、コンピュータ100は、操作部110aと、スピーカ110bと、カメラ110cと、ディスプレイ120と、通信部130とを有する。さらに、このコンピュータ100は、CPU150と、ROM160と、HDD170と、RAM180とを有する。これら110〜180の各部はバス140を介して接続される。
HDD170には、図11に示すように、上記の実施例1で示した制御部30と同様の機能を発揮する脈波計測プログラム170aが予め記憶される。この脈波計測プログラム170aについては、図1に示した各々の機能部の各構成要素と同様、適宜統合又は分離しても良い。すなわち、HDD170に格納される各データは、常に全てのデータがHDD170に格納される必要はなく、処理に必要なデータのみがHDD170に格納されれば良い。
そして、CPU150が、脈波計測プログラム170aをHDD170から読み出してRAM180に展開する。これによって、図11に示すように、脈波計測プログラム170aは、脈波計測プロセス180aとして機能する。この脈波計測プロセス180aは、HDD170から読み出した各種データを適宜RAM180上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、脈波計測プロセス180aは、図1に示した制御部30にて実行される処理、例えば図5A、図5B、等に示す処理を含む。また、CPU150上で仮想的に実現される各処理部は、常に全ての処理部がCPU150上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。
なお、上記の脈波計測プログラム170aについては、必ずしも最初からHDD170やROM160に記憶させておく必要はない。例えば、コンピュータ100に挿入されるフレキシブルディスク、いわゆるFD、CD−ROM、DVDディスク、光磁気ディスク、ICカード等の「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ100がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WAN等を介してコンピュータ100に接続される他のコンピュータまたはサーバ装置等に各プログラムを記憶させておき、コンピュータ100がこれらから各プログラムを取得して実行するようにしてもよい。
1 情報処理装置
10 撮像機能部
20 記憶部
21 生体特徴記憶部
22 計測領域情報記憶部
23 脈波伝搬距離記憶部
30 制御部
31 入力部
32 画像バッファ
33 特徴点座標決定部
34 計測領域決定部
35 輝度算出部
36 脈波バッファ
37 脈波時差算出部
38 PWV算出部
39 出力部

Claims (6)

  1. 生体の表面が撮像された画像を取得する取得部と、
    前記取得部によって取得された画像から所定の特徴点を認識し、認識した特徴点の位置に対し、予め定められた位置関係となる第1の領域と第2の領域とを決定する決定部と、
    前記決定部によって決定された前記第1の領域に関する画素の輝度変化から前記第1の領域に関する脈波信号を検出し、前記決定部によって決定された前記第2の領域に関する画素の輝度変化から前記第2の領域に関する脈波信号を検出し、前記第1の領域に関する脈波信号と前記第2の領域に関する脈波信号との遅延時間を算出する算出部と、
    を有することを特徴とする情報処理装置。
  2. 前記決定部は、前記認識した特徴点の位置に対し、予め定められた位置関係となる第1の領域と第2の領域であって生体の特徴的でない第1の領域と第2の領域とを決定する
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記決定部は、前記取得部によって取得された画像から複数の特徴点を認識し、認識した複数の特徴点の位置の位置関係から、予め定められた生体の基準方向および基準サイズに対する、3次元の回転に応じた、基準方向および基準サイズの2次元画像上に投影された写像を算出し、算出した写像を用いて、前記基準方向の複数の特徴点の位置に対して予め定められた位置関係を補正し、補正した位置関係にある第1の領域と第2の領域とを決定する
    ことを特徴とする請求項1または請求項2に記載の情報処理装置。
  4. 前記決定部は、前記取得部によって取得された画像から関節を介して接続される2組の特徴点を認識し、認識した一方の組の特徴点の位置に対し、予め定められた位置関係となる第1の領域を決定し、認識した他方の組の特徴点の位置に対し、予め定められた位置関係となる第2の領域を決定する
    ことを特徴とする請求項1または請求項2に記載の情報処理装置。
  5. コンピュータに、
    生体の表面が撮像された画像を取得し、
    前記取得する処理によって取得された画像から所定の特徴点を認識し、認識した特徴点の位置に対し、予め定められた位置関係となる第1の領域と第2の領域とを決定し、
    前記決定する処理によって決定された前記第1の領域に関する画素の輝度変化から前記第1の領域に関する脈波信号を検出し、前記決定部によって決定された前記第2の領域に関する画素の輝度変化から前記第2の領域に関する脈波信号を検出し、前記第1の領域に関する脈波信号と前記第2の領域に関する脈波信号との遅延時間を算出する
    処理を実行させることを特徴とする脈波計測プログラム。
  6. コンピュータが、
    生体の表面が撮像された画像を取得し、
    前記取得する処理によって取得された画像から所定の特徴点を認識し、認識した特徴点の位置に対し、予め定められた位置関係となる第1の領域と第2の領域とを決定し、
    前記決定する処理によって決定された前記第1の領域に関する画素の輝度変化から前記第1の領域に関する脈波信号を検出し、前記決定部によって決定された前記第2の領域に関する画素の輝度変化から前記第2の領域に関する脈波信号を検出し、前記第1の領域に関する脈波信号と前記第2の領域に関する脈波信号との遅延時間を算出する
    各処理を実行することを特徴とする脈波計測方法。
JP2014079751A 2014-04-08 2014-04-08 情報処理装置、脈波計測プログラムおよび脈波計測方法 Active JP6417697B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014079751A JP6417697B2 (ja) 2014-04-08 2014-04-08 情報処理装置、脈波計測プログラムおよび脈波計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014079751A JP6417697B2 (ja) 2014-04-08 2014-04-08 情報処理装置、脈波計測プログラムおよび脈波計測方法

Publications (2)

Publication Number Publication Date
JP2015198789A true JP2015198789A (ja) 2015-11-12
JP6417697B2 JP6417697B2 (ja) 2018-11-07

Family

ID=54550691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014079751A Active JP6417697B2 (ja) 2014-04-08 2014-04-08 情報処理装置、脈波計測プログラムおよび脈波計測方法

Country Status (1)

Country Link
JP (1) JP6417697B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017085894A1 (ja) * 2015-11-20 2018-08-02 富士通株式会社 脈波分析装置、脈波分析方法、および脈波分析プログラム
CN112638244A (zh) * 2018-09-10 2021-04-09 三菱电机株式会社 信息处理装置、程序和信息处理方法
CN113392810A (zh) * 2021-07-08 2021-09-14 北京百度网讯科技有限公司 用于活体检测的方法、装置、设备、介质和产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010264095A (ja) * 2009-05-15 2010-11-25 Nissan Motor Co Ltd 心拍数測定装置および心拍数測定方法
WO2013030739A1 (en) * 2011-08-26 2013-03-07 Koninklijke Philips Electronics N.V. Distortion reduced signal detection
WO2014002276A1 (ja) * 2012-06-29 2014-01-03 富士通株式会社 バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム
JP2015054239A (ja) * 2013-09-13 2015-03-23 ゼロックス コーポレイションXerox Corporation 時系列信号を用いてビデオベースの脈波伝播時間を決定するためのシステムおよび方法
JP2015054223A (ja) * 2013-09-13 2015-03-23 旭化成株式会社 血圧情報出力装置、血圧情報出力プログラム、媒体、血圧情報出力方法
WO2015045554A1 (ja) * 2013-09-26 2015-04-02 シャープ株式会社 生体情報取得装置および生体情報取得方法
JP2016539697A (ja) * 2013-11-27 2016-12-22 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 被検体のパルス移動時間及び/又はパルス波速度情報を獲得するためのデバイスおよび方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010264095A (ja) * 2009-05-15 2010-11-25 Nissan Motor Co Ltd 心拍数測定装置および心拍数測定方法
WO2013030739A1 (en) * 2011-08-26 2013-03-07 Koninklijke Philips Electronics N.V. Distortion reduced signal detection
WO2014002276A1 (ja) * 2012-06-29 2014-01-03 富士通株式会社 バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム
JP2015054239A (ja) * 2013-09-13 2015-03-23 ゼロックス コーポレイションXerox Corporation 時系列信号を用いてビデオベースの脈波伝播時間を決定するためのシステムおよび方法
JP2015054223A (ja) * 2013-09-13 2015-03-23 旭化成株式会社 血圧情報出力装置、血圧情報出力プログラム、媒体、血圧情報出力方法
WO2015045554A1 (ja) * 2013-09-26 2015-04-02 シャープ株式会社 生体情報取得装置および生体情報取得方法
JP2016539697A (ja) * 2013-11-27 2016-12-22 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 被検体のパルス移動時間及び/又はパルス波速度情報を獲得するためのデバイスおよび方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017085894A1 (ja) * 2015-11-20 2018-08-02 富士通株式会社 脈波分析装置、脈波分析方法、および脈波分析プログラム
US10743783B2 (en) 2015-11-20 2020-08-18 Fujitsu Limited Pulse wave analysis apparatus, pulse wave analysis method, and non-transitory computer-readable storage medium
CN112638244A (zh) * 2018-09-10 2021-04-09 三菱电机株式会社 信息处理装置、程序和信息处理方法
CN112638244B (zh) * 2018-09-10 2024-01-02 三菱电机株式会社 信息处理装置、计算机能读取的存储介质和信息处理方法
CN113392810A (zh) * 2021-07-08 2021-09-14 北京百度网讯科技有限公司 用于活体检测的方法、装置、设备、介质和产品

Also Published As

Publication number Publication date
JP6417697B2 (ja) 2018-11-07

Similar Documents

Publication Publication Date Title
US9854976B2 (en) Pulse wave velocity measurement method
US10776423B2 (en) Motor task analysis system and method
US10546194B2 (en) Information processing apparatus, information processing method, and program
US11372484B2 (en) Method and system for determining a correct reproduction of a movement
US20150320343A1 (en) Motion information processing apparatus and method
WO2016006027A1 (ja) 脈波検出方法、脈波検出プログラム及び脈波検出装置
CN107729797B (zh) 基于传感器数据分析识别身体关节位置的系统和方法
JP6142664B2 (ja) 脈波検出装置、脈波検出プログラム、脈波検出方法及びコンテンツ評価システム
JP2021064367A (ja) 動作認識方法、動作認識装置及び電子機器
JP6115263B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
TWI704530B (zh) 注視度判斷裝置及方法
US20210059569A1 (en) Fall risk evaluation method, fall risk evaluation device, and non-transitory computer-readable recording medium in which fall risk evaluation program is recorded
JP6417697B2 (ja) 情報処理装置、脈波計測プログラムおよび脈波計測方法
JP6248780B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
US11779260B2 (en) Cognitive function evaluation method, cognitive function evaluation device, and non-transitory computer-readable recording medium in which cognitive function evaluation program is recorded
KR100930594B1 (ko) 안면 영상 촬영장치 및 그의 안면 특징점 검출 방법
KR102187238B1 (ko) 사용자 참여형 인체 3차원 모델링 장치 및 방법
KR102468648B1 (ko) 영상에 대한 원격 광용적맥파신호를 이용하여 사람의 심박수를 산출하는 방법
JP2019204464A (ja) 行動推定装置
TWM564431U (zh) 非接觸式心跳量測裝置
JP6379899B2 (ja) 情報処理装置、脈波計測プログラムおよび脈波計測方法
JP2009297233A (ja) 脈波検出装置、脈波検出プログラムおよび脈波検出方法
Qiu et al. Low-cost gaze and pulse analysis using realsense
KR102473744B1 (ko) 가림 안가림 검사 중 획득한 안구 이미지 분석을 통한 사시진단방법
KR102411882B1 (ko) 이미지를 이용한 비대면 체력측정 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180731

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180924

R150 Certificate of patent or registration of utility model

Ref document number: 6417697

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150