JP2017055949A - 計測装置、計測システム、計測方法およびコンピュータプログラム - Google Patents

計測装置、計測システム、計測方法およびコンピュータプログラム Download PDF

Info

Publication number
JP2017055949A
JP2017055949A JP2015182737A JP2015182737A JP2017055949A JP 2017055949 A JP2017055949 A JP 2017055949A JP 2015182737 A JP2015182737 A JP 2015182737A JP 2015182737 A JP2015182737 A JP 2015182737A JP 2017055949 A JP2017055949 A JP 2017055949A
Authority
JP
Japan
Prior art keywords
subject
processing circuit
image processing
respiration
respiratory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015182737A
Other languages
English (en)
Inventor
淳史 堀
Atsushi Hori
淳史 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2015182737A priority Critical patent/JP2017055949A/ja
Priority to PCT/JP2016/077391 priority patent/WO2017047734A1/ja
Publication of JP2017055949A publication Critical patent/JP2017055949A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測システムを提供する。
【解決手段】計測システム100は、光源20と、撮像装置10と、情報処理装置30とを備える。被験体1の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材40が配置され、光源から被験体に向けて光が放射されたときにおいて、情報処理装置は、撮像装置から動画像を受け取り、複数のフレーム画像のうち少なくとも1つのフレーム画像における反射パターンの座標位置を算出し、かつ、複数の分割領域を座標位置に基づいて各フレーム画像内に設定し、分割領域毎に生成した呼吸波形に基づいて被験体の呼吸に起因する生体活動を計測する。
【選択図】図1

Description

本発明は、被験者の映像から被験者の呼吸数等の、呼吸に起因する生体活動を計測するための技術に関する。なお、本明細書では、被験者は人であるとして説明するが、人以外の動物であってもよい。観測対象としての動物(人を含む。)を総称して「被験体」と呼ぶことがある。
カメラで被験者を撮影し、その動画像から体動や血流などの生体反応による輝度値の変化を検出し、被験者の呼吸数、心拍数等の生体活動を計測する技術が知られている。被験者が写る画像領域は、観測者が予め指定したり、輪郭抽出技術を用いたりすることによって特定される。呼吸に起因する生体活動を計測する計測装置として、呼吸モニタリング装置や心拍数計測装置などがあり、例えば特許文献1および2がそのような装置を開示している。
特許文献1の呼吸モニタリング装置は、被験者を撮影した画像を局所領域に分割し、それぞれの局所領域の明度情報を解析する。そして、三種類のしきい値を用いて、被験者の胸部周辺の動きを観測しているのか、寝返りなどの非呼吸体動を観測しているかを判定する。
特許文献2の心拍数計測装置は、赤外線光源を搭載したカメラで被験者の顔面を撮影し、フレームごとの顔画像から、眉間の特定領域を抽出してその平均輝度を補正する。心拍数計測装置は、補正された平均輝度の時系列から補正輝度の時間的変化の波形を得て、この波形を心拍数に対応する周波数帯でフィルタリングすることで、被験者の心拍数を算出する。
特開平11−276443号公報 特開2011−130996号公報
特許文献1の呼吸モニタリング装置においては、非呼吸体動の判定に必要な適切なしきい値は、撮影環境に応じて大きく変動する。たとえば観測場所の明るさの変化、室内光源の位置、外部からの入射光の有無、被撮影者以外の人や物の移動により、設定すべきしきい値は大きく変動し得る。そのため、適切なしきい値を求めることが困難となり、しきい値が不適切な場合は、呼吸などの生体情報を求めるための領域を算出することができない。
特許文献2の心拍数計測装置は、被験者の顔面を撮像範囲に捉えて撮影する必要がある。特許文献1と同様、照度の変化、人の動き、外部光の入射など撮影環境が変化すると、生体活動以外の原因で、被験者が写る画像領域の輝度値が大きく変化する。このような外乱ノイズが発生すると、生体反応に起因した体動個所を特定できず、生体情報が正確に抽出できないことがある。
また、カメラから被験者の顔面が離れると被験者の生体情報を取得する精度が落ちるので、比較的近距離から被験者の顔面を撮像し続けなければならない。その結果、被験者に圧迫感を与えてしまい、計測対象となる生体活動への影響が懸念される。
このように、従来の呼吸モニタリング装置および心拍数計測装置は、撮影環境の変化に対しロバストであるとは決して言えない。生体活動の計測装置には、撮影環境の変化に対するロバスト性のさらなる向上が求められていた。
本発明は、上記課題を解決するためになされたものであって、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測システム(以下、単に「計測システム」と称する。)を提供する。
本発明の実施形態による計測装置は、光源から放射される光を受けた撮像装置によって生成された被験体の動画像を利用して前記被験体の生体活動を計測する計測装置であって、前記動画像を受け取る入力インタフェースと、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備え、前記動画像は、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときに、複数の時刻において前記再帰性反射材で反射された前記光に基づく時系列の複数のフレーム画像から構成され、前記画像処理回路は、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測する。
ある実施形態において、前記画像処理回路は、各分割領域の前記呼吸波形上の呼吸起点を特定するための指標を用いて前記被験体の呼吸に起因する生体活動を計測する。
ある実施形態において、前記画像処理回路は、前記複数のフレーム画像のうち2つのフレーム画像の間の画像変化を検出し、前記画像変化を検出したフレーム画像に関する呼吸波形を、前記被験体の呼吸に起因する生体活動の計測には使用しなくてもよい。
ある実施形態において、前記画像処理回路は、所定期間において、各分割領域の平均輝度が前記反射パターンの領域内の平均輝度よりも低く、かつ、前記反射マーカの外側の領域の平均輝度よりも高くなるように、前記複数の分割領域を設定してもよい。
ある実施形態において、前記画像処理回路は、前記各分割領域のサイズを変更しながら、所定期間における各分割領域の輝度値の、少なくとも最大値、最小値および平均が所定の条件を満足するまで、前記複数の分割領域を設定してもよい。
ある実施形態において、前記画像処理回路は、分割領域毎の前記呼吸波形のノイズを除去するローパスフィルタまたはフィルタバンクを有していてもよい。
ある実施形態において、前記画像処理回路は、前記ローパスフィルタまたはフィルタバンクを通過した前記呼吸波形を数値微分することで、前記呼吸波形における時系列のn個(nは1以上の整数)の極小点を、呼吸の吸い込みまたは吐き出しの開始点を意味する前記呼吸起点の候補として特定してもよい。
ある実施形態において、前記画像処理回路は、前記呼吸起点のn個の候補のうちのi番目(iは1からnまでの整数)の第1候補と、前記第1候補よりも1つ前の極小点である第2候補とに着目し、前記第1および第2候補の極小点の間の極大点と、前記第1候補の極小点と、の間の輝度値の差分を示すテイル側振幅、前記極大点と前記第2候補の極小点との間の輝度値の差分を示すヘッド側振幅、および前記テイル側振幅と前記ヘッド側振幅との比率を示すヘッドテイル比を含む前記指標を用いて、前記第1候補が前記呼吸起点であるかどうかを判定してもよい。
ある実施形態において、前記画像処理回路は、前記テイル側振幅が第1しきい値以上であり、前記ヘッド側振幅が第2しきい値以上であり、かつ、前記ヘッドテイル比が略1に等しい場合、前記第1候補を前記呼吸起点と判定してもよい。
ある実施形態において、前記画像処理回路は、前記呼吸波形の前記呼吸起点の候補に応じた数だけ、前記第1候補が前記呼吸起点であるかどうかを判定してもよい。
ある実施形態において、前記画像処理回路は、前記ローパスフィルタまたはフィルタバンクを通過した前記呼吸波形を用いて、前記呼吸波形の中で最小となる輝度値を下限値として設定し、かつ、前記下限値に振幅加算値を加算して呼吸起点のしきい値を前記指標として算出し、前記呼吸起点のしきい値を基準として、前記呼吸起点を判定してもよい。
ある実施形態において、前記画像処理回路は、前記呼吸起点のしきい値を更新期間毎に更新してもよい。
ある実施形態において、前記画像処理回路は、輝度値と前記呼吸起点のしきい値との差分の正負の符号が同一の方向に変化する前記呼吸波形上の隣接した2つの呼吸起点の間にある極小点を特定し、第1極小点と、前記第1極小点よりも時系列的に1つ前の第2極小点とに着目して、前記第1極および第2極小点の間の極大点と、前記第1極小点と、の間の輝度値の差分を示すテイル側振幅、前記極大点と前記第2極小点との間の輝度値の差分を示すヘッド側振幅、および前記テイル側振幅と前記ヘッド側振幅との比率を示すヘッドテイル比を含む前記指標を演算してもよい。
ある実施形態において、前記画像処理回路は、分割領域毎の前記呼吸波形および前記指標に基づいて前記複数の分割領域から分割領域を選択し、選択された分割領域の前記呼吸起点に基づいて前記被験体の呼吸に起因する生体活動を計測してもよい。
ある実施形態において、前記画像処理回路は、所定期間にわたって前記ヘッドテイル比が略1となり、かつ、前記所定期間における前記テイル側振幅および前記ヘッド側振幅の平均値がそれぞれ大きいか、または分散がそれぞれ小さい分割領域を前記複数の分割領域から選択し、選択された分割領域の前記呼吸起点に基づいて前記被験体の呼吸に起因する生体活動を計測してもよい。
ある実施形態において、前記画像処理回路は、所定期間にわたって前記ヘッドテイル比の平均値が第3しきい値以上になる分割領域の候補を前記複数の分割領域から選択し、前記分割領域の候補のうち、前記所定期間において前記テイル側振幅および前記ヘッド側振幅の平均値がそれぞれ最大となる分割領域の前記呼吸起点に基づいて前記被験体の呼吸に起因する生体活動を計測してもよい。
ある実施形態において、前記画像処理回路は、過去のデータほど重みが小さくなる重み付けによって前記ヘッドテイル比の加重平均値を算出し、前記加重平均が前記第3しきい値以上になる前記分割領域の候補を選択してもよい。
ある実施形態において、前記計測装置は、前記被験体の呼吸に起因する生体活動の計測結果を表示する表示装置をさらに備え、前記表示装置は、前記被験体の呼吸数、前記呼吸数のトレンドを示す波形、および前記動画像を表示してもよい。
本発明の実施形態による計測システムは、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムであって、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、前記撮像装置は、前記再帰性反射材で反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、前記画像処理回路は、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測する。
本発明の実施形態による計測方法は、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムを用いて、前記被験体の呼吸に起因する生体活動を計測する方法であって、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材を配置するステップと、前記光源が、前記光で前記被験体を照射するステップと、前記撮像装置が、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成するステップと、前記画像処理回路が、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定するステップと、前記画像処理回路が、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、を包含する。
本発明の実施形態によるコンピュータプログラムは、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムにおける前記画像処理回路によって実行されるコンピュータプログラムであって、前記被験体の呼吸に伴う体動の発生位置に、反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、前記撮像装置によって生成された動画像を受け取るステップであって、前記再帰性反射材で反射された複数の時刻の前記光に基づく時系列の複数のフレーム画像から構成される前記動画像を受け取るステップと、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定するステップと、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、を包含する。
本発明の一実施形態によれば、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測システムが提供される。
第1の実施形態による計測システム100の構成図である。 第1の実施形態による情報処理装置30のハードウェア構成図である。 第1の実施形態による計測システム100で行われる計測処理の手順を示すフローチャートである。 再帰性反射材40を装着した被験者1を撮影したフレーム画像102を示す模式図である。 再帰性反射材40を装着しない被験者を撮影したフレーム画像106を示す模式図である。 反射マーカとして機能する再帰性反射材40の反射パターンの一例示す模式図である。 被験者1以外の人物や被験者1の体動の影響を受けて呼吸波形に変化が生じる様子を示す模式図である。 被験者1とカメラ10との位置関係によって、異なる領域A、BおよびCの間で各領域から取得された呼吸波形が異なる様子を示す模式図である。 分割領域51が適切に設定された場合の呼吸波形を示すグラフである。 分割領域51が適切に設定されなかった場合の呼吸波形を示すグラフである。 複数の分割領域51の設定の手順を示すフローチャートである。 数値微分によって呼吸起点を判定する手順を示すフローチャートである。 呼吸波形において特定の呼吸起点が複数の呼吸起点の候補から決定される様子を示す模式図である。 呼吸波形における、テイルポイント、ヘッドポイント、マックスポイント、テイル側振幅、およびヘッド側振幅をそれぞれ示す模式図である。 最適な分割領域51を選択する処理の手順を示すフローチャートである。 呼吸数の計測に用いられる呼吸起点および呼吸周期(s)を呼吸波形上にそれぞれ示した模式図である。 ディスプレイ32に表示された表示内容を例示する模式図である。 呼吸起点のしきい値を用いて呼吸起点を判定する手順を示すフローチャートである。 ある分割領域51の呼吸波形を示す模式図である。 所定期間毎に呼吸起点のしきい値が更新される様子を示す模式図である。
本発明の実施形態による計測システムは、光を放射する光源と、光を受けて動画像を生成する撮像装置と、動画像を利用して被験者の生体活動を計測する画像処理回路とを備える。光源には赤外線光源が好適に用いられる。被験者の呼吸に伴う体動の発生位置(例えば胸部の位置)に反射パターンを有する再帰性反射材が配置され、光源から被験者に向けて光が放射されたときにおいて、撮像装置は、再帰性反射材で反射された光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される動画像を生成する。画像処理回路は、撮像装置から動画像を受け取り、複数のフレーム画像のうち少なくとも1つのフレーム画像における反射パターンの座標位置を算出し、かつ、各フレーム画像内で、反射パターンの領域の少なくとも一部を囲む複数の分割領域を反射パターンの座標位置に基づいて設定する。画像処理回路は、各分割領域において、複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、各分割領域の呼吸波形に基づいて被験者の呼吸に起因する生体活動を計測する。
本発明の実施形態による計測システムによると、種々の手法を用いて、計測に最も相応しい分割領域を複数の分割領域から選択し、その分割領域の呼吸波形に基づいて、被験者の呼吸に起因する生体活動を計測することが可能になる。
計測システム100は、呼吸起点を呼吸波形上で特定する。呼吸起点は、被験者の呼吸に起因する生体活動を計測するために用いられる。本実施形態においては、呼吸起点は、呼吸の吸い込みまたは吐き出しの開始点を意味する。本明細書においては、呼吸起点に基づいて主として呼吸数を計測する例を説明する。しかしながら、呼吸数は被験者の呼吸に起因する生体活動の一例であり、被験者の呼吸に起因する他の生体活動を計測してもよい。計測システムは、被験者の呼吸動作を計測し、呼吸による体動から呼吸に起因する波形(呼吸波形に相当する波形である。)を導出する。典型的には、その波形を利用して評価可能な他の生体活動、たとえば、呼吸の深さ、乱れ、無呼吸期間、無呼吸期間が発生する頻度などの生体活動は、本明細書において、計測対象である生体活動の範疇である。計測システムは、呼吸数および呼吸数のトレンドなどをディスプレイ上に表示することができる。
以下、添付の図面を参照しながら、本発明の実施形態による計測システムおよび計測方法を説明する。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。なお、本発明の実施形態による計測システムおよび計測方法は、以下で例示するものに限られない。例えば、一の実施形態と、他の実施形態とを組み合わせることも可能である。
(第1の実施形態)
図1は、本実施形態による計測システム100の構成を模式的に示す。計測システム100は、カメラ10と、光源20と、情報処理装置30と、再帰性反射材40とを含む。図1には被験者1が示されているが、被験者1は計測システム100に含まれない。
計測システム100は、被験者1の生体活動を観察するために利用される。本実施形態では、生体活動は被験者1の呼吸であるとし、計測システム100は所定期間内の呼吸数を計測する。
カメラ10は、CMOS(Complementary Metal Oxide Semiconductor)センサなどのイメージセンサおよび光学系を有する、いわゆる撮像装置であり、被験者1を撮影して動画像を生成する。カメラ10は、有線または無線で動画像のデータを情報処理装置30に送る。
光源20は光20aを放射する光源である。光は可視光であってもよく、不可視光(例えば赤外光)であってもよい。本実施形態では、赤外光を例に挙げて説明する。以下では、光20aを「赤外光20a」と記述する。
情報処理装置30は、カメラ10から動画像を受け取り、後述するような手法を用いて呼吸波形における呼吸起点を特定し、呼吸起点に基づいて被験者1の呼吸数を計測する。情報処理装置30の動作の詳細は後述する。
再帰性反射材40は、入射してきた光を、その入射方向に向けて反射する光学特性を有する反射材である。つまり、再帰性反射材40に入射する光の入射角と、再帰性反射材40によって反射された光の出射角とは等しい。ただしこの性質は理想的であり、実際には一部の入射方向とは異なる方向に反射され得る。本実施形態では、光源20の光軸とカメラ10の光軸とを近接して配置させている。これにより、光源20から放射された赤外光20aは再帰性反射材40に反射され、その多くが赤外光20bとしてカメラ10に入射する。よって、カメラ10は十分な光量で被験者1を撮影することができる。例えば再帰性反射材40として、ガラスビーズを塗布した布を用いることができる。
なお、再帰性反射材40を設けることにより、再帰性反射材40に入射した外乱光21aは、反射光21bとしてその入射方向に反射される。反射光21bは実質的にカメラ10に入射しないので、カメラ10によって撮影される動画像は外乱光の影響を受けにくくなる。
図2は、計測システム100の、主として情報処理装置30のハードウェア構成の例を示す。本実施形態では、情報処理装置30は、カメラ10とディスプレイ32とに電気的に接続されている。情報処理装置30は、カメラ10から、撮影された動画像のデータを受け取る。またディスプレイ32は、処理の結果であり、被験者1の生体活動である呼吸数の計測結果および呼吸数のトレンドなどを表示する。情報処理装置30は、カメラ10の撮影方向が適切でないと測定結果に基づいて判断した場合には、ディスプレイ32に警告を表示してもよい。
情報処理装置30は、CPU301と、ROM302と、RAM303と、ハードディスクドライブ(HDD)304と、インタフェース(I/F)305と、画像処理回路306とを有する。CPU301は情報処理装置30の動作を制御する。ROM302は、コンピュータプログラムを格納している。コンピュータプログラムは、たとえば後述するフローチャートによって示される処理をCPU301または画像処理回路306に行わせるための命令群である。RAM303は、CPU301による実行にあたって、コンピュータプログラムを展開するためのワークメモリである。HDD304は、カメラ10から受信した動画像のデータ、または計測された被験者1の呼吸数のデータを格納する記憶装置である。
I/F305は、情報処理装置30がカメラ10から動画像のデータを受け取るためのインタフェースである。情報処理装置30が有線のネットワーク経由で動画像のデータを受け取る場合には、I/F305はたとえばイーサネット(登録商標)端子であり得る。情報処理装置30が無線のネットワーク経由で動画像のデータを受け取る場合には、I/F305はたとえばWi−Fi(登録商標)規格に準拠した通信を行う送受信回路であり得る。またはI/F305は、有線の映像入力端子であってもよい。
画像処理回路306は、動画像のデータを解析する、いわゆるグラフィックスプロセッサである。画像処理回路306は、カメラ10から動画像を受け取り、複数のフレーム画像のうち少なくとも1つのフレーム画像における再帰性反射材40の反射パターンの座標位置を算出し、かつ、反射パターンの領域の少なくとも一部を囲む複数の分割領域51(図9Aを参照)をその座標位置に基づいて各フレーム画像の同じ位置に設定する。画像処理回路306は、分割領域51毎に複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、分割領域51の呼吸波形に基づいて被験者1の呼吸数を計測する。なお、反射パターンおよび分割領域51の詳細は後述する。
本実施形態ではCPU301とは別に画像処理回路306を設けているが、これは一例である。CPU301と画像処理回路306とを統合した集積回路を用いてもよいし、画像処理回路306の処理の一部を、CPU301が行ってもよい。
図3を参照して、計測システム100の全体の動作を説明する。
図3は、計測システム100で行われる計測処理の手順を示している。この処理は主としてCPU301および/または画像処理回路306によって実行される。以下では、実行主体は画像処理回路306であるとして説明する。
〔再帰性反射材40の配置および動画像の取得:ステップS1〕
まず、観測者または被験者1が、被験者1の呼吸に伴う体動の発生位置に、所定の反射パターンを有する再帰性反射材40を反射マーカとして配置する。光源20が赤外光で被験者1を照射すると、カメラ10は再帰性反射材40で反射された赤外光を受けて、被験者1の動画像を撮影する。
図4は、再帰性反射材40を装着した被験者1を撮影したフレーム画像102を例示している。画像中央部の、反射パターンに相当する高輝度領域(白い領域)104が、再帰性反射材40からの反射光が検出された領域である。情報処理装置30は、その領域を反射マーカとして認識する。参考として、図5は、再帰性反射材40を装着しない被験者を撮影したフレーム画像106を例示する。再帰性反射材40が存在しない場合には撮影されたフレーム画像内の輝度変化は非常に小さいと言える。なお、図4および図5には、複数の縦線および横線が示されているが、これは画像処理のために仮想的に設けられた境界線である。境界線によって区画される画像の領域は分割領域51とは異なるので留意されたい。
図6は、反射マーカとして機能する再帰性反射材40の反射パターンの一例を示している。再帰性反射材40は、例えば三角形状、矩形状およびひし形状の反射パターンを含むことができる。反射パターンに相当する高反射領域200の反射率はその周囲の領域の反射率に比べて相対的に高い。なお、高反射領域200は図4に示される高輝度領域104に対応している。
〔画像変化の検出:ステップS2〕
図7は、被験者1以外の人物や被験者1の体動の影響を受けて呼吸波形に変化が生じる様子を示している。図7(a)は、ベッド上の被験者1の様子を示し、図7(b)は、被験者1以外の人物がベッドの前を横切る様子を示し、図7(c)は、ベッド上の被験者1が寝返った様子を示している。図7(d)は、それぞれの状態における輝度値の変化を示している。図7(d)のグラフで(i)の波形は、通常の呼吸波形を示し、(ii)の波形は、外乱や被験者1の体動の影響を受けて変動した呼吸波形を示している。
呼吸数などを計測する従来の計測システムは、例えば図4や図5に示される区画されたある領域(単体のブロック)の平均輝度値の時間変化に基づいて呼吸波形を生成する。呼吸の動きを忠実に再現した呼吸波形を取得し、その呼吸波形から呼吸起点を正確に特定することが必要である。しかしながら、計測中に被験者1以外の人物がベッドの前を横切ったり、被験者1が寝返ったりすると、図7(d)に示されるように呼吸波形は大きく変動し、被験者1の呼吸に伴う輝度変化以外のノイズ成分を含んでしまう。ノイズを含んだ呼吸波形を用いると、呼吸起点が誤って特定されて、正確な呼吸数を計測できない可能性がある。
図8は、被験者1とカメラ10との位置関係によって、異なる領域A、BおよびCの間で各領域から取得された呼吸波形が異なる様子を示している。生体活動の測定環境は様々であり、カメラ10と被験者1との位置関係は必ずしも一定ではない。被験者1の呼吸の態様も様々である。そのため、画角が固定されていたとしても、体動に伴い発生する反射マーカの微細な振動の様子は設定される領域毎に異なる。従って、呼吸数の計測に最適な呼吸波形を取得できるかどうかは領域の設定の仕方に大きく依存する。このように、最適な呼吸波形を取得することは容易ではなく、複数の領域(例えば領域A、BおよびC)を設定したとしても、全ての領域から最適な呼吸波形を取得できるとは限らない。従来の計測システムは、環境変化に対する高いロバスト性を必ずしも備えていない。
再び図3を参照する。画像処理回路306は、例えば被験者1以外の人物や被験者1の体動によってフレーム画像に変化があったかどうかを検出する。具体的に説明すると、画像処理回路306は、例えばフレーム間差分または背景差分を用いてその変化を検出する。画像処理回路306は、その変化を検出した、フレーム画像内の領域や期間に取得された呼吸波形を呼吸数の計測には使用しないようにしている。以下、フレーム間差分を用いて検出する例を説明する。
フレーム間差分とは、時系列でi―n番目に取得されたフレーム画像とi番目に取得されたフレーム画像とをフレーム画像の間で差分を取ることにより、画素が大きく変化したフレーム画像内の領域を特定する手法である。ここで、iおよびnは1以上の整数であるとする。
画像処理回路306はフレーム画像の画素毎にフレーム画像の間で差分を取り、差分値を求める。差分値が所定のしきい値を超えた画素を「変化画素」と記述し、変化画素が集合する領域を「変化ブロック」と記述する。画像処理回路306は、変化画素または変化ブロックの数が所定のしきい値以上であれば、フレーム画像に変化があったと判定する。
画像処理回路306は、画素単位ではなくブロック単位で、フレーム画像間の変化を検出することもできる。画像処理回路306は、例えば8×8画素の領域をブロック(図4や図5に示される、境界線によって区画される画像の領域に対応する。)単位として、ブロック内の画素の輝度平均を算出し、フレーム画像の間でそれらの差分を取ってもよい。
通常、フレーム画像の反射マーカ以外の領域においてフレーム画像の間で画像の変化が生じても、そのことが、被験者1の呼吸に伴う輝度変化に大きく影響することは少ないと考えられる。従って、演算処理の高速化などの観点から、上述した検出処理は、反射マーカ以外の領域に適用することが好ましい。さらに、例えば被験者1の手足が動くと、小さな体動が発生し得る。そのような体動による影響を除去するために、画像処理回路306は、反射マーカから被験者1の頭、手および足までの領域を推定し、上記の検出処理をその領域だけに適用しても構わない。また、画像処理回路306は被験者の各部位(例えば、顔、手および足)の領域を推定し、その部位が動いたかどうかを検出してもよい。
画像処理回路306は、画像の変化を検出した場合、その変化を検出した期間に取得された呼吸波形を呼吸数の計測には使用しない。これにより、被験者1の体動や外乱による呼吸計測への影響を抑制することができる。
後述するように、画像処理回路306は、生成した呼吸波形をローパスフィルタを用いてフィルタリングすることが可能である。ローパスフィルタの次数(例えば16次)分のデータは呼吸以外の成分を含むので、画像処理回路306は、フィルタリングする際にはその次数分のデータ(例えば16サンプル)を呼吸数の計測には使用しないようにしている。
〔反射パターンの座標位置を特定:ステップS3〕
画像処理回路306は、カメラ10から動画像を受け取り、例えば公知のパターン認識手法を用いて、複数のフレーム画像のうち少なくとも1つのフレーム画像における反射パターンの座標位置を特定する。反射パターンの座標位置は、例えば図6に示される高反射領域200の各頂点、中心または重心の座標を意味する。
画像処理回路306は、コーナ検出法およびエッジ検出法を用いて反射パターンの座標位置を特定することもできる。このような特定方法は、本出願人による未公開の特許出願である特願2015−102726号に記載されている。これらの開示内容の全てを参考のために本明細書に援用する。コーナ検出法およびエッジ検出法を併用することにより、環境変化に対するロバスト性をさらに向上させることができる。
反射パターンの座標位置に関する情報を更新するタイミングを説明する。上述したとおり、画像処理回路306は、複数のフレーム画像のうち少なくとも1つにおける反射パターンの座標位置を特定する。例えば、画像処理回路306は、10秒毎にその座標位置を更新する。動画像が30fpsで撮影される場合、画像処理回路306は、300フレーム毎にその画像内の反射パターンの座標位置を特定する。換言すると、300フレーム毎にその座標位置に関する情報は更新される。例えばその更新間隔は、被験者1の呼吸数6回分に相当する。
〔複数の分割領域51の設定および呼吸波形の生成:ステップS4〕
図9Aは、分割領域51が適切に設定された場合の呼吸波形を例示している。図9Bは、分割領域51が適切に設定されなかった場合の呼吸波形を例示している。
再帰性反射材40の反射マーカを囲むように、監視領域50が設定される。監視領域50は複数の分割領域51から構成されている。監視領域50は、反射マーカの領域を例えば3×3以上に分割する複数の分割領域51を含んでいる。分割領域51のサイズは、カメラ10の解像度や画角などに依存して決定され、例えば16×16画素とすることができる。
被験者1の呼吸の大きさやカメラ10の画角などの測定環境によって、呼吸に伴う反射マーカの微細な振動(上下方向)の動き量は異なる。従って、その動き量は、分割領域51の位置やサイズに大きく依存する。図9Aは、呼吸波形が忠実に再現される位置に分割領域Pが設定されたときに取得された波形を示している。呼吸波形は歪みを含まず、滑らかな曲線によって描かれていることが分かる。以降、このような呼吸波形を「正常な呼吸波形」と記述する。適切な位置に分割領域51を設定することで、正常な呼吸波形が取得され、被験者1の呼吸数を正確に計測することができる。
図9Bは、呼吸波形が忠実に再現されない位置に分割領域Pが設定されたときに取得された波形を示している。呼吸波形は、その一部に矩形波のような歪んだ波形を含んでおり、滑らかな曲線によって描かれているとは言えない。このように、部分領域51の位置やサイズによっては、正常な呼吸波形を取得できない可能性があることが分かる。一部が歪んだ呼吸波形を用いると、後述する呼吸起点を誤って特定してしまう可能性がある。その結果、被験者1の呼吸数を正確に計測することはできない。
上記の課題を解決するために、本実施形態による画像処理回路306は、ステップS3で取得した反射マーカの座標情報に基づいて、反射パターンの領域の少なくとも一部を囲むように複数の分割領域51を各フレーム画像の同じ位置に設定する。
呼吸数の計測に適した分割領域として、例えば図9Aに示されるように、吸って吐いての期間(つまり、1呼吸期間の半分の期間)で、反射マーカの移動(上下移動)が各領域の範囲内で発生する分割領域51を採用することが好ましい。それを実現するため、画像処理回路306は、吸って吐いての期間において、分割領域51の輝度平均が反射パターンの領域内の輝度平均よりも低く、かつ、反射マーカの外側の領域の輝度平均よりも高くなるように、複数の分割領域51を設定することが好ましい。画像処理回路306は、この条件を満足するまで、分割領域51の位置やサイズを変更しながら複数の分割領域51の設定を繰り返す。
図10は、複数の分割領域51の設定の手順の一例を示している。その手順はステップS4のサブルーチンに相当する。
(積分画像の生成:ステップS41)
ステップS41は任意に設けることができる。画像処理回路306は、カメラ10から取得した動画像から積分画像を生成する。積分画像を用いることで後段の演算処理の高速化が図れるので、ステップ41は設けておくことが好ましい。以下では、積分画像を用いて演算処理を行う例を説明する。
(複数の分割領域51を設定:ステップS42)
画像処理回路306は、ステップS3で取得した反射マーカの座標情報に基づいて、各フレーム画像において反射パターンの領域の少なくとも一部を囲むように複数の分割領域51を設定する。画像処理回路306は最初、個々の分割領域51のサイズを例えば8×8画素に設定する。
(輝度平均を算出して呼吸波形を生成:ステップS43)
画像処理回路306は、分割領域51毎に画素の輝度平均を算出して、所定期間(例えば過去の20秒間)の輝度平均の変化を示す時系列データに基づいて呼吸波形を生成する。または、画像処理回路306は、所定期間における分割領域の画素の積算値の変化を示す時系列データに基づいて呼吸波形を生成してもよい。本明細書では、「領域の輝度」とは、例えば領域内の画素の平均値、積算値または代表値を指す。
図9Aに示される例では、画像処理回路306は、3×4の分割領域51に対して12個の呼吸波形を生成する。例えば所定期間20秒は被験者の一般的な呼吸数3bpmに相当する。その場合、画像処理回路306はRAM303やHDD304にアクセスしながら、現時点から遡って過去の20秒間(フレームレートが30fpsの場合、600フレームに相当)の時系列データに基づいて呼吸波形を生成する。
(輝度値の最小値、最大値および平均値を算出:ステップS44)
画像処理回路306は、例えば過去の20秒間の時系列データに基づいて生成した呼吸波形から、上述した「領域の輝度」の、最小値、最大値および平均値を分割領域51毎に算出する。
(所定の条件が満たされているか否かを判定:ステップS45)
画像処理回路306は、分割領域51毎に輝度の最小値、最大値および平均値の全てが所定の条件を満たしているか否かを個別に判定することができる。具体的に説明すると、画像処理回路306は、輝度の最小値、最大値および平均値が所定の範囲内にあるかどうかをそれぞれ判定することができる。より具体的に説明すると、画像処理回路は、領域の輝度の最大値および最小値が、最大値<「反射パターンの領域内の輝度平均」―「しきい値」、かつ、最小値>「反射マーカの外側の領域の輝度平均」+「しきい値」となる条件を満足するか否かを判定することができる。
複数の分割領域51のうち、上述した条件を満たす分割領域51のブロック数が予め設定されたしきい値以上であれば(S45のYes)、処理は呼吸起点を特定する次のステップS5に移行する。この条件を満たす分割領域51の数が予め設定されたしきい値未満であれば(S45のNo)、処理は再びステップS42に戻る。画像処理回路306は、分割領域51のサイズや位置を変更して複数の分割領域51を再度設定する。
画像処理回路306は、ステップS45の条件が満たされるまでステップS42からS45までの処理を繰り返す。
〔呼吸起点の判定:ステップS5〕
本実施形態による画像処理回路306は、呼吸波形を数値微分することで呼吸起点を分割領域51毎に判定する。ステップS4で生成された呼吸波形には呼吸以外のノイズ成分が含まれている。ノイズが含まれた呼吸波形をそのまま微分すると、ノイズ成分が強調されてしまうので、呼吸起点を正確に特定することができなくなる。そこで、画像処理回路306は、数値微分を行う前にフィルタ307(図2を参照)を用いて呼吸波形からノイズを除去する。
図11は、数値微分によって呼吸起点を判定する手順を示している。その手順はステップS5のサブルーチンに相当する。
(呼吸波形のノイズを除去:ステップS51)
画像処理回路306は、分割領域51毎の呼吸波形のノイズを除去するフィルタ307(図2を参照)を有している。フィルタ307はローパスフィルタまたはフィルタバンクである。例えば呼吸数として0から150bpmまでを想定すると、遮断周波数2.5Hzを有するローパスフィルタを用いることができる。
画像処理回路306は、0から2.5Hzまでの信号を通過させるフィルタを用いると、被験者1の呼吸が遅いときに呼吸起点を誤検出する可能性がある。その点を考慮すると、例えば複数のフィルタから構成されたフィルタバンクを用いることが好ましいと言える。画像処理回路306は、フィルタバンクの各フィルタを透過した呼吸波形の中から最適な呼吸波形、例えば振幅が最も大きい呼吸波形を選択するとよい。
(呼吸波形を微分して呼吸起点の候補を抽出:ステップS52)
画像処理回路306は、フィルタ307を通過した分割領域51毎の呼吸波形を数値微分(1次微分)する。画像処理回路306は、微分して得られた、呼吸波形における時系列のn個(nは1以上の整数)の極小点を、呼吸起点の候補として抽出する。呼吸起点の候補に対応した極小点は、微分値がマイナスからプラスに変化する、いわゆる上向きゼロクロス点である。
(呼吸起点かどうかを判定:ステップS53)
ステップS52で得られた呼吸起点の候補、すなわち上向きゼロクロス点を呼吸起点とそのまま判定すると、呼吸数の計測において誤検出が多くなる。その理由は、呼吸以外による微妙な振動、外乱光、およびフィルタリングによるリンギングなどによっても、上向きゼロクロス点が生じてしまう可能性があるためである。画像処理回路306は、誤検出を防ぐために、呼吸起点の候補が呼吸起点であるかどうかを判定する。
図12は、呼吸波形において特定の呼吸起点が複数の呼吸起点の候補から決定される様子を示している。図13は、呼吸波形における、テイルポイント、ヘッドポイント、マックスポイント、テイル側振幅、およびヘッド側振幅をそれぞれ示している。
画像処理回路306は、呼吸起点のn個の候補のうちのi番目の第1候補と、第1候補よりも時系列で1つ前の第2候補とを選択する。iは、1からnまでの整数である。ここで、本明細書に用いられる用語を説明する。まず、第1候補の点を「テイルポイント」と表記し、第2候補の点を「ヘッドポイント」と表記し、第1および第2候補の極小点、つまりテイルポイントとヘッドポイントとの間の極大点を「マックスポイント」と表記する。次に、マックスポイントとテイルポイントとの間の輝度値の差分を「テイル側振幅(図13中の「TA」)」と表記し、マックスポイントとヘッドポイントとの間の輝度値の差分を「ヘッド側振幅(図13中の「HA」)」と表記する。最後に、テイル側振幅とヘッド側振幅との比率を「ヘッドテイル比」と表記する。
図13において、i番目の第1候補、すなわちi番目のテイルポイント(i)に着目する。テイルポイント(i)、第2候補に相当するヘッドポイント(i)、およびそれらの間のマックスポイント(i)の一組を用いて、ヘッド側振幅(i)、テイル側振幅(i)およびヘッドテイル比(i)の3つの指標が定義される。
画像処理回路306は、第1候補、つまりテイルポイント(i)が呼吸起点であるかどうかを分割領域51毎に3つの指標を用いて判定する。具体的には、画像処理回路306は、テイル側振幅およびヘッド側振幅がそれぞれ所定のしきい値以上であり、かつ、ヘッドテイル比が略1に等しい場合に、テイルポイント(i)を呼吸起点と判定する。所定のしきい値は、画像上の反射マーカの大きさ、および分割領域51のサイズに従って決定される。例えば画素の輝度値を8bitの信号で示す場合、所定のしきい値を3とすることができる。
画像処理回路306は、呼吸起点の候補に応じた数だけ、すなわちi=1からnに対してテイルポイント(i)が呼吸起点であるかどうかをそれぞれ判定する。このようにして、画像処理回路306は、テイルポイント(i)に関するヘッド側振幅、テイル側振幅およびヘッドテイル比などの呼吸起点の情報を分割領域51毎に取得する。呼吸起点に関する一連の情報は例えばRAM303などに保持される。
ヘッドテイル比は、テイル側振幅/ヘッド側振幅であってもよいし、ヘッド側振幅/テイル側振幅であってもよい。また、本実施形態では、演算の効率化を考慮して、ヘッドテイル比を、下記の数式(1)に示されるように常用対数の絶対値を用いて設定している。
ヘッドテイル比=|log10(ヘッド側振幅/テイル側振幅)| 数式(1)
〔最適な分割領域51を決定し、呼吸起点を特定:ステップS6〕
再び図3を参照する。画像処理回路306は、分割領域51毎の呼吸波形および呼吸起点の情報に基づいて、呼吸数の計測に最適な分割領域51を複数の分割領域51から選択する。画像処理回路306は、選択した分割領域51の呼吸波形において、呼吸数の計測に用いられる呼吸起点を特定する。
図14は、最適な分割領域51を選択する処理の手順の一例を示している。その手順はステップS6のサブルーチンに相当する。
(分割領域51毎にヘッド側振幅およびテイル側振幅の平均値をそれぞれ算出:ステップS61)
画像処理回路306は、過去の数拍分(例えば60秒)のヘッド側振幅およびテイル側振幅を分割領域51毎にそれぞれ平均する。なお、画像処理回路306は、過去の数拍分のヘッド側振幅およびテイル側振幅の分散をそれぞれ求めてもよい。呼吸数の計測に最適な分割領域51では、それぞれの平均値は大きくなり、分散は小さくなるという特徴がある。
(分割領域毎にヘッドテイル比の平均値を算出:ステップS62)
画像処理回路306は、過去の数拍分のヘッドテイル比の平均値を分割領域51毎に算出する。画像処理回路306は、過去の数拍分のヘッドテイル比に重み付をして加重平均を分割領域51毎に算出してもよい。その際、過去のデータになるほど重みが小さくなるように重み付を行う。呼吸数の計測に最適な分割領域51には、過去の数拍分のヘッドテイル比の変化は小さくなり、ヘッドテイル比は略1に等しくなるという特徴がある。換言すると、分散は小さくなるという特徴がある。
(最適な分割領域51の決定:ステップS63)
画像処理回路306は、下記の(A)から(C)のいずれかを条件として最適な分割領域51を選択することができる。画像処理回路306は、選択した分割領域51の呼吸波形において、呼吸数の計測に用いられる呼吸起点を特定する。
(A)過去の数拍分のヘッドテイル比が略1と一定であり、かつ、過去の数拍分のテイル側振幅およびヘッド側振幅の平均値がそれぞれ大きい。
(B)過去の数拍分のヘッドテイル比が略1と一定であり、かつ、過去の数拍分のテイル側振幅およびヘッド側振幅の分散がそれぞれ小さい。
(C)過去の数拍分のヘッドテイル比が略1と一定であり、かつ、過去の数拍分のテイル側振幅およびヘッド側振幅の分散が所定のしきい値以上であり、かつ、過去の数拍において、テイル側振幅およびヘッド側振幅の平均値のそれぞれが最も大きい。例えば、所定のしきい値を0.1に設定することができる。
画像処理回路306は、過去の数拍分のヘッドテイル比の平均が所定のしきい値以上になる分割領域の候補を選択する。画像処理回路306は、分割領域の候補のうち、過去の数拍分のテイル側振幅およびヘッド側振幅の平均値がそれぞれ最大となる分割領域51を、最適な分割領域51として選択してもよい。本実施形態では、上述したように、上記の数式(1)で表されるヘッドテイル比を用いていており、所定のしきい値を例えば1/2とすることができる。
例えば図8に示される複数の呼吸波形においては、画像処理回路306は、分割領域A、BおよびCのうち、テイル側振幅およびヘッド側振幅はいずれも大きく、かつ、ヘッドテイル比の分散は小さい分割領域Aを最適な分割領域51として決定することができる。
〔被験者1の呼吸数をカウント:ステップS7〕
図15は、呼吸数の計測に用いられる、ステップS6で特定された呼吸起点、および呼吸波形における呼吸周期(s)を示している。隣接する2つの呼吸起点の間の時間差が被験者1の呼吸の呼吸周期(s)である。呼吸数(bpm)は60/呼吸周期(s)で表される。
画像処理回路306は、ステップS6で選択された最適な分割領域51の呼吸波形および呼吸起点の情報に基づいて被験者1の呼吸数を計測する。例えば図8に示される複数の呼吸波形では、画像処理回路306は、分割領域Aの呼吸波形および呼吸起点の情報に基づいて被験者1の呼吸数を計測する。画像処理回路306は所定期間内の呼吸数をカウントすることができる。
〔計測結果の表示:ステップS8〕
図16は、ディスプレイ32に表示された表示内容の一例を示す。ディスプレイ32は、被験者1の呼吸に起因する生体活動の計測結果を表示する。その生体活動の計測結果に関する情報は、被験者1の呼吸数および呼吸数のトレンドを示す情報を含んでいる。呼吸数のトレンドを示す情報は、呼吸数の時間的な変化を示す波形としてディスプレイ32に表示される。また、呼吸数の情報は所定の間隔で更新される。
ディスプレイ32には、最適な分割領域51の輝度値の変化を示す呼吸波形も表示されている。さらに、計測システム100の状態を表すシステム情報が表示される。その情報は、例えば、検索中、測定中および停止中などの内部で起動しているプログラムの状態を意味する。
また、ディスプレイ32にはカメラ10により撮像された動画像がリアルタイムで表示されている。反射マーカの検出位置と呼吸数の計測に用いられている分割領域51とを特定する矩形状の枠を、その動画像に重畳的に表示することもできる。
反射マーカ、つまり再帰性反射材40の検出位置を表示することにより、測定システム100のオペレータ(例えば医師など)は正確に反射マーカが認識されていることをディスプレイ32上で確認することができる。もし、反射マーカが正確に配置されていなければ、ディスプレイ32には反射マーカの検出位置や呼吸数は表示されないので、オペレータはこの不具合を確実に確認することができる。
本実施形態によると、周囲の環境の変化に対して高いロバスト性を備えた計測システムが提供される。
(第2の実施形態)
第2の実施形態による画像処理回路306は、呼吸起点を判別するためのしきい値(以下。「呼吸起点のしきい値」と表記する。)を用いて呼吸起点を判定する点で、第1の実施形態による画像処理回路306とは異なる。本実施形態による呼吸起点は、輝度値が呼吸起点のしきい値に等しくなる呼吸波形上の点を指す。以下、共通する部分の説明は省略し、差異点を中心に説明する。
図17は、呼吸起点のしきい値を用いて呼吸起点を判定する手順を示している。その手順は第1の実施形態とは異なるステップS6のサブルーチンに相当する。
画像処理回路306は、図17の手順に従って呼吸起点を判定する。
(分割領域51毎に呼吸波形のノイズを除去:ステップS51)
画像処理回路306は、第1の実施形態と同様に、分割領域51毎に呼吸波形のノイズを除去する。
(下限値を算出:ステップS54)
図18は、ある分割領域51の呼吸波形を示している。図19は、所定期間毎に呼吸起点のしきい値が更新される様子を示している。
画像処理回路306は、所定期間のデータを基にして呼吸起点のしきい値を算出するための下限値を設定する。画像処理回路306は、例えば過去20秒間における輝度値の最小値をその下限値として設定する。下限値は、所定期間、例えば20秒毎に更新されることになる。
(呼吸起点のしきい値を算出:ステップS55)
画像処理回路306は、下限値に加算値を加えて呼吸起点のしきい値を求める。例えば、加算値を「1」とすることができる。上述したように、下限値は所定期間毎に更新されるので、呼吸起点のしきい値も所定期間毎に更新される。図19には、3区間における呼吸波形のDC成分の変動の様子を示している。呼吸波形のDC成分は区間毎に変動することが分かる。本実施形態では、呼吸起点のしきい値はDC成分の変動に応じて区間毎に更新される。これにより、DC成分の変動に追従して、呼吸起点を正確に判定することができる。
(呼吸起点を判定:ステップS56)
画像処理回路306は、呼吸起点のしきい値を基準として呼吸起点を判定する。具体的に説明すると、例えば画像処理回路306は、輝度値と呼吸起点のしきい値との差分の正負の符号が負から正に変化する呼吸波形上の点を呼吸起点と判定する。または、画像処理回路306は、その逆に正負の符号が変化する呼吸波形上の点を呼吸起点と判定してもよい。
本実施形態による画像処理回路306は、呼吸起点を判定した後は、第1の実施形態と同様に、最適な分割領域を決定し、呼吸起点を特定して(ステップS6)、被験者の呼吸数を計測する(ステップS7)。具体的に説明すると、例えば、画像処理回路306は、輝度値と呼吸起点のしきい値との差分の正負の符号が負から正に変化する呼吸波形上の隣接した2つの呼吸起点の間にある極小点を把握し、それらの極小点に基づいてヘッド側振幅、テイル側振幅、およびヘッドテイル比を演算する。画像処理回路306は、それらの指標を用いて第1の実施形態で説明した同一の条件に基づいて最適な分割領域を決定することができる。
なお、第1の実施形態による計測システム100は、第2の実施形態による計測システム100と比べて呼吸波形のDC成分の変動を受けにくい。そのため、DC成分の変動が顕著な測定環境などでは、第1の実施形態による計測システム100を用いることが好ましいと言える。
本実施形態によると、周囲の環境の変化に対して高いロバスト性を備えた計測システムが提供される。特に、微小なノイズの影響を受けにくい計測システムが提供される。
(第3の実施形態)
第3の実施形態による計測システム100は、カメラ10が光学フィルタを装着している点で、第1の実施形態による計測システム100とは異なる。以下、共通する部分の説明は省略し、差異点を中心に説明する。
カメラ10は、可視光領域の波長を遮る光学フィルタ(不図示)を装着していてもよい。その光学フィルタは、例えば赤外フィルタとも呼ばれる。光学フィルタは、光源20から放射され、再帰性反射材40において反射された赤外光は透過するが、可視光は遮断する。
本実施形態によると、光学フィルタを設けることにより、赤外光以外の光、より具体的には可視光がカメラ10に入射することを防ぎ、それにより、撮影された動画像の輝度値の変化への影響を低減できる。可視光に起因する各フレーム画像の輝度値の変動を抑制できるので、可視光のみに起因し、生体反応に起因しない外乱ノイズの発生を効果的に低減できる。換言すると、再帰性反射材40において反射された赤外光のみによる輝度値の変化を確実に捉えることができる。
第1、第2および第3の実施形態では、カメラ10で撮像した動画像のリアルタイム処理を前提とした計測システム100を説明したが、本発明はこれに限定されない。例えば、カメラ10で撮像された被験者1の動画像は一旦、外部メモリなどに保存されてもよい。画像処理回路306は、外部メモリから動画像データを読み出して、そのデータに基づいて事後的に被験者1の呼吸数を計測しても構わない。画像処理回路306を含む情報処理装置30は、計測システム100の構成要素であってもよいし、それとは独立して市場に流通し得る単体の計測装置であってもよい。
本明細書は、以下の項目に記載の計測装置、計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラムを開示している。
〔項目1〕
光源から放射される光を受けた撮像装置によって生成された被験体の動画像を利用して前記被験体の生体活動を計測する計測装置であって、
前記動画像を受け取る入力インタフェースと、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と、
を備え、
前記動画像は、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときに、複数の時刻において前記再帰性反射材で反射された前記光に基づく時系列の複数のフレーム画像から構成され、
前記画像処理回路は、
前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、
前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測装置。
項目1に記載の計測装置によると、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測装置が提供される。
〔項目2〕
前記画像処理回路は、各分割領域の前記呼吸波形上の呼吸起点を特定するための指標を用いて前記被験体の呼吸に起因する生体活動を計測する、項目1に記載の計測装置。
項目2に記載の計測装置によると、呼吸起点を正確に特定することができる。
〔項目3〕
前記画像処理回路は、前記複数のフレーム画像のうち2つのフレーム画像の間の画像変化を検出し、前記画像変化を検出したフレーム画像に関する呼吸波形を、前記被験体の呼吸に起因する生体活動の計測には使用しない、項目2に記載の計測装置。
項目3に記載の計測装置によると、被験体の体動や外乱による呼吸計測への影響を抑制することができる。
〔項目4〕
前記画像処理回路は、所定期間において、各分割領域の平均輝度が前記反射パターンの領域内の平均輝度よりも低く、かつ、前記反射マーカの外側の領域の平均輝度よりも高くなるように、前記複数の分割領域を設定する、項目2または3に記載の計測装置。
項目4に記載の計測装置によると、適切な位置に複数の分割領域を設定することで、正常な呼吸波形が取得され、被験体の呼吸数を正確に計測することができる。
〔項目5〕
前記画像処理回路は、前記各分割領域のサイズを変更しながら、所定期間における各分割領域の輝度値の、少なくとも最大値、最小値および平均が所定の条件を満足するまで、前記複数の分割領域を設定する、項目2または3に記載の計測装置。
項目5に記載の計測装置によると、適切な位置に複数の分割領域を設定することで、正常な呼吸波形が取得され、被験体の呼吸数を正確に計測することができる。
〔項目6〕
前記画像処理回路は、分割領域毎の前記呼吸波形のノイズを除去するローパスフィルタまたはフィルタバンクを有している、項目2から5のいずれかに記載の計測装置。
項目6に記載の計測装置によると、呼吸波形からノイズを除去することができる。
〔項目7〕
前記画像処理回路は、前記ローパスフィルタまたはフィルタバンクを通過した前記呼吸波形を数値微分することで、前記呼吸波形における時系列のn個(nは1以上の整数)の極小点を、呼吸の吸い込みまたは吐き出しの開始点を意味する前記呼吸起点の候補として特定する、項目6に記載の計測装置。
項目7に記載の計測装置によると、呼吸起点のDC成分の変動を受けにくい計測装置が提供される。
〔項目8〕
前記画像処理回路は、前記呼吸起点のn個の候補のうちのi番目(iは1からnまでの整数)の第1候補と、前記第1候補よりも1つ前の極小点である第2候補とに着目し、
前記第1および第2候補の極小点の間の極大点と、前記第1候補の極小点と、の間の輝度値の差分を示すテイル側振幅、
前記極大点と前記第2候補の極小点との間の輝度値の差分を示すヘッド側振幅、
および前記テイル側振幅と前記ヘッド側振幅との比率を示すヘッドテイル比を含む前記指標を用いて、前記第1候補が前記呼吸起点であるかどうかを判定する、項目7に記載の計測装置。
項目8に記載の計測装置によると、3つの指標を用いて、呼吸起点の候補が呼吸起点であるかどうかをより正確に判定することができる。
〔項目9〕
前記画像処理回路は、前記テイル側振幅が第1しきい値以上であり、前記ヘッド側振幅が第2しきい値以上であり、かつ、前記ヘッドテイル比が略1に等しい場合、前記第1候補を前記呼吸起点と判定する、項目8に記載の計測装置。
項目9に記載の計測装置によると、3つの指標を用いて、呼吸起点の候補が呼吸起点であるかどうかをより正確に判定することができる。
〔項目10〕
前記画像処理回路は、前記呼吸波形の前記呼吸起点の候補に応じた数だけ、前記第1候補が前記呼吸起点であるかどうかを判定する、項目9に記載の計測装置。
〔項目11〕
前記画像処理回路は、前記ローパスフィルタまたはフィルタバンクを通過した前記呼吸波形を用いて、前記呼吸波形の中で最小となる輝度値を下限値として設定し、かつ、前記下限値に振幅加算値を加算して呼吸起点のしきい値を前記指標として算出し、
前記呼吸起点のしきい値を基準として、前記呼吸起点を判定する、項目6に記載の計測装置。
項目11に記載の計測装置によると、微小なノイズの影響を受けにくい計測装置が提供される。
〔項目12〕
前記画像処理回路は、前記呼吸起点のしきい値を更新期間毎に更新する、項目11に記載の計測装置。
項目12に記載の計測装置によると、微小なノイズの影響を受けにくい計測装置が提供される。
〔項目13〕
前記画像処理回路は、輝度値と前記呼吸起点のしきい値との差分の正負の符号が同一の方向に変化する前記呼吸波形上の隣接した2つの呼吸起点の間にある極小点を特定し、
第1極小点と、前記第1極小点よりも時系列的に1つ前の第2極小点とに着目して、
前記第1極および第2極小点の間の極大点と、前記第1極小点と、の間の輝度値の差分を示すテイル側振幅、
前記極大点と前記第2極小点との間の輝度値の差分を示すヘッド側振幅、
および前記テイル側振幅と前記ヘッド側振幅との比率を示すヘッドテイル比を含む前記指標を演算する、項目11または12に記載の計測装置。
〔項目14〕
前記画像処理回路は、分割領域毎の前記呼吸波形および前記指標に基づいて前記複数の分割領域から分割領域を選択し、選択された分割領域の前記呼吸起点に基づいて前記被験体の呼吸に起因する生体活動を計測する、項目7から13のいずれかに記載の計測装置。
項目14に記載の計測装置によると、生体活動の計測に最適な分割領域を選択することができる。
〔項目15〕
前記画像処理回路は、所定期間にわたって前記ヘッドテイル比が略1となり、かつ、前記所定期間における前記テイル側振幅および前記ヘッド側振幅の平均値がそれぞれ大きいか、または分散がそれぞれ小さい分割領域を前記複数の分割領域から選択し、選択された分割領域の前記呼吸起点に基づいて前記被験体の呼吸に起因する生体活動を計測する、項目7から10、および13のいずれかに記載の計測装置。
項目15に記載の計測装置によると、選択された分割領域の呼吸起点に基づいて被験体の呼吸に起因する生体活動を正確に計測することができる。
〔項目16〕
前記画像処理回路は、所定期間にわたって前記ヘッドテイル比の平均値が第3しきい値以上になる分割領域の候補を前記複数の分割領域から選択し、
前記分割領域の候補のうち、前記所定期間において前記テイル側振幅および前記ヘッド側振幅の平均値がそれぞれ最大となる分割領域の前記呼吸起点に基づいて前記被験体の呼吸に起因する生体活動を計測する、項目7から10、および13のいずれかに記載の計測装置。
〔項目17〕
前記画像処理回路は、過去のデータほど重みが小さくなる重み付けによって前記ヘッドテイル比の加重平均値を算出し、前記加重平均が前記第3しきい値以上になる前記分割領域の候補を選択する、項目16に記載の計測装置。
項目17に記載の計測装置によると、過去に比べて現在のデータをより重視した分割領域の候補の選択が可能になる。
〔項目18〕
前記被験体の呼吸に起因する生体活動の計測結果を表示する表示装置をさらに備え、
前記表示装置は、前記被験体の呼吸数、前記呼吸数のトレンドを示す波形、および前記動画像を表示する、項目1から17のいずれかに記載の計測装置。
項目18に記載の計測装置によると、オペレータや被験者は計測結果を表示装置上で確認することができる。
〔項目19〕
光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と
を備えた計測システムであって、
前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置は、前記再帰性反射材で反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
前記画像処理回路は、
前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、
前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測システム。
項目19に記載の計測システムによると、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測システムが提供される。
〔項目20〕
光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と
を備えた計測システムを用いて、前記被験体の呼吸に起因する生体活動を計測する計測方法であって、
前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材を配置するステップと、
前記光源が、前記光で前記被験体を照射するステップと、
前記撮像装置が、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成するステップと、
前記画像処理回路が、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定するステップと、
前記画像処理回路が、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、
を包含する、計測方法。
項目20に記載の計測方法によると、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測が可能になる。
〔項目21〕
光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と
を備えた計測システムにおける前記画像処理回路によって実行されるコンピュータプログラムであって、
前記被験体の呼吸に伴う体動の発生位置に、反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置によって生成された動画像を受け取るステップであって、前記再帰性反射材で反射された複数の時刻の前記光に基づく時系列の複数のフレーム画像から構成される前記動画像を受け取るステップと、
前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定するステップと、
前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、
を包含する、コンピュータプログラム。
項目21に記載のコンピュータプログラムによると、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測を可能にするコンピュータプログラムが提供される。
本発明は、被験体を撮影した動画像を解析して、被験体の生体活動、特に呼吸の数を非接触で計測する方法として利用することができる。また本発明は、そのような動画像の解析および生体活動の計測のための装置、システム、コンピュータプログラムとして利用することができる。
1 被験者
10 カメラ
20 光源
30 情報処理装置
32 ディスプレイ
40 再帰性反射材
50 監視領域
51 分割領域
100 計測システム
200 高反射領域
301 CPU
302 ROM
303 RAM
304 HDD
305 I/F
306 画像処理回路
307 フィルタ
本発明の実施形態による計測装置は、光源から放射される光を受けた撮像装置によって生成された被験体の動画像を利用して前記被験体の生体活動を計測する計測装置であって、前記動画像を受け取る入力インタフェースと、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備え、前記動画像は、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときに、複数の時刻において前記再帰性反射材で反射された前記光に基づく時系列の複数のフレーム画像から構成され、前記画像処理回路は、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、前記反射パターンの移動が各分割領域の範囲内で発生する複数の前記分割領域から構成される監視領域を設定し、前記複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測する。
本発明の実施形態による計測システムは、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムであって、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、前記撮像装置は、前記再帰性反射材で反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、前記画像処理回路は、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、前記反射パターンの移動が各分割領域の範囲内で発生する複数の前記分割領域から構成される監視領域を設定し、前記複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測する。
本発明の実施形態による計測方法は、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムを用いて、前記被験体の呼吸に起因する生体活動を計測する方法であって、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材を配置するステップと、前記光源が、前記光で前記被験体を照射するステップと、前記撮像装置が、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成するステップと、前記画像処理回路が、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、前記反射パターンの移動が各分割領域の範囲内で発生する複数の前記分割領域から構成される監視領域を設定し、前記複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定するステップと、前記画像処理回路が、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、を包含する。
本発明の実施形態によるコンピュータプログラムは、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムにおける前記画像処理回路によって実行されるコンピュータプログラムであって、前記被験体の呼吸に伴う体動の発生位置に、反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、前記撮像装置によって生成された動画像を受け取るステップであって、前記再帰性反射材で反射された複数の時刻の前記光に基づく時系列の複数のフレーム画像から構成される前記動画像を受け取るステップと、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、前記反射パターンの移動が各分割領域の範囲内で発生する複数の前記分割領域から構成される監視領域を設定し、前記複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定するステップと、前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、を包含する。

Claims (6)

  1. 光源から放射される光を受けた撮像装置によって生成された被験体の動画像を利用して前記被験体の生体活動を計測する計測装置であって、
    前記動画像を受け取る入力インタフェースと、
    前記動画像を利用して被験体の生体活動を計測する画像処理回路と、
    を備え、
    前記動画像は、前記被験体の呼吸に伴う体動の発生位置に反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときに、複数の時刻において前記再帰性反射材で反射された前記光に基づく時系列の複数のフレーム画像から構成され、
    前記画像処理回路は、
    前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を算出し、かつ、複数の分割領域を前記座標位置に基づいて各フレーム画像内に設定し、
    前記複数の分割領域の各々において、前記複数のフレーム画像にわたる輝度値の変化を示す呼吸波形を生成し、前記複数の分割領域の各々の前記呼吸波形に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測装置。
  2. 前記画像処理回路は、各分割領域の前記呼吸波形上の呼吸起点を特定するための指標を用いて前記被験体の呼吸に起因する生体活動を計測する、請求項1に記載の計測装置。
  3. 前記画像処理回路は、前記複数のフレーム画像のうち2つのフレーム画像の間の画像変化を検出し、前記画像変化を検出したフレーム画像に関する呼吸波形を、前記被験体の呼吸に起因する生体活動の計測には使用しない、請求項2に記載の計測装置。
  4. 前記画像処理回路は、分割領域毎の前記呼吸波形のノイズを除去するローパスフィルタまたはフィルタバンクを有し、
    前記画像処理回路は、前記ローパスフィルタまたはフィルタバンクを通過した前記呼吸波形を数値微分することで、前記呼吸波形における時系列のn個(nは1以上の整数)の極小点を、呼吸の吸い込みまたは吐き出しの開始点を意味する前記呼吸起点の候補として特定する、請求項2または3に記載の計測装置。
  5. 前記画像処理回路は、前記呼吸起点のn個の候補のうちのi番目(iは1からnまでの整数)の第1候補と、前記第1候補よりも1つ前の極小点である第2候補とに着目し、
    前記第1および第2候補の極小点の間の極大点と、前記第1候補の極小点と、の間の輝度値の差分を示すテイル側振幅、
    前記極大点と前記第2候補の極小点との間の輝度値の差分を示すヘッド側振幅、
    および前記テイル側振幅と前記ヘッド側振幅との比率を示すヘッドテイル比を含む前記指標を用いて、前記第1候補が前記呼吸起点であるかどうかを判定する、請求項4に記載の計測装置。
  6. 前記画像処理回路は、所定期間にわたって前記ヘッドテイル比が略1となり、かつ、前記所定期間における前記テイル側振幅および前記ヘッド側振幅の平均値がそれぞれ大きいか、または分散がそれぞれ小さい分割領域を前記複数の分割領域から選択し、選択された分割領域の前記呼吸起点に基づいて前記被験体の呼吸に起因する生体活動を計測する、請求項5に記載の計測装置。
JP2015182737A 2015-09-16 2015-09-16 計測装置、計測システム、計測方法およびコンピュータプログラム Pending JP2017055949A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015182737A JP2017055949A (ja) 2015-09-16 2015-09-16 計測装置、計測システム、計測方法およびコンピュータプログラム
PCT/JP2016/077391 WO2017047734A1 (ja) 2015-09-16 2016-09-16 計測装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015182737A JP2017055949A (ja) 2015-09-16 2015-09-16 計測装置、計測システム、計測方法およびコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2017055949A true JP2017055949A (ja) 2017-03-23

Family

ID=58289498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015182737A Pending JP2017055949A (ja) 2015-09-16 2015-09-16 計測装置、計測システム、計測方法およびコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP2017055949A (ja)
WO (1) WO2017047734A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020036705A (ja) * 2018-09-03 2020-03-12 リンナイ株式会社 監視装置
JP2021013608A (ja) * 2019-07-12 2021-02-12 グローリー株式会社 変化タイミング検知装置、変化タイミング検知方法及び変化タイミング検知プログラム
WO2022168246A1 (ja) * 2021-02-05 2022-08-11 三菱電機株式会社 生体情報検出装置及び生体情報検出方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114831356B (zh) * 2022-07-05 2022-11-01 深圳市恒尔创科技有限公司 基于移动终端的电子烟控制方法及相关设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11276443A (ja) * 1998-03-27 1999-10-12 Toshiba Corp 被介護者観測装置及びその方法
JP2003032672A (ja) * 2001-07-17 2003-01-31 Sumitomo Osaka Cement Co Ltd 監視装置
JP2006507088A (ja) * 2002-11-25 2006-03-02 バリアン・メディカル・システムズ・テクノロジーズ・インコーポレイテッド 対象の呼吸活動をモニターする方法およびシステム
JP2008522522A (ja) * 2004-11-30 2008-06-26 ザ ユニバーシティー コート オブ ザ ユニバーシティー オブ セント アンドリューズ ビデオフィンガープリントのシステム、方法、及びコンピュータプログラム製品
WO2014136027A1 (en) * 2013-03-06 2014-09-12 Koninklijke Philips N.V. System and method for determining vital sign information
US20140276104A1 (en) * 2013-03-14 2014-09-18 Nongjian Tao System and method for non-contact monitoring of physiological parameters
US20140334697A1 (en) * 2013-05-08 2014-11-13 Koninklijke Philips N.V. Device for obtaining a vital sign of a subject
US20150073281A1 (en) * 2013-09-11 2015-03-12 Xerox Corporation Generating a flow-volume loop for respiratory function assessment
JP2015523132A (ja) * 2012-06-12 2015-08-13 コーニンクレッカ フィリップス エヌ ヴェ カメラによる生命徴候測定システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11276443A (ja) * 1998-03-27 1999-10-12 Toshiba Corp 被介護者観測装置及びその方法
JP2003032672A (ja) * 2001-07-17 2003-01-31 Sumitomo Osaka Cement Co Ltd 監視装置
JP2006507088A (ja) * 2002-11-25 2006-03-02 バリアン・メディカル・システムズ・テクノロジーズ・インコーポレイテッド 対象の呼吸活動をモニターする方法およびシステム
JP2008522522A (ja) * 2004-11-30 2008-06-26 ザ ユニバーシティー コート オブ ザ ユニバーシティー オブ セント アンドリューズ ビデオフィンガープリントのシステム、方法、及びコンピュータプログラム製品
JP2015523132A (ja) * 2012-06-12 2015-08-13 コーニンクレッカ フィリップス エヌ ヴェ カメラによる生命徴候測定システム
WO2014136027A1 (en) * 2013-03-06 2014-09-12 Koninklijke Philips N.V. System and method for determining vital sign information
US20140276104A1 (en) * 2013-03-14 2014-09-18 Nongjian Tao System and method for non-contact monitoring of physiological parameters
US20140334697A1 (en) * 2013-05-08 2014-11-13 Koninklijke Philips N.V. Device for obtaining a vital sign of a subject
US20150073281A1 (en) * 2013-09-11 2015-03-12 Xerox Corporation Generating a flow-volume loop for respiratory function assessment

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020036705A (ja) * 2018-09-03 2020-03-12 リンナイ株式会社 監視装置
JP2021013608A (ja) * 2019-07-12 2021-02-12 グローリー株式会社 変化タイミング検知装置、変化タイミング検知方法及び変化タイミング検知プログラム
JP7405527B2 (ja) 2019-07-12 2023-12-26 グローリー株式会社 変化タイミング検知装置、変化タイミング検知方法及び変化タイミング検知プログラム
WO2022168246A1 (ja) * 2021-02-05 2022-08-11 三菱電機株式会社 生体情報検出装置及び生体情報検出方法

Also Published As

Publication number Publication date
WO2017047734A1 (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
EP3057487B1 (en) Device and method for obtaining a vital sign of a subject
US20200260996A1 (en) Method and apparatus for processing a cyclic physiological signal
EP3373804B1 (en) Device, system and method for sensor position guidance
CN105190691B (zh) 用于获得对象的生命体征的设备
EP2560549B1 (en) Respiratory motion detection apparatus, method and computer program
JP6521845B2 (ja) 心拍に連動する周期的変動の計測装置及び計測方法
WO2016006027A1 (ja) 脈波検出方法、脈波検出プログラム及び脈波検出装置
WO2017047734A1 (ja) 計測装置
JP2019000474A (ja) 脈拍周期検出装置、脈拍周期検出方法、脈拍周期検出プログラム、及び脈波検出装置
KR20140110484A (ko) 영상정보를 이용한 위험 행동 검지방법
JPWO2020054122A1 (ja) 情報処理装置、プログラム及び情報処理方法
KR102150635B1 (ko) 비전 기반 심박수 측정 방법
Wiede et al. Signal fusion based on intensity and motion variations for remote heart rate determination
JP2016214937A (ja) 計測システムおよびコンピュータプログラム
JP6002811B1 (ja) 計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム
JP6280650B2 (ja) 被験体の呼吸に起因する生体活動の計測方法および計測システム
JP2017079811A (ja) 計測システム
JP7405527B2 (ja) 変化タイミング検知装置、変化タイミング検知方法及び変化タイミング検知プログラム
Nijholt Contactless respiration monitoring using a 3D camera system
CN116115214A (zh) 一种呼吸速率的检测方法、装置、电子设备及存储介质
JP2022081200A (ja) 情報処理装置、情報処理方法およびプログラム
WO2016076009A1 (ja) 被験体の呼吸に起因する生体活動の計測システム、および画像処理装置
CN117137454A (zh) 生物信息估算装置以及生物信息估算方法
JP2017123918A (ja) 呼吸モニタリング装置、呼吸数計測装置、呼吸数計測方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170127

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20170607

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170627