JP2017118994A - 呼吸モニタリング装置およびパラメータ生成装置 - Google Patents

呼吸モニタリング装置およびパラメータ生成装置 Download PDF

Info

Publication number
JP2017118994A
JP2017118994A JP2015257199A JP2015257199A JP2017118994A JP 2017118994 A JP2017118994 A JP 2017118994A JP 2015257199 A JP2015257199 A JP 2015257199A JP 2015257199 A JP2015257199 A JP 2015257199A JP 2017118994 A JP2017118994 A JP 2017118994A
Authority
JP
Japan
Prior art keywords
data
respiration
lighting device
respiratory
lighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015257199A
Other languages
English (en)
Other versions
JP6786768B2 (ja
Inventor
蔭地 謙作
Kensaku Oji
謙作 蔭地
三木 成一郎
Seiichiro Miki
成一郎 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2015257199A priority Critical patent/JP6786768B2/ja
Publication of JP2017118994A publication Critical patent/JP2017118994A/ja
Application granted granted Critical
Publication of JP6786768B2 publication Critical patent/JP6786768B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】被験者の呼吸を正確に判定する技術を提供する。【解決手段】呼吸モニタリング装置30は、被験体の動画像のデータを受け取るフレーム画像データ入力インタフェース101と、照明機器状態データを受け取る照明機器状態データ入力インタフェース105と、呼吸領域指定データを受け取る呼吸領域指定データ入力インタフェース103と、呼吸領域指定データに基づいて特定される呼吸領域における画像特徴量データを生成する画像特徴量データ生成部106と、照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部205と、画像特徴量データに基づいた呼吸波形の大きさと特定された呼吸波形の大きさの閾値とを比較して、被験体の呼吸が検出されたか否かを比較結果に応じて判定する呼吸判定部206と、を備える。【選択図】図3

Description

本発明は、被験体を撮影した動画像から被験体の呼吸状態を計測する技術に関する。
人間を撮影した動画像における胸部や腹部などの領域の画素値または輝度値の時間的な変化を示す呼吸波形データを解析して、呼吸数または呼吸の有無を判定する技術が知られている。そのような技術分野において、特許文献1が知られている。特許文献1の装置は、カメラで取り込んだ人間の動画像における、画像の濃淡の変動から時系列データを生成する。そしてこの装置は、時系列データのパワースペクトルを求め、そのピーク周波数を利用して呼吸数を算出する。この装置によれば、被験者が体の一部を動かしている場合でも呼吸数を正確に算出することができる。
特開2014−171574号公報
しかしながら、本願発明者の検討によると、従来の技術を用いると、部屋に設置された照明機器の影響を受けて、判定誤差が大きくなったり、呼吸数または呼吸の有無が誤って判定されたりすうという問題がある。
誤判定が生じたり、判定誤差が大きくなったりする要因の1つは、照明機器からの光(照明光)が呼吸波形データに影響するためである。照明機器を点灯すると、呼吸波形データの振幅が変化し、その結果、呼吸状態および無呼吸状態の判定に影響が及ぶ。また、照明機器のノイズによって、呼吸波形データが乱れる現象が生じる。照明機器のノイズとは、例えば照明機器に接続された外部電源から派生したノイズ、ランプの老朽化(つまり経時変化)に伴う照明光のちらつき、および照明機器のフリッカを意味する。
特許文献1に開示された装置においては、実際に室内で呼吸をモニタリングする場合、照明光が、パワースペクトル(波形の振幅)に影響及ぼし得る。また、照明光が測定データ(輝度値データ)のノイズとなり、測定結果に影響を与える場合がある。このように、照明機器を利用する場合、その影響を十分に考慮しないと、呼吸数を正確に判定できない蓋然性が高くなる。
本発明は、上記課題を解決するためになされたものであって、被験者の呼吸を正確に判定する技術を提供する。
本発明の実施形態による呼吸モニタリング装置は、時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るフレーム画像データ入力インタフェースと、1台以上の照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取る呼吸領域指定データ入力インタフェースと、前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成する画像特徴量データ生成部と、前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と、前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定する呼吸判定部と、を備える。
ある実施形態において、前記呼吸判定部は、前記呼吸波形の大きさが前記呼吸波形の大きさの閾値以上であるとき、前記被験体の呼吸を検出できたと判定し、前記呼吸波形の大きさが前記呼吸波形の大きさの閾値未満であるとき、前記被験体の呼吸を検出できなかったと判定してもよい。
ある実施形態において、前記テーブルデータは、前記照明機器状態データと、呼吸の判定結果の正確性を示す測定環境有効レベルと、の対応関係をさらに有し、前記パラメータ設定部は、前記テーブルデータを参照して前記照明機器状態データに対応する測定環境有効レベルを特定し、前記照明機器が呼吸の判定結果に与える影響を前記測定環境有効レベルに応じて判定してもよい。
ある実施形態において、前記呼吸モニタリング装置は、前記測定環境有効レベルが測定環境有効レベルの閾値未満であるときに警告を発する警告装置をさらに備えていてもよい。
ある実施形態において、前記照明機器は、照度を多段階に設定することが可能な調光機能を備えていてもよく、前記照明機器状態データは、前記照明機器の照度レベルに対応した明るさ度合を示すデータを含んでいてもよい。
ある実施形態において、前記呼吸波形の大きさを示す指標の1つは前記画像特徴量データの振幅であってもよい。
本発明の実施形態による呼吸モニタリングシステムは、光を放射する光源と、被験体からの光を受けて動画像を生成する撮像装置と、上記のいずれかに記載の呼吸モニタリング装置と、を備える。
ある実施形態において、前記光源は、赤外光を放射する赤外光源であってもよい。
本発明の実施形態による呼吸判定装置は、時系列の複数のフレーム画像から構成された被験体の動画像のデータに基づいた画像特徴量データを受け取るフレーム画像データ入力インタフェースと、照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定する呼吸判定部と、を備える。
本発明の実施形態によるパラメータ生成装置は、呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置であって、照明機器の点灯状態を示す照明機器状態データを受け取るフレーム画像データ入力インタフェースと、前記照明機器状態データと前記呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と、を備える。
ある実施形態において、前記照明機器は、照度を多段階に設定することが可能な調光機能を備えており、前記照明機器状態データは、前記照明機器の照度レベルに対応した明るさ度合を示すデータを含んでいてもよい。
ある実施形態において、前記呼吸波形の大きさを示す指標の1つは前記画像特徴量データの振幅であってもよい。
本発明の他の実施形態による呼吸モニタリング装置は、時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るフレーム画像データ入力インタフェースと、照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取る呼吸領域指定データ入力インタフェースと、前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成し、前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定し、前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するように構成された演算回路と、を備える。
本発明の実施形態による計測方法は、被験体の呼吸を判定する呼吸モニタリング装置に用いられる計測方法であって、時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るステップと、1台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取るステップと、前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成するステップと、前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するステップと、を包含する。
本発明の実施形態による閾値特定方法は、呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置に用いられる方法であって、1台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、を包含する。
本発明の実施形態によるコンピュータプログラムは、被験体の呼吸を判定する呼吸モニタリング装置に用いられるコンピュータに実行させるコンピュータプログラムであって、前記コンピュータに対し、時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るステップと、照明機器の点灯状態を示す照明機器状態データを受け取るステップと、前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取るステップと、前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成するステップと、前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するステップとを実行させる。
本発明の他の実施形態によるコンピュータプログラムは、呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置に用いられるコンピュータに実行させるコンピュータプログラムであって、前記コンピュータに対し、1台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、を実行させる。
本発明の一実施形態によれば、照明光による影響を低減することで、被験者の呼吸を正確に判定する技術を提供することができる。
第1の実施形態による呼吸モニタリング装置30を含む、呼吸モニタリングシステム100の構成を示す模式図である。 呼吸モニタリング装置30のハードウェア構成図である。 呼吸モニタリング装置30の機能ブロック図である。 呼吸モニタリング装置30の処理手順の典型例を示すフローチャートである。 あるフレーム画像400に指定された呼吸領域402の様子を示す模式図である。 複数のフレーム画像にわたる、呼吸領域402内の画像の時系列的な変化の一例を示す模式図である。 典型的な呼吸波形の模式図である。 第4の実施形態による、呼吸領域を自動的に取得する呼吸モニタリング装置31を有するモニタリングシステム100Aの構成を示す模式図である。 呼吸領域を自動的に取得する呼吸モニタリング装置31の機能ブロック図である。 呼吸領域を自動的に取得する処理に関する呼吸モニタリング装置31の処理手順を示すフローチャートである。 微細に振動するリフレクタ70によって部分領域Q内の輝度値が変化する様子を示す模式図である。 呼吸モニタリングシステム100Bの変形例を示すシステム構成図である。 第5の実施の形態によるパラメータ生成装置400の機能ブロック図である。 パラメータ生成装置400と接続可能な呼吸モニタリング装置30Aの機能ブロック図である。
本発明の実施形態による呼吸モニタリング装置は、時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るフレーム画像データ入力インタフェースと、1台以上の照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、複数のフレーム画像にわたって、動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取る呼吸領域指定データ入力インタフェースと、呼吸領域指定データに基づいて特定される呼吸領域における画像特徴量データを生成する画像特徴量データ生成部と、照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と、画像特徴量データに基づいた呼吸波形の大きさと、特定された呼吸波形の大きさの閾値と、を比較して、被験体の呼吸が検出されたか否かを比較結果に応じて判定する呼吸判定部と、を備える。画像特徴量データは、例えば複数のフレーム画像にわたって取得される、特定領域の画素値や輝度値に基づいた時系列データである。なお、本明細書では、被験者は人であるとして説明するが、人以外の動物(犬や猫などのペット動物、豚やマウスなどの実験動物)であってもよい。観測対象としての動物(人を含む。)を総称して「被験体」と呼ぶことがある。
本発明の実施形態による呼吸モニタリング装置によると、照明機器の使用状態が把握され、その状態に応じて、被験体の呼吸が検出されたか否かを判定するために用いるパラメータの値(例えば、振幅閾値)を変化させることにより、部屋の照明機器の使用状況に応じた判定が可能となる。
以下、添付の図面を参照しながら、本発明による呼吸モニタリング装置および呼吸モニタリングシステムの実施形態を説明する。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。なお、本発明の実施形態による呼吸モニタリング装置および呼吸モニタリングシステムは、以下で例示するものに限られない。例えば、一の実施形態と、他の実施形態とを組み合わせることも可能である。
(第1の実施の形態)
図1は、本実施の形態による呼吸モニタリング装置30を含む、呼吸モニタリングシステム100の構成を示す。
呼吸モニタリングシステム100は、カメラ10と、マウス20と、呼吸モニタリング装置30と、表示装置40とを含む。図1には被験者1、照明機器50および51が示されているが、それらは呼吸モニタリングシステム100に含まれない。呼吸モニタリングシステム100は、被験者1を撮影した動画像から、その被験者1の呼吸の有無を判定するために利用される。
カメラ10は、被験者1を撮影して動画像のデジタルデータを生成し、出力する。説明の都合上、1枚1枚のフレーム画像単位でデータが生成され、出力されるとする。なお、フレーム画像に分離可能であれば、そのデータ形式は任意である。たとえば、H.264規格等の動画像圧縮処理を利用して動画像のデジタルデータを生成し、出力してもよい。
マウス20は、呼吸モニタリングシステム100の操作者が呼吸モニタリング装置30に指示を入力するために利用される入力装置である。より具体的には、マウス20は、呼吸モニタリング装置30が呼吸を判定する際に動画像のどの領域を利用するかを指定するために利用される。なお、マウス20は入力装置の一例であり、他の周知の入力装置、たとえばトラックボール、キーボード、タッチペン、タッチスクリーンパネル、ディジタイザであってもよい。
呼吸モニタリング装置30は、典型的にはコンピュータである。呼吸モニタリング装置30は、カメラ10によって撮影された動画像の信号と、マウス20を利用して指定された領域の情報とを受け取り、指定された領域における動画像のデータを利用して、その被験者1の呼吸が検出されたか否かを判定する。その処理の詳細は後に詳述する。
表示装置40は、たとえば液晶ディスプレイであり、呼吸モニタリング装置30の処理結果、たとえば、計測した被験者1の呼吸の有無の情報、または呼吸の有無を判定できなかったことを示す情報を出力する。なお、液晶ディスプレイは一例であり、他の周知の表示装置、たとえばプラズマディスプレイ、有機ELディスプレイ、プロジェクタであってもよい。なお、表示装置40として、液晶ディスプレイ等を備えたタブレット、スマートフォンなどの携帯デバイスも含まれ得る。
照明機器50は、例えばLEDランプを備えたシーリングライトであり、照明装置51は、蛍光灯を備えたスタンドライトである。照明機器の光源は、種々の光源を含み、上記以外に例えば白熱灯や高輝度放電灯(HIDランプ)であってもよい。照明機器は、LED等の光源を搭載したテレビや光学のインジケータを搭載した機器など光を発する機器をすべて含む。なお、上述したように、これらの照明装置は、呼吸モニタリングシステム100には含まれない。
図2は、呼吸モニタリング装置30のハードウェア構成を示す。本実施の形態では、呼吸モニタリング装置30は、上述のように、カメラ10、マウス20および表示装置40と接続されている。なお、図2においては、接続端子(コネクタ)などを意味するインタフェース装置を「I/F」と略記する。
呼吸モニタリング装置30は、CPU301と、ROM302と、RAM303と、ハードディスクドライブ(HDD)304と、画像処理回路305と、映像入力I/F306と、USB I/F307と、映像信号I/F308と、照明入力I/F309とを有する。
CPU301は呼吸モニタリング装置30の動作を制御する。ROM302は、コンピュータプログラムを格納している。コンピュータプログラムは、たとえば後述するフローチャートによって示される処理、その処理の一部、またはその変形例にかかる処理をCPU301または画像処理回路305に行わせるための命令群である。RAM303は、CPU301による実行にあたって、コンピュータプログラムを展開するためのワークメモリである。HDD304は、カメラ10から受信した動画像のデータ、または被験者1の計測データを格納する記憶装置である。
映像入力I/F306は、呼吸モニタリング装置30がカメラ10から動画像のデータを受け取るためのインタフェースである。映像入力I/F306として、たとえばUSB、IEEE1394、HDMI(登録商標)規格、DVI−D規格、DisplayPort(登録商標)規格の端子が利用され得る。
USB I/F307は、マウス20と呼吸モニタリング装置30とを接続する端子の一例である。他の例として、PS/2 I/Fを利用し得る。
出力I/F308は、呼吸モニタリング装置30が表示装置40に表示するためのデータを出力するためのインタフェースである。出力I/F308として、たとえばHDMI規格、DVI規格の端子が利用され得る。出力I/F308は、表示装置40に表示されるテキストデータのみを出力してもよい。
照明入力I/F309は、照明機器50および51と、呼吸モニタリング装置30との間で、照明機器の点灯状態を示す照明機器状態データを通信するためのインタフェースである。照明機器状態データは、照明機器が点灯しているON状態や消灯しているOFF状態を示している。照明入力I/F309は、データが転送可能であればその形態、プロトコルには限定されない。例えばUSB、IEEE1394、Wi−Fi、Bluetooth(登録商標)、I2C(Inter Integrated Circuit)規格、HDMI規格の端子が利用され得る。特に、HDMI規格の端子を用いる場合、CEC(Consumer Electronics Control)を利用することにより照明機器状態データを通信することができる。
なお、映像入力I/F306および/または出力I/F308は、映像専用のI/Fである必要はなく、データが転送可能であればその形態、プロトコルには限定されない。例えば、カメラ10またはカメラ10から映像データを受け取った他の機器(図示せず)が、TCP/IPプロトコルの通信を行うことが可能であれば、映像入力I/F306は、イーサネット(登録商標)端子であってもよい。または、無線通信によってデータの送信および/または受信を行う場合には、映像入力I/F306、出力I/F308、および照明入力I/F309の少なくとも1つは、たとえばWi−Fi(登録商標)規格やZigBee(登録商標)規格に準拠した通信を行う通信回路として実現され得る。
画像処理回路305は動画像のデータを解析する。画像処理回路305は、例えばグラフィックスプロセッサ、ASIC(Application Specific Integrated Circuit)、およびFPGA(Field−Programmable Gate Array)のような集積回路である。画像処理回路305は、HDD304から読み出した動画像のデータを利用して被験者1の呼吸を検出できたか否かを判定する。本実施の形態では主として画像処理回路305が、被験者1の呼吸を検出できたか否かを判定するものとして説明する。しかしながら、これは一例である。本実施の形態ではCPU301とは別に画像処理回路305を設けているが、CPU301と画像処理回路305とを統合した集積回路(後述する演算回路310に相当)を設けてもよい。また、画像処理回路305の処理またはその一部を、CPU301が行ってもよい。本明細書では、CPU301および画像処理回路305を総称して、「演算回路」と呼ぶことがある。図2には、演算回路310が示されている。演算回路310もまた、例えばプロセッサ、FPGAおよびASICのような集積回路であり得る。
図3および4を参照して呼吸モニタリング装置30の機能および動作を説明する。
図3は、主として呼吸モニタリング装置30の機能ブロックを示している。図示される各機能ブロックに対応した機能は、ソフトウェアおよびハードウェアのいずれによっても呼吸モニタリング装置30に実装され得る。
呼吸モニタリング装置30は、フレーム画像データ受信I/F101と、フレーム画像データバッファ102と、呼吸領域指定データ受信I/F103と、呼吸領域指定データバッファ104と、照明機器状態データ受信I/F105と、画像特徴量データ生成部106と、呼吸判定装置200とを有している。
呼吸判定装置200は、画像特徴量データ受信I/F201と、画像特徴量データバッファ202と、照明機器状態データ受信I/F203と、内部レジスタ204と、パラメータ設定部205と、呼吸判定部206と、呼吸状態データバッファ207とを有している。なお、バッファは、バッファメモリとも称される。
上述した機能ブロックと、図2の各構成要素との対応関係は以下のとおりである。呼吸モニタリング装置30の画像特徴量データ生成部106、呼吸判定装置200の呼吸判定部206およびパラメータ設定部205は、演算回路310(CPU301および/または画像処理回路305)に対応する。フレーム画像データ受信I/F101は、映像入力I/F306に対応する。呼吸領域指定データ受信I/F103は、USB I/F307に対応する。照明機器状態データ受信I/F105は、照明入力I/F309に対応する。本明細書では、各「I/F」は、上述したようなハードウェアインタフェースに限らず、例えばAPI(Application Programming Interface)のようなソフトウェアインタフェース、および呼吸モニタリング装置30に実装されるコンピュータプログラムを構成するモジュールのインタフェースを含む。モジュール間のインタフェース仕様(例えば、データ構造など)も各「I/F」に含まれる。
画像特徴量データ生成部106、呼吸判定装置200の呼吸判定部206、パラメータ設定部205、および各「I/F」は、ソフトウェアによって実現されてもよいし、それらの一部がソフトウェアによって実現されてもよい。従って、本発明のある一態様においては、呼吸モニタリング装置30は、図示される各機能ブロックに対応した機能を実行するための命令群を含むコンピュータプログラムが実装された集積回路であり得る。そのような集積回路は、例えば演算回路310に相当する。
フレーム画像データバッファ102、呼吸領域指定データバッファ104、画像特徴量データバッファ107および202、呼吸状態データバッファ207は、RAM303、またはHDD304に対応する。なお、CPU301および/または画像処理回路305は、キャッシュメモリと呼ばれる記憶装置を内蔵していることが多い。そのようなキャッシュメモリが、上述した各バッファの全部または一部として利用されてもよい。
上述の対応関係の記載により、たとえば、以下の記載における「画像特徴量生成部106」、「パラメータ設定部205」および/または「呼吸判定部206」は、そのまま「演算回路310」と読み替えてもよいし、「CPU301」または「画像処理回路306」と読み替えてもよいし、例えば「画像処理回路306」に各機能ブロックに対応した特定の処理を実行させるためのコンピュータプログラムを構成するモジュールと読み替えてもよい。
図4は、呼吸モニタリング装置30の処理手順の典型例を示すフローチャートである。以下の説明において、適宜他の図面も参照しながら、各処理を説明する。
(ステップS1)
カメラ10は、被験者1が撮影された時系列の複数の画像フレームを生成し、呼吸モニタリング装置30に出力する。フレーム画像データI/F101は、複数の画像フレームを受信し、受信した複数の画像フレームをフレーム画像データバッファ102に一時的に格納する。そのため、フレーム画像データバッファ102は典型的にはフレームバッファである。この処理によってフレーム画像データバッファ102には、画像特徴量データの生成に必要な枚数分のフレーム画像のデータが格納される。
ここで、本明細書で用いられる用語を説明する。「画像特徴量」は、動画像のフレーム画像における特定画素および特定領域の画素値や輝度値に基づいたデータを意味する。「画像特徴量」は、例えば特定画素の画素値や輝度値の、平均値、積算値または代表値、および特定領域の画素値や輝度値の、平均値、積算値または代表値である。また、「画像特徴量データ」は、複数のフレーム画像にわたって取得される画像特徴量の時系列データを指す。本明細書では、特定領域の輝度値の平均値を例に画像特徴量を説明する。
なお、カメラ10が圧縮符号化された動画像データを出力する場合も、少なくとも画像特徴量データの生成に必要な枚数分のフレーム画像がフレーム画像データバッファ102に保持されていればよい。圧縮符号化された動画像データには、たとえば圧縮されたそのデータのみで完全な1枚のピクチャが構築可能なデータ(Iピクチャデータ)と、圧縮されたそのデータのみでは完全な1枚のピクチャが構築できないが、他のピクチャのデータを参照することによって完全な1枚のピクチャが構築可能なデータ(P、Bピクチャデータ)とが存在する。画像処理回路305は、I、P、Bピクチャデータを復号化することにより、必要な枚数分のフレーム画像をフレーム画像データバッファ102に格納することができる。
(ステップS2)
呼吸領域指定データ受信I/F103は、操作者によって指定された、呼吸領域を特定する情報(呼吸領域指定データ)を受け取る。そしてCPU301は、呼吸領域指定データを呼吸領域指定データバッファ104に格納する。
図5は、あるフレーム画像400に指定された呼吸領域402を示す。縦方向および横方向に伸びる複数の直線およびそれらによって囲まれる矩形の小領域群は、操作者に特定の小領域を指定させるために、表示装置40上のフレーム画像400上に仮想的に示されているに過ぎない。本明細書では、被験者1の呼吸に伴う体動の変化が含まれる小領域または小領域群が、呼吸領域として指定される。操作者は、その中からマウス20を利用して呼吸領域402を指定する。図5には、上下方向に隣接する2つの小領域を1つの呼吸領域402として指定する例が示されている。呼吸領域402は、フレーム画像内の絶対的な位置である。複数のフレーム画像にわたって、同じ位置の呼吸領域402の画像特徴量が求められる。
図6(a)〜(d)は、複数のフレーム画像にわたる、呼吸領域402内の画像の時系列的な変化の一例を示す。図6(a)を参照すると、呼吸領域402には2つのオブジェクトが存在する。被験者1を含む被験者オブジェクト404と、背景オブジェクト406である。オブジェクト404は被験者の衣服等の色の影響により相対的に明るい。すなわちオブジェクト404の領域の輝度値が大きい。一方の背景オブジェクト406は、相対的に暗い。すなわち背景オブジェクト406の領域の輝度値が小さい。
図6(a)〜(d)に示されるように、被験者1の呼吸に同期して、固定された呼吸領域402を占める被験者オブジェクト404の面積が変化する。このような小領域が、操作者によって呼吸領域202としてとして指定され得る。また、呼吸領域402は必ずしも操作者によって指定されなくてもよく、例えば後述するように、公知の画像処理方法を広く用いることにより自動で特定され得る。
なお、図6(a)〜(d)は、連続するフレーム画像とは限らない。たとえば、被験者1が1回の呼吸に2秒を要している場合には、図6(a)〜(d)は、たとえば0.5秒間隔の4枚のフレーム画像である。
(ステップS3およびS4)
画像特徴量データ生成部106は、フレーム画像データバッファ102からフレーム画像データを読み出し、呼吸領域指定データバッファ104から呼吸領域指定データを読み出して、呼吸領域402の画像特徴量データを生成する。画像特徴量データ生成部106は、生成した画像特徴量データを画像特徴量データバッファ107に一時的に格納する。
画像特徴量データを生成する処理は、呼吸領域402における、例えば輝度値の平均値の時系列データを求める処理である。図6(a)〜(d)に示されるように、被験者オブジェクト404の面積および背景オブジェクト406の面積が呼吸に同期して変化するため、呼吸領域402全体の輝度値の平均値も時間的に変動する。画像特徴量データ生成部106は、この輝度値の平均値、つまり画像特徴量をフレーム画像毎に求めることにより、被験者1の呼吸に伴って変動する情報、すなわち画像特徴量データを時系列で得ることができる。
なお、図1および図5によれば、カメラ10は、被検者1の斜め上の位置から水平に近い位置までの間に設置されている。しかしながらこの配置は一例である。カメラ10が被検者1を撮影する角度は任意である。たとえば被検者1の真上に設置されていてもよい。カメラ10が被検者1の真上から被検者1を撮影した場合は、図6(a)等に示す背景オブジェクト406が含まれないことがあり得る。しかしながら、そのような場合であっても、被検者1の画像特徴量データを得ることができる。たとえば、呼吸に伴って被験者1が動くことにより、光の反射方向が刻々と変化する。輝度値を継続的に測定することにより、画像特徴量データを得ることができる。
図7は、画像特徴量データをプロットすることにより得られる典型的な呼吸波形を示している。呼吸波形は画像特徴量データに基づいて取得される波形を意味する。呼吸波形は、呼吸領域402における輝度値の平均値の変化を示す。図示する正常な呼吸波形は歪みを含まず、滑らかな曲線によって描かれる。DC成分を基準として、輝度値の平均値が時間的に変化し、呼吸波形は被験者1の呼吸に伴う体動を再現している。本明細書では呼吸波形のDC成分を「ベースライン」と呼ぶことにする。なお、DC成分は、呼吸周期に応じた所定期間(例えば20秒)毎に変動し得る。
ここで「呼吸波形の大きさ」を定義する。「呼吸波形の大きさ」は、呼吸波形の大きさの程度を表現するものであればどんな指標でもよい。例えば、呼吸波形における、(1)ベースラインを基準として正側の極大点とベースラインとの間の輝度値の差、(2)隣接する極大点および極小点の差(いわゆる、ピークピーク値に相当)、(3)特定の時間窓内の最大値と最小値との差、および(4)特定の時間窓内の平均値との差の累積といった指標を用いることができる。上記(1)の輝度値の差を「呼吸波形の振幅」と定義する。また、呼吸波形の振幅を「画像特徴量データの振幅」と呼ぶ場合がある。
(ステップS5)
例えば、呼吸モニタリング装置30が起動したとき、呼吸モニタリング装置30と照明機器50および51との間でWi−Fi規格に準拠してコマンドの送受信がなされる。その際に、照明機器状態データ受信I/F105は、照明機器50および51の点灯状態を示す照明機器状態データを取得する。取得された照明機器状態データは、呼吸判定装置200の照明機器状態データ受信I/F204を介して呼吸判定装置200の内部レジスタ204に書き込まれる。
例えば、照明機器がONしている状態を「1」に割り当て、OFFしている状態を「0」に割り当てることができる。その場合、照明機器状態データは1または2bitのデータであり得る。例えば、照明機器50が点灯状態にあり、照明機器51が消灯状態にあるとき、照明機器状態データとして「10」という信号が照明機器状態データ受信I/F105に送信される。なお、無線/有線通信以外に、操作者が照明機器50および51の点灯状態を示す情報を、マウスやキーボードなどを用いて呼吸モニタリング装置30に手入力しても構わない。
(ステップS6およびS7)
例えばRAM303には、予め用意された、照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータが格納されている。
下記の表1はそのテーブルデータを例示している。本実施の形態では、パラメータ設定部205はテーブルデータを参照し、照明機器50および51の点灯状態に応じて呼吸波形の大きさの閾値を特定する。「呼吸波形の大きさの閾値」とは、被験者1の呼吸を検出できたか否かを判定するときに用いる閾値である。これにより、呼吸波形に乗ったノイズの影響を回避することや、異常と取れる浅い呼吸を呼吸とみなさないことが可能となる。すなわち、呼吸波形の大きさの閾値よりも大きいまたは以上の場合、正常な呼吸がなされていると判断することができる。呼吸波形の大きさの閾値は任意の値でよく、測定環境、正常とみなす呼吸の大きさを考慮して設定される。本明細書では、「呼吸波形の大きさ」の指標として、画像特徴量データ(呼吸波形)の振幅を用いる例を説明し、「呼吸波形の大きさの閾値」として「振幅閾値」を用いる例を説明する。表1には「呼吸波形の大きさの閾値」として「振幅閾値」を例示している。例えば振幅閾値は、正常な呼吸波形から得られる振幅の大きさの1/10程度の値に設定し得る。
本実施の形態においては、照明機器50の光源のちらつきが小さく、照明機器50の信頼性は高いとする。また、照明機器51の光源のちらつきは大きく、照明機器51の信頼性は低いとする。
パラメータ設定部205は、内部レジスタ204から照明機器状態データを読み出し、テーブルデータを参照して照明機器状態データに対応する振幅閾値を特定する。換言すると、パラメータ設定部205はテーブルデータを参照し、照明機器の点灯状態に応じて振幅閾値を変更することができる。表1に示されるように、例えば、照明機器50および51がいずれも消灯しているとき、振幅閾値として「5」を設定することができ、照明機器50および51がいずれも点灯しているとき、振幅閾値として「10」を設定することができる。パラメータ設定部205は、特定した振幅閾値のデータを内部レジスタ204に書き込む。
(ステップS8およびS9)
呼吸判定部206は、画像特徴量データバッファ202から画像特徴量データを読み出し、内部レジスタ204から振幅閾値のデータを読み出して、呼吸判定データを生成する。以下、具体的に説明する。
呼吸判定部206は先ず、画像特徴量データの振幅と振幅閾値とを比較し、被験者1の呼吸が検出されたか否かを比較結果に応じて判定する。具体的に説明すると、呼吸判定部206は、画像特徴量データの振幅が振幅閾値以上であるとき、被験者1の呼吸を検出できたと判定し、画像特徴量データの振幅が振幅閾値未満であるとき、被験者1の呼吸を検出できなかったと判定する。当然ながら、画像特徴量データの振幅と閾値振幅との大小関係を示す条件として、「以上および未満」以外にも、「超および以下」を用いてもよいことは言うまでもない。被験者1の呼吸が検出されなかったと判定される場合とは、例えば被験者1が無呼吸状態である場合、または、被験者1の呼吸レベル、つまり、画像特徴量データの振幅が小さい場合が想定される。
例えば、呼吸判定部206は、呼吸を検出できたと判定した場合、呼吸判定データに「1」を割り当て、呼吸を検出できなかったと判定した場合、呼吸判定データに「0」を割り当てることができる。呼吸判定部206は最終的に、「0」または「1」を示す呼吸判定データを生成し、呼吸判定データバッファ207に格納する。
例えばCPU301、他のデバイスまたは他のソフトウェアモジュールは呼吸判定データバッファ207を自由に参照することができる。呼吸判定データが、呼吸を検出できなかったことを示している場合、それらのデバイスやソフトウェアモジュールは、特定の処理、例えば警告を促す処理を必要に応じて実行してもよい。また、呼吸判定部206は、呼吸判定データとともに、警告情報を示すデータを生成し、外部に出力してもよい。このような構成によると、例えば他のデバイスのコンピュータプログラムのモジュールに警告情報を渡すことができる。
表示装置40は、呼吸判定データバッファ207から呼吸判定データを読み出し、呼吸判定データに応じて被験者1のステータスをリアルタイムで表示することができる。例えば表示装置40は、被験者1の動画像を表示し、被験者1のステータスをその動画像に重畳して表示してもよい。被験者1のステータスとは、例えば呼吸が検知されたか否かを示す情報である。
また、リアルタイム処理を前提としてこれまでの動作を説明したが、本発明による実施形態はこれに限定されない。例えば、被験者1のステータス情報と、その情報の元となる画像特徴量データおよび/または動画像データとを関連付けて呼吸判定データバッファ207に格納しておく。そして、呼吸モニタリング装置30は、それらのデータを事後的に処理してもよい。
また、本実施の形態では、照明機器を2台用いる例を挙げているが、照明機器は1台以上であればよく、照明機器台数に応じてテーブルデータの要素を追加すればよい。例えば、照明機器が3台ある場合、一つの振幅閾値に対する照明機器のON、OFFを表現する要素数が3つになる。すなわち、照明機器がN(N:1以上の整数)台ある場合、一つの振幅閾値に対する照明機器のON、OFFを表現する要素数がN個になる。
本実施の形態によれば、照明機器の点灯状態に応じて振幅閾値を変更することにより、光源によって画像特徴量データの振幅が変化したとしても、照明機器の使用状況に応じて被験者1の呼吸が検出されたか否かを正確に判定することが可能になる。
(第2の実施形態)
本実施の形態による呼吸モニタリングシステム100は、呼吸モニタリング装置30が測定環境有効レベルをさらに考慮して、被験者1の呼吸を判定する点で第1の実施形態による呼吸モニタリングシステム100とは異なる。以下、第1の実施形態と共通する部分の説明は省略し、差異点を中心に説明する。
本実施の形態による呼吸モニタリング装置30のハードウェア構成および機能ブロックは第1の実施形態のものと共通するので、それらの説明は省略する。
再び図4の処理手順を参照して、本実施の形態による呼吸モニタリング装置30の動作を説明する。
ステップS6において、本実施の形態によるパラメータ設定部205は、テーブルデータを参照して照明機器状態データに対応した測定環境有効レベルを特定する。
下記の表2は本実施の形態によるテーブルデータを例示している。テーブルデータは、振幅閾値に加えて、照明機器状態データと測定環境有効レベルとの対応関係をさらに含んでいる。測定環境有効レベルは、呼吸判定部206の判定結果の正確性を表す指標として用いられる。
照明機器が呼吸判定部206の判定結果に与える悪影響の程度を数値化することで、測定環境有効レベルが得られる。パラメータ設定部205は、テーブルデータを参照して照明機器状態データに対応する測定環境有効レベルを特定し、照明機器が呼吸の判定結果に与える影響をその測定環境有効レベルに応じて判定する。
本実施の形態においては、照明機器50の光源のちらつきが小さく、照明機器50の信頼性は高いとする。また、照明機器51の光源のちらつきは大きく、照明機器51の信頼性は低いとする。上述したように、照明機器の光源のちらつきが大きいと、そのノイズ成分が画像特徴量データ(呼吸波形データ)に加算されてしまう。これに対して、照明機器の光源のちらつきが小さいと、画像特徴量データの画像特徴量は照明光によって増幅され、その結果SN比が向上する。照明機器の光源のちらつきが大きいと、呼吸の判定結果の信頼性は相対的に低下し、照明機器の光源のちらつきが小さいと、その信頼性は相対的に高くなる。
例えば、表2に示されるとおり、照明機器50は消灯し、照明機器51が点灯しているとき、呼吸の判定結果の信頼性は相対的に低くなる。その状態において、測定環境有効レベルを最も低くし、そのレベルとして「1」を設定している。また、照明機器51が点灯し、照明機器51は消灯しているとき、呼吸の判定結果の信頼性は相対的に高くなる。その状態において、測定環境有効レベルを最も高くして、そのレベルとして「8」を設定している。測定環境有効レベル「8」と「1」との間に、照明機器50および51が消灯しているときのレベルとして「2」を設定し、照明機器50および51が点灯しているときのレベルとして「4」を設定している。なお、当然ながら、測定環境有効レベルは、表2に示される値に限られない。レベルの大小関係が満たされる限りにおいて、測定環境有効レベルとして任意のレベルを採用することができる。
照明機器50は消灯し、照明機器51が点灯しているとき、呼吸の判定結果の信頼性は相対的に低くなる。従って、特定された測定環境有効レベルがその状態に対応した「1」であれば、被験者1の呼吸を判定せずに、今の測定環境では信頼性が低いことを操作者に警告することが好ましい。例えば、表示装置40に警告メッセージを表示させてもよいし、ブザーなどによって音で警告を促してもよい。また、警告するか否かの基準となる測定環境有効レベルの閾値を予め用意しておいても構わない。その場合、測定環境有効レベルがその閾値以下または未満のときに警告すればよい。また、呼吸判定部206は、第1の実施形態と同様に、測定環境有効レベルが閾値を下回ることを示した警告データを生成し、他のデバイスや他のソフトウェアモジュールに出力してもよいし、呼吸モニタリング装置30の外部に出力してもよい。
測定環境有効レベルが閾値以上であれば、第1の実施形態で説明したとおり、呼吸判定部206は、照明機器状態データに対応した閾値振幅を用いて、呼吸が検出されたか否かを判定することができる。
なお、本実施の形態では、照明機器を2台用いる例を挙げているが、照明機器は1台以上であればよく、照明機器台数に応じてテーブルデータの要素を追加すればよい。例えば、照明機器が3台ある場合、振幅閾値と測定環境有効レベルの1組に対する照明機器のON、OFFを表現する要素数が3つになる。すなわち、照明機器がN(N:1以上の整数)台ある場合、振幅閾値と測定環境有効レベルの1組に対する照明機器のON、OFFを表現する要素数がN個になる。
本実施の形態によれば、照明機器が呼吸判定部206の判定結果に与える悪影響の程度を数値化して得られる測定環境有効レベルを考慮し、部屋の照明機器の使用状況に応じた呼吸の判定が可能となる。
(第3の実施形態)
本実施の形態による呼吸モニタリングシステム100は、調光機能を備えた照明機器による影響を考慮して被験者1の呼吸を判定する点で第2の実施形態による呼吸モニタリングシステム100とは異なる。以下、第1および第2の実施形態と共通する部分の説明は省略し、差異点を中心に説明する。
本実施の形態による呼吸モニタリング装置30のハードウェア構成および機能ブロックは第1の実施形態のものと共通するので、それらの説明は省略する。
近年、調光機能を備えた照明機器は数多く存在する。本実施の形態による呼吸モニタリングシステム100は、そのような照明機器が設置された室内での測定に好適に利用される。
本実施の形態による照明機器50および51は、照度を多段階に設定することが可能な調光機能を備えている。照明機器50においては、4段階の照度レベルの設定が可能であり、照明機器51においては、3段階の照度レベルの設定が可能であるとする。
照明機器50および51から送信される照明機器状態データには、照明機器の照度レベルに対応した明るさ度合を示すデータが含まれている。照明機器50では、明るさ度合として、消灯時の明るさ度合を「0」とし、点灯時の最も明るいときの明るさ度合を「3」としている。同様に、照明機器51では、明るさ度合として、消灯時の明るさ度合を「0」とし、点灯時の最も明るいときの明るさ度合を「2」としている。明るさ度合の数値が大きくなるほど、照度は高くなる。なお、第2の実施形態と同様に、照明機器50の光源のちらつきは小さく、照明機器50の信頼性は高いとする。また、照明機器51の光源のちらつきは大きく、照明機器51の信頼性は低いとする。
下記の表3は本実施の形態によるテーブルデータを例示している。照明機器状態は多段階のレベルで表示されている。照明機器50は消灯し、照明機器51が点灯しているときであって、かつ、照明機器51の照度レベルが最も高いとき、測定環境有効レベルは最も低くなるようにする。例えば、最も低い測定環境有効レベルとして「2」を設定している。また、照明機器50が点灯し、照明機器51は消灯しているときであって、かつ、照明機器50の照度レベルが最も高いとき、測定環境有効レベルは最も高くなるようにする。例えば、最も高い測定環境有効レベルとして「16」を設定している。他の照明機器状態に対しては、表3に示されるように、「2」から「16」までの間で測定環境有効レベルを設定することができる。
表3には、赤外光源を利用することを想定したテーブルデータの各値を例示している。ただし、本実施の形態のように、赤外光源を利用しない呼吸モニタリングシステムで利用されるテーブルデータも、上述した設計思想に基づいて準備することができる。なお、赤外光源を利用した呼吸モニタリングシステムの詳細は後述する。
調光機能を備えた照明機器と、調光機能を備えていない照明機器とが室内に混在する場合には、調光機能を備えていない照明機器の照度レベルを2段階に設定すればよい。具体的には、消灯時に「0」として、点灯時に「1」とすれば、本実施の形態を好適に適用することができる。
なお、本実施の形態では、照明機器を2台用いる例を挙げているが、照明機器は1台以上であればよく、照明機器台数に応じてテーブルデータの要素を追加すればよい。例えば、照明機器が3台ある場合、振幅閾値と測定環境有効レベルの1組に対する照明機器のON、OFFを表現する要素数が3つになる。すなわち、照明機器がN(N:1以上の整数)台ある場合、振幅閾値と測定環境有効レベルの1組に対する照明機器のON、OFFを表現する要素数がN個になる。
本実施の形態によれば、照明機器の照度レベルに応じて照明機器状態を細分化することで、部屋の照明機器の使用状況に応じたより緻密な判定が可能となる。
(第4の実施の形態)
第1から第3の実施の形態では、呼吸モニタリング装置の操作者が、入力装置(たとえばマウス20)を利用して呼吸領域402を指定するとした(図5)。本実施の形態では、呼吸領域402を認識して、自動的に呼吸領域を設定する呼吸モニタリング装置31を説明する。なお、呼吸領域402を自動化する以外の処理は、第1の実施の形態と同じである。以下では、自動的に呼吸領域402を設定する処理の詳細を説明する。
図8は、呼吸領域402を自動的に取得する呼吸モニタリング装置31を有する呼吸モニタリングシステム100Aの構成を示す。
図8に示される呼吸モニタリングシステム100Aでは、光源60が赤外光61を放射する。光源60の光軸とカメラ10の光軸とは近接して配置されている。被験者1の胸部周辺には、リフレクタ70が設置されている。リフレクタ70は赤外光に対する再帰性反射材で構成されている。
再帰性反射材は、入射してきた光を、その入射方向に向けて反射する光学特性を有する。つまり、再帰性反射材に入射する光の入射角と、再帰性反射材によって反射された光の出射角とは等しい。ただしこの性質は理想的であり、実際には入射方向とは異なる方向にも反射され得る。
本実施の形態では、光源60の光軸とカメラ10の光軸とを近接して配置させている。これにより、光源60から放射された赤外光61はリフレクタ70の再帰性反射材で反射され、その多くが赤外光62としてカメラ10に入射する。よって、カメラ10は十分な光量で被験者1を撮影することができる。再帰性反射材として、例えばガラスビーズを塗布した布を用いることができる。
なお、再帰性反射材を利用することにより、再帰性反射材に入射した外乱光63は、反射光64としてその入射方向に反射される。反射光64は実質的にカメラ10に入射しないため、カメラ10によって撮影される動画像は外乱光の影響を受けにくくなる。ただし、外乱光63の中には、カメラ10に直接入射する光、および、リフレクタ70以外で反射されて間接的にカメラ10に入射する光も存在する。したがって、外乱光63の影響を完全に除去することは困難である。
本実施の形態では、カメラ10が十分な光量で撮影を行うために再帰性反射材を利用するが、これは一例であり、再帰性反射材を利用することは必須ではない。
図9は、主として、呼吸領域402を自動的に取得する呼吸モニタリング装置31の機能ブロックを示す。
呼吸モニタリング装置31と呼吸モニタリング装置30(図3)との相違点は、呼吸領域指定データ受信I/F103に代えて、呼吸領域402を自動的に特定する呼吸領域選択部108があることである。呼吸領域選択部108は、演算回路310(CPU301および/または画像処理回路305)に対応する。または、呼吸領域選択部108は、例えば演算回路310にその機能ブロックに対応した特定の処理を実行させるためのコンピュータプログラムを構成するモジュールであり得る。以下、呼吸領域選択部108の動作を説明する。
図10は、呼吸領域402を自動的に取得する処理に関する呼吸モニタリング装置31の処理手順を示すフローチャートである。
ステップS31において、呼吸領域選択部108は、フレーム画像データバッファ107に格納された複数のフレーム画像のデータを読み出し、各フレーム画像を複数の小領域に分割する。複数の小領域は、図5においてメッシュ状に区画された領域を意味する。個々の小領域は、たとえば横64画素、縦64画素の大きさを有する。なお「分割する」とは、実際の動作として分割する必要はない。たとえば画像を切り出す単位または処理を行う単位として部分領域のサイズを設定する、という動作も、ここで言う「分割する」動作に含まれ得る。
ステップS32において、呼吸領域選択部108は、各小領域の輝度値に基づいて、再帰性反射材が存在する領域、および生体反応による体動箇所を含む領域を特定する。
以下、図11を参照しながらより詳細に説明する。
図11は、微細に振動する高輝度領域によって小領域Qの輝度値が変化する様子を示している。
リフレクタ70が存在する部分領域は、各フレーム画像内で特定され得る。一方、体動箇所を含む部分領域は、複数のフレーム画像にわたって、すなわち複数のフレーム画像間で特定され得る。
リフレクタ70が存在する部分領域は以下の処理によって特定される。たとえば、呼吸領域選択部108は、リフレクタ70が存在する場合に観測される小領域または小領域群の輝度値の情報を、予めROM302に保持している。この情報を輝度値の閾値として利用し、閾値以上の輝度値を有する部分領域を、リフレクタ70が存在する部分領域として特定する。
このときの輝度値は、上述したように、小領域に含まれる各画素の輝度値の和であってもよいし、平均値であってもよい。輝度値の和および平均値のいずれを採用するかに応じて、閾値もまた変化し得る。
一方、体動箇所を含む小領域は以下の処理によって特定される。上述のように、リフレクタ70からの反射光が観測される領域は、生体反応(呼吸)による体動により変動する。各フレーム画像に関して、ある共通の座標位置に存在する小領域に着目する。図11(a)および(b)は、より一般的な例として、異なる時刻に撮影された2枚のフレーム画像における小領域Qの例を示す。
図11(a)および(b)は、異なる時刻に撮影された2枚のフレーム画像における小領域Qの例を示す。図11(a)および(b)に示す領域Rは、リフレクタ70からの反射光が検出されている高輝度領域であるとする。呼吸に伴う体動により、小領域Qが、高輝度領域になったりならなかったりする。
図11(c)は、このときの小領域Qの輝度値の変化を示す。複数のフレーム画像にわたって時系列的に小領域Qの輝度を観測すると、すなわち、小領域Qの画像特徴量データを観測すると、ある閾値Tを超えるフレーム画像群と、超えないフレーム画像群とが交互に存在する。呼吸領域選択部108は複数のフレーム画像を利用して、このような変化が現れる小領域または小領域群Qを特定する。
以上の処理により、体動箇所を含む小領域または小領域群Qを呼吸領域として特定することができる。以後、呼吸モニタリング装置31が行う処理は、第1の実施の形態における呼吸モニタリング装置30の処理と同じである。
本実施の形態では、赤外光源60を用いて動画像を撮影しているので、その動画像に基づいて取得される画像特徴量データの振幅は、赤外光源60の赤外光61の光量に応じて変化する。そのため、赤外光源を利用しない場合の振幅閾値データをそのまま適用することはできない。
下記の表4は本実施の形態によるテーブルデータを例示している。表2と同様に、照明機器状態に対応した振幅閾値および測定環境有効レベルをそれぞれ示している。表2と比べて、各照明機器状態における振幅閾値および測定環境有効レベルの値をそれぞれ大きくしている。その理由の1つは、画像特徴量データを示す信号が赤外光によって増幅されて、その結果SN比が向上するためである。
本実施の形態によれば、再帰性反射材と赤外光源とを組み合わせることで、暗い撮影環境下でも呼吸を精度よく判定することが可能になる。
以上、実施の形態を説明した。上述の第1から4の実施形態では、呼吸モニタリング装置がカメラ10から逐次送信されてくる動画像の信号を受信して処理することを想定していた。しかしながら、呼吸モニタリング装置は、必ずしもリアルタイムで動画像の信号を受信する必要はない。
図12は、動画像がハードディスクドライブ(HDD)80に保存され、そのHDD80から呼吸モニタリング装置が画像データを取得する呼吸モニタリングシステム100Bの構成を示す。動画像のデータをHDD80に一旦保存し、呼吸モニタリング装置30が必要な動画像の情報をHDD80から読み出して処理を行うことも可能である。
また、上述の第1から第4の実施形態では、画像特徴量データは呼吸モニタリング装置30で生成される例を説明した。しかしながら、本発明の実施形態はこれに限定されない。例えば、カメラ10が、フレーム画像データから画像特徴量データを生成するファームウェアを備えていてもよい。そのファームウェアは、例えば図4のステップS1からS4までの一連の処理を実行する命令群を含むコンピュータプログラムから構成される。その場合、呼吸モニタリング装置30(または呼吸判定装置200)は、カメラ10から呼吸波形データを受け取り、図4のステップS5以降の処理を実行すればよい。
また、本発明のある一態様は、図4のステップS1からS9の一連の処理、または、それらの一部の処理を、例えば画像処理回路305に実行させるための命令群を含むコンピュータプログラムであり得る。そのようなコンピュータプログラムは、例えばネットワークを介してダウンロード可能であり、コンピュータが読み取り可能な記録媒体に固定され得る。
(第5の実施の形態)
図13は、第5の実施の形態によるパラメータ生成装置400の機能ブロック図である。図14は、パラメータ生成装置400と接続可能な呼吸モニタリング装置30Aの機能ブロック図である。
パラメータ生成装置400は、被験者の呼吸を判定する呼吸モニタリング装置30Aに有線または無線で接続され、呼吸モニタリング装置30Aと通信可能である。ただし、パラメータ生成装置400からの出力に基づいて後述するパラメータを呼吸モニタリング装置30Aに手動で提供しても構わない。呼吸モニタリング装置30Aの機能ブロックは、図3に示す呼吸モニタリング装置30の機能ブロックと基本的に等しい。ただし、パラメータ設定部205に相当する機能ブロックは存在せず、呼吸モニタリング装置30Aは呼吸モニタリング装置30とは異なり、振幅閾値や測定環境有効レベルといったパラメータを照明機器の状態に応じて切り替える機能を有していない。このような装置は、従来の呼吸モニタリング装置に対応する。
パラメータ生成装置400は典型的に、CPU(不図示)と、照明機器状態受信I/F203と、内部レジスタ204と、パラメータ設定部205と、パラメータ送信I/F401とを備える。照明機器状態受信I/F203、内部レジスタ204、およびパラメータ設定部205は、第1から第4の実施の形態で説明したとおりである。具体的には、パラメータ設定部205はテーブルデータを参照して、振幅閾値や測定環境有効レベルを特定することができる。また、パラメータ設定部205は調光機能を備えた照明機器による影響をして、振幅閾値および測定環境有効レベルを特定することもできる。
パラメータ送信I/F401は、振幅閾値および測定環境有効レベルといったパラメータを呼吸モニタリング装置30Aに送信するための通信インタフェースである。パラメータ送信I/F401として、例えばUSB、IEEE1394、Wi−Fi、Bluetooth、IC(Inter Integrated Circuit)規格、およびHDMI規格の端子が利用され得る。
パラメータ設定部205で特定された振幅閾値や測定環境有効レベルを示すデータは、パラメータ送信I/F401によって、呼吸モニタリング装置30Aに送信される。例えば、送信されたデータは、呼吸モニタリング装置30Aの照明機器状態データ受信I/F105を介して内部レジスタ204に一旦格納される。呼吸モニタリング装置30Aの呼吸判定部206は、内部レジスタ204からパラメータを読み出し、第1から第4の実施の形態で説明したとおりに被験者の呼吸を判定する。また、これらの処理を規定した命令群を含むコンピュータプログラムは、パラメータ生成装置400のCPUによって実行され得る。
従来の呼吸モニタリング装置は、照明機器の状態に応じて振幅閾値といったパラメータを自動で切り替える機能を有していなかった。そのため、照明機器の状態を考慮して被験者の呼吸を判定したい場合、装置の利用者が手動でそのような切り替えを行う必要があった。利用者による手動設定にばらつきがあれば、呼吸モニタリング装置の精度が低下してしまうことが当然に懸念される。呼吸モニタリング装置の使用経験が浅い利用者はパラメータを適切に設定することが特に困難であると考えられ、精度の低下がより一層懸念される。
本実施の形態によれば、パラメータ生成装置400は、照明機器の状態に応じて適切なパラメータを自動で特定することができるので、パラメータ生成装置400を呼吸モニタリング装置30Aに接続することで、最適なパラメータを呼吸モニタリング装置30Aに、利用者によらず自動で設定することができる。
本明細書は、以下の項目に記載の呼吸モニタリング装置、呼吸判定装置、呼吸モニタリングシステム、パラメータ生成装置およびコンピュータプログラムを開示している。
〔項目1〕
時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るフレーム画像データ入力インタフェースと、
1台以上の照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、
前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取る呼吸領域指定データ入力インタフェースと、
前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成する画像特徴量データ生成部と、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と、
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定する呼吸判定部と、
を備える、呼吸モニタリング装置。
項目1に記載の呼吸モニタリング装置によると、被験者の呼吸を正確に判定することができる。
〔項目2〕
前記呼吸判定部は、前記呼吸波形の大きさが前記呼吸波形の大きさの閾値以上であるとき、前記被験体の呼吸を検出できたと判定し、前記呼吸波形の大きさが前記呼吸波形の大きさの閾値未満であるとき、前記被験体の呼吸を検出できなかったと判定する、項目1に記載の呼吸モニタリング装置。
項目2に記載の呼吸モニタリング装置によると、呼吸判定のバリエーションが提供される。
〔項目3〕
前記テーブルデータは、前記照明機器状態データと、呼吸の判定結果の正確性を示す測定環境有効レベルと、の対応関係をさらに有し、
前記パラメータ設定部は、前記テーブルデータを参照して前記照明機器状態データに対応する測定環境有効レベルを特定し、前記照明機器が呼吸の判定結果に与える影響を前記測定環境有効レベルに応じて判定する、項目1または2に記載の呼吸モニタリング装置。
項目3に記載の呼吸モニタリング装置によると、測定環境有効レベルを考慮し、部屋の照明機器の使用状況に応じた呼吸の判定が可能となる。
〔項目4〕
前記測定環境有効レベルが測定環境有効レベルの閾値未満であるときに警告を発する警告装置をさらに備える、項目3に記載の呼吸モニタリング装置。
項目4に記載の呼吸モニタリング装置によると、今の測定環境では信頼性が低いことを操作者に警告することができる。
〔項目5〕
前記照明機器は、照度を多段階に設定することが可能な調光機能を備えており、
前記照明機器状態データは、前記照明機器の照度レベルに対応した明るさ度合を示すデータを含んでいる、項目1から5のいずれかに記載の呼吸モニタリング装置。
項目5に記載の呼吸モニタリング装置によると、照明機器の照度レベルに応じて照明機器状態を細分化することで、部屋の照明機器の使用状況に応じたより緻密な判定が可能となる。
〔項目6〕
前記呼吸波形の大きさを示す指標の1つは前記画像特徴量データの振幅である、項目1から5のいずれかに記載の呼吸モニタリング装置。
項目6の呼吸モニタリング装置によると、呼吸波形の大きさを示す指標のバリエーションが提供される。
〔項目7〕
光を放射する光源と、
被験体からの光を受けて動画像を生成する撮像装置と、
項目1から6のいずれかに記載の呼吸モニタリング装置と、
を備える、呼吸モニタリングシステム。
項目7に記載の呼吸モニタリングシステムによると、被験者の呼吸を正確に判定することができる。
〔項目8〕
前記光源は、赤外光を放射する赤外光源である、項目7に記載の呼吸モニタリングシステム。
項目8に記載の呼吸モニタリングシステムによると、暗い撮影環境下でも呼吸を精度よく判定することが可能になる。
〔項目9〕
時系列の複数のフレーム画像から構成された被験体の動画像のデータに基づいた画像特徴量データを受け取るフレーム画像データ入力インタフェースと、
照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定する呼吸判定部と、
を備える、呼吸判定装置。
項目9に記載の呼吸判定装置によると、被験者の呼吸を正確に判定することができる。
〔項目10〕
呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置であって、
照明機器の点灯状態を示す照明機器状態データを受け取るフレーム画像データ入力インタフェースと、
前記照明機器状態データと前記呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と、
を備えるパラメータ生成装置。
項目10に記載のパラメータ生成装置によると、呼吸モニタリング装置に接続することで被験者の呼吸を正確に判定することができる。
〔項目11〕
前記照明機器は、照度を多段階に設定することが可能な調光機能を備えており、
前記照明機器状態データは、前記照明機器の照度レベルに対応した明るさ度合を示すデータを含んでいる、項目10に記載のパラメータ生成装置。
項目11に記載のパラメータ生成装置によると、照明機器の照度レベルに応じて照明機器状態を細分化することで、部屋の照明機器の使用状況に応じたより緻密な判定が可能となる。
〔項目12〕
前記呼吸波形の大きさを示す指標の1つは前記画像特徴量データの振幅である、項目10または11に記載のパラメータ生成装置。
項目12に記載のパラメータ生成装置によると、呼吸波形の大きさを示す指標のバリエーションが提供される。
〔項目13〕
時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るフレーム画像データ入力インタフェースと、
照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、
前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取る呼吸領域指定データ入力インタフェースと、
前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成し、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定し、
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するように構成された演算回路と、
を備える、呼吸モニタリング装置。
項目13に記載の呼吸モニタリング装置によると、被験者の呼吸を正確に判定することができる。
〔項目14〕
被験体の呼吸を判定する呼吸モニタリング装置に用いられる計測方法であって、
時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るステップと、
1台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取るステップと、
前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成するステップと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するステップと、
を包含する計測方法。
項目14に記載の計測方法によると、被験者の呼吸を正確に判定することができる。
〔項目15〕
呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置に用いられる閾値特定方法であって、
1台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
を包含する方法。
項目15に記載の閾値特定方法によると、呼吸波形の大きさの閾値を用いて被験者の呼吸を正確に判定することができる。
〔項目16〕
被験体の呼吸を判定する呼吸モニタリング装置に用いられるコンピュータに実行させるコンピュータプログラムであって、前記コンピュータに対し、
時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るステップと、
照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取るステップと、
前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成するステップと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するステップと
を実行させる、コンピュータプログラム。
項目16に記載のコンピュータプログラムによると、被験者の呼吸を正確に判定することができる。
〔項目17〕
呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置に用いられるコンピュータに実行させるコンピュータプログラムであって、前記コンピュータに対し、
1台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
を実行させる、コンピュータプログラム。
項目17に記載のコンピュータプログラムによると、呼吸波形の大きさの閾値を用いて被験者の呼吸を正確に判定することができる。
〔項目18〕
請求項16または17に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記録媒体。
項目18に記載の記録媒体によると、被験者の呼吸を正確に判定することができる。
本発明は、被験者を撮影した動画像から、被験者の呼吸の有無を非接触で判定する方法として利用することができる。また本発明は、そのような呼吸の有無を判定するための装置、システム、コンピュータプログラムとして利用することができる。
1 被験者
10 カメラ
20 マウス
30、31 呼吸モニタリング装置
40 表示装置
50、51 照明機器
60 赤外光源
70 リフレクタ
80 HDD
100、100A、100B モニタリングシステム
200 呼吸判定装置
301 CPU
302 ROM
303 RAM
304 HDD
305 画像処理回路
306 映像入力インタフェース(I/F)
307 USB I/F
308 出力I/F
309 照明入力I/F
310 演算回路
400 パラメータ生成装置
401 パラメータ送信I/F

Claims (14)

  1. 時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るフレーム画像データ入力インタフェースと、
    1台以上の照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、
    前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取る呼吸領域指定データ入力インタフェースと、
    前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成する画像特徴量データ生成部と、
    前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と、
    前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定する呼吸判定部と、
    を備える、呼吸モニタリング装置。
  2. 前記呼吸判定部は、前記呼吸波形の大きさが前記呼吸波形の大きさの閾値以上であるとき、前記被験体の呼吸を検出できたと判定し、前記呼吸波形の大きさが前記呼吸波形の大きさの閾値未満であるとき、前記被験体の呼吸を検出できなかったと判定する、請求項1に記載の呼吸モニタリング装置。
  3. 前記テーブルデータは、前記照明機器状態データと、呼吸の判定結果の正確性を示す測定環境有効レベルと、の対応関係をさらに有し、
    前記パラメータ設定部は、前記テーブルデータを参照して前記照明機器状態データに対応する測定環境有効レベルを特定し、前記照明機器が呼吸の判定結果に与える影響を前記測定環境有効レベルに応じて判定する、請求項1または2に記載の呼吸モニタリング装置。
  4. 前記測定環境有効レベルが測定環境有効レベルの閾値未満であるときに警告を発する警告装置をさらに備える、請求項3に記載の呼吸モニタリング装置。
  5. 前記照明機器は、照度を多段階に設定することが可能な調光機能を備えており、
    前記照明機器状態データは、前記照明機器の照度レベルに対応した明るさ度合を示すデータを含んでいる、請求項1から4のいずれかに記載の呼吸モニタリング装置。
  6. 前記呼吸波形の大きさを示す指標の1つは前記画像特徴量データの振幅である、請求項1から5のいずれかに記載の呼吸モニタリング装置。
  7. 呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置であって、
    1台以上の照明機器の点灯状態を示す照明機器状態データを受け取る照明機器状態データ入力インタフェースと、
    前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するパラメータ設定部と、
    を備える、パラメータ生成装置。
  8. 前記照明機器は、照度を多段階に設定することが可能な調光機能を備えており、
    前記照明機器状態データは、前記照明機器の照度レベルに対応した明るさ度合を示すデータを含んでいる、請求項7に記載のパラメータ生成装置。
  9. 前記呼吸波形の大きさを示す指標の1つは前記画像特徴量データの振幅である、請求項7または8に記載のパラメータ生成装置。
  10. 被験体の呼吸を判定する呼吸モニタリング装置に用いられる計測方法であって、
    時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るステップと、
    1台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
    前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取るステップと、
    前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成するステップと、
    前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
    前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するステップと、
    を包含する計測方法。
  11. 呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置に用いられる閾値特定方法であって、
    1台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
    前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
    を包含する方法。
  12. 被験体の呼吸を判定する呼吸モニタリング装置に用いられるコンピュータに実行させるコンピュータプログラムであって、前記コンピュータに対し、
    時系列の複数のフレーム画像から構成された被験体の動画像のデータを受け取るステップと、
    一台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
    前記複数のフレーム画像にわたって、前記動画像のデータに基づいた画像特徴量データを取得するための呼吸領域指定データを受け取るステップと、
    前記呼吸領域指定データに基づいて特定される呼吸領域における前記画像特徴量データを生成するステップと、
    前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
    前記画像特徴量データに基づいた呼吸波形の大きさと、特定された前記呼吸波形の大きさの閾値と、を比較して、前記被験体の呼吸が検出されたか否かを比較結果に応じて判定するステップと
    を実行させる、コンピュータプログラム。
  13. 呼吸波形の大きさと呼吸波形の大きさの閾値とを比較することにより被験体の呼吸を判定する呼吸モニタリング装置のパラメータを生成するパラメータ生成装置に用いられるコンピュータに実行させるコンピュータプログラムであって、前記コンピュータに対し、
    1台以上の照明機器の点灯状態を示す照明機器状態データを受け取るステップと、
    前記照明機器状態データと呼吸波形の大きさの閾値との対応関係を示すテーブルデータを参照して、前記照明機器状態データに対応する呼吸波形の大きさの閾値を特定するステップと、
    を実行させる、コンピュータプログラム。
  14. 請求項12または13に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記録媒体。
JP2015257199A 2015-12-28 2015-12-28 呼吸モニタリング装置およびパラメータ生成装置 Active JP6786768B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015257199A JP6786768B2 (ja) 2015-12-28 2015-12-28 呼吸モニタリング装置およびパラメータ生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015257199A JP6786768B2 (ja) 2015-12-28 2015-12-28 呼吸モニタリング装置およびパラメータ生成装置

Publications (2)

Publication Number Publication Date
JP2017118994A true JP2017118994A (ja) 2017-07-06
JP6786768B2 JP6786768B2 (ja) 2020-11-18

Family

ID=59271134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015257199A Active JP6786768B2 (ja) 2015-12-28 2015-12-28 呼吸モニタリング装置およびパラメータ生成装置

Country Status (1)

Country Link
JP (1) JP6786768B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019166146A (ja) * 2018-03-23 2019-10-03 富士ゼロックス株式会社 生体情報測定装置、及び生体情報測定プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002306455A (ja) * 2001-04-10 2002-10-22 Toshiba Corp 生体監視装置
JP2010012018A (ja) * 2008-07-03 2010-01-21 Nissan Motor Co Ltd 人体状態判定装置及び人体状態判定方法
JP2012105762A (ja) * 2010-11-16 2012-06-07 Seiko Epson Corp バイタルサイン計測装置及び体動検出装置
WO2014136310A1 (ja) * 2013-03-08 2014-09-12 富士フイルム株式会社 脈波伝播速度の測定方法及びシステム並びに撮像装置
US20150112605A1 (en) * 2013-10-21 2015-04-23 Covidien Lp Systems and methods for generating respiration alarms
US20150124067A1 (en) * 2013-11-04 2015-05-07 Xerox Corporation Physiological measurement obtained from video images captured by a camera of a handheld device
JP2015533325A (ja) * 2012-11-02 2015-11-24 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 生理学的情報を抽出する装置及び方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002306455A (ja) * 2001-04-10 2002-10-22 Toshiba Corp 生体監視装置
JP2010012018A (ja) * 2008-07-03 2010-01-21 Nissan Motor Co Ltd 人体状態判定装置及び人体状態判定方法
JP2012105762A (ja) * 2010-11-16 2012-06-07 Seiko Epson Corp バイタルサイン計測装置及び体動検出装置
JP2015533325A (ja) * 2012-11-02 2015-11-24 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 生理学的情報を抽出する装置及び方法
WO2014136310A1 (ja) * 2013-03-08 2014-09-12 富士フイルム株式会社 脈波伝播速度の測定方法及びシステム並びに撮像装置
US20150112605A1 (en) * 2013-10-21 2015-04-23 Covidien Lp Systems and methods for generating respiration alarms
US20150124067A1 (en) * 2013-11-04 2015-05-07 Xerox Corporation Physiological measurement obtained from video images captured by a camera of a handheld device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019166146A (ja) * 2018-03-23 2019-10-03 富士ゼロックス株式会社 生体情報測定装置、及び生体情報測定プログラム
JP7056293B2 (ja) 2018-03-23 2022-04-19 富士フイルムビジネスイノベーション株式会社 生体情報測定装置、及び生体情報測定プログラム

Also Published As

Publication number Publication date
JP6786768B2 (ja) 2020-11-18

Similar Documents

Publication Publication Date Title
CN111246051B (zh) 自动检测条纹并抑制的方法、装置、设备及存储介质
US9906774B2 (en) Method and apparatus for obtaining 3D image
US20150237317A1 (en) Projection system and projection method
JP4316629B2 (ja) 画像処理システム、画像取得方法及びプログラム
CN105144688B (zh) 摄像装置和摄像系统
US20090322889A1 (en) Method and apparatus for illuminating users of video communication devices
US20160225160A1 (en) Monitoring camera, monitoring system, and motion detection method
CN105115973A (zh) 一种基于可见光通信的设备监控系统及方法
US20140247275A1 (en) Information processing method and electronic device
CN109670438A (zh) 用于智能台灯的异常行为监控方法、装置、系统和存储介质
EP3344016A1 (en) Illumination system and program
JP6513325B1 (ja) 制御装置、制御システム、報知方法及びプログラム
JP2024111005A (ja) 状態監視装置及び状態監視プログラム
JP6786768B2 (ja) 呼吸モニタリング装置およびパラメータ生成装置
CN109040729B (zh) 图像白平衡校正方法、装置、存储介质及终端
TW201616102A (zh) 光源亮度檢測系統及方法
JP5901685B2 (ja) 画像表示装置及びその制御方法
US11670255B2 (en) Signal light display determination device, signal light display determination method, and non-transitory computer-readable recording medium
CN115016716B (zh) 投影交互方法和系统
TW201410076A (zh) 燈具狀態檢測系統及方法
CN105286841A (zh) 心率检测方法及系统
JP2016099478A (ja) 画像処理装置及びその制御方法、画像処理システム及びその制御方法、コンピュータプログラム
EP4391727A1 (en) Light pollution reduction techniques for medical environments
KR20190056750A (ko) 영상 불꽃 감지 장치 및 방법
JP2011187292A (ja) 照明制御装置および照明ユニット

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20170607

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201008

R150 Certificate of patent or registration of utility model

Ref document number: 6786768

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250