JP2009183560A - 無呼吸検知システム - Google Patents

Abstract

【課題】新生児や無呼吸症候群に罹災した患者の就寝時における無呼吸状況を自動的に検知できる無呼吸検知システムに関する。
【解決手段】呼吸情報検出するための遠赤外線カメラ装置と、被験者姿勢検出のためのＣＣＤカメラ装置と、ＣＣＤカメラ装置により姿勢を検出する姿勢検出手段と、姿勢検出手段により検出した姿勢データにより遠赤外線カメラ装置を連動させるカメラ追従手段と、遠赤外線カメラ装置で鼻腔と口元の体表面温度を測定し呼吸の有無を検知する呼吸情報検知手段とよりなる無呼吸検知システム。
【選択図】図１

Description

本発明は、新生児や無呼吸症候群に罹災した患者の就寝時における無呼吸状況を自動的に検知できる無呼吸検知システムに関する。

従来、新生児の突然死の予測をし、或いは新生児の呼吸状況を監視するためには、就寝状態或いはベッドでの仰臥状態での呼吸の有無を検知することが必要である。

呼吸の有無を検知する方法としては種々の方法が考えられるが、たとえば、腹部にベルトを装着して横隔膜の振動を検知して呼吸の有無を知る方法や、更に検知しやすい方法としては実際の呼吸状態を検知すべく新生児の鼻腔や口元における呼気、吸気の流れを検知する方法等が知られている。

かかる方法を実行する手段としては、横隔膜の振動を検知するために腹部にベルトやバンドを装着したり、また、呼吸による空気の流れを検知するために鼻腔や口元の近傍にセンサを貼着するものである。

しかし、これらの手段においては、横隔膜が動いていても必ずしも呼吸をしていない場合があるため正確に呼吸の有無の検知ができないという欠点があり、また、鼻腔や口元の近傍にセンサを貼着する手段では直接に人体にセンサを接触させる拘束性の高いものであるため通電センサにより皮膚に低温火傷を生起したり、新生児の姿勢の変化によってデータが変動し正確な検知が行えないという不都合があった。

そこで、非接触型の生体情報センサを利用して赤外線や超音波を照射してこれらの照射による反射光量や反射波の変化から被験者の身体的な動作、たとえば呼吸の有無を検知する方法があるが、人体に赤外線や超音波を長時間にわたって照射することによる人体への影響を無視できない。

かかる欠点を克服すべく特許文献１に開示された技術がある。

この特許文献１に記載の技術においては、非接触・非拘束で被験者から生体情報を取得する生体情報センサとして赤外線ビデオカメラを使用し、サーモグラフィック機能により鼻腔領域の体表面温度を測定し温度の変化を解析することにより呼吸の有無を検知しようとするものである。すなわち、呼気のときは体内で温められた空気が鼻腔から出ていくので鼻腔付近の体表面温度が上がり、吸気のときは温度の低い空気が鼻腔から体内に入っていくので鼻腔付近の体表面温度はさがる。かかる温度の変化を利用して鼻腔からの呼吸状況を把握しようとするものである。

このように非接触・非拘束で鼻腔からの呼吸情報を検知する技術が特許文献１に開示されている。
特開２００６−１１５８６５号公報

しかし、この非接触・非拘束型の赤外線ビデオカメラにより鼻腔領域を測定し体表面温度の変化計測により呼吸の状況を検知する技術は、本件発明の目的のように、ベッドに寝かせている新生児の呼吸の有無や呼吸状況を検知する技術に応用する場合は次のような問題があった。すなわち、ベッド上で新生児の姿勢が変化した場合に正確に鼻腔領域を赤外線カメラで捉えることができず呼吸による体表面温度の変化を正確に検知することができないという欠点があった。

更には、この従来の技術においては、呼吸という生体情報が鼻腔領域からのみの測定によるため呼吸動作の重要な生体器官である口元領域の体表面温度測定が行われず、従って、総合的な視点からの正確な呼吸の有無、呼気・吸気の流れ、及びそれに伴う体表面温度変化などの総合的な呼吸情報が検知できないという欠点があった。

本発明においては上記課題を解決するために以下の手段を講じた。

請求項１に記載の発明は、ベッドに仰臥する被験者の近傍に第１保持機構を介して配置した被験者姿勢検出のためのカメラ装置と、同じく被験者の近傍に第２保持機構を介して配置した呼吸情報検出のための遠赤外線カメラ装置と、カメラ装置により取得した被験者の画像データにより被験者の姿勢を検出する姿勢検出手段と、姿勢検出手段により検出した被験者の姿勢データにより遠赤外線カメラ装置を連動して遠赤外線カメラ装置が被験者の鼻腔と口元を可及的に正面から撮影可能とするカメラ追従手段と、遠赤外線カメラ装置で測定した体表面温度の変化により呼吸の有無や呼吸状況を検知する呼吸情報検知手段とよりなる無呼吸検知システムを提供する。

請求項２に記載の発明は、第１保持機構と第２保持機構は、被験者のベッド上方に跨持された移動自在の門型の枠体に装着したことを特徴とする。

請求項３に記載の発明は、第１保持機構と第２保持機構は、被験者のベッドの側方に配置した支持アームに装着したことを特徴とする。

請求項４に記載の発明は、第２保持機構は、カメラ装置の姿勢検出手段からのデータに追従して遠赤外線カメラ装置を上下回動、左右回動及び左右直線移動が可能に構成したことを特徴とする。

請求項５に記載の発明は、第２保持機構は、遠赤外線カメラ装置が鼻腔を撮影するとき被験者の顔面のやや斜め下方より撮影するように遠赤外線カメラ装置の位置を変位すべく構成したことを特徴とする。

請求項１の発明によれば、被験者の顔の姿勢がベッド上で変化した場合でも、遠赤外線カメラ装置は、カメラ装置の姿勢検出手段から出力された姿勢データに追従して最適の位置に変位することができるため、呼吸時に空気が流通する鼻腔や口元近傍を正対状態で撮影して必要な領域の体表面温度を正確に測定しうる効果があり、このように呼吸の有無や呼吸の状況を正確に検知することができるため、従来のサーモグラフィックによる鼻腔のみの体表面温度で呼吸を検知する技術と比較して、必要な領域、すなわち、鼻腔と口元領域の体表面温度を正確に測定して常時監視が可能となり、無呼吸の症状を的確に把握することができる効果があり、更には無接触、無拘束、無侵襲の遠赤外線カメラ装置による体表面温度測定であるため被験者の身体に過大な負荷をかけることなく被験者の顔の姿勢の変化に正確に対応することができ、鼻腔や口元など必要な領域の体表面温度を正確に検知することができる効果がある。

請求項２の発明によれば、遠赤外線カメラ装置とカメラ装置がベッド上方に跨持された門型の枠体に第１及び第２保持機構を介して装着されることになるため、被験者の就寝の支障とならず、また、カメラ装置の測定領域を顔面の特定領域に限定しやすく、従って、被験者の正確な姿勢データを取得しやすく、更にはそれに追従して、遠赤外線カメラ装置も被験者の測定領域を指向するように的確に動作することができることになり、正確な鼻腔や口元領域の体表面温度を測定して正確な呼吸の有無や状況を検知することができる効果がある。

請求項３の発明によれば、支持アームに第１及び第２保持機構を介して遠赤外線カメラ装置とカメラ装置が装着されるため、ベッド側方の必要な箇所に支持アームを配置して最も的確に測定領域の撮影ができるようになり、従って、簡便な構造により各カメラ装置の必要な機能を十分に果たし必要な体表面温度の測定を行うことができる効果がある。

請求項４の発明によれば、遠赤外線カメラ装置は、カメラ装置による姿勢検出手段からのデータに追従して上下回動、左右回動及び左右直線移動が可能に構成したので、被験者の姿勢の変化に十分に対応しながら鼻腔や口元の測定領域に正対状態で各カメラ装置を指向させて必要な体表面領域温度の検知を的確に行うことができる効果がある。

請求項５の発明によれば、遠赤外線カメラ装置が被験者の顔面のやや斜め下方より撮影できるように構成したため、鼻腔と正対した位置から体表面温度を測定することができることになり、より正確に呼吸の有無や呼吸の状況を検知することができる効果がある。

この発明は、ベッドに仰臥する被験者の近傍に第１保持機構を介して配置した被験者姿勢検出のためのカメラ装置と、同じく被験者の近傍に第２保持機構を介して配置した呼吸情報検出のための遠赤外線カメラ装置と、カメラ装置により取得した被験者の画像データにより被験者の姿勢を検出する姿勢検出手段と、姿勢検出手段により検出した被験者の姿勢データにより遠赤外線カメラ装置を連動して遠赤外線カメラ装置が被験者の鼻腔と口元を可及的に正面から撮影可能とするカメラ追従手段と、遠赤外線カメラ装置で測定した体表面温度の変化により呼吸の有無や呼吸状況を検知する呼吸情報検知手段とより構成しており、しかも、第１保持機構と第２保持機構は、移動自在で被験者のベッド上方に跨持された門型の枠体としており、また、第２保持機構は、カメラ装置の姿勢検出手段からのデータに追従して遠赤外線カメラ装置を上下回動、左右回動及び左右直線移動が可能に構成しており、また、第２保持機構は、遠赤外線カメラ装置が鼻腔を撮影するとき被験者の顔面のやや斜め下方より撮影するように遠赤外線カメラ装置の位置を変位すべく構成している。

従って、被験者、特に新生児の姿勢が不用意に変化した場合でも遠赤外線カメラ装置がカメラ装置の映像に追従して正確に鼻腔や口元の周辺の体表面温度を正対状態で検出することができ、呼吸の有無や呼吸の状況を正確に検知することができることになり、新生児の突然死症候群や成人の睡眠時無呼吸症候群などを常時監視することが可能となり、また、かかる症状をいち早く発見することができるものである。

以下に、本発明に好適な実施形態について図面に基づいて説明する。

［１．本発明の無呼吸検知システムを実施するための構造について］
まず、本発明の無呼吸検知システムを実施するための構造の概略について説明する。図１は、本発明の無呼吸検知システムの概略構成を説明するための図、図２は、本発明の無呼吸検知システムが備えたＣＣＤカメラ装置を拡大した斜視図、図３は、本発明の無呼吸検知システムが備えた遠赤外線カメラ装置を拡大した斜視図である。

図１において、２は、被験者Ｐが仰臥するベッドであり、ベッド２の側方から上方にかけ跨持する状態に門型の枠体１０が配設されている。

枠体１０は、門型に形成されて脚柱１１下端にはキャスター１２を設けてベッド２に沿って前後移動可能に構成している。

枠体１０の最上段に横架した上段フレーム１３の中央には上下回動及び左右回動を行うための第１保持機構１４を介してカメラ装置としてのＣＣＤカメラ装置１５が設けられている。なお、カメラ装置としては、上記ＣＣＤカメラ装置１５の他に、ＣＭＯＳカメラ装置を用いてもよい。

第１保持機構１４は、図１及び図２に示すように、左右回転自在の回転盤２０と、回転盤２０に垂設した左右ブラケット２１とよりなり、左右ブラケット２１にはＣＣＤカメラ装置１５の左右側面を上下回動自在に枢着している。２２は、枢軸を示す。なお、第１保持機構１４には、左右回動及び上下回動を行うためのアクチュエータ（図示しない）が内蔵されている。

従って、ＣＣＤカメラ装置１５をアクチュエータにより左右回動及び上下回動に駆動調整することによりＣＣＤカメラ装置１５の指向方向がベッド２上の被験者Ｐの全身方向、特に顔面方向となるようにする。

また、上段フレーム１３の下方には、中段フレーム１６が横架されており、該中段フレーム１６には遠赤外線カメラ装置１７が上下回動、左右回動及び左右直線移動可能に装着されている。

すなわち、中段フレーム１６の下面には、回転軸１８が横架され、該回転軸１８は遠赤外線カメラ装置１７を保持する第２保持機構１９に組み込んだねじ部３０と螺合し、中段フレーム１６の端部にはステッピングモータ３１を配設し回転軸１８の端部と連動連結し、該モータ３１による回転軸１８の回転によりねじ部３０を介して第２保持機構１９を左右直線移動させ、最終的に遠赤外線カメラ装置１７を左右直線移動させる。

第２保持機構１９は、図１及び図３に示すように、回転軸１８に螺合するねじ部３０を内蔵した基台４０と、基台４０下面に縦軸４１を介して左右回転自在に垂設した逆L字状の支持体４２と、支持体４２の垂直部４２ａ内側に横軸４３を介して連結した逆L字条の連結板４４とよりなり、連結板４４の横板４４ａには縦軸４５を介して遠赤外線カメラ装置１７の上端部を連結しており、従って、遠赤外線カメラ装置１７は基台４０に支持体４２と連結板４４とを介して左右回動及び上下回動自在に保持されていることになる。なお、第２保持機構１９には、左右回動及び上下回動を行うためのアクチュエータ（図示しない）が内蔵されている。なお、以下では、ステッピングモータ３１と第２保持機構１９とを併せて第２保持機構１９と指称することがあるものとする。

また、門型の枠体１０の近傍には、ＣＣＤカメラ装置１５用の第１パーソナルコンピュータ５０と、遠赤外線カメラ装置１７用の第２パーソナルコンピュータ７０とが配設されており、これらの各パーソナルコンピュータ５０、７０は各カメラ装置１５、１７に接続されており、後述で詳細に説明するように、各カメラ装置１５、１７からの映像データを処理して体表面温度を測定し被験者Ｐの呼吸の有無や呼吸の状況を検知し出力することができるように構成している。

すなわち、ＣＣＤカメラ装置１５用の第１パーソナルコンピュータ５０には、画像処理プログラム５１と姿勢判断プログラム５２とモータ制御プログラム５３等のソフトウエア（図４参照）が内蔵されており、遠赤外線カメラ装置１７用の第２パーソナルコンピュータ７０には、画像処理プログラム７１と温度計測プログラム７２とモータ制御プログラム７３と室温計測プログラム７４等のソフトウエア（図４参照）が内蔵されており、各パーソナルコンピュータ５０、７０の間はネットワーク８０で接続されている。

また、各カメラ装置１５、１７とは別に被験者Ｐが入居している部屋の室温を測定する室温計８１（図４参照）が枠体１０の所定の場所に装置されており、室温計８１は遠赤外線カメラ装置１７用の第２パーソナルコンピュータ７０に接続されて遠赤外線カメラ装置１７で測定した体表面温度が室温データと比較演算されて鼻腔や口元での正確な体表面温度を検知することができるように構成されている。

［２．本発明の無呼吸検知システムにおける内部構成について］
次に、本発明の無呼吸検知システム１における内部構成について図４を参照して具体的に説明する。図４は、本発明の無呼吸検知システム１における内部構成に関する説明図である。

図４に示すように、ＣＣＤカメラ装置１５用の第１パーソナルコンピュータ５０には、姿勢検出手段５４が内蔵されており、姿勢検出手段５４は、画像処理プログラム５１と姿勢判断プログラム５２とモータ制御プログラム５３等のソフトウエアにより構成されており、遠赤外線カメラ装置１７用の第２パーソナルコンピュータ７０には、カメラ追従手段７５及び呼吸情報検知手段７６が内蔵されており、カメラ追従手段７５は、モータ制御プログラム７３より構成され、呼吸情報検知手段７６は、画像処理プログラム７１と温度計測プログラム７２と室温計測プログラム７４等のソフトウエアにより構成されており、各パーソナルコンピュータ５０、７０の間はネットワーク８０で接続されている。

まず、姿勢検出手段５４により検出した姿勢に関する画像データ、すなわち、ＣＣＤカメラ装置１５によって取得（撮影）した被験者Ｐの姿勢に関する画像データはキャプチャーカード５５を介してＣＣＤカメラ装置１５用の第１パーソナルコンピュータ５０に入力される。

ＣＣＤカメラ装置１５用の第１パーソナルコンピュータ５０においては、姿勢検出手段５４としての画像処理プログラム５１により被験者Ｐの画像を認識するとともに、姿勢検出手段５４としての姿勢判断プログラム５２によりその認識した画像データにより被験者Ｐの姿勢がいかなる状態かを判断し、これらの判断処理を繰返しながら必要とする鼻腔や口元領域を正確にＣＣＤカメラ装置１５で撮影できるようにモータ制御プログラム５３から出力して第１保持機構１４の各種アクチュエータに駆動指令を送信し、ＣＣＤカメラ装置１５を左右回動或いは上下回動させ撮影領域、すなわち、鼻腔と口元領域がいかなる姿勢になっているかの映像認識を行う。

そして、かかる映像認識データたる姿勢データは遠赤外線カメラ装置１７用の第２パーソナルコンピュータ７０にネットワーク８０を介して送信される。

他方、遠赤外線カメラ装置１７によって認識された映像信号は、呼吸情報検知手段７６によりキャップカード７７を介して遠赤外線カメラ装置１７の画像処理プログラム７１に送信処理され、かつ、温度計測プログラム７２により鼻腔や口元領域の体表面温度を算出し、室温計８１からの室温データと温度計測プログラム７２から算出した体表面温度とを比較演算して鼻腔や口元領域の適切な体表面温度の変化を認識する。

この際に、被験者Ｐの顔の姿勢が変化した場合には、姿勢変化がＣＣＤカメラ装置１５により認識されて姿勢データがネットワーク８０を介し遠赤外線カメラ装置１７用の第２パーソナルコンピュータ７０に入力され、カメラ追従手段７５によりモータ制御プログラム７３から第２保持機構１９を操作するためのアクチュエータに指令が送信されて遠赤外線カメラ装置１７がＣＣＤカメラ装置１５で認識した姿勢に追従して鼻腔や口元領域に正対する位置に変位するように駆動される。

特に、第２保持機構１９は、遠赤外線カメラ装置１７が鼻腔を撮影するとき、被験者Ｐの顔面のやや斜め下方より撮影するように、遠赤外線カメラ装置１７の位置を変位駆動する。

このようにして、遠赤外線カメラ装置１７のカメラ追従手段７５によって鼻腔や口元領域の体表面温度情報を正確に測定し、これをもとにして呼吸情報検知手段７６により呼吸の有無や呼吸の状況を検知することができるようにしている。

なお、以下では、上記姿勢検出手段５４、カメラ追従手段７５、及び呼吸情報検知手段７６として、ＣＰＵ、ＣＰＵの実行する各種プログラム等を記憶したＲＯＭ、作業領域用の一時記憶手段として利用されるＲＡＭなどの各種メモリを備えた制御部にその機能を担わせた例を具体的に説明する。

［３．本発明の無呼吸検知システム１における動作について］
以上のように構成された無呼吸検知システム１において、被験者Ｐの就寝時における無呼吸状況を自動的に検知する処理について、ＣＣＤカメラ装置１５用の第１パーソナルコンピュータ５０の制御部における処理、遠赤外線カメラ装置１７用の第２パーソナルコンピュータ７０の制御部における処理の順に、図面を参照して具体的に説明する。なお、本実施形態では、被験者Ｐの口元領域における無呼吸の状況を検知する場合について説明する。

（ＣＣＤカメラ装置用の第１パーソナルコンピュータの制御部における処理）
まず、ＣＣＤカメラ装置１５用の第１パーソナルコンピュータ５０の制御部（以下、制御部Ａと指称する。）における処理について図５〜図９を参照して具体的に説明する。図５は、制御部Ａのメイン処理フローチャート、図６は、制御部Ａの顔認識処理フローチャート、図７は、制御部Ａの肌色抽出処理フローチャート、図８は、制御部Ａの口元領域追従処理フローチャート、図９は、制御部Ａの姿勢検出処理フローチャートを示す図である。

図５に示すように、メイン処理を開始すると、制御部Ａは、ＣＰＵによりＲＡＭの作業領域の確保等の処理設定動作を実行し、ＲＯＭに記憶した各種プログラム、すなわち、画像処理プログラム５１、姿勢判断プログラム５２、及びモータ制御プログラム５３を読み出して、制御部Ａとしての機能を動作状態とする初期化動作を行った後、被験者Ｐの顔認識に関する処理を要求するフラグである顔認識フラグがＲＡＭに設定されているか否かを判定する（ステップＳ１０）。なお、顔認識フラグは、第１パーソナルコンピュータ５０の操作画面上で顔追従開始ボタン（図示せず）をクリックすることにより、ＲＡＭに設定される。

顔認識フラグがＲＡＭに設定されていると判定すると（ステップＳ１０：Ｙｅｓ）、制御部Ａは、顔認識処理を実行し（ステップＳ１１）、処理をステップＳ１２へ移行する。ステップＳ１１の顔認識処理は、ＣＣＤカメラ装置１５により取得した被験者Ｐの画像データから被験者Ｐの頭部領域を特定するための処理であり、後述で詳説する。

ステップＳ１２において、制御部Ａは、肌色抽出処理を実行し（ステップＳ１２）、処理をステップＳ１２ａへ移行する。この肌色抽出処理は、ステップＳ１１の顔認識処理により抽出した頭部領域から肌色の領域を抽出して、その抽出した肌色の領域を被験者Ｐの顔領域として特定するための処理であり、後述で詳説する。なお、ステップＳ１１の顔認識処理、及びステップＳ１２の肌色抽出処理は、制御部Ａが画像処理プログラム５１を実行することによって姿勢検出手段５４として機能して行われる処理である。

ステップＳ１２ａにおいて、制御部Ａは、ＣＣＤカメラ装置１５の動作処理を実行する。すなわち、制御部Ａは、モータ制御プログラム５３を実行することによって姿勢検出手段５４として機能し、ステップＳ１１で特定した被験者Ｐの頭部領域が第１パーソナルコンピュータ５０のディスプレイに表示される画像の略中央位置となるように、第１保持機構１４の各種アクチュエータに駆動指令を送信し、ＣＣＤカメラ装置１５を左右回動又は上下回動させる。被験者Ｐの顔領域が第１パーソナルコンピュータ５０のディスプレイに表示される画像の略中央位置になると、制御部Ａは、第１保持機構１４の各種アクチュエータの駆動を停止すると共に、その停止時におけるＣＣＤカメラ装置１５の角度情報を第２パーソナルコンピュータ７０へネットワーク８０を介して送信する。

一方、ステップＳ１０において顔認識フラグがＲＡＭに設定されていないと判定したとき（ステップＳ１０：Ｎｏ）、又はステップＳ１２ａの処理が終了したとき、制御部Ａは、被験者Ｐの口元領域の追従、及び顔の姿勢検出に関する処理を要求するフラグである口元追従フラグがＲＡＭに設定されているか否かを判定する（ステップＳ１３）。なお、口元追従フラグは、第１パーソナルコンピュータ５０の操作画面上で口元設定ボタン（図示せず）をクリックすることにより、ＲＡＭに設定される。

口元追従フラグがＲＡＭに設定されていると判定すると（ステップＳ１３：Ｙｅｓ）、制御部Ａは、口元領域追従処理を実行し（ステップＳ１４）、処理をステップＳ１５へ移行する。ステップＳ１４の口元領域追従処理は、ＣＣＤカメラ装置１５により撮影した画像中で被験者Ｐの口元領域を追従して撮影するための処理であり、後述で詳説する。

ステップＳ１５において、制御部Ａは、姿勢検出処理を実行する（ステップＳ１５）。この姿勢検出処理は、制御部Ａが姿勢判断プログラム５２を実行することによって姿勢検出手段５４として機能して行われる処理であり、後述で詳説するように、ステップＳ１２の肌色抽出処理により抽出した被験者Ｐの顔領域と、ステップＳ１４においてＣＣＤカメラ装置１５により撮影（取得）した被験者Ｐの口元領域における重心位置との位置関係から、被験者Ｐの顔の姿勢を検出する。被験者Ｐの顔の姿勢を検出した結果は、第２パーソナルコンピュータ７０へネットワーク８０を介して送信される。なお、以下では、第１パーソナルコンピュータ５０から第２パーソナルコンピュータ７０へネットワーク８０を介して送信されるデータを被験者Ｐの姿勢データと呼ぶことがあるものとし、少なくとも、この被験者Ｐの姿勢データには、被験者Ｐの顔の姿勢を検出した結果、及びＣＣＤカメラ装置１５の角度情報が含まれる。

ステップＳ１３において口元追従フラグがＲＡＭに設定されていないと判定したとき（ステップＳ１３：Ｎｏ）、又はステップＳ１５の処理が終了したとき、制御部Ａは、ＣＣＤカメラ装置１５により撮影した画像や、この画像を画像処理した画像を第１パーソナルコンピュータ５０のディスプレイに表示して（ステップＳ１６）、処理をステップＳ１０へ戻す。なお、これら一連の処理により、第１パーソナルコンピュータ５０のディスプレイに表示される画像の表示態様については後述する。

次に、制御部Ａがメイン処理のステップＳ１１で行う顔認識処理について、図６を参照して説明する。

図６に示すように、顔認識処理を開始すると、制御部Ａは、パターンマッチング処理を実行する（ステップＳ２０）。このステップＳ２０のパターンマッチング処理では、ＣＣＤカメラ装置１５により取得した画像データに対して、ＲＯＭに予め保存された頭部画像のテンプレートとのマッチングを順次行う。なお、頭部画像のテンプレートとしては、被験者Ｐの頭部をＣＣＤカメラ装置１５により予め撮影し、撮影した画像データをＲＯＭに予め保存しておくとよい。

次に、制御部Ａは、頭部画像のテンプレートと順次マッチングする複数の領域のうち最大領域を頭部領域として抽出し（ステップＳ２１）、その後、抽出した頭部領域を明示するための枠である頭部領域枠を、ＣＣＤカメラ装置１５により撮影した画像データに重畳した画像を第１パーソナルコンピュータ５０のディスプレイに表示して（ステップＳ２２）、顔認識処理を終了する。

この顔認識処理により、ＣＣＤカメラ装置１５により撮影した画像データから被験者Ｐの頭部領域を確実に抽出することができる。

次に、制御部Ａがメイン処理のステップＳ１２で行う肌色抽出処理について、図７を参照して説明する。

図７に示すように、肌色抽出処理を開始すると、制御部Ａは、ＹＣＣ変換処理を実行する（ステップＳ３１）。ステップＳ３１のＹＣＣ変換処理は、顔認識処理で取得された頭部領域のＲＧＢカラー表現を、輝度成分（Ｙ）と色差成分（Ｃｒ，Ｃｂ）とで表現するＹＣＣカラー表現へ変換する処理である。このＹＣＣ変換処理により、顔認識処理で取得された頭部領域から顔面の皮膚色に対応する肌色の領域だけを明確に区別することができる。

なお、ＹＣＣ変換処理の変換式としては、以下に示す変換式を採用することができる。

Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｃｒ＝（Ｒ−Ｙ）×０．７１３＋Δ
Ｃｂ＝（Ｂ−Ｙ）×０．５６４＋Δ
ここで、Δは、８ビット画像の場合で１２８の値を採用した。

次に、制御部Ａは、ＹＣＣ変換処理後の頭部領域における色差成分（Ｃｒ，Ｃｂ）に対して所定の閾値を設定して二値化した後（ステップＳ３２）、ノイズの除去を行い（ステップＳ３３）、肌色の領域の輪郭を抽出し（ステップＳ３４）、その輪郭で包囲された領域のうち最大の領域を被験者Ｐの顔領域として抽出する（ステップＳ３５）。

その後、制御部Ａは、抽出した顔領域を明示するための枠である顔領域枠を、ＣＣＤカメラ装置１５により撮影した画像に重畳した画像を第１パーソナルコンピュータ５０のディスプレイに表示し（ステップＳ３６）、肌色抽出処理を終了する。

この肌色抽出処理により、顔認識処理により取得された頭部領域から、肌色の領域を抽出して、その抽出した肌色の領域を被験者Ｐの顔領域として特定することができる。

次に、制御部Ａがメイン処理のステップＳ１４で行う口元領域追従処理について、図８を参照して説明する。

図８に示すように、口元領域追従処理を開始すると、制御部Ａは、まず、ＣＣＤカメラ装置１５により撮影した画像データをグレースケール変換する（ステップＳ４０）。

次に、制御部Ａは、初期化フラグがＲＡＭに設定されているか否かを判定する（ステップＳ４１）。なお、初期化フラグは、メイン処理（図５参照）における初期化動作を行った際にＲＡＭに設定され、第１パーソナルコンピュータ５０の操作画面上で口元設定ボタン（図示せず）をクリックすることにより、解除されるフラグである。

初期化フラグがＲＡＭに設定されていると判定すると（ステップＳ４１：Ｙｅｓ）、制御部Ａは、追従対象点マーキング処理を実行する（ステップＳ４２）。このステップＳ４２の処理では、被験者Ｐの口元領域を設定するための口領域設定枠が第１パーソナルコンピュータ５０の操作画面上に表示され、この操作画面上で口領域設定枠を移動して被験者Ｐの口元に合せた後、口元設定ボタンをクリックすることにより、口領域設定枠内の任意の点がＣＣＤカメラ装置１５により追跡して撮影するための追跡対象点としてマーキングされる。

なお、上記ステップＳ４２の処理では、被験者の口元領域における体表面温度を検知するために、口領域設定枠を被験者Ｐの口元に合せる場合について説明したが、被験者の鼻腔領域における体表面温度を検知するためには、口領域設定枠を被験者Ｐの鼻腔に合せるようにするとよい。この場合、口元設定ボタンをクリックすることにより、口領域設定枠内の任意の点が追跡対象点としてマーキングされる。

一方、初期化フラグがＲＡＭに設定されていないと判定すると（ステップＳ４１：Ｎｏ）、制御部Ａは、追従対象点追従処理を実行する（ステップＳ４３）。このステップＳ４３の処理では、ＲＡＭ上に記憶された追従対象点から、次のフレーム画像における追従対象点の移動方向や速度を算出することにより、追跡対象点の追従を行う。この追跡対象点の移動方向や速度の算出には、動画像における運動物体の見かけの速度場を推定する際に一般に用いられるオプティカルフロー推定法を採用している。なお、オプティカルフロー推定法は、公知の方法であるためここでは説明を省略する。

ステップＳ４２の処理が終了したとき、又はステップＳ４３の処理が終了したとき、制御部Ａは、ステップＳ４２の処理でマーキングされた追跡対象点、又はステップＳ４３の処理で追従された追跡対象点をそれぞれＲＡＭ上に記憶する（ステップＳ４４）。

次に、制御部Ａは、ＲＡＭ上に記憶された追跡対象点の位置に、被験者Ｐの口元領域を明示するための枠である口元領域枠を生成し、この口元領域枠をＣＣＤカメラ装置１５により撮影した画像データに重畳して第１パーソナルコンピュータ５０のディスプレイに表示し（ステップＳ４５）、口元領域追従処理を終了する。

この口元領域追従処理により、前回の追跡対象点の位置から、現在の追跡対象点の位置を追従することによって、被験者Ｐの顔が動いても、ＣＣＤカメラ装置１５により口元領域を確実に追従して撮影することができる。

次に、制御部Ａがメイン処理のステップＳ１５で行う姿勢検出処理について、図９を参照して説明する。

図９に示すように、姿勢検出処理を開始すると、制御部Ａは、口元領域追従処理により追従した口元領域の重心位置を算出する（ステップＳ５０）。

次に、制御部Ａは、口元領域の重心位置と顔領域との位置関係から被験者Ｐの顔の姿勢を検出する（ステップＳ５１）。すなわち、ステップＳ５１の処理で、制御部Ａは、ステップＳ５０により算出した口元領域の重心位置が、ステップＳ１２の肌色抽出処理により抽出した被験者Ｐの顔領域の中央、右側、左側のいずれの位置にあるかを判断することにより、被験者Ｐの顔の姿勢を検出する。

ここで、被験者Ｐの顔の姿勢を検出する方法について更に詳しく説明する。図１０は、第１パーソナルコンピュータ５０のディスプレイ上に、被験者Ｐの顔領域枠９０や口元領域枠９１等が表示された態様を示している。図１０に示すように、顔領域枠９０の左上端点Ｔの座標を（Ｐｘ，Ｐｙ）、顔領域枠９０の幅、及び高さをそれぞれＷ、及びＨ、口元領域の重心Ｇの位置を（Ｇｘ，Ｇｙ）とすると、口元領域の重心Ｇの位置（Ｇｘ，Ｇｙ）の顔領域枠９０に対するＸ方向、及びＹ方向のそれぞれの割合（Ｒｘ，Ｒｙ）は、以下のように定義される。なお、口元領域の重心Ｇの位置（Ｇｘ，Ｇｙ）の顔領域枠９０に対するＸ方向、及びＹ方向のそれぞれの割合を、被験者Ｐの口元位置情報と指称する。

Ｒｘ＝（（Ｇｘ−Ｐｘ）／Ｗ）
Ｒｙ＝（（Ｇｘ−Ｐｙ）／Ｈ）
例えば、Ｘ方向の口元位置情報Ｒｘが０〜０．３である場合には、口元領域の重心位置が、被験者Ｐの顔領域の左側位置にあると判断され、被験者Ｐの顔の姿勢が右向きであると検出される。また、Ｘ方向の口元位置情報Ｒｘが０．３〜０．７である場合には、口元領域の重心位置が、被験者Ｐの顔領域の中央位置にあると判断され、被験者Ｐの顔の姿勢が正面向きであると検出される。また、Ｘ方向の口元位置情報Ｒｘが０．７〜１である場合には、口元領域の重心位置が、被験者Ｐの顔領域の右側位置にあると判断され、被験者Ｐの顔の姿勢が左向きであると検出される。このようにして、被験者Ｐの顔の姿勢が検出される。

次に、制御部Ａは、ステップＳ５１の処理で検出された被験者Ｐの顔の姿勢を姿勢データとしてＲＡＭ上に記憶し（ステップＳ５２）、姿勢検出処理を終了する。姿勢検出処理で検出された姿勢データは、上記した口元位置情報と共に、遠赤外線カメラ装置１７用の第２パーソナルコンピュータ７０にネットワーク８０を介して送信される。

（遠赤外線カメラ装置用の第２パーソナルコンピュータの制御部における処理）
次に、遠赤外線カメラ装置１７用の第２パーソナルコンピュータ７０の制御部（以下、制御部Ｂと指称する。）における処理について図１１〜図１５を参照して具体的に説明する。図１１は、制御部Ｂのメイン処理フローチャート、図１２は、制御部Ｂの頭部二値化処理フローチャート、図１３は、制御部Ｂの頭部検出処理フローチャート、図１４は、制御部Ｂの顔領域検出処理フローチャート、図１５は、制御部Ｂの呼吸検出処理フローチャート、図１６は、制御部Ｂの体温検出処理フローチャートを示す図である。

図１１に示すように、メイン処理を開始すると、制御部Ｂは、ＣＰＵによりＲＡＭの作業領域の確保等の処理設定動作を実行し、ＲＯＭに記憶した各プログラム、すなわち、画像処理プログラム７１、温度計測プログラム７２、モータ制御プログラム７３、及び室温計測プログラム７４を読み出して、制御部Ｂとしての機能を動作状態とする初期化動作を行った後、遠赤外線カメラ装置１７の動作処理を実行する（ステップＳ６０ａ）。この遠赤外線カメラ装置１７の動作処理は、制御部Ｂがモータ制御プログラム７３を実行することによってカメラ追従手段７５として機能して行われる処理である。

このステップＳ６０ａでは、制御部Ｂは、第１パーソナルコンピュータ５０から送信されるＣＣＤカメラ装置１５の角度情報をネットワーク８０を介して受信し、第２保持機構１９の各種アクチュエータ及びステッピングモータ３１に駆動指令を送信し、ＣＣＤカメラ装置１５の角度情報に基づいて、遠赤外線カメラ装置１７が被験者Ｐの顔の正面に正対する方向となるように、遠赤外線カメラ装置１７を上下回動、左右回動、及び左右直線移動させる。遠赤外線カメラ装置１７が被験者Ｐの顔の正面に正対する方向になると、制御部Ｂは、第２保持機構１９の各種アクチュエータ及びステッピングモータ３１の駆動を停止する。

このようにして、ＣＣＤカメラ装置１５用の第１パーソナルコンピュータ５０から送信されるＣＣＤカメラ装置１５の角度情報により遠赤外線カメラ装置１７を連動して遠赤外線カメラ装置１７が被験者Ｐの鼻腔と口元とを可及的に正面から撮影することができるようにしている。

次に、制御部Ｂは、頭部二値化処理を実行する（ステップＳ６０）。この頭部二値化処理は、遠赤外線カメラ装置１７により取得した被験者Ｐの画像データを二値化する処理であり、後述で詳説する。

次に、制御部Ｂは、頭部検出処理を実行する（ステップＳ６１）。この頭部検出処理は、頭部二値化処理により二値化した被験者Ｐの画像データから被験者Ｐの頭部領域を検出するための処理であり、後述で詳説する。

次に、制御部Ｂは、顔領域検出処理を実行する（ステップＳ６２）。この顔領域検出処理は、頭部検出処理により検出した被験者Ｐの頭部領域の中から被験者Ｐの顔領域を検出するための処理であり、後述で詳説する。また、この顔領域検出処理では、ＣＣＤカメラ装置１５用の第１パーソナルコンピュータ５０から口元位置情報が送信された場合に、被験者Ｐの顔領域から口元領域が抽出される。

次に、制御部Ｂは、呼吸情報検知手段７６として、呼吸検出処理を実行する（ステップＳ６３）。この呼吸検出処理は、制御部Ｂが画像処理プログラム７１、及び温度計測プログラム７２を実行することによって呼吸情報検知手段７６として機能して行われる処理であり、後述で詳説するように、顔領域検出処理で抽出された被験者Ｐの口元領域における呼吸の有無や呼吸の状況を検出する。

次に、制御部Ｂは、体温検出処理を実行する（ステップＳ６４）。この体温検出処理は、制御部Ｂが室温計測プログラム７４を実行することによって呼吸情報検知手段７６として機能して行われる処理であり、後述で詳説するように、被験者Ｐの体温を検出する。

次に、制御部Ｂは、呼吸検出処理により検出した呼吸の有無や呼吸の状況、及び体温検出処理により検出した体温等を遠赤外線カメラ装置１７により撮影した画像に重畳して第２パーソナルコンピュータ７０のディスプレイに表示して（ステップＳ６５）、処理をステップＳ６０ａへ戻す。なお、これら一連の処理により、第２パーソナルコンピュータ７０のディスプレイに表示される画像の表示態様については後述する。

次に、制御部Ｂがメイン処理のステップＳ６０で行う頭部二値化処理について、図１２を参照して説明する。

図１２に示すように、頭部二値化処理を開始すると、制御部Ｂは、遠赤外線カメラ装置１７により撮影した画像中からノイズを除去した後（ステップＳ７０）、ノイズを除去した画像に対して所定の閾値を設定して二値化し（ステップＳ７１）、頭部二値化処理を終了する。

次に、制御部Ｂがメイン処理のステップＳ６１で行う頭部検出処理について、図１３を参照して説明する。

図１３に示すように、頭部検出処理を開始すると、制御部Ｂは、頭部二値化処理により二値化した二値画像に含まれる複数の領域の全てに対して、その輪郭を抽出し（ステップＳ８０）、抽出した輪郭で囲まれる複数の領域から最大の領域を被験者Ｐの頭部領域として抽出する（ステップＳ８１）。

次に、制御部Ｂは、ステップＳ８１で抽出した被験者Ｐの頭部領域に対して、ダイナミックレンジの補正を行う（ステップＳ８２）。ここで、ダイナミックレンジとは、画像中の輝度の最大値と最小値との幅であり、この幅を広げることによって、画像のコントラストを上げることができ、後述の呼吸検出処理により呼吸を検知し易くすることができる。

次に、制御部Ｂは、ステップＳ８１で抽出した被験者Ｐの頭部領域から、頭部の重心位置、及び頭部の傾き角度を算出する（ステップＳ８３）。

その後、制御部Ｂは、被験者Ｐの頭部領域を明示するための枠である頭部領域枠を、遠赤外線カメラ装置１７により撮影した画像データに重畳して第２パーソナルコンピュータ７０のディスプレイに表示し（ステップＳ８４）、頭部検出処理を終了する。

次に、制御部Ｂがメイン処理のステップＳ６２で行う顔領域検出処理について、図１４を参照して説明する。

図１４に示すように、顔領域検出処理を開始すると、制御部Ｂは、頭部検出処理で抽出した被験者Ｐの頭部領域に対して、所定の閾値を設定して二値化する（ステップＳ９０）。

次に、制御部Ｂは、二値化した二値画像に含まれる複数の領域の全てに対して、その輪郭を抽出し（ステップＳ９１）、輪郭で囲まれる複数の領域から最大の領域を被験者Ｐの顔領域として抽出する（ステップＳ９２）。

次に、制御部Ｂは、抽出した顔領域を明示するための枠である顔領域枠を、遠赤外線カメラ装置１７により撮影した画像データに重畳した画像を第２パーソナルコンピュータ７０のディスプレイに表示する（ステップＳ９３）。

次に、制御部Ｂは、ＣＣＤカメラ装置１５用の第１パーソナルコンピュータ５０から送信された被験者Ｐの口元位置情報を受信し、この受信した被験者Ｐの口元位置情報と、ステップＳ９２で抽出された被験者Ｐの顔領域とに基づいて、被験者Ｐの口元領域を算出する（ステップＳ９４）。すなわち、ステップＳ９４の処理では、被験者Ｐの顔領域枠の幅、及び高さにＸ方向、及びＹ方向の口元位置情報をそれぞれ乗算することにより、口元領域の重心位置が算出され、この口元領域の重心位置から、被験者Ｐの口元領域が算出される。したがって、被験者Ｐの顔の姿勢が変化して、ＣＣＤカメラ装置１５側から送信される口元位置情報が変化した場合であっても、この口元位置情報の変化に応じて、遠赤外線カメラ装置１７側において算出される被験者Ｐの口元領域も同様に変化することになり、ＣＣＤカメラ装置１５側において抽出した被験者Ｐの口元領域と、遠赤外線カメラ装置１７側において抽出した被験者Ｐの口元領域とを整合させることができる。これにより、被験者Ｐの呼吸の有無や呼吸の状況を確実に検知することができる。

その後、制御部Ｂは、被験者Ｐの口元領域を明示するための枠である口元領域枠を生成し、この口元領域枠を遠赤外線カメラ装置１７により撮影した画像データに重畳した画像を第２パーソナルコンピュータ７０のディスプレイに表示して（ステップＳ９５）、顔領域検出処理を終了する。

この顔領域検出処理により、ＣＣＤカメラ装置１５側から送信される口元位置情報を利用して、遠赤外線カメラ装置１７により撮影した画像から被験者Ｐの口元領域を特定することができる。

次に、制御部Ｂがメイン処理のステップＳ６３で行う呼吸検出処理について、図１５を参照して説明する。

この呼吸検出処理では、被験者Ｐの呼吸時に、被験者Ｐの口元領域の体表面温度が変化することを利用して、被験者Ｐの呼吸の有無や呼吸の状況を検出するようにしている。すなわち、被験者Ｐが呼吸をすると、呼気のときには、体内で温められた空気が鼻腔から出て行くので、被験者Ｐの口元領域の体表面温度は被験者Ｐの体温とほぼ同程度まで上がり、吸気のときには、温度の低い空気が鼻腔から体内に入っていくので、被験者Ｐの口元領域の体表面温度は被験者Ｐの体温よりも下がる。このような口元領域の体表面温度の変化を検出することで、呼吸の有無や呼吸の状況を検出することができる。

図１５に示すように、呼吸検出処理を開始すると、制御部Ｂは、顔領域検出処理により抽出した被験者Ｐの口元領域に対して、所定の閾値を設定して、この口元領域を二値化する（ステップＳ１００）。ここで、所定の閾値としては、被験者Ｐの頭部領域における平均体表面温度に基づいて算出された閾値を採用しており、被験者Ｐの体調変化により被験者Ｐの頭部領域における平均体表面温度が変化しても、被験者Ｐの頭部領域を確実に二値化できるようにしている。

次に、制御部Ｂは、二値化した口元領域の二値画像に含まれる複数の領域の全てに対して、その輪郭を抽出し（ステップＳ１０１）、輪郭で囲まれる複数の領域から最大の領域を、被験者Ｐの呼吸を検出した領域（以下、呼吸検出領域）として抽出する（ステップＳ１０２）。このステップＳ１０２の処理では、吸気により、被験者Ｐの口元領域の体表面温度がステップＳ１００において設定した所定の閾値よりも下がる部分が、呼吸検出領域として抽出される。一方、被験者Ｐが呼吸をしていない場合には、被験者Ｐの口元領域の体表面温度がステップＳ１００において設定した所定の閾値よりも下がる部分がないので、呼吸検出領域が抽出されない。

次に、呼吸検出領域が検出されると、制御部Ｂは、呼吸が有ると判断し、呼吸検出を報知する枠である呼吸検出枠を、遠赤外線カメラ装置１７により撮影した画像データに重畳して第２パーソナルコンピュータ７０のディスプレイに表示し（ステップＳ１０３）、呼吸数をカウントして（ステップＳ１０４）、呼吸検出処理を終了する。一方、呼吸検出領域が検出されなければ、制御部Ｂは、呼吸が無いと判断し、呼吸検出枠の表示や呼吸数のカウントを行うことなく、呼吸検出処理を終了する。

次に、制御部Ｂがメイン処理のステップＳ６４で行う体温検出処理について、図１６を参照して説明する。

図１６に示すように、体温検出処理を開始すると、制御部Ｂは、遠赤外線カメラ装置１７により撮影した画像中で、最も輝度値の高い画素を抽出し（ステップＳ１１０）、その抽出した画素に対して、温度校正を行いつつ被験者Ｐの体温を算出する（ステップＳ１１１）。

温度校正を行い算出される被験者Ｐの体温Ｔは、抽出した輝度値をＹ、温度校正値をＡ＝１１．７、Ｂ＝−２８３とすると、以下の式で定義される。

Ｔ＝（Ｙ−Ｂ）／Ａ＋Ｔｃ
ここで、Ｔｃは、温度補正パラメータであり、表面温度Ｔｓ＝−３（℃）、サンプル室温Ｔｔ＝２３（℃）、現在の室温Ｔｒとすると、温度補正パラメータＴｃは、以下の式で定義される。なお、現在の室温Ｔｒは、室温計８１により計測された温度である。

Ｔｃ＝Ｔｓ−Ｔｔ＋Ｔｒ
次に、制御部Ｂは、算出した被験者Ｐの体温を第２パーソナルコンピュータ７０のディスプレイに表示し（ステップＳ１１２）、体温検出処理を終了する。

（第１パーソナルコンピュータ、及び第２パーソナルコンピュータのディスプレイにそれぞれ表示される画像の表示態様）
次に、本実施形態の無呼吸検知システム１において、被験者Ｐの就寝時において無呼吸状況を自動的に検知する際に、第１パーソナルコンピュータ５０、及び第２パーソナルコンピュータのディスプレイにそれぞれ表示される画像の表示態様について説明する。図１７は、被験者Ｐの顔の姿勢を検出した結果をＣＣＤカメラ装置１５により撮影した画像に重畳した表示画像を示している。

図１７（ａ）は、被験者Ｐの顔の姿勢が正面向きである場合に被験者Ｐの顔の姿勢を検出した結果表示画面を示している。図１７（ａ）では、ＣＣＤカメラ装置１５により撮影した画像から被験者Ｐの頭部領域が抽出されると共に、ＣＣＤカメラ装置１５が左右回動又は上下回動された結果、被験者Ｐの頭部領域枠９５が結果表示画面の略中央位置に表示されている。図１７（ａ）に示すように、頭部領域枠９５内のうち肌色の領域には、顔領域枠９６が描画され、この顔領域枠９６に対して口元領域枠９７が中央位置にあることから、被験者Ｐの顔の姿勢が正面向きである旨を示す「ＣＥＮＴＥＲ」が結果表示画面の左上に表示される。

図１７（ａ）に示す状態から、寝返りなどにより被験者Ｐが右を向くと、ＣＣＤカメラ装置１５により撮影した画像から被験者Ｐの頭部領域枠９５が再度抽出されると共に、ＣＣＤカメラ装置１５が再度左右回動又は上下回動され、その結果、図１７（ｂ）に示すように、被験者Ｐの頭部領域枠９５が結果表示画面の略中央位置に表示される。そして、図１７（ｂ）に示すように、頭部領域枠９５から顔領域枠９６が抽出され、この顔領域枠９６に対して口元領域枠９７が左側位置に移動していることから、被験者Ｐの顔の姿勢が右向きである旨を示す「ＲＩＧＨＴ」が結果表示画面の左上に表示される。

図１７（ｂ）に示す状態から、寝返りなどにより被験者Ｐが左を向くと、ＣＣＤカメラ装置１５により撮影した画像から被験者Ｐの頭部領域枠９５が再度抽出されると共に、ＣＣＤカメラ装置１５が再度左右回動又は上下回動され、その結果、図１７（ｃ）に示すように、被験者Ｐの頭部領域枠９５が結果表示画面の略中央位置に表示される。そして、図１７（ｃ）に示すように、頭部領域枠９５から顔領域枠９６が抽出され、この顔領域枠９６に対して口元領域枠９７が右側位置に移動していることから、被験者Ｐの顔の姿勢が左向きである旨を示す「ＬＥＦＴ」が結果表示画面の右上に表示される。

ところで、ＣＣＤカメラ装置１５用の第１パーソナルコンピュータ５０のディスプレイに、図１７に示すような結果表示画面が表示されている間、被験者Ｐの顔の姿勢データ、及び口元位置情報が、第１パーソナルコンピュータ５０からネットワーク８０を介して遠赤外線カメラ装置１７用の第２パーソナルコンピュータ７０へ送信される。そして、被験者Ｐの顔の姿勢データ、特に、ＣＣＤカメラ装置１５の角度情報に基づいて、遠赤外線カメラ装置１７の指向方向が被験者Ｐの顔の正面に正対する方向となるように、遠赤外線カメラ装置１７が上下回動、左右回動、及び左右直線移動される。その結果、被験者Ｐの顔面のやや斜め下方より撮影できるように遠赤外線カメラ装置１７の位置が変位する。

このように変位した遠赤外線カメラ装置１７によって、被験者Ｐの顔面を撮影した結果表示画面を図１８に示す。図１８は、被験者Ｐの顔の正面に正対する方向から遠赤外線カメラ装置１７により被験者Ｐの呼吸を検出した結果を遠赤外線カメラ装置１７により撮影した画像に重畳した結果表示画像を第２パーソナルコンピュータ７０のディスプレイに表示した場合を示している。

図１８では、第１パーソナルコンピュータ５０から送信された口元位置情報に基づいて算出された口元領域を明示するための口元領域枠１０２が、顔領域枠１０１内に描画されている。被験者Ｐが呼吸をすると、図１８に示すように、口元領域枠１０２内に呼吸検出枠１０３が表示され、同時に、被験者Ｐの呼吸の状況１０４が表示される。なお、被験者Ｐの呼吸の状況１０４としては、所定時間毎の呼吸回数や呼吸のタイムチャート等が表示される。

このように、被験者の顔の姿勢が図１７（ａ）〜（ｃ）に示すように変化した場合であっても、その変化のたびに、ＣＣＤカメラ装置１５側から送信される被験者Ｐの顔の姿勢データに追従して遠赤外線カメラ装置１７を最適位置に変位すると共に、ＣＣＤカメラ装置１５側から送信される口元位置情報に基づいて、被験者Ｐの口元領域を算出するようにしているため、呼吸時に空気が流通する口元近傍を正対状態で撮影してその体表面温度を正確に測定することができる。

以上説明してきたように、本実施形態の無呼吸検知システム１では、被験者Ｐの顔の姿勢がベッド２上で変化した場合であっても、遠赤外線カメラ装置１７を、ＣＣＤカメラ装置１５用の第１パーソナルコンピュータ５０から出力された姿勢データに追従して最適の位置に変位することができるため、呼吸時に空気が流通する鼻腔や口元近傍、すなわち、鼻腔領域や口元領域を正対状態で撮影して必要な領域の体表面温度を正確に測定し得る。

したがって、被験者Ｐの呼吸の有無や呼吸の状況を正確に検知することができるため、従来のサーモグラフィックによる鼻腔のみの体表面温度で呼吸を検知する技術と比較して、必要な領域、すなわち、鼻腔と口元領域の体表面温度を正確に測定して常時監視が可能となり、無呼吸の症状を的確に把握することができる。

また、無接触、無拘束、無侵襲の遠赤外線カメラ装置１７による体表面温度測定であるため、被験者Ｐの進退に過大な負荷をかけることなく被験者Ｐの顔の姿勢の変化に正確に対応することができ、鼻腔や口元など必要な領域の体表面温度を正確に検知することができる。

（他の実施形態）
上記実施形態では、第１保持機構１４と第２保持機構１９は、門型の枠体１０に装着したが、枠体１０に代えて、被験者Ｐのベッド２の側方に配置した支持アーム（図示せず）を設け、この支持アームに第１保持機構１４及び第２保持機構１９を装着してもよい。この構成によっても、上記実施形態と同様の効果を得ることができる。

以上本発明の好ましい実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

例えば、第２保持機構１９で遠赤外線カメラ装置１７を保持する構成としたが、遠赤外線カメラ装置１７に隣接して、マイクロフォン等の音センサを設け、この音センサ及び遠赤外線カメラ装置１７を第２保持機構１９で保持する構成としてもよい。この構成では、音センサの指向方向を、遠赤外線カメラ装置１７と同一の指向方向、すなわち、ベッド２上の被験者Ｐの顔面方向となるように設ける。これにより、音センサで被験者Ｐの呼吸音のデータを取得することができ、取得した呼吸音のデータからいびきの有無やその周期などを検知することができる。

本発明の無呼吸検知システムの概略構成を説明するための図である。 本発明の無呼吸検知システムが備えたＣＣＤカメラ装置を拡大した斜視図である。 本発明の無呼吸検知システムが備えた赤外線カメラ装置を拡大した斜視図である。 本発明の無呼吸検知システムにおける内部構成に関する説明図である。 ＣＣＤカメラ装置用の第１パーソナルコンピュータの制御部のメイン処理フローチャートである。 ＣＣＤカメラ装置用の第１パーソナルコンピュータの制御部の顔認識処理フローチャートである。 ＣＣＤカメラ装置用の第１パーソナルコンピュータの制御部の肌色抽出処理フローチャートである。 ＣＣＤカメラ装置用の第１パーソナルコンピュータの制御部の口元領域追従処理フローチャートである。 ＣＣＤカメラ装置用の第１パーソナルコンピュータの制御部の姿勢検出処理フローチャートである。 第１パーソナルコンピュータのディスプレイ上に、被験者の顔領域枠や口元領域枠等が表示された態様を示す図である。 遠赤外線カメラ装置用の第２パーソナルコンピュータの制御部のメイン処理フローチャートである。 遠赤外線カメラ装置用の第２パーソナルコンピュータの制御部の頭部二値化処理フローチャートである。 遠赤外線カメラ装置用の第２パーソナルコンピュータの制御部の頭部検出処理フローチャートである。 遠赤外線カメラ装置用の第２パーソナルコンピュータの制御部の顔領域検出処理フローチャートである。 遠赤外線カメラ装置用の第２パーソナルコンピュータの制御部の呼吸検出処理フローチャートである。 遠赤外線カメラ装置用の第２パーソナルコンピュータの制御部の体温検出処理フローチャートである。 被験者の顔の姿勢を検出した結果をＣＣＤカメラ装置により撮影した画像に重畳した表示画像を示している。 被験者の呼吸を検出した結果を遠赤外線カメラ装置により撮影した画像に重畳した結果表示画像を示している。

符号の説明

１ 無呼吸検知システム
１０ 枠体
１４ 第１保持機構
１５ ＣＣＤカメラ装置
１７ 遠赤外線カメラ装置
１９ 第２保持機構
５４ 姿勢検出手段
７５ カメラ追従手段
７６ 呼吸情報検知手段

Claims (5)

1. ベッドに仰臥する被験者の近傍に第１保持機構を介して配置した被験者姿勢検出のためのカメラ装置と、
   同じく被験者の近傍に第２保持機構を介して配置した呼吸情報検出のための遠赤外線カメラ装置と、
   カメラ装置により取得した被験者の画像データにより被験者の姿勢を検出する姿勢検出手段と、
   姿勢検出手段により検出した被験者の姿勢データにより遠赤外線カメラ装置を連動して遠赤外線カメラ装置が被験者の鼻腔と口元を可及的に正面から撮影可能とするカメラ追従手段と、
   遠赤外線カメラ装置で測定した体表面温度の変化により呼吸の有無や呼吸状況を検知する呼吸情報検知手段とよりなる無呼吸検知システム。
2. 第１保持機構と第２保持機構は、移動自在で被験者のベッド上方に跨持された門型の枠体に装着したことを特徴とする請求項１に記載の無呼吸検知システム。
3. 第１保持機構と第２保持機構は、被験者のベッドの側方に配置した支持アームに装着したことを特徴とする請求項１に記載の無呼吸検知システム。
4. 第２保持機構は、カメラ装置の姿勢検出手段からの姿勢データに追従して遠赤外線カメラ装置を上下回動、左右回動及び左右直線移動が可能に構成したことを特徴とする請求項１又は請求項２又は請求項３に記載の無呼吸検知システム。
5. 第２保持機構は、遠赤外線カメラ装置が鼻腔を撮影するとき被験者の顔面のやや斜め下方より撮影するように遠赤外線カメラ装置の位置を変位駆動すべく構成したことを特徴とする請求項１に記載の無呼吸検知システム。

Images