JP2014036801A - 生体状態観察システム、生体状態観察方法、およびプログラム - Google Patents

Abstract

【課題】被観察者に違和感や不快感を与えることなく、被観察者の生体情報の観察および生体状態の異常の検出を行うことができる生体状態観察システム、生体状態観察方法、およびプログラムを提供する。
【解決手段】時間的に連続した複数のフレームで構成された、少なくとも１人の被観察者が含まれる画像が入力される画像入力部と、画像内の所定の領域を検出し、該検出した所定の領域の情報を出力する領域検出設定部と、画像内の所定の領域から、該画像内に含まれる被観察者の生体情報をそれぞれ検出する生体情報検出部と、生体の状態の異常の判定に用いられる所定の生体パラメータを記憶する生体パラメータ記憶部と、生体情報のデータまたは生体情報のデータの変化と、生体パラメータと、を比較し、被観察者の生体状態に発生した異常をそれぞれ検出する生体状態異常検出部と、を備える。
【選択図】図１

Description

本発明は、被観察者の生体情報を観察する生体状態観察システム、生体状態観察方法、およびプログラムに関し、より詳細には、被観察者をカメラで撮影し、映像に基づいて測定した被観察者の生体情報に基づいて被観察者の生体状態を観察する技術に関する。

例えば、医療機関、老人ホーム、または自宅療養などにおいて、容体の観察が必要な被観察者の容体が急変した場合には、早急に適切な処置を行う必要がある。

従来から、被観察者の容体を観察する方法として、被観察者に脈拍数や体温などの生体情報を測定するセンサを装着し、被観察者の生体情報を測定する方法がある。また、例えば、特許文献１のように、生体情報を測定するセンサとカメラとを利用する監視カメラシステムの技術も開示されている。

特許文献１で開示された監視カメラシステムでは、生体情報を測定するセンサを被観察者に装着し、これらのセンサからの生体情報の正常、異常を判定する。そして、生体情報が異常と判定した際に、被観察者を撮影しているカメラの映像をモニタに出力している。これにより、特許文献１で開示された監視カメラシステムでは、容体が急変した被観察者自身が、例えば、ナースコールのボタンを押すような操作を行わなくとも、容体が急変した被観察者を抽出することができる。

特開２００６−２４７０１４号公報

しかしながら、特許文献１で開示された技術では、生体情報を測定するセンサを、被観察者に密着した状態で長時間に装着させておく必要があるため、被観察者に物理的な違和感や、心理的な不快感を与えてしまう。また、被観察者が一定の場所に止まっているとは限らないため、被観察者が移動するときにはセンサを外し、戻ってきたときに再度センサを装着するなど、被観察者の生体情報の測定自体が煩雑になってしまう、という問題がある。

また、被観察者が多数いる場合には、それぞれの被観察者にセンサを装着する必要があり、被観察者の観察に要するコストが増加してしまう、という問題もある。

本発明は、上記の課題認識に基づいてなされたものであり、被観察者に違和感や不快感を与えることなく、被観察者の生体情報の観察および生体状態の異常の検出を行うことができる生体状態観察システム、生体状態観察方法、およびプログラムを提供することを目的としている。

上記の課題を解決するため、本発明の生体状態観察システムは、時間的に連続した複数のフレームで構成された、少なくとも１人の被観察者が含まれる画像が入力される画像入力部と、前記画像内の所定の領域を検出し、該検出した前記所定の領域の情報を出力する領域検出設定部と、前記画像内の前記所定の領域から、該画像内に含まれる前記被観察者の生体情報をそれぞれ検出する生体情報検出部と、生体の状態の異常の判定に用いられる所定の生体パラメータを記憶する生体パラメータ記憶部と、前記生体情報のデータまたは前記生体情報のデータの変化と、前記生体パラメータと、を比較し、前記被観察者の生体状態に発生した異常をそれぞれ検出する生体状態異常検出部と、を備えることを特徴とする。

また、本発明の生体状態観察方法は、画像入力部に、時間的に連続した複数のフレームで構成された、少なくとも１人の被観察者が含まれる画像を入力させる画像入力ステップと、領域検出設定部に、前記画像内の所定の領域を検出させ、該検出させた前記所定の領域の情報を出力させる領域検出設定ステップと、生体情報検出部に、前記画像内の前記所定の領域から、該画像内に含まれる前記被観察者の生体情報をそれぞれ検出させる生体情報検出ステップと、生体状態異常検出部に、前記生体情報のデータまたは前記生体情報のデータの変化と、生体パラメータ記憶部に記憶されている生体の状態の異常の判定に用いられる所定の生体パラメータと、を比較させることによって、前記被観察者の生体状態に発生した異常をそれぞれ検出させる生体状態異常検出ステップと、を含むことを特徴とする。

また、本発明のプログラムは、画像入力部に、時間的に連続した複数のフレームで構成された、少なくとも１人の被観察者が含まれる画像を入力させる画像入力ステップと、領域検出設定部に、前記画像内の所定の領域を検出させ、該検出させた前記所定の領域の情報を出力させる領域検出設定ステップと、生体情報検出部に、前記画像内の前記所定の領域から、該画像内に含まれる前記被観察者の生体情報をそれぞれ検出させる生体情報検出ステップと、生体状態異常検出部に、前記生体情報のデータまたは前記生体情報のデータの変化と、生体パラメータ記憶部に記憶されている生体の状態の異常の判定に用いられる所定の生体パラメータと、を比較させることによって、前記被観察者の生体状態に発生した異常をそれぞれ検出させる生体状態異常検出ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、被観察者に違和感や不快感を与えることなく、被観察者の生体情報の観察および生体状態の異常の検出を行うことができる生体状態観察システム、生体状態観察方法、およびプログラムを提供することができるという効果が得られる。

本発明の第１の実施形態における生体状態観察システムの概略構成の一例を示したブロック図である。 本第１の実施形態の生体状態観察システムにおける全体の処理の手順を示したフローチャートである。 本第１の実施形態の生体状態観察システムに備えた生体情報検出部における脈拍検出処理の処理手順を示したフローチャートである。 本第１の実施形態の生体状態観察システムに赤外線を撮影した画像データを入力する構成の一例を示した図である。 本発明の第２の実施形態における生体状態観察システムの概略構成の一例を示したブロック図である。 本発明の第３の実施形態における生体状態観察システムの概略構成の一例を示したブロック図である。 本第３の実施形態の生体状態観察システムにおける全体の処理の手順を示したフローチャートである。 本発明の第４の実施形態における生体状態観察システムの概略構成の一例を示したブロック図である。 本第４の実施形態の生体状態観察システムにおける個体パラメータの一例を示した図である。

＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明においては、生体状態観察システムの基本的な構成を説明するため、１人の被観察者の生体情報を観察し、生体状態の異常の検出する場合について説明する。

図１は、本第１の実施形態における生体状態観察システムの概略構成の一例を示したブロック図である。図１に示した生体状態観察システム１は、画像入力部１０と、生体情報検出部２０と、領域検出設定部３０と、生体状態異常検出部４０と、生体パラメータ記憶部５０とから構成されるシステムである。なお、図１には、生体状態観察システム１に画像データを入力するための撮影部１００と、生体状態観察システム１において観察する被観察者Ｈも併せて示しているが、撮影部１００および被観察者Ｈは、本第１の実施形態の生体状態観察システム１を構成する要素ではない。

撮影部１００は、被写体の光学像を光電変換する固体撮像素子を備えた監視カメラであり、被写体の動画を継続的に撮影する。撮影部１００は、被観察者Ｈの動画像（例えば、３０フレーム／秒の画像）を撮影し、撮影した被観察者Ｈの撮影画像であるそれぞれのフレームの画像データ（ＲＡＷデータ）を、撮影した動画のフレーム毎に画像入力部１０に出力する。また、撮影部１００は、通常の可視光に加えて、赤外線を撮影する機能を備えている。撮影部１００において赤外線を撮影するための構成の説明は、後述する。以下の説明においては、被観察者Ｈを撮影した可視光の撮影画像のそれぞれのフレームの画像データと、赤外線を撮影した撮影画像のそれぞれのフレームの画像データとを区別しない場合には、単に「画像データ」という。

画像入力部１０は、撮影部１００から入力されたフレーム毎の画像データを、生体情報検出部２０と領域検出設定部３０とに出力する。

領域検出設定部３０は、画像入力部１０から入力されたそれぞれのフレームの可視光の画像データ（ＲＡＷデータ）に対して画像処理を行い、動画像に含まれる被観察者Ｈの皮膚の領域（以下、「皮膚領域」という）を検出する。以下の説明においては、例えば、被観察者Ｈの顔の領域を、領域検出設定部３０が被観察者Ｈの皮膚領域として検出するものとして説明する。そして、領域検出設定部３０は、検出した被観察者Ｈの皮膚領域の情報を、生体情報検出部２０に出力する。なお、領域検出設定部３０による被観察者Ｈの皮膚領域、すなわち、顔の領域の検出方法は、例えば、デジタルスチルカメラやデジタルビデオカメラなどにおいて一般的に用いられている、公知の顔検出の技術を用いて行うことができるため、詳細な説明は省略する。

生体情報検出部２０は、画像入力部１０から入力されたそれぞれのフレームの画像データに基づいて、被観察者Ｈの生体情報を継続的に検出する。以下の説明においては、例えば、被観察者Ｈの脈拍数を、生体情報検出部２０が被観察者Ｈの生体情報として検出するものとして説明する。そして、生体情報検出部２０は、検出した被観察者Ｈの生体情報（以下、「検出生体情報」という）を、生体状態異常検出部４０に出力する。

生体情報検出部２０が被観察者Ｈの脈拍数を生体情報として検出する場合、生体情報検出部２０は、画像入力部１０から入力されたそれぞれのフレームの可視光の画像データ（ＲＡＷデータ）を用いて、被観察者Ｈの脈拍数を検出するための画像処理（以下、「脈拍検出処理」という）を継続的に行い、被観察者Ｈの脈拍数を検出する。生体情報検出部２０による脈拍検出処理では、領域検出設定部３０から入力された被観察者Ｈの皮膚領域の情報に応じて、脈拍検出処理を行う際に解析を行うＲＡＷデータの領域を変更する。そして、生体情報検出部２０は、検出した被観察者Ｈの脈拍数の情報を、検出生体情報として生体状態異常検出部４０に出力する。なお、生体情報検出部２０における脈拍検出処理に関する詳細な説明は、後述する。

生体パラメータ記憶部５０は、生体の状態に異常が発生していると判定するために予め定めた生体パラメータを記憶している。この生体パラメータは、一般的な人間において、医学的に脈拍数などの生体の状態（生体状態）に異常が発生している可能性が高いと考えられる閾値である。生体パラメータ記憶部５０は、記憶している生体パラメータを、生体状態異常検出部４０に出力する。なお、被観察者Ｈが特定できる場合には、この特定された被観察者Ｈにおいて、脈拍数などの生体状態に異常が発生している可能性が高いと考えられる閾値を、生体パラメータとして、生体パラメータ記憶部５０に記憶しておくこともできる。

生体状態異常検出部４０は、生体情報検出部２０から出力された検出生体情報に基づいて、被観察者Ｈの生体情報の時間的変化を算出し、生体パラメータ記憶部５０から入力された生体パラメータと比較することによって、被観察者Ｈの生体情報の時間的変化が異常であるか否かを判定する。生体状態異常検出部４０は、この判定結果によって被観察者Ｈの生体状態の異常を検出する。生体状態異常検出部４０は、算出した被観察者Ｈの生体情報の時間的変化が異常であると判定すると、すなわち、被観察者Ｈの生体状態の異常を検出すると、このことを通知するための警告を出力する。生体状態異常検出部４０が出力する警告は、例えば、被観察者Ｈの健康状態を観察する観察者に対して通知される。観察者への通知方法としては、例えば、ランプを点灯させたり、ブザー音を鳴らしたり、観察者が携帯している携帯端末に警告の内容を送信したりすることが考えられる。

例えば、生体情報検出部２０からは、検出した被観察者Ｈの脈拍数の情報が検出生体情報として常に入力される。生体状態異常検出部４０は、生体情報検出部２０から入力された被観察者Ｈの脈拍数の変化を、一定時間（例えば、１分）毎に算出する。また、生体パラメータ記憶部５０からは、医学的に生体状態に異常が発生している可能性が高いと考えられる一定時間（例えば、１分）における脈拍数の変化の閾値が、生体パラメータとして入力される。生体状態異常検出部４０は、算出した被観察者Ｈの脈拍数の時間的変化の値と生体パラメータとを比較し、被観察者Ｈの脈拍数の変化の値が生体パラメータ以上である場合に、観察している被観察者Ｈの生体状態が異常であると判定し、警告を出力する。

このような構成によって、生体状態観察システム１では、観察する対象である被観察者Ｈの生体情報を継続的に観察し、被観察者Ｈの生体状態が異常であることを検出したときに警告を行う。これにより、生体状態観察システム１によって被観察者Ｈの健康状態を観察する、例えば、医療機関の医師などの観察者は、容体が急変したなどの被観察者Ｈの生体状態の変化を早い段階で知ることができ、適切な処置を行うことができる。

なお、脈拍数の時間的変化の閾値である生体パラメータは、脈拍が低いところから高いところへと変化する場合の閾値と、脈拍が高いところから低いところへと変化する場合の閾値とで、それぞれ異なる閾値であることが望ましい。この場合、生体状態異常検出部４０は、算出した被観察者Ｈの脈拍数の変化の方向に応じて、それぞれ対応する閾値の生体パラメータに基づいて、被観察者Ｈの生体状態が異常であるか否かを判定する。これにより、より精度よく、被観察者Ｈの生体状態の異常を判定することができる。

また、生体状態異常検出部４０は、生体情報検出部２０から出力された検出生体情報の値と、生体パラメータ記憶部５０から入力された生体パラメータと比較することによって、被観察者Ｈの生体情報が異常であるか否かを判定してもよい。以下の説明においては、検出生体情報の値と生体パラメータとを直接的に比較することによって被観察者Ｈの生体情報が異常であるか否かを判定した場合も含めて、被観察者Ｈの生体情報の時間的変化が異常であるか否かを判定したものとして説明する。

次に、生体状態観察システム１の全体の動作について説明する。図２は、本第１の実施形態の生体状態観察システム１における全体の処理の手順を示したフローチャートである。生体状態観察システム１は、撮影部１００が撮影した被観察者Ｈのそれぞれのフレームの画像データ毎に、図２に示した全体の処理を実行する。

まず、ステップＳ１０において、画像入力部１０は、撮影部１００から入力された被観察者Ｈの動画像を撮影したフレームの画像データを、生体情報検出部２０と領域検出設定部３０とに出力する。

続いて、ステップＳ２０において、領域検出設定部３０は、画像入力部１０から入力されたフレームの可視光の画像データ（ＲＡＷデータ）に対して画像処理を行い、動画像に含まれる被観察者Ｈの顔の領域を皮膚領域として検出する。そして、領域検出設定部３０は、検出した被観察者Ｈの皮膚領域の情報を、生体情報検出部２０に出力する。

続いて、ステップＳ３０において、生体情報検出部２０は、画像入力部１０から入力されたフレームの可視光の画像データ（ＲＡＷデータ）に基づいて、被観察者Ｈの脈拍数を生体情報として検出する。そして、生体情報検出部２０は、検出した被観察者Ｈの脈拍数の生体情報を、検出生体情報として生体状態異常検出部４０に出力する。

続いて、ステップＳ４０において、生体状態異常検出部４０は、生体情報検出部２０から出力された検出生体情報に基づいて、被観察者Ｈの生体情報の時間的変化、すなわち、被観察者Ｈの脈拍数の時間的変化を算出する。続いて、ステップＳ５０において、生体状態異常検出部４０は、算出した被観察者Ｈの生体情報の時間的変化と、生体パラメータ記憶部５０から入力された生体パラメータと比較し、被観察者Ｈの生体情報の時間的変化が異常であるか否かを判定する。

ステップＳ５０による判定の結果、被観察者Ｈの生体情報の時間的変化が異常ではないと判定された場合（ステップＳ５０のＮｏ）には、今回のフレームに対する処理を完了する。また、ステップＳ５０による判定の結果、被観察者Ｈの生体情報の時間的変化が異常であると判定された場合（ステップＳ５０のＹｅｓ）には、ステップＳ６０において、生体状態異常検出部４０は、判定した結果を通知するための警告を出力する。

以降、生体状態観察システム１は、ステップＳ１０〜ステップＳ６０までの処理を、撮影した被観察者Ｈのそれぞれのフレームの画像データが撮影部１００から入力される毎に、順次繰り返す。

このような処理によって、生体状態観察システム１は、撮影部１００から入力された画像データ毎に、領域検出設定部３０から入力された被観察者Ｈの皮膚領域の生体情報の検出と、検出した生体情報の時間的変化の判定とを行う。これにより、生体状態観察システム１では、観察している被観察者Ｈの生体状態の変化が異常であると判定したときに、判定した結果を通知するための警告を出力することができる。

次に、生体状態観察システム１に備えた生体情報検出部２０による脈拍検出処理、すなわち、図２に示した生体状態観察システム１の全体の処理におけるステップＳ３０での被観察者Ｈの脈拍数を生体情報として検出する処理について説明する。生体情報検出部２０による脈拍検出処理では、画像入力部１０から入力されたそれぞれのフレームの可視光の画像データ（ＲＡＷデータ）に基づいた、撮影部１００が撮影した可視光の動画像における被観察者Ｈの位置合わせの処理、すなわち、ブレ補正処理と、ブレ補正した後の動画像に基づいた被観察者Ｈの脈拍数の算出処理とを並行して行う。図３は、本第１の実施形態の生体状態観察システム１に備えた生体情報検出部２０における脈拍検出処理の処理手順を示したフローチャートである。

生体情報検出部２０は、脈拍検出処理を開始すると、まず、ブレ補正処理を開始する。ブレ補正処理では、ステップＳ３０１において、生体情報検出部２０は、画像入力部１０から入力されたフレームの可視光の画像データ（ＲＡＷデータ）に対して画像処理を行い、動画像に含まれる被観察者Ｈのブレを検出するためのブレ検出対象画像を作成する。ステップＳ３０１におけるブレ検出対象画像の作成では、フレームのＲＡＷデータからビットマップデータを作成する。なお、生体情報検出部２０は、画像入力部１０からＲＡＷデータが入力される毎、すなわち、撮影部１００が撮影した動画のそれぞれのフレームの可視光の画像毎に、ブレ検出対象画像を作成する。

続いて、ステップＳ３０２において、生体情報検出部２０は、作成した１つ目のフレームのブレ検出対象画像を基準とし、以降のフレームのブレ検出対象画像との間における被観察者Ｈの位置の差から、被観察者Ｈのブレを検出する。より具体的には、１つ目のフレームのブレ検出対象画像とｎ（ｎ＝２以上の自然数）個目のフレームのブレ検出対象画像とに基づいて、撮影部１００が撮影した動画のフレームが、１つ目のフレームからｎ個目のフレームに変わったときのブレ量を検出する。なお、生体情報検出部２０によるブレ検出の処理方法は、例えば、デジタルビデオカメラなどにおいて一般的に用いられている、公知のブレ検出の技術を用いて行うことができるため、詳細な説明は省略する。

続いて、ステップＳ３０３において、生体情報検出部２０は、ステップＳ３０２において検出したブレ量に基づいて、画像入力部１０から入力されたそれぞれのフレームのＲＡＷデータに含まれる各画素のデータの位置合わせを行って、ブレを補正する。例えば、ＲＡＷデータに含まれるＲ、Ｇ、およびＢの各色成分の画素のブレを、逆アフィン変換によって補正する。なお、生体情報検出部２０によるブレ補正の処理方法は、例えば、デジタルビデオカメラなどにおいて一般的に用いられている、公知のブレ補正の技術を用いて行うことができるため、詳細な説明は省略する。

ここまでの処理が、ブレ補正処理である。以降、生体情報検出部２０は、ステップＳ３０１〜ステップＳ３０３までのブレ補正処理を、画像入力部１０からそれぞれのフレームのＲＡＷデータが入力される毎に、順次繰り返す。

そして、生体情報検出部２０は、１つ目のフレームのＲＡＷデータに対するブレ補正処理が完了すると、続いて、脈拍数の算出処理を開始する。脈拍数の算出処理では、ステップＳ３０４において、生体情報検出部２０は、ＲＡＷデータデータから解析を行う領域（解析領域）ＲＯＩを設定（限定）する。ここでは、領域検出設定部３０から入力された被観察者Ｈの皮膚領域（顔の領域）を解析領域ＲＯＩに設定する。そして、生体情報検出部２０は、ブレ補正された１つ目のフレームのＲＡＷデータに含まれる各画素のデータに基づいて、解析領域ＲＯＩ、すなわち、被観察者Ｈの顔領域の輝度信号を抽出する。ステップＳ３０４における輝度信号の抽出では、ＲＡＷデータの解析領域ＲＯＩ内に含まれるＲ、Ｇ、およびＢのそれぞれの色成分毎に、輝度信号の平均値を求める。

これにより、撮影部１００が撮影した動画のフレーム数分の長さの輝度信号の平均値を、それぞれの色成分毎に抽出することができる。ここで、解析領域ＲＯＩにおけるＲ、Ｇ、およびＢのそれぞれの色成分毎の輝度信号の平均値を時間順に示すと、ｘ１（ｔ）、ｘ２（ｔ）、およびｘ３（ｔ）とする。なお、ｔは画像入力部１０から入力されたそれぞれのフレームの可視光の画像データ（ＲＡＷデータ）、すなわち、撮影部１００が撮影した動画のフレーム番号である。

続いて、ステップＳ３０５において、生体情報検出部２０は、ステップＳ３０４において抽出したＲ、Ｇ、およびＢのそれぞれの色成分毎の輝度信号の平均値を、正規化する。このとき、生体情報検出部２０は、Ｒ、Ｇ、およびＢの輝度信号の平均値が０で分散が１となるな、正式化した後の輝度信号ｘ’ｉ（ｔ）を、下式（１）を用いて正規化する。

上式（１）において、ｉはそれぞれの色成分Ｒ、Ｇ、およびＢを表し、１がＲ、２がＧ、３がＢを表す。従って、ｘｉ（ｔ）は各フレームのそれぞれの色成分毎の輝度信号の平均値を表す。また、μｉは輝度信号の平均値ｘｉ（ｔ）の全てのフレームの平均値を表し、σｉは輝度信号の平均値ｘｉ（ｔ）の全てのフレームの標準偏差を表す。

続いて、ステップＳ３０６において、生体情報検出部２０は、独立成分分析法を用いて、ステップＳ３０５において正式化した後のＲ、Ｇ、およびＢの各輝度信号を、それぞれ独立成分に分解する。このとき、生体情報検出部２０は、輝度信号ｘ’１（ｔ）、ｘ’２（ｔ）、およびｘ’３（ｔ）を、３つの独立成分ｓ１（ｔ）、ｓ２（ｔ）、およびｓ３（ｔ）に分解する。

ステップＳ３０６における独立成分分析では、生体情報検出部２０は、まず、下式（２）となる仮説を立てる。

上式（２）において、Ａは３×３のマトリクスを表し、Ａのそれぞれの要素は、ａｉｊ（ｉ＝１，２，３ ｊ＝１，２，３）である。また、ｘ’（ｔ）は全ての色成分の輝度信号を、ｓ（ｔ）は全ての色成分の独立成分を、それぞれ表し、下式（３）で表される。

しかし、上式（２）がそのまま成り立つマトリクスＡは存在しない。そこで、生体情報検出部２０は、独立成分ｓ（ｔ）の評価値に近い評価値をｓ’（ｔ）とし、マトリクスＡの逆行列に近いマトリクスＷを、独立成分分析法によって算出する。

続いて、ステップＳ３０７において、生体情報検出部２０は、ステップＳ３０６において算出した評価値ｓ’（ｔ）を、それぞれの色成分毎に高速フーリエ変換する。このとき、生体情報検出部２０は、Ｒ、Ｇ、およびＢのそれぞれの色成分毎の評価値ｓ’１（ｔ）、ｓ’２（ｔ）、およびｓ’３（ｔ）に対して高速フーリエ変換を行い、それぞれの色成分毎の周波数領域表現Ｆ（Ｓ１）、Ｆ（Ｓ２）、およびＦ（Ｓ３）を算出する。

続いて、ステップＳ３０８において、生体情報検出部２０は、ステップＳ３０７において算出した周波数領域表現ＦにおけるパワースペクトルＰを求める。このとき、生体情報検出部２０は、Ｒ、Ｇ、およびＢのそれぞれの色成分毎の周波数領域表現Ｆ（Ｓ１）、Ｆ（Ｓ２）、およびＦ（Ｓ３）におけるパワースペクトルＰ（Ｓ１）、Ｐ（Ｓ２）、およびＰ（Ｓ３）をそれぞれ求める。

続いて、ステップＳ３０９において、生体情報検出部２０は、ステップＳ３０８において求めたパワースペクトルＰから、脈拍の特徴がよく現れているパワースペクトルＰを選択する。例えば、パワースペクトルＰ（Ｓ２）を選択する。

続いて、ステップＳ３１０において、生体情報検出部２０は、ステップＳ３０９において選択したパワースペクトルＰから脈拍を表す周波数を抽出し、さらに、抽出した周波数に基づいて、脈拍数を算出する。例えば、画像入力部１０から入力されたそれぞれのフレームの可視光の画像データ（ＲＡＷデータ）、すなわち、撮影部１００の撮影フレームレートが６０フレーム／秒の場合において、パワースペクトが０．７５〜４の間の脈拍周波数を抽出した場合には、４５ｂｐｍ〜２４０ｂｐｍの間の値を脈拍数として算出する。

ここまでの処理が、脈拍数の算出処理である。以降、生体情報検出部２０は、ステップＳ３０４〜ステップＳ３１０までの脈拍数の算出処理を、画像入力部１０から入力されたフレームのＲＡＷデータに対するブレ補正処理が完了する毎に、順次繰り返す。

このように、生体状態観察システム１では、生体情報検出部２０が、画像入力部１０から入力されたフレームのＲＡＷデータ毎に、領域検出設定部３０から入力された被観察者Ｈの皮膚領域に対する脈拍検出処理を行って、被観察者Ｈの脈拍をフレーム毎に検出する。このとき、生体状態観察システム１では、従来の技術のように、生体情報を測定するセンサを被観察者Ｈに密着した状態で装着する必要がなく、すなわち、被観察者Ｈの皮膚領域（顔の領域）を撮影部１００が撮影することができれば、被観察者Ｈの脈拍数（生体情報）を精度よく検出することができる。すなわち、生体状態観察システム１では、被観察者Ｈに意識させることなく脈拍数を検出することができる。

そして、生体状態観察システム１では、生体状態異常検出部４０が、生体情報検出部２０が検出した被観察者Ｈの脈拍数である検出生体情報と、生体パラメータ記憶部５０に記憶している生体パラメータに含まれる脈拍数の情報とを比較することによって、被観察者Ｈの生体情報（脈拍数）を観察することができる。これにより、生体状態観察システム１では、観察している被観察者Ｈの生体状態が異常になっていると判断したときに、警告を出力することができる。

なお、生体状態観察システム１において画像入力部１０は、撮影部１００から入力された被観察者Ｈを撮影したそれぞれのフレームの画像データを生体情報検出部２０および領域検出設定部３０に出力する場合について説明した。しかし、例えば、撮影部１００が何らかのガンマ補正を施した画像データを出力する場合もある。この場合には、図３に示したステップＳ３０４において、解析領域ＲＯＩを設定する前に、画像入力部１０が、撮影部１００から入力された画像データに対して逆ガンマの補正を施し、逆ガンマの補正を施した画像データを生体情報検出部２０および領域検出設定部３０に出力することによって、以降の脈拍数の算出処理を、同様に行うことができる。

また、本第１の実施形態の生体状態観察システム１においては、撮影部１００から入力された画像データに基づいて生体情報を検出する場合について説明したが、生体状態観察システム１に画像データを入力する構成は、撮影部１００に限定されるものではない。例えば、すでに撮影された画像データを画像入力部１０に入力する構成であっても、入力された画像データに基づいて生体情報を検出することができる。

また、本第１の実施形態の生体状態観察システム１においては、撮影部１００から入力された画像データに基づいて被観察者Ｈの脈拍数を生体情報として検出する場合について説明した。しかし、生体状態観察システム１が検出する、すなわち、生体情報検出部２０が検出する被観察者Ｈの生体情報は、上述した脈拍数に限定されるものではなく、画像データから検出することができる生体情報であれば、様々な生体情報を検出する構成にすることができる。例えば、生体情報検出部２０が、画像入力部１０から入力された画像データに基づいて、体温や血圧や血糖値などの他の生体情報を検出する構成にすることもできる。

ここで、画像データから体温を生体情報として検出する場合の一例について説明する。本第１の実施形態の生体状態観察システム１では、例えば、撮影部１００が通常の可視光に加えて、赤外線を撮影する機能を備えることによって、体温を生体情報として検出することができる。以下に、生体状態観察システム１に画像データを入力する撮影部１００における赤外線を撮影する機能について説明する。

固体撮像素子を備えた監視カメラにおいて赤外線を撮影する機能を実現する方法には、様々な方法が考えられる。図４は、本第１の実施形態の生体状態観察システム１に赤外線を撮影した画像データを入力する構成の一例を示した図である。図４（ａ）には、被写体光を分光することによって赤外線を撮影する機能を実現する撮影部１００の構成の一例を示し、図４（ｂ）には、赤外線を撮影する機能を備えた固体撮像素子の一例を示している。

図４（ａ）に示した撮影部１００は、ハーフミラー１０１と、赤外カットフィルタ１０２と、固体撮像素子１０３と、可視光カットフィルタ１０４と、固体撮像素子１０５とを備え、ハーフミラー１０１を用いて分光した被写体光を、固体撮像素子１０３と固体撮像素子１０５とのそれぞれが光電変換することによって、被観察者Ｈの動画像を撮影する。

ハーフミラー１０１は、被写体光を一定の割合で分光する。赤外カットフィルタ１０２は、赤外線の成分を除いた（カットした）光を通過させるフィルタであり、ハーフミラー１０１を通過した被写体光から赤外線を除いた被写体光、すなわち、可視光を固体撮像素子１０３に入射させる。固体撮像素子１０３は、例えば、ベイヤー配列のＲ、Ｇ、Ｂの各色の色フィルタが貼付された固体撮像素子であり、入射した被写体光を光電変換した可視光のそれぞれのフレームの画像データ（ＲＡＷデータ）を出力する。

一方、可視光カットフィルタ１０４は、可視光の成分を除いた（カットした）赤外線の一部を通過させるバンドパスフィルタであり、ハーフミラー１０１に反射した被写体光から可視光を除いた被写体光、すなわち、赤外線を固体撮像素子１０５に入射させる。固体撮像素子１０５は、色フィルタが貼付されていないモノクロの固体撮像素子であり、入射した被写体光を光電変換した赤外線のそれぞれのフレームの画像データを出力する。

このような構成によって、図４（ａ）に示した撮影部１００では、通常の可視光と赤外線と撮影する機能を実現している。すなわち、生体状態観察システム１によって被観察者Ｈの脈拍を検出するための通常の可視光の動画像と、体温を検出するための赤外線の動画像との同時の撮影を実現している。

図４（ｂ）に示した固体撮像素子１０８は、貼付される色フィルタの一部が、可視光の成分を除いた（カットした）赤外線を通過させるバンドパスフィルタになっている固体撮像素子である。図４（ｂ）に示した一例では、ベイヤー配列のＲ、Ｇ、Ｂの各色の色フィルタにおいて通常、１つの赤色（Ｒ）および青色（Ｂ）の色フィルタに対して２つある緑色（Ｇ）の色フィルタの内、１つの緑色（Ｇ）の色フィルタが赤外線（Ｉｒ）を通過させるバンドパスフィルタに変更されている場合を示している。固体撮像素子１０８に備えたそれぞれの画素は、貼付された対応する各色（Ｒ，Ｇ，Ｂ）の色フィルタ、または赤外線（Ｉｒ）フィルタを通過した被写体光を光電変換する。

このような構成によって、図４（ｂ）に示した固体撮像素子１０８では、通常の可視光に加えて、赤外線を光電変換したそれぞれのフレームの画像データを出力する。これにより、固体撮像素子１０８を備えた撮影部１００では、生体状態観察システム１によって被観察者Ｈの脈拍を検出するための通常の可視光の動画像と、体温を検出するための赤外線の動画像とを同時に撮影することができる。

そして、本第１の実施形態の生体状態観察システム１において、生体情報検出部２０が被観察者Ｈの体温を生体情報として検出する場合、生体情報検出部２０は、画像入力部１０から入力されたそれぞれのフレームの赤外線の画像データを用いて、被観察者Ｈの体温を検出するための画像処理（以下、「体温検出処理」という）を継続的に行い、被観察者Ｈの体温を検出する。生体情報検出部２０による体温検出処理でも、領域検出設定部３０から入力された被観察者Ｈの皮膚領域の情報に応じて、体温検出処理を行う際に解析を行う赤外線の画像データの領域を変更する。この体温検出処理は、図２に示した生体状態観察システム１における全体の処理手順のステップＳ３０において、被観察者Ｈの脈拍数の検出と共に行われる。そして、生体情報検出部２０は、検出した被観察者Ｈの体温の情報も、検出生体情報として生体状態異常検出部４０に出力する。なお、生体情報検出部２０における体温検出処理は、例えば、赤外線を撮影する機能を備えているカメラなどを利用して一般的に行われている、公知の体温検出の技術を用いて行うことができるため、詳細な説明は省略する。

このように、本第１の実施形態の生体状態観察システム１では、撮影部１００から入力された画像データに基づいて検出する被観察者Ｈの脈拍数以外にも、画像データから検出することができる様々な生体情報を、生体状態異常検出部４０に出力する構成にすることができる。

また、本第１の実施形態の生体状態観察システム１における警告は、上述した例に限定されるものではない。例えば、被観察者Ｈの生体情報の時間的変化が異常であると判定したときの画像データを送信する構成にすることもできる。

また、本第１の実施形態の生体状態観察システム１における生体パラメータは、生体パラメータ記憶部５０にすでに記憶されているもののみではなく、例えば、インターネットなどのネットワークを介して取得した生体パラメータを生体パラメータ記憶部５０に記憶し、この記憶した生体パラメータと比較することによって、生体状態異常検出部４０が被観察者Ｈの生体情報の時間的変化が異常であるか否かを判定する構成であってもよい。

＜第２の実施形態＞
次に、第２の実施形態の生体状態観察システムについて説明する。本第２の実施形態における生体状態観察システムは、被観察者Ｈの生体情報の時間的変化が異常であると判定したときに、第１の実施形態の生体状態観察システム１と同様の方法で警告を出力するとともに、画像データを送信する生体状態観察システムの一例である。図５は、本第２の実施形態における生体状態観察システムの概略構成の一例を示したブロック図である。図５に示した生体状態観察システム２は、画像入力部１０と、生体情報検出部２０と、領域検出設定部３０と、生体状態異常検出部４０と、生体パラメータ記憶部５０と、映像記録保存部６０と、映像送信部７０とから構成されるシステムである。なお、図５には、図１に示した生体状態観察システム１と同様に、生体状態観察システム２に画像データを入力するための撮影部１００と、生体状態観察システム２において観察する被観察者Ｈも併せて示しているが、撮影部１００および被観察者Ｈは、本第２の実施形態の生体状態観察システム２を構成する要素ではない。

本第２の実施形態の生体状態観察システム２は、第１の実施形態の生体状態観察システム１の構成要素に、映像記録保存部６０と、映像送信部７０とが追加された構成である。なお、本第２の実施形態の生体状態観察システム２における映像記録保存部６０および映像送信部７０以外の構成要素は、第１の実施形態の生体状態観察システム１の構成要素と同様の構成要素である。従って、以下の説明においては、第１の実施形態の生体状態観察システム１と同様の構成要素には、同一の符号を付与して詳細な説明は省略し、異なる構成要素について説明する。

画像入力部１０は、撮影部１００から入力されたフレーム毎の画像データを、生体情報検出部２０と領域検出設定部３０とに出力するのに加えて、さらに、映像記録保存部６０にも出力する。

生体状態異常検出部４０は、生体情報検出部２０から出力された検出生体情報と、生体パラメータ記憶部５０から入力された生体パラメータとに基づいて、観察している被観察者Ｈの生体状態が異常になっていると判断したとき、警告を出力するとともに、被観察者Ｈの生体状態が異常になっていることを表す生体異常信号を映像記録保存部６０に出力する。

映像記録保存部６０は、画像入力部１０から入力されたそれぞれのフレームの可視光の画像データ、すなわち、動画像を保存する。ただし、映像記録保存部６０は、画像入力部１０から入力された全てのフレームの可視光の画像データを保存するのではなく、生体状態異常検出部４０から入力された生体異常信号に応じて、予め定めた時間分の動画像を保存する。より具体的には、映像記録保存部６０は、生体状態異常検出部４０から生体異常信号が入力されたとき、生体異常信号が入力されたタイミングより予め定めた時間だけ前の画像データから、生体異常信号が入力されたタイミングより予め定めた時間だけ後の画像データまでの動画像を保存する。これにより、映像記録保存部６０には、被観察者Ｈの生体状態が異常になる前後の予め定めた期間の動画像を保存することができる。そして、映像記録保存部６０は、生体状態異常検出部４０から出力された生体異常信号に応じて被観察者Ｈの動画像を保存したことを表す保存完了信号と、保存した動画像とを、映像送信部７０に出力する。

映像送信部７０は、映像記録保存部６０から入力された保存完了信号に応じて、映像記録保存部６０に保存された被観察者Ｈの動画像を、予め登録されている、例えば、被観察者Ｈの健康状態を観察する観察者などの送信先に送信する。なお、映像送信部７０が動画像を送信する送信先は、生体状態観察システム２と無線で接続されている携帯電話であってもよいし、有線で接続されている他のモニタでもよい。また、映像送信部７０が動画像を送信する送信先は、生体状態異常検出部４０が出力する警告の出力先と同じであってもよいし、警告の出力先と異なる送信先であってもよい。

このような構成によって、生体状態観察システム２では、第１の実施形態の生体状態観察システム１と同様に被観察者Ｈの生体情報を継続的に観察し、被観察者Ｈの生体状態が異常であることを検出したときに警告を行う。また、生体状態観察システム２では、被観察者Ｈの生体状態が異常であることを検出した前後の予め定めた時間分の動画像を送信する。これにより、生体状態観察システム２によって被観察者Ｈの健康状態を観察する、例えば、医療機関の医師などの観察者は、容体が急変したなどの被観察者Ｈの生体状態の変化を早い段階で知ることができるとともに、そのときの被観察者Ｈの様子を確認することができ、適切な処置を行うことができる。

＜第３の実施形態＞
次に、第３の実施形態の生体状態観察システムについて説明する。本第３の実施形態における生体状態観察システムは、複数の被観察者のそれぞれの生体情報を観察し、いずれかの被観察者の生体情報の時間的変化が異常であると判定したときに、第２の実施形態の生体状態観察システム２と同様の方法で警告を出力する生体状態観察システムの一例である。図６は、本第３の実施形態における生体状態観察システムの概略構成の一例を示したブロック図である。図６に示した生体状態観察システム３は、画像入力部１０と、生体情報検出部２０と、領域検出設定部３０と、生体状態異常検出部４０と、生体パラメータ記憶部５０と、映像記録保存部６０と、映像送信部７０とから構成されるシステムである。なお、図６には、図１に示した生体状態観察システム１や図５に示した生体状態観察システム２と同様に、生体状態観察システム３に画像データを入力するための撮影部１００と、生体状態観察システム３において観察する複数の被観察者（被観察者Ｈａ〜被観察者Ｈｄ）も併せて示しているが、撮影部１００および複数の被観察者は、本第３の実施形態の生体状態観察システム３を構成する要素ではない。

本第３の実施形態の生体状態観察システム３は、第２の実施形態の生体状態観察システム２の構成と同様の構成である。ただし、本第３の実施形態の生体状態観察システム３では、観察する対象の被観察者のそれぞれを識別するため、領域検出設定部３０内に、個体識別部３５と、個体情報記憶部３６とを備えている。従って、以下の説明においては、第２の実施形態の生体状態観察システム２と同様の構成要素には、同一の符号を付与して詳細な説明は省略し、異なる構成要素について説明する。

なお、図６には、被観察者Ｈａ〜被観察者Ｈｄの４人の被観察者を示しているが、以下の説明においては、被観察者Ｈａ〜被観察者Ｈｄの内、被観察者Ｈｂおよび被観察者Ｈｄの生体状態を観察し、被観察者Ｈａおよび被観察者Ｈｃの生体状態は観察しない場合について説明する。

個体情報記憶部３６は、生体状態観察システム３において生体状態の観察を行う被観察者Ｈｂおよび被観察者Ｈｄのそれぞれを識別するために用いる、個人の特徴を表す特徴データを記憶している。個体情報記憶部３６が記憶している特徴データは、例えば、被観察者Ｈｂおよび被観察者Ｈｄのそれぞれの顔の特徴を表すデータである。個体情報記憶部３６は、記憶している特徴データを、個体識別部３５に出力する。

個体識別部３５は、画像入力部１０から入力されたそれぞれのフレームの可視光の画像データに対して画像処理を行い、個体情報記憶部３６から入力された特徴データに基づいて、動画像に含まれる生体情報を検出する対象の被観察者Ｈｂおよび被観察者Ｈｄのそれぞれを識別する。より具体的には、個体識別部３５は、画像入力部１０から入力されたそれぞれのフレームの可視光の画像データから顔の領域を検出することによって、画像データに含まれる複数の被観察者Ｈａ〜被観察者Ｈｄを検出する。その後、個体識別部３５は、検出した被観察者Ｈａ〜被観察者Ｈｄのそれぞれの顔の特徴を抽出し、抽出した被観察者Ｈａ〜被観察者Ｈｄのそれぞれの顔の特徴と、個体情報記憶部３６から入力された特徴データとを比較することによって、生体状態観察システム３において生体状態の観察を行う被観察者Ｈｂおよび被観察者Ｈｄのそれぞれを識別する。なお、個体識別部３５による顔の領域の検出方法および顔の特徴の抽出方法は、例えば、デジタルスチルカメラやデジタルビデオカメラなどにおいて一般的に用いられている、公知の顔検出および顔認識の技術を用いて行うことができるため、詳細な説明は省略する。

領域検出設定部３０は、個体識別部３５によって識別した被観察者Ｈｂと被観察者Ｈｄとのそれぞれの顔の領域の情報を、それぞれの皮膚領域の情報として生体情報検出部２０に出力する。このとき、領域検出設定部３０は、個体識別部３５が識別した被観察者Ｈｂと被観察者Ｈｄとのそれぞれの名前など、出力するそれぞれの皮膚領域の情報が誰のものであるかを識別する情報（以下、「個体識別情報」という）も併せて生体情報検出部２０に出力する。また、個体識別情報として、個体識別部３５が検出した被観察者Ｈｂと被観察者Ｈｄとのそれぞれの位置を表す情報を追加してもよい。

生体情報検出部２０は、画像入力部１０から入力されたそれぞれのフレームの画像データに基づいて、生体情報を検出する対象のそれぞれの被観察者毎に生体情報を検出する。そして、生体情報検出部２０は、検出したそれぞれの検出生体情報と、当該検出生体情報に対応する個体識別情報とを、生体状態異常検出部４０に出力する。

生体状態異常検出部４０は、生体情報検出部２０から出力されたそれぞれの検出生体情報毎に生体情報の時間的変化が異常であるか否かを判定する。そして、生体状態異常検出部４０は、いずれかの生体情報の時間的変化が異常であると判定したとき、警告を出力するとともに、生体異常信号と生体情報の時間的変化が異常であると判定した被観察者に対応する個体識別情報とを、映像記録保存部６０に出力する。

映像記録保存部６０は、生体状態異常検出部４０から生体異常信号が入力されたタイミングの予め定めた前後の時間の動画像を保存するとともに、生体状態異常検出部４０から入力された個体識別情報を保存する。

映像送信部７０は、映像記録保存部６０に保存された動画像と個体識別情報とを、予め登録されている送信先に送信する。

このような構成によって、生体状態観察システム３では、複数の被観察者Ｈａ〜被観察者Ｈｄの内、観察する対象の被観察者Ｈｂおよび被観察者Ｈｄの生体情報を継続的に観察し、被観察者Ｈｂまたは被観察者Ｈｄのいずれかの生体状態が異常であることを検出したときに、第２の実施形態の生体状態観察システム２と同様に警告の出力と動画像の送信とを行う。また、生体状態観察システム３では、誰の生体状態が異常であるかを表す個体識別情報も出力する。

次に、生体状態観察システム３の全体の動作について説明する。図７は、本第３の実施形態の生体状態観察システム３における全体の処理の手順を示したフローチャートである。生体状態観察システム３は、撮影部１００が撮影した複数の被観察者を含むフレーム毎の画像データに、図７に示した全体の処理を実行する。

まず、ステップＳ１００において、画像入力部１０は、撮影部１００から入力された複数の被観察者を含む動画像のフレーム毎の画像データを、生体情報検出部２０と領域検出設定部３０とに出力する。

続いて、ステップＳ２００において、領域検出設定部３０内の個体識別部３５は、画像入力部１０から入力されたフレームの可視光の画像データに対して画像処理を行い、動画像に含まれる複数の被観察者の顔の領域を検出する。ここでは、個体識別部３５は、被観察者Ｈａ〜被観察者Ｈｄのそれぞれの顔の領域を検出する。

続いて、ステップＳ３００において、個体識別部３５は、検出した被観察者Ｈａ〜被観察者Ｈｄの顔の特徴を順次抽出する。そして、ステップＳ４００において、個体識別部３５は、ステップＳ３００において抽出した被観察者Ｈａ〜被観察者Ｈｄの顔の特徴と、個体情報記憶部３６から入力された特徴データとを比較し、被観察者Ｈａ〜被観察者Ｈｄが生体状態を観察する被観察者として登録されているか否かを判定する。

ステップＳ４００による判定の結果、生体状態を観察する被観察者として登録されていないと判定された場合（ステップＳ４００のＮｏ）には、ステップＳ３００に戻って、次の被観察者の顔の特徴の抽出と生体状態を観察する被観察者として登録されているか否かの判定を繰り返す。また、ステップＳ４００による判定の結果、生体状態を観察する被観察者として登録されていると判定された場合（ステップＳ４００のＹｅｓ）には、個体識別部３５は、検出した被観察者の顔の領域の情報を、皮膚領域の情報として生体情報検出部２０に出力する。

ここでは、ステップＳ３００およびステップＳ４００の処理によって、個体識別部３５は、被観察者Ｈｂおよび被観察者Ｈｄのそれぞれを、生体状態を観察する被観察者として識別する。そして、個体識別部３５が識別した被観察者Ｈｂと被観察者Ｈｄとのそれぞれの顔の領域の情報を、それぞれの皮膚領域の情報として生体情報検出部２０に出力する。

続いて、ステップＳ５００において、生体情報検出部２０は、画像入力部１０から入力されたフレームの可視光の画像データに基づいて、被観察者Ｈｂおよび被観察者Ｈｄのそれぞれの脈拍数を生体情報として検出する。そして、生体情報検出部２０は、検出した被観察者Ｈｂおよび被観察者Ｈｄのそれぞれの脈拍数の生体情報を、検出生体情報として生体状態異常検出部４０に出力する。

続いて、ステップＳ６００において、生体状態異常検出部４０は、生体情報検出部２０から出力された被観察者Ｈｂおよび被観察者Ｈｄのそれぞれの検出生体情報に基づいて、被観察者Ｈｂおよび被観察者Ｈｄのそれぞれの生体情報の時間的変化、すなわち、被観察者Ｈｂおよび被観察者Ｈｄのそれぞれの脈拍数の時間的変化を算出する。続いて、ステップＳ７００において、生体状態異常検出部４０は、算出した被観察者Ｈｂおよび被観察者Ｈｄのそれぞれの生体情報の時間的変化と、生体パラメータ記憶部５０から入力された生体パラメータと比較し、被観察者Ｈｂおよび被観察者Ｈｄのそれぞれの生体情報の時間的変化が異常であるか否かを判定する。

ステップＳ７００による判定の結果、被観察者Ｈｂおよび被観察者Ｈｄのいずれも生体情報の時間的変化が異常ではないと判定された場合（ステップＳ７００のＮｏ）には、今回のフレームに対する処理を完了する。

また、ステップＳ７００による判定の結果、被観察者Ｈｂまたは被観察者Ｈｄのいずれか一方または両方の生体情報の時間的変化が異常であると判定された場合（ステップＳ７００のＹｅｓ）には、ステップＳ８００において、生体状態異常検出部４０は、判定した結果を通知するための警告を出力するとともに、生体異常信号と生体情報の時間的変化が異常であると判定した被観察者に対応する個体識別情報とを、映像記録保存部６０に出力する。これにより、映像記録保存部６０は、生体状態異常検出部４０から生体異常信号が入力されたタイミングの予め定めた前後の時間の動画像と、個体識別情報とを保存する。

続いて、ステップＳ９００において、映像送信部７０は、映像記録保存部６０に保存された動画像と個体識別情報とを、予め登録されている送信先に送信する。

以降、生体状態観察システム３は、ステップＳ１００〜ステップＳ９００までの処理を、撮影した複数の被観察者を含むフレームの画像データが撮影部１００から入力される毎に、順次繰り返す。

このような処理によって、生体状態観察システム３は、撮影部１００から入力された画像データ毎に、領域検出設定部３０の個体識別部３５から入力された観察する対象の被観察者（本第３の実施形態では、被観察者Ｈｂおよび被観察者Ｈｄ）の皮膚領域の生体情報の検出と、検出した生体情報の時間的変化の判定とを行う。また、生体状態観察システム３では、いずれかの被観察者の生体状態が異常であることを検出したときに、警告の出力と動画像および個体識別情報の送信とを行う。これにより、生体状態観察システム３によって複数の被観察者の健康状態を観察する、例えば、医療機関の医師などの観察者は、いずれの被観察者の生体状態が変化したのかを早い段階で知ることができ、生体状態が変化した被観察者に対して適切な処置を行うことができる。

なお、個体識別情報を観察者に通知する方法には、様々な方法が考えられる。例えば、映像送信部７０が動画像を送信する送信先が、有線で接続されている他のモニタである場合には、生体状態が異常である被観察者に対応する個体識別情報に含まれる被観察者の名前を同時にモニタに表示させる方法が考えられる。また、個体識別情報に含まれる被観察者の位置を表す情報に基づいて、生体状態が変化した被観察者の位置を表す表示を、モニタの画面上に重畳して表示させる方法も考えられる。

また、生体状態観察システム３では、個体情報記憶部３６に特徴データが記憶されている被観察者Ｈｂおよび被観察者Ｈｄを、生体情報を検出する対象とした場合について説明したが、個体情報記憶部３６に特徴データが記憶されていない被観察者の生体情報も併せて検出し、生体情報の時間的変化が異常であると判定したときに、警告の出力と動画像の送信とを行うようにすることもできる。この場合には、個体識別情報の送信を行わないため、生体状態が変化した被観察者の位置を表す表示のみを、モニタの画面上に重畳して表示させることが考えられる。

また、本第３の実施形態の生体状態観察システム３における特徴データは、個体情報記憶部３６にすでに記憶されているもののみではなく、例えば、インターネットなどのネットワークを介して取得した特徴データを個体情報記憶部３６に記憶し、この記憶した特徴データに基づいて、個体識別部３５が生体情報を検出する対象の被観察者を識別する構成であってもよい。

＜第４の実施形態＞
次に、第４の実施形態の生体状態観察システムについて説明する。本第４の実施形態における生体状態観察システムは、生体状態異常検出部４０が被観察者の生体情報の時間的変化が異常であるか否かを判定する際に、被観察者のそれぞれに対応した生体パラメータを用いる生体状態観察システムの一例である。図８は、本第４の実施形態における生体状態観察システムの概略構成の一例を示したブロック図である。図８に示した生体状態観察システム４は、画像入力部１０と、生体情報検出部２０と、領域検出設定部３０と、生体状態異常検出部４０と、生体パラメータ記憶部５０と、映像記録保存部６０と、映像送信部７０とから構成されるシステムである。また、領域検出設定部３０は、個体識別部３５と、個体情報記憶部３６とを備えている。なお、図８には、生体状態観察システム１〜生体状態観察システム３と同様に、生体状態観察システム４に画像データを入力するための撮影部１００と、生体状態観察システム４において観察する複数の被観察者（被観察者Ｈａ〜被観察者Ｈｄ）も併せて示しているが、撮影部１００および複数の被観察者は、本第４の実施形態の生体状態観察システム４を構成する要素ではない。

本第４の実施形態の生体状態観察システム４は、第３の実施形態の生体状態観察システム３の構成と同様の構成である。ただし、本第４の実施形態の生体状態観察システム４では、観察する対象の被観察者のそれぞれに対応した生体パラメータによって生体情報の時間的変化が異常であるか否かを判定するため、生体パラメータ記憶部５０は、インターネット３００を介して、外部のサーバなどで構成された個体パラメータデータベース（ＤＢ）２００から生体パラメータを取得する機能を備えている。従って、以下の説明においては、第３の実施形態の生体状態観察システム３と同様の構成要素には、同一の符号を付与して詳細な説明は省略し、異なる構成要素について説明する。なお、以下の説明においては、生体情報検出部２０が、撮影部１００から入力された画像データに基づいて、被観察者の脈拍数、体温、および血圧を生体情報として検出するものとして説明する。

領域検出設定部３０は、個体識別部３５によって識別した被観察者Ｈｂと被観察者Ｈｄとの名前などの個体識別情報を、生体パラメータ記憶部５０に出力する。

個体パラメータデータベース２００は、本第４の実施形態における生体状態観察システム４を利用するそれぞれの被観察者毎に、生体状態の異常を判定する際に重要である脈拍数や、体温や、血圧などの項目毎の閾値（生体パラメータ）が、個体パラメータとして記憶されている。

ここで、個体パラメータデータベース２００に記憶されている個体パラメータの一例について説明する。図９は、本第４の実施形態の生体状態観察システム４における個体パラメータの一例を示した図である。図９には、それぞれの被観察者毎の個体パラメータを、テーブルの形式（個体パラメータテーブル）で示している。個体パラメータテーブルには、図９に示したように、被観察者の名前などの個体識別情報と、それぞれの被観察者に対応した生体パラメータが項目毎に予め設定されている。なお、閾値が設定されていない生体パラメータの項目は、生体状態の異常を判定する際に比較を行わない項目である。

例えば、図９に示した個体パラメータテーブルの１段目には、被観察者Ｈａの名前ａａａと、被観察者Ｈａの病歴からみて生体状態の異常を判定する際に重要である脈拍数の閾値Ｐａおよび体温の閾値Ｔａが、被観察者Ｈａに対応した個体パラメータとして記憶されている。また、例えば、図９に示した個体パラメータテーブルの１段目には、被観察者Ｈｂの名前ｂｂｂと、被観察者Ｈｂの病歴からみて生体状態の異常を判定する際に重要である脈拍数の閾値Ｐｂおよび血圧の閾値Ｂｂが、被観察者Ｈｂに対応した個体パラメータとして記憶されている。

生体パラメータ記憶部５０は、領域検出設定部３０から入力された個体識別情報に基づいて、個体識別情報が示している被観察者に対応する個体パラメータを、インターネット３００を介して個体パラメータデータベース２００から取得し、取得した個体パラメータを記憶する。これにより、生体パラメータ記憶部５０は、生体状態観察システム１〜生体状態観察システム３において記憶していた一般的な人間において生体状態の異常を判定する生体パラメータに代わって、領域検出設定部３０から入力された個体識別情報が示しているそれぞれの被観察者に対応する生体パラメータを記憶することができる。そして、生体パラメータ記憶部５０は、記憶した個体パラメータを、生体パラメータとして生体状態異常検出部４０に出力する。

生体状態異常検出部４０は、生体情報検出部２０から出力された検出生体情報に基づいて算出した被観察者の生体情報の時間的変化と、生体パラメータ記憶部５０から入力された生体パラメータ、すなわち、個体パラメータと比較することによって、被観察者の生体情報の時間的変化が異常であるか否かを判定する。

例えば、被観察者Ｈａの検出生体情報として脈拍数と体温とが生体情報検出部２０から入力されたときに、生体状態異常検出部４０は、算出した脈拍数の時間的変化および体温と、生体パラメータ記憶部５０から入力された脈拍数の閾値Ｐａおよび体温の閾値Ｔａとを比較する。そして、生体状態異常検出部４０は、脈拍数の時間的変化が脈拍数の閾値Ｐａ以上であり、体温が体温の閾値Ｔａ以上である場合に、被観察者Ｈａの生体状態が異常であると判定する。また、例えば、被観察者Ｈｂの検出生体情報として脈拍数と血圧とが生体情報検出部２０から入力されたときに、生体状態異常検出部４０は、算出した脈拍数の時間的変化および血圧と、生体パラメータ記憶部５０から入力された脈拍数の閾値Ｐｂおよび血圧の閾値Ｂｂとを比較する。そして、生体状態異常検出部４０は、脈拍数の時間的変化が脈拍数の閾値Ｐｂ以上であり、血圧が血圧の閾値Ｂｂ以上である場合に、被観察者Ｈｂの生体状態が異常であると判定する。

このような構成によって、生体状態観察システム４では、観察する被観察者のそれぞれに対応した生体パラメータ（個体パラメータ）を用いて、被観察者の生体状態の変化が異常であるか否かを判定する。これにより、生体状態観察システム４では、それぞれの被観察者に特有の状態に応じて、より詳細に被観察者の生体状態の変化が異常であるか否かを判定することができる。このことにより、生体状態観察システム４によって複数の被観察者の健康状態を観察する、例えば、医療機関の医師などの観察者は、被観察者のそれぞれにあった生体状態の変化の観察を行うことができ、生体状態が変化した被観察者に対して適切かつ効果的な処置を行うことができる。

上記に述べたとおり、本発明を実施するための形態によれば、生体情報検出部２０が、入力された画像データに基づいて被観察者の生体情報を継続的に検出する。すなわち、本発明を実施するための形態では、従来の技術のように、生体情報を測定するセンサを被観察者に密着した状態で装着することなく、被観察者の生体情報を検出する。これにより、本発明を実施するための形態では、被観察者に違和感や不快感を与えることなく、被観察者の生体情報を検出することができる。

また、本発明を実施するための形態によれば、生体状態異常検出部４０が、生体情報検出部２０が検出した生体情報に基づいて被観察者の生体情報の時間的変化が異常であるか否かを判定する。そして、生体状態異常検出部４０は、被観察者の生体情報の時間的変化が異常であると判定したときに、被観察者の健康状態を観察する観察者に通知する。これにより、本発明を実施するための形態では、通知を受けた観察者が、生体状態が変化した被観察者に対して適切な処置を行うことができる。

なお、本実施形態においては、監視カメラである撮影部１００を、生体状態観察システムに画像データを入力するための構成とした場合について説明した。しかし、生体状態観察システムに画像データを入力する構成は、本発明を実施するための形態に限定されるものではない。例えば、被観察者が多くの時間視聴すると考えられるテレビに内蔵されているカメラを、撮影部１００とした構成であってもよい。また、例えば、被観察者を撮影することができる位置に設置されているパソコンに内蔵されたカメラや、スマートフォンやタブレットなどの携帯端末に内蔵されたカメラを、撮影部１００とした構成であってもよい。

また、本実施形態においては、生体状態観察システムの全体の形状や生体状態観察システムが設置される位置に関して特に説明をしていないが、生体状態観察システムの全体の形状や生体状態観察システムが設置される位置は、様々な形状や位置が考えられる。例えば、生体状態観察システムの全体が、テレビに内蔵される形式や、テレビに接続されるセットトップボックスの形式であってもよい。この場合、例えば、テレビに内蔵されたメモリや、テレビに有線または無線で接続されている他の機器のメモリを、生体パラメータ記憶部５０や映像記録保存部６０として利用することもできる。また、この場合には、テレビに内蔵されたメモリや、テレビに有線または無線で接続されている他の機器のメモリに保存した動画像を、映像送信部７０がストリーミング映像として、予め登録されている送信先に送信する構成にすることもできる。

また、例えば、生体状態観察システムの全体が、撮影部１００と有線または無線で接続されているパソコンに内蔵される形式や、撮影部１００とネットワークを介して接続されている遠隔地に設置されているサーバに構成された形式であってもよい。この場合、例えば、パソコンやサーバのＣＰＵが、生体状態観察システムの領域検出設定部３０における皮膚領域の検出処理、生体情報検出部２０における脈拍検出処理などの画像処理や、生体状態異常検出部４０における被観察者の生体情報の時間的変化を算出および生体パラメータとの比較処理など、生体状態観察システムにおけるそれぞれの処理を実行するようにすることもできる。

また、本実施形態においては、生体情報検出部２０、領域検出設定部３０、および生体状態異常検出部４０がハードウェアで構成されているように説明したが、生体情報検出部２０、領域検出設定部３０、または生体状態異常検出部４０の機能を実現する手段は、本発明を実施するための形態に限定されるものではない。例えば、生体情報検出部２０の機能を、コンピュータプログラムなどによってソフトウェア的に実現することもできる。この場合、生体情報検出部２０は、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子で実現することが考えられる。また、領域検出設定部３０および生体状態異常検出部４０の機能も同様に、コンピュータプログラムなどによってソフトウェア的に実現することもできる。この場合、領域検出設定部３０および生体状態異常検出部４０も同様に、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子で実現することが考えられる。

その際には、生体情報検出部２０、領域検出設定部３０、生体状態異常検出部４０や、生体状態観察システムによる処理を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体（記録デバイス）に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、生体情報検出部２０、領域検出設定部３０、生体状態異常検出部４０や、生体状態観察システムに係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

１，２，３，４・・・生体状態観察システム
１０・・・画像入力部
２０・・・生体情報検出部
３０・・・領域検出設定部
３５・・・個体識別部
３６・・・個体情報記憶部
４０・・・生体状態異常検出部
５０・・・生体パラメータ記憶部
６０・・・映像記録保存部
７０・・・映像送信部
１００・・・撮影部
１０１・・・ハーフミラー
１０２・・・赤外カットフィルタ
１０３・・・固体撮像素子
１０４・・・可視光カットフィルタ
１０５・・・固体撮像素子
１０８・・・固体撮像素子
２００・・・個体パラメータデータベース
３００・・・インターネット

Claims (13)

1. 時間的に連続した複数のフレームで構成された、少なくとも１人の被観察者が含まれる画像が入力される画像入力部と、
   前記画像内の所定の領域を検出し、該検出した前記所定の領域の情報を出力する領域検出設定部と、
   前記画像内の前記所定の領域から、該画像内に含まれる前記被観察者の生体情報をそれぞれ検出する生体情報検出部と、
   生体の状態の異常の判定に用いられる所定の生体パラメータを記憶する生体パラメータ記憶部と、
   前記生体情報のデータまたは前記生体情報のデータの変化と、前記生体パラメータと、を比較し、前記被観察者の生体状態に発生した異常をそれぞれ検出する生体状態異常検出部と、
   を備えることを特徴とする生体状態観察システム。
2. 前記領域検出設定部は、
   前記画像に含まれる前記被観察者の皮膚の領域をそれぞれ検出し、少なくとも該検出した皮膚の領域の一部を、前記所定の領域とする、
   ことを特徴とする請求項１に記載の生体状態観察システム。
3. 前記領域検出設定部は、
   前記画像内に含まれる少なくとも１人の特定の前記被観察者の識別に用いられる特徴データを記憶する個体情報記憶部と、
   前記特徴データに基づいて、前記画像内に含まれる特定の前記被観察者のそれぞれを識別する個体識別部と、
   を具備し、
   前記画像に含まれる特定の前記被観察者の皮膚の領域をそれぞれ検出し、少なくとも該検出した皮膚の領域の一部を、前記所定の領域とする、
   ことを特徴とする請求項１に記載の生体状態観察システム。
4. 前記皮膚の領域は、
   前記被観察者の顔の領域である、
   ことを特徴とする請求項２または請求項３に記載の生体状態観察システム。
5. 前記生体パラメータ記憶部は、
   前記画像内に含まれる少なくとも１人の特定の前記被観察者に対応した前記生体パラメータを記憶する、
   ことを特徴とする請求項１から請求項４のいずれか１の項に記載の生体状態観察システム。
6. 前記生体パラメータ記憶部は、
   特定の前記被観察者に対応した前記生体パラメータを、当該生体状態観察システムの外部から取得して記憶する、
   ことを特徴とする請求項５に記載の生体状態観察システム。
7. 前記生体状態異常検出部は、
   前記被観察者の生体状態の異常を検出したときに、前記被観察者の生体状態に異常が発生したことを、当該生体状態観察システムによって前記被観察者を観察する観察者に通知する、
   ことを特徴とする請求項１から請求項６のいずれか１の項に記載の生体状態観察システム。
8. 前記画像の複数のフレームを保存する映像記録保存部と、
   前記映像記録保存部に保存された複数のフレームの前記画像を、予め定めた送信先に送信する映像送信部と、
   をさらに備え、
   前記生体状態異常検出部は、
   前記被観察者の生体状態の異常を検出したときに、該異常を検出したことを表す生体異常信号を出力し、
   前記映像記録保存部は、
   前記生体異常信号が入力されたタイミングの前後の予め定めた期間の複数のフレームの前記画像を保存し、該複数のフレームの前記画像の保存が完了したときに、前記画像の保存が完了したことを表す保存完了信号を出力し、
   前記映像送信部は、
   前記保存完了信号に応じて、前記映像記録保存部に保存された複数のフレームの前記画像を送信する、
   ことを特徴とする請求項１から請求項７のいずれか１の項に記載の生体状態観察システム。
9. 前記生体情報検出部は、
   前記被観察者の脈拍数を、前記生体情報として検出する、
   ことを特徴とする請求項１から請求項８のいずれか１の項に記載の生体状態観察システム。
10. 前記生体情報検出部は、
    前記被観察者の体温を、前記生体情報として検出する、
    ことを特徴とする請求項１から請求項９のいずれか１の項に記載の生体状態観察システム。
11. 画像入力部に、時間的に連続した複数のフレームで構成された、少なくとも１人の被観察者が含まれる画像を入力させる画像入力ステップと、
    領域検出設定部に、前記画像内の所定の領域を検出させ、該検出させた前記所定の領域の情報を出力させる領域検出設定ステップと、
    生体情報検出部に、前記画像内の前記所定の領域から、該画像内に含まれる前記被観察者の生体情報をそれぞれ検出させる生体情報検出ステップと、
    生体状態異常検出部に、前記生体情報のデータまたは前記生体情報のデータの変化と、生体パラメータ記憶部に記憶されている生体の状態の異常の判定に用いられる所定の生体パラメータと、を比較させることによって、前記被観察者の生体状態に発生した異常をそれぞれ検出させる生体状態異常検出ステップと、
    を含むことを特徴とする生体状態観察方法。
12. 前記領域検出設定ステップは、
    個体識別部に、個体情報記憶部に記憶されている前記画像内に含まれる少なくとも１人の特定の前記被観察者の識別に用いられる特徴データに基づいて、前記画像内に含まれる特定の前記被観察者のそれぞれを識別する個体識別ステップ、
    を含み、
    前記画像に含まれる特定の前記被観察者の皮膚の領域をそれぞれ検出し、少なくとも該検出した皮膚の領域の一部を、前記所定の領域とする、
    ことを特徴とする請求項１１に記載の生体状態観察方法。
13. 画像入力部に、時間的に連続した複数のフレームで構成された、少なくとも１人の被観察者が含まれる画像を入力させる画像入力ステップと、
    領域検出設定部に、前記画像内の所定の領域を検出させ、該検出させた前記所定の領域の情報を出力させる領域検出設定ステップと、
    生体情報検出部に、前記画像内の前記所定の領域から、該画像内に含まれる前記被観察者の生体情報をそれぞれ検出させる生体情報検出ステップと、
    生体状態異常検出部に、前記生体情報のデータまたは前記生体情報のデータの変化と、生体パラメータ記憶部に記憶されている生体の状態の異常の判定に用いられる所定の生体パラメータと、を比較させることによって、前記被観察者の生体状態に発生した異常をそれぞれ検出させる生体状態異常検出ステップと、
    をコンピュータに実行させることを特徴とするプログラム。

Images