JP2021178055A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】多様な肌の色のヒトに対し、普遍的に精度よく脈拍推定を行うための技術を提供する。【解決手段】情報処理装置は、時系列に並ぶ複数の画像を取得する取得手段と、前記画像ごとに、それぞれ互いに異なる肌色モデルに基づく複数の皮膚領域を抽出する抽出手段と、前記抽出手段の抽出結果に基づき、前記肌色モデルごとに、脈拍を示す脈拍推定情報を取得する推定手段と、前記肌色モデルごとの前記脈拍推定情報に基づき、脈拍数を決定する決定手段と、を有する。【選択図】図３

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

画像解析により非接触で被写体（主にヒト）の脈拍を推定する脈拍推定技術が知られている。この種の脈拍推定技術では、カメラにより撮像された時系列画像における被写体の皮膚領域の色変化を解析することにより、脈拍の推定が行われる。
脈拍推定を行う際には、画像から被写体の皮膚領域を抽出する必要があり、そのための具体的な手法として、まず顔領域を抽出し、その中から肌色の画素を抽出する、という手法が用いられる。肌色の画素の抽出は、肌色モデルを用いて実現される。肌色モデルは色空間内における肌色の分布を定義するモデルであり、肌色モデルに合致する画素を抽出することにより、肌色の画素を抽出することが可能になる。色空間としては、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｂｒｉｇｈｔｎｅｓｓ）の３つの成分からなるＨＳＶ色空間が多く用いられる。

しかしながら、ヒトの肌の色には個人差があり、また、画像に現れる肌の色は撮影条件によっても変化する。したがって、単一の肌色モデルだけを用いても、皮膚領域を適切に抽出することは難しい。
これに対し、被写体ごとに肌色モデルを切り替えて皮膚領域を抽出する方法が知られている。特許文献１には、予め複数の肌色モデルを学習しておき、被写体ごとに適切な肌色モデルを１つ選択することによって、皮膚領域の抽出処理の精度を高めようとする技術が開示されている。

特開２０１４−１６４６５６号公報

しかしながら、特許文献１に記載の技術を用いたとしても、脈拍推定処理の精度が上がらない場合がある。その理由の１つは、そもそも肌色モデルを選択している点にある。万一不適切な肌色モデルを選択してしまうと、皮膚領域抽出処理の精度が下がり、その結果として脈拍推定処理の精度も下がってしまう。
また、脈拍推定処理では時系列画像を用いるという点も理由の１つである。すなわち、時系列画像の取得期間内に照明条件の変化などによって肌の色に変化が生ずると、被写体の肌の色と肌色モデルが一致しなくなったり、適用する肌色モデルが切り替わったりする場合がある。そうすると、時系列画像から得られるデータの質が損なわれ、脈拍推定処理の精度が低下することになる。
本発明はこのような課題に鑑みてなされたものであり、その目的は、多様な肌の色のヒトに対し、普遍的に精度よく脈拍推定を行うための技術を提供することにある。

本発明の１つの態様による情報処理装置は、時系列に並ぶ複数の画像を取得する取得手段と、前記画像ごとに、それぞれ互いに異なる肌色モデルに基づく複数の皮膚領域を抽出する抽出手段と、前記抽出手段の抽出結果に基づき、前記肌色モデルごとに、脈拍を示す脈拍推定情報を取得する推定手段と、前記肌色モデルごとの前記脈拍推定情報に基づき、脈拍数を決定する決定手段と、を有することを特徴とする。

本発明によれば、多様な肌の色のヒトに対し、普遍的に精度よく脈拍推定を行うことが可能になる。

本発明の第１の実施形態による脈拍推定システム１の装置構成を示す図である。 （ａ）は、情報処理装置のハードウェア構成を示す図であり、（ｂ）は、撮像装置のハードウェア構成を示す図である。 脈拍を推定するためのプログラムである脈拍推定ソフトウェアをＣＰＵが実行することによって実現される機能ブロックを示す図である。 本発明の第１の実施形態による脈拍推定ソフトウェアの処理を示すフロー図である。 図４に示したＳ３０６までの処理の結果の例を示す概略図である。 肌色モデルの例を示す図である。 図４に示したＳ３０７までの処理の結果の例を示す概略図である。 図４に示したＳ３０８以降の処理の結果の例を示す概略図である。 本発明の第２の実施形態による脈拍推定ソフトウェアの処理を示すフロー図である。 図９に示したＳ３０８以降の処理の結果の例を示す概略図である。 本発明の第３の実施形態による脈拍推定ソフトウェアの処理を示すフロー図である。 本発明の第４の実施形態による脈拍推定ソフトウェアの処理を示すフロー図である。

以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１の実施形態］
図１は、本発明の第１の実施形態による脈拍推定システム１の装置構成を示す図である。同図に示すように、脈拍推定システム１は、情報処理装置１００と撮像装置１１０とを含んで構成される。情報処理装置１００と撮像装置１１０は、例えばインターネットであるネットワーク１２０を介して、相互に通信可能に接続されている。また、情報処理装置１００には、入力装置１０６及び出力装置１０７が接続される。

情報処理装置１００は、脈拍推定ソフトウェアを内蔵し、脈拍推定ソフトウェアを実行することで、画像から脈拍推定処理を行う装置である。本実施形態では、情報処理装置１００として、一般的なＰＣ（パーソナルコンピュータ）を用いる。
図２（ａ）は、情報処理装置１００のハードウェア構成を示す図である。同図に示すように、情報処理装置１００は、ＣＰＵ１０１、主記憶装置１０２、補助記憶装置１０３、及びネットワークＩ／Ｆ１０４がバス１０５を介して相互に接続された構成を有している。バス１０５には、図１に示した入力装置１０６及び出力装置１０７も接続される。

ＣＰＵ１０１は、情報処理装置１００の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、補助記憶装置１０３に記憶されるプログラムを主記憶装置１０２に展開し、実行する役割を果たす。プログラムの実行によって実現される処理には、バス１０５に接続される各ハードウェアの制御や各種の演算処理が含まれる。
主記憶装置１０２は、各種データを記憶するための装置であり、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）によって構成される。主記憶装置１０２は、ＣＰＵ１０１にて実行中のプログラムや、画像などプログラムの実行のために必要な各種のデータを保持する役割を担う。

補助記憶装置１０３は、データの永続的な記憶や、主記憶装置１０２の補助に用いるための装置であり、例えばハードディスクやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）によって構成される。プログラムやデータは、補助記憶装置１０３に記憶され、ＣＰＵ１０１による実行に際して主記憶装置１０２に展開される。
ネットワークＩ／Ｆ１０４は、情報処理装置１００がネットワーク１２０と接続するためのインターフェース部であり、例えばＬＡＮポートによって構成される。ネットワークＩ／Ｆ１０４は、ＣＰＵ１０１の制御に従い、ネットワーク１２０の通信方式に則ったデータの送受信を行う。

バス１０５は、情報処理装置１００の各部（入力装置１０６及び出力装置１０７を含む）を相互に接続し、これらの間におけるデータの受け渡しを担う機構である。
入力装置１０６は、情報処理装置１００に対するユーザの入力を受け付ける装置であり、例えばマウス又はキーボードを含んで構成される。
出力装置１０７は、情報処理装置１００から情報を出力する装置であり、例えばディスプレイを含んで構成される。

図１に戻り、撮像装置１１０は、撮像を行うカメラ等の撮像装置であり、撮像した画像を情報処理装置１００に渡す送信部等を備える。本実施形態においては、撮像装置１１０は、ネットワーク１２０を介して情報処理装置１００へ画像の受け渡しが可能なネットワークカメラである。
図２（ｂ）は、撮像装置１１０のハードウェア構成を示す図である。同図に示すように、撮像装置１１０は、撮像部１１１、ＣＰＵ１１２、主記憶装置１１３、及びネットワークＩ／Ｆ１１４を備える。

撮像部１１１は、外部から取り込んだ光をデジタル画像として撮像するための機構であり、レンズ、撮像素子、及びＡ／Ｄ変換装置を含んで構成される。
ＣＰＵ１１２は、撮像装置１１０の中央処理装置であり、主記憶装置１１３に記憶されるプログラムを実行する役割を果たす。プログラムの実行によって実現される処理には、撮像装置１１０の各部の制御や各種の演算処理が含まれる。

主記憶装置１１３は、各種データを記憶するための装置であり、例えばＤＲＡＭによって構成される。
ネットワークＩ／Ｆ１１４は、撮像装置１１０がネットワーク１２０と接続するためのインターフェース部であり、例えばＬＡＮポートによって構成される。ネットワークＩ／Ｆ１１４は、ＣＰＵ１１２の制御に従い、ネットワーク１２０の通信方式に則ったデータの送受信を行う。

図１に戻り、ネットワーク１２０は、複数の装置と接続可能に構成され、接続された装置間の通信を仲介する役割を担う仕組みである。具体的には、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などによって構成され得る。本実施形態においては、ネットワーク１２０は、情報処理装置１００と撮像装置１１０との間の通信を実現する役割を担う。
図３は、脈拍を推定するためのプログラムである脈拍推定ソフトウェア２００をＣＰＵ１０１が実行することによって実現される機能ブロックを示す図である。同図に示すように、脈拍推定ソフトウェア２００によれば、画像取得部２０１、顔検出部２０２、皮膚領域抽出部２０３、肌色モデル記憶部２０４、色情報取得部２０５、脈拍推定部２０６、統合部２０７、及び結果出力部２０８が実現される。

画像取得部２０１は、撮像装置１１０によって撮像されたデジタル画像をネットワーク１２０を介して取得することにより、時系列に並ぶ複数の画像を取得する。具体的には、画像取得部２０１が撮像装置１１０に対して画像取得要求を送信すると、撮像装置１１０は、撮像部１１１によって撮像されたデジタル画像を送信する。画像取得部２０１は、送信されたデジタル画像を受け取って主記憶装置１０２に記憶する。
なお、脈拍推定には、時間的に連続な複数の画像が必要である。本実施形態による画像取得部２０１は、脈拍推定に必要な枚数を取得するまで繰り返し画像取得処理を行うことにより、時系列に並ぶ複数の画像を取得する。ただし、画像取得部２０１は、１回の画像取得要求に対し、撮像装置１１０が時間的に連続な複数の画像を情報処理装置１００に送信し続けるストリーム形式の画像取得により、時系列に並ぶ複数の画像を取得することとしてもよい。

顔検出部２０２は、画像取得部２０１が取得した画像に対して顔検出処理を行うことにより、画像内に含まれる顔領域を示す複数の座標を抽出する。この顔検出処理の具体的な処理方法は、パターンマッチングなど、取得された動画像又は静止画像に対して顔及び顔の位置を検出するものであれば、いかなる形態のものであってもよい。
肌色モデル記憶部２０４は複数の肌色モデルを保管する記憶部であり、補助記憶装置１０３内に実装される。肌色モデルとは、上述したＨＳＶ色空間における色相（Ｈ）、彩度（Ｓ）、明度（Ｂ）の各値の範囲（上限値と下限値）を定義するものであり、Ｈ・Ｓ・Ｖのすべてにおいて肌色モデルの定める範囲内である色を肌色とするものである。ＣＰＵ１０１は、ユーザから入力装置１０６を介して肌色モデルの設定を受け付け、設定された肌色モデルに名前を付けて補助記憶装置１０３に保管する。

皮膚領域抽出部２０３は、画像取得部２０１によって取得された画像ごとに、それぞれ互いに異なる肌色モデルに基づく複数の皮膚領域を抽出する。
具体的に説明すると、皮膚領域抽出部２０３は、画像取得部２０１によって取得された画像と肌色モデル記憶部２０４に記憶される肌色モデルのすべての組み合わせについて、以下の処理を行う。すなわち、皮膚領域抽出部２０３はまず、処理対象の画像から、顔検出部２０２によって検出された顔領域に相当する部分のみを切り出す。そして、切り出した部分に含まれる各画素についてＨ・Ｓ・Ｖを取得し、それぞれが処理対象の肌色モデルに定義される範囲に含まれるか否かを判定する。皮膚領域抽出部２０３は、この判定の結果、Ｈ・Ｓ・Ｖのすべてが処理対象の肌色モデルに定義される範囲に含まれると判定した画素の集合を、皮膚領域として取得する。

皮膚領域を抽出した皮膚領域抽出部２０３は、皮膚領域を表現するマスク画像を生成し、主記憶装置１０２に記憶する。マスク画像は、顔領域と同じサイズのモノクロ画像であり、皮膚領域に該当する画素の値を２５５、それ以外の画素の値を０としたデジタル画像である（後述する図７を参照）。また、皮膚領域抽出部２０３は、皮膚領域の画素数を顔領域の画素数で割ることによって顔領域中の皮膚領域の割合を算出し、主記憶装置１０２に記憶する。
色情報取得部２０５は、皮膚領域抽出部２０３によって抽出された皮膚領域に現れる色情報を取得する。色情報は、具体的には、ＨＳＶ色空間におけるＨの値（色相成分）の全画素の平均値である。色情報取得部２０５は、皮膚領域内の各画素の色相成分を取得し、それらの平均値を導出することにより、画像取得部２０１によって取得された画像と肌色モデル記憶部２０４に記憶される肌色モデルのすべての組み合わせのそれぞれについて、色情報を取得する。こうして取得された色情報は、肌色モデルごとの時系列データを構成する。

脈拍推定部２０６は、皮膚領域抽出部２０３の抽出結果に基づき、被写体の脈拍を示す脈拍推定情報を取得する。具体的には、時系列データである色情報に基づいて脈拍推定処理を行うことにより、脈拍推定情報を取得する。脈拍推定処理は、具体的には周波数解析である。
詳しく説明すると、脈拍推定部２０６は、色情報にバンドパスフィルタを適用することにより、特定の周波数帯に属する周波数成分のみを色情報から取り出す。この特定の周波数帯としては、一般的なヒトの脈拍数の範囲（５０ｂｐｍ（ｂｅａｔｓ ｐｅｒ ｍｉｎｕｔｅ）から２００ｂｐｍ）に相当する、０．８３Ｈｚから３．３３Ｈｚの範囲の周波数帯を用いることが好適である。以下、こうして取り出した周波数成分を「フィルタ値」と称する。

脈拍推定部２０６は、取得したフィルタ値を主記憶装置１０２に記憶する。そして、高速フーリエ変換を行うことによってフィルタ値の周波数特性を生成し、主記憶装置１０２に記憶する。フィルタ値の周波数特性は、具体的には、フィルタ値の周波数スペクトルである。上述した脈拍推定情報は、こうして主記憶装置１０２に記憶されたフィルタ値の周波数特性によって構成される。色情報が肌色モデルごとの時系列データであることから、脈拍推定情報も肌色モデルごとに生成されることになる。
統合部２０７は、肌色モデルごとの脈拍推定情報に基づき、被写体の脈拍数を決定する。

具体的に説明すると、統合部２０７は、各肌色モデルによる脈拍推定処理の結果として保存された周波数スペクトルを読み込み、読み込んだすべてのスペクトルの重み付け合算処理を行う。そのために、統合部２０７はまず、肌色モデルごとに、複数の皮膚領域それぞれの画像内（具体的には、対応する顔領域内）に占める割合の平均値を重み付け係数として導出する。続いて統合部２０７は、対応する周波数スペクトルに該重み付け係数を乗算し、肌色モデルごとの乗算結果を加算することにより、統合周波数特性を取得する。そして、統合周波数特性のピーク周波数（最も振幅レベルが大きい周波数）を被写体の脈拍数として決定し、主記憶装置１０２に記憶する。
結果出力部２０８は、統合部２０７によって主記憶装置１０２に書き込まれた脈拍数を、出力装置１０７を介してユーザに表示する。

次に、脈拍推定ソフトウェア２００の処理について、図４〜図８を参照して説明する。図４は、本実施形態による脈拍推定ソフトウェア２００の処理を示すフロー図である。図５は、図４に示したＳ３０６までの処理の結果の例を示す概略図である。図６は、肌色モデルの例を示す図である。図７は、図４に示したＳ３０７までの処理の結果の例を示す概略図である。図８は、図４に示したＳ３０８以降の処理の結果の例を示す概略図である。
図４に示すように、まず画像取得部２０１が、撮像装置１１０からデジタル画像を取得し、主記憶装置１０２に記憶する（Ｓ３０１）。図５に示したデジタル画像４０１は、こうして主記憶装置１０２に格納されるデジタル画像の一例である。同図に示すように、デジタル画像４０１には、脈拍数取得の対象となる被写体が映り込んでいる必要がある。

次に、顔検出部２０２が、デジタル画像に対して顔検出処理を行う（Ｓ３０２）。顔検出部２０２は、顔検出処理の結果として得られた顔領域を示す情報を主記憶装置１０２に記憶する。図５のデジタル画像４０２は、デジタル画像４０１内の顔領域を示している。
続いて、皮膚領域抽出部２０３が、肌色モデル記憶部２０４から肌色モデルを１つ読み込む（Ｓ３０３）。図６を参照すると、この例による肌色モデル記憶部２０４には、肌色モデル１、肌色モデル２、肌色モデル３という３つの肌色モデルが予め格納されている。同図に示すように、各肌色モデルは、上述したＨ・Ｓ・Ｖそれぞれの下限値と上限値とによって構成される。なお、Ｈは０以上１７９以下の値、Ｓは０以上２５５以下の値、Ｖは０以上２５５以下の値をそれぞれ取り得る。

図６の例において、肌色モデル１におけるＨの下限値及び上限値はそれぞれ０及び２５、Ｓの下限値及び上限値はそれぞれ５０及び１７０、Ｖの下限値及び上限値はそれぞれは７０及び２３０である。また、肌色モデル２におけるＨの下限値及び上限値はそれぞれ０及び２５、Ｓの下限値及び上限値はそれぞれ５０及び１９０、Ｖの下限値及び上限値はそれぞれは１５０及び２５０である。さらに、肌色モデル３におけるＨの下限値及び上限値はそれぞれ０及び２５、Ｓの下限値及び上限値はそれぞれ３０及び１７０、Ｖの下限値及び上限値はそれぞれは１０及び１２０である。以下、肌色モデル１を読み込んだものとして以降の処理を説明する。
肌色モデル１を読み込んだ皮膚領域抽出部２０３は、顔検出部２０２により検出された顔領域に対し、読み込んだ肌色モデル１を用いて皮膚領域抽出処理を行う（Ｓ３０４）。そして、皮膚領域抽出部２０３は、皮膚領域抽出処理の結果として皮膚領域のマスク画像を取得するとともに、顔領域に占める皮膚領域の割合を導出する。皮膚領域抽出部２０３は、取得したマスク画像及び導出した割合を主記憶装置１０２に記憶する。図５には、皮膚領域抽出処理４１１の結果として取得されるマスク画像４１２及び皮膚領域の割合４１３を示している。

続いて皮膚領域抽出部２０３は、皮膚領域に現れる色情報（皮膚領域内における色相成分の平均値）を取得するよう色情報取得部２０５を制御する（Ｓ３０５）。色情報取得部２０５は、取得した色情報を主記憶装置１０２に記憶する。図５には、皮膚領域抽出処理４１１の結果として抽出された皮膚領域内における色相成分の平均値４１４を示している。
その後、皮膚領域抽出部２０３は、肌色モデル記憶部２０４に保管されているすべての肌色モデルについて、Ｓ３０３からＳ３０５までの処理を行ったか否かを判定する（Ｓ３０６）。判定の結果が偽の場合、皮膚領域抽出部２０３はＳ３０３に移行して未処理の肌色モデルを１つ読み込み、上記同様にＳ３０５までの処理を行う。皮膚領域抽出部２０３は、こうしてＳ３０３からＳ３０５までの処理を繰り返し行うことにより、肌色モデル記憶部２０４に保管されているすべての肌色モデルについて、マスク画像、皮膚領域の割合、色相成分の平均値を取得する。

図５には、肌色モデル２についての皮膚領域抽出処理４２１の結果として得られるマスク画像４２２、皮膚領域の割合４２３、及び色相成分の平均値４２４を図示している。また図５には、肌色モデル３についての皮膚領域抽出処理４３１の結果として得られるマスク画像４３２、皮膚領域の割合４３３、及び色相成分の平均値４３４も図示している。
Ｓ３０６の判定結果が真となった場合、皮膚領域抽出部２０３は、所定の画像数を処理したか否かを判定する（Ｓ３０７）。所定の画像数は、例えば、１０ｆｐｓの動画の５秒分にあたる画像５０枚である。Ｓ３０７の判定の結果が偽の場合、Ｓ３０１における画像取得から処理が繰り返される。これにより、肌色モデルごとに、所定の画像数分のマスク画像、皮膚領域の割合、色相成分の平均値それぞれの時系列データが主記憶装置１０２内に格納されることになる。

この点について、図７を参照してさらに詳しく説明する。同図に示すように、脈拍推定ソフトウェア２００は、時系列に並ぶ複数のデジタル画像６０１それぞれから顔領域を検出することにより、時系列に並ぶ複数のデジタル画像６０２を取得する。そしてまず、肌色モデル１を用いて皮膚領域抽出処理６１１を行うことにより、複数のデジタル画像６０１にそれぞれ対応する複数のマスク画像６１２、皮膚領域の割合６１３、色相平均値６１４を得る。
肌色モデル１についての処理が終了したら、脈拍推定ソフトウェア２００は次に、肌色モデル２を用いて皮膚領域抽出処理６２１を行う。これにより、複数のデジタル画像６０１にそれぞれ対応する複数のマスク画像６２２、皮膚領域の割合６２３、色相平均値６２４が得られる。さらに、脈拍推定ソフトウェア２００は、肌色モデル３を用いて皮膚領域抽出処理６３１を行う。これにより、複数のデジタル画像６０１にそれぞれ対応する複数のマスク画像６３２、皮膚領域の割合６３３、色相平均値６３４が得られる。

ここで、色相平均値６１４，６２４，６３４はそれぞれ時系列データとなる。したがって、図７に示すように、時間を横軸とし、色相平均値を縦軸とするグラフにより表すことができる。
図４に戻る。Ｓ３０７の判定結果が真となった場合、脈拍推定部２０６は、フィルタ処理を行う（Ｓ３０８）。具体的には、いずれかの肌色モデルを選択し、選択した肌色モデルに関して主記憶装置１０２内に記憶されている色相平均値の時系列データに、上述したバンドパスフィルタを適用する（Ｓ３０８）。これにより、上述したフィルタ値が得られる。続いて脈拍推定部２０６は、時系列データであるフィルタ値に対してフーリエ変換を行うことにより、周波数スペクトルを得る（Ｓ３０９）。その後、脈拍推定部２０６は、すべての肌色モデルについてＳ３０８，Ｓ３０９の処理を行ったか否かを判定し（Ｓ３１０）、偽と判定した場合にはＳ３０８に戻って残りの肌色モデルの１つを選択し、上記処理を繰り返す。

図８に示したフィルタ値７１１，７２１，７３１はそれぞれ、図７にも示した色相平均値６１４，６２４，６３４に対してＳ３０８の処理を行った結果として得られるフィルタ値を示している。また、フーリエ変換結果７１２，７２２，７３２はそれぞれ、フィルタ値７１１，７２１，７３１に対してＳ３０９の処理を行った結果として得られる周波数スペクトルを示している。
Ｓ３１０の判定結果が真となった場合、統合部２０７により、全肌色モデルによるフーリエ変換結果（スペクトル）の合算を行う。この合算は、具体的には、Ｓ３０４で導出した皮膚領域の割合の平均値を肌色モデルごとに導出し、導出した平均値を重み付け係数としてフーリエ変換結果としてのスペクトルに乗算し、その結果を平均化することによって行う（Ｓ３１１）。統合部２０７は、合算の結果として得られた統合周波数特性のピーク周波数を検出し（Ｓ３１２）、脈拍数の推定結果として決定する。決定した脈拍数は、統合部２０７により主記憶装置１０２に格納されるとともに、結果出力部２０８によりユーザに対して出力される（Ｓ３１３）。

図８では、図７に示した皮膚領域の割合６１３の平均値０．３７がフーリエ変換結果７１２に重み付け係数として乗算される。同様に、図７に示した皮膚領域の割合６２３の平均値０．１５がフーリエ変換結果７２２に重み付け係数として乗算され、図７に示した皮膚領域の割合６３３の平均値０．１１がフーリエ変換結果７３２に重み付け係数として乗算される。統合スペクトル７０１は、それぞれの重み付け係数を乗算した後のフーリエ変換結果７１２，７２２，７３２を加算した結果を示している。図８に示した統合スペクトル７０１のピーク周波数７０２は、８１ｂｐｍである。したがって、図８の例による推定脈拍数７０３は、図示したように８１ｂｐｍとなる。
以上説明したように、本実施の形態による脈拍推定システム１によれば、複数の肌色モデルのそれぞれを用いて脈拍推定情報（時系列データである色情報の周波数解析を行うことによって得られる周波数特性）を取得している。そして、その結果に基づいて脈拍数を決定している。したがって、１つの肌色モデルのみを用いて脈拍数を決定する従来の技術に比べ、多様な肌の色のヒトに対し、普遍的に精度よく脈拍推定を行うことが可能になる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。本実施形態による脈拍推定システム１は、図２に示した統合部２０７が行う処理の点で、第１の実施形態による脈拍推定システム１と相違する。図１〜図３に示した構成を含め、その他の点では第１の実施形態による脈拍推定システム１と同様であるので、以下では、第１の実施形態による脈拍推定システム１との相違点に着目して説明する。
図９は、本実施形態による脈拍推定ソフトウェア２００の処理を示すフロー図である。同図と図４を比較すると理解されるように、本実施形態による脈拍推定ソフトウェア２００の処理は、Ｓ３１１，Ｓ３１２に代えてＳ３２０，Ｓ３２１が実行される点で、第１の実施形態による脈拍推定ソフトウェア２００の処理と相違する。

本実施形態による統合部２０７は、Ｓ３１０で真の判定結果を得た後、肌色モデルごとに、周波数特性のピーク周波数を検出する（Ｓ３２０）。そして、検出した各ピーク周波数に基づいて、脈拍数を決定する。より具体的に言えば、統合部２０７は、検出した各ピーク周波数の中央値を算出し、脈拍数として決定する（Ｓ３２１）。その後の処理は、第１の実施形態と同様である。
図１０は、図９に示したＳ３０８以降の処理の結果の例を示す概略図である。同図に示すフーリエ変換結果７１２，７２２，７３２は、図８に示したものと同様である。本実施形態では、フーリエ変換結果７１２，７２２，７３２のそれぞれについてピーク周波数の検出処理が行われる。図示したピーク周波数９１１，９２１，９３１は、フーリエ変換結果７１２，７２２，７３２のそれぞれに対して検出されたピーク周波数を示している。同図に示す推定脈拍数９０２は、ピーク周波数９１１，９２１，９３１の中央値となっている。

本実施の形態による脈拍推定システム１によっても、複数の肌色モデルのそれぞれを用いて脈拍推定情報（時系列データである色情報の周波数解析を行うことによって得られる周波数特性）を取得し、その結果に基づいて脈拍数を決定している。したがって、１つの肌色モデルのみを用いて脈拍数を決定する従来の技術に比べ、多様な肌の色のヒトに対し、普遍的に精度よく脈拍推定を行うことが可能になる。
また、肌色モデルごとにピーク周波数を検出し、その中央値を脈拍数として決定しているので、スペクトルの合算を行う第１の実施形態に比べ、ＣＰＵ１０１の処理コストを軽減することが可能になる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。本実施形態による脈拍推定システム１は、図２に示した統合部２０７が行う処理の点で、第２の実施形態による脈拍推定システム１と相違する。図１〜図３に示した構成を含め、その他の点では第２の実施形態による脈拍推定システム１と同様であるので、以下では、第２の実施形態による脈拍推定システム１との相違点に着目して説明する。
図１１は、本実施形態による脈拍推定ソフトウェア２００の処理を示すフロー図である。同図と図９を比較すると理解されるように、本実施形態による脈拍推定ソフトウェア２００の処理は、Ｓ３２１に代えてＳ３２２が実行される点で、第２の実施形態による脈拍推定ソフトウェア２００の処理と相違する。

本実施形態による統合部２０７は、Ｓ３２０で肌色モデルごとのピーク周波数を検出した後、検出した各ピーク周波数の最頻値を算出し、脈拍数として決定する（Ｓ３２２）。なお、最頻値が単一に定まらない場合には、最頻値の中で中央値に最も近いものを算出結果とする。その後の処理は、第２の実施形態と同様である。
本実施の形態による脈拍推定システム１によっても、複数の肌色モデルのそれぞれを用いて脈拍推定情報（時系列データである色情報の周波数解析を行うことによって得られる周波数特性）を取得し、その結果に基づいて脈拍数を決定している。したがって、１つの肌色モデルのみを用いて脈拍数を決定する従来の技術に比べ、多様な肌の色のヒトに対し、普遍的に精度よく脈拍推定を行うことが可能になる。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。本実施形態による脈拍推定システム１は、図２に示した統合部２０７が行う処理の点で、第１の実施形態による脈拍推定システム１と相違する。図１〜図３に示した構成を含め、その他の点では第１の実施形態による脈拍推定システム１と同様であるので、以下では、第１の実施形態による脈拍推定システム１との相違点に着目して説明する。
図１２は、本実施形態による脈拍推定ソフトウェア２００の処理を示すフロー図である。同図と図４を比較すると理解されるように、本実施形態による脈拍推定ソフトウェア２００の処理は、Ｓ３０３とＳ３０４の間にＳ３０３ａが実行される点で、第１の実施形態による脈拍推定ソフトウェア２００の処理と相違する。

本実施形態による皮膚領域抽出部２０３は、Ｓ３０３で肌色モデルを読み込んだ後、その明度を補正する（Ｓ３０３ａ）。具体的には、Ｓ３０１で取得される一連の画像が撮影された時間帯、及び、これら一連の画像内における被写体の位置の少なくとも一方に基づき、肌色モデルの明度（Ｂ）を補正する。
明度の補正には、所定の函数を用いることが好適である。この函数は、Ｓ３０１にて取得された一連の画像が撮影された時間帯と、Ｓ３０２にて検出された顔領域の座標とに応じて決定される所定値を、肌色モデルの明度（Ｂ）の上限値及び下限値に対して加算又は減算する函数である。所定値は、時間帯及び顔領域の座標に対応付けて、主記憶装置１０２又は補助記憶装置１０３に予め記憶される。Ｓ３０３ａの処理を実行する皮膚領域抽出部２０３は、まず初めに、Ｓ３０１で取得される一連の画像が撮影された時間帯を取得するとともに、Ｓ３０２にて検出された顔領域の座標を取得する。そして、これらに対応付けて記憶される所定値を取得し、上記函数による計算を行うことにより、明度の補正を行う。その後の処理は、第１の実施形態と同様である。

本実施の形態による脈拍推定システム１によっても、複数の肌色モデルのそれぞれを用いて脈拍推定情報（時系列データである色情報の周波数解析を行うことによって得られる周波数特性）を取得し、その結果に基づいて脈拍数を決定している。したがって、１つの肌色モデルのみを用いて脈拍数を決定する従来の技術に比べ、多様な肌の色のヒトに対し、普遍的に精度よく脈拍推定を行うことが可能になる。
また、脈拍数検出のために用いる一連の画像の撮影時間帯及び画像内における顔領域の位置に応じて明度を補正することができるので、より適切に脈拍数を推定することが可能になる。

本発明は、上述の実施形態の一部又は１以上の機能を実現するプログラムによっても実現可能である。すなわち、そのプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ等）における１つ以上のプロセッサがプログラムを読出し実行する処理により実現可能である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
また、本発明は、コンピュータが読み出したプログラムを実行することにより、実施形態の機能が実現されるものに限定されない。例えば、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部又は全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。

１…脈拍推定システム、１００…情報処理装置、１０１，１１２…ＣＰＵ、１０２，１１３…主記憶装置、１０３…補助記憶装置、１０４，１１４…ネットワークＩ／Ｆ、１０５…バス、１０６…入力装置、１０７…出力装置、１１０…撮像装置、１２０…ネットワーク、２００…脈拍推定ソフトウェア、２０１…画像取得部、２０２…顔検出部、２０３…皮膚領域抽出部、２０４…肌色モデル記憶部、２０５…色情報取得部、２０６…脈拍推定部、２０７…統合部、２０８…結果出力部、４０１，６０１…デジタル画像、４０２，６０２…デジタル画像（顔領域）、４１１，４２１，４３１，６１１，６２１，６３１…皮膚領域抽出処理、４１２，４２２，４３２，６１２，６２２，６３２…マスク画像、４１３，４２３，４３３，６１３，６２３，６３３…皮膚領域の割合、４１４，４２４，４３４，６１４，６２４，６３４…色相平均値、７１１，７２１，７３１…フィルタ値、７１２，７２２，７３２…フーリエ変換結果、７０１…統合スペクトル、７０２…ピーク周波数、７０３…推定脈拍数、９１１，９２１，９３１…肌色モデル別ピーク周波数、９０２…推定脈拍数

Claims (10)

1. 時系列に並ぶ複数の画像を取得する取得手段と、
   前記画像ごとに、それぞれ互いに異なる肌色モデルに基づく複数の皮膚領域を抽出する抽出手段と、
   前記抽出手段の抽出結果に基づき、前記肌色モデルごとに、脈拍を示す脈拍推定情報を取得する推定手段と、
   前記肌色モデルごとの前記脈拍推定情報に基づき、脈拍数を決定する決定手段と、
   を有することを特徴とする情報処理装置。
2. 前記推定手段は、前記複数の画像のそれぞれに対して抽出された前記皮膚領域に現れる色情報を時系列データとして取得し、
   前記脈拍推定情報は、前記時系列データの周波数解析を行うことによって得られる周波数特性である、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記色情報は、前記皮膚領域内における色相成分の平均値である、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記決定手段は、前記肌色モデルごとに、前記複数の皮膚領域それぞれの画像内に占める割合の平均値を重み付け係数として導出し、対応する前記周波数特性に該重み付け係数を乗算し、前記肌色モデルごとの乗算結果を加算することにより得られる統合周波数特性のピーク周波数を前記脈拍数として決定する、
   ことを特徴とする請求項２又は３に記載の情報処理装置。
5. 前記決定手段は、前記肌色モデルごとの前記周波数特性のピーク周波数に基づいて、前記脈拍数を決定する、
   ことを特徴とする請求項２又は３に記載の情報処理装置。
6. 前記脈拍は、前記肌色モデルごとの前記周波数特性のピーク周波数の中央値である、
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記脈拍は、前記肌色モデルごとの前記周波数特性のピーク周波数の最頻値である、
   ことを特徴とする請求項５に記載の情報処理装置。
8. 前記抽出手段は、前記複数の画像が撮影された時間帯、及び、前記複数の画像内における被写体の位置の少なくとも一方に基づき、前記肌色モデルの明度を補正する、
   ことを特徴とする請求項１から７のいずれか一項に記載の情報処理装置。
9. 時系列に並ぶ複数の画像を取得するステップと、
   前記画像ごとに、それぞれ互いに異なる肌色モデルに基づく複数の皮膚領域を抽出するステップと、
   前記抽出ステップでの抽出結果に基づき、前記肌色モデルごとに、脈拍を示す脈拍推定情報を取得するステップと、
   前記肌色モデルごとの前記脈拍推定情報に基づき、脈拍数を決定するステップと、
   を有することを特徴とする情報処理方法。
10. コンピュータを、請求項１から８のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images