JP2022119467A - 脈波推定装置、脈波推定方法および脈波推定プログラム - Google Patents

Abstract

【課題】マスク着用時における脈波推定を可能とする。【解決手段】実施形態の脈波推定装置は、取得部と、判定部と、額領域抽出部と、有効領域抽出部と、脈波推定部と、を有する。取得部は、撮像画像に含まれる顔領域を取得する。判定部は、取得した顔領域に基づき、マスクの着用の有無を判定する。額領域抽出部は、マスク着用ありと判定した場合、取得した顔領域に対して鼻口部分に関して予め設定された鼻口画像を重畳したうえで、重畳した画像に基づいて額に対応する額領域を抽出する。有効領域抽出部は、抽出した額領域の中から肌の露出部分に対応する領域を有効領域として抽出する。脈波推定部は、抽出した有効領域における時系列のデータから、撮像画像に含まれる人物の脈波を推定する。【選択図】図１

Description

本発明の実施形態は、脈波推定装置、脈波推定方法および脈波推定プログラムに関する。

従来、人物の顔を動画で撮影し、撮影動画から、対象人物の脈波を推定する技術がある。ここで、脈波とは、心臓の拍動に伴って血管に生じる体積等の変動である。また、脈波からは、脈拍間隔、波形及び伝播速度等の情報が導出される。さらに、脈波から導出された情報を解析することで、ストレス指標、血管年齢及び血圧等を把握することができる。

この脈波の推定は、撮影動画から取得される撮像画像中の対象人物の頬の色変化により行われる。また、脈波推定に関連する従来の画像処理については、サングラス・マスク等の顔の部分隠蔽に代表される大幅な画像の変化部分を補完し、登録画像を照合することで個人を認証する処理が知られている。また、対象画像における顔の画像を含む顔領域を設定する画像処理、顔画像を５つのエリアに分割し、エリア毎に特徴点を抽出する処理が知られている。

特開２００７－１４８８７２号公報 特開２０１２－１２８７９２号公報 特開２００９－１１００４８号公報

昨今、インフルエンザ、ＣＯＶＩＤ－１９などの感染症対策のため、マスクを着用する機会が増えている。しかしながら、上記の従来技術では、マスク着用時に頬が隠れることにより、脈波の推定が困難となるという問題がある。

１つの側面では、マスク着用時における脈波推定を可能とする脈波推定装置、脈波推定方法および脈波推定プログラムを提供することを目的とする。

１つの案では、脈波推定装置は、取得部と、判定部と、額領域抽出部と、有効領域抽出部と、脈波推定部と、を有する。取得部は、撮像画像に含まれる顔領域を取得する。判定部は、取得した顔領域に基づき、マスクの着用の有無を判定する。額領域抽出部は、マスク着用ありと判定した場合、取得した顔領域に対して鼻口部分に関して予め設定された鼻口画像を重畳したうえで、重畳した画像に基づいて額に対応する額領域を抽出する。有効領域抽出部は、抽出した額領域の中から肌の露出部分に対応する領域を有効領域として抽出する。脈波推定部は、抽出した有効領域における時系列のデータから、撮像画像に含まれる人物の脈波を推定する。

マスク着用時における脈波推定を行うことができる。

図１は、実施形態にかかる脈波推定装置を含むシステム構成例を示す説明図である。 図２は、実施形態にかかる脈波推定装置の機能構成例を示すブロック図である。 図３は、実施形態にかかる脈波推定装置の動作例を示すフローチャートである。 図４は、マスク着用の有無の判定を説明する説明図である。 図５は、額領域抽出処理の一例を示すフローチャートである。 図６は、顔画像への鼻口画像の貼り付けを説明する説明図である。 図７は、ランドマーク座標および髪領域マスク画像の抽出を説明する説明図である。 図８は、顔上部領域の抽出を説明する説明図である。 図９は、額領域の抽出を説明する説明図である。 図１０は、有効額領域抽出処理の一例を示すフローチャートである。 図１１は、重心座標および２値化画像の取得を説明する説明図である。 図１２は、有効額領域の抽出を説明する説明図である。 図１３は、有効額領域の選定を説明する説明図である。 図１４は、脈波推定に関するＲＯＩの取得を説明する説明図である。 図１５は、コンピュータ構成の一例を説明する説明図である。

以下、図面を参照して、実施形態にかかる脈波推定装置、脈波推定方法および脈波推定プログラムを説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する脈波推定装置、脈波推定方法および脈波推定プログラムは、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。

図１は、実施形態にかかる脈波推定装置を含むシステム構成例を示す説明図である。図１に示すように、システム構成例では、ネットワークＮを介して相互に通信可能に接続される脈波推定装置１および端末装置２を有する。ネットワークＮの通信方式は、有線や無線のいずれでもよく、ネットワークＮは、インターネットなどの各種通信網でよい。

脈波推定装置１は、ネットワークＮを介して端末装置２が撮影したユーザ３ａ、３ｂ、３ｃの撮影動画を取得する。そして、脈波推定装置１は、取得した撮影動画に含まれる各フレーム（撮像画像）を時系列の順に解析することで、撮影動画に含まれる対象人物（ユーザ３ａ、３ｂ、３ｃ）の脈波を推定する。脈波推定装置１は、この脈波の推定結果をネットワークＮを介して端末装置２へ出力する。

具体的には、脈波推定装置１は、撮像画像に含まれる顔領域の画像より、マスクの着用の有無を判定する。マスク着用なしの場合、脈波推定装置１は、撮像画像に含まれる頬部分に対応する頬領域を脈波推定に用いる有効領域とする。マスク着用ありの場合、脈波推定装置１は、撮像画像に含まれる額部分に対応する額領域の中の、肌の露出部分に対応する領域を抽出して脈波推定に用いる有効領域とする。次いで、脈波推定装置１は、有効領域における時系列のデータ（撮影動画における有効領域の画像の時系列順のデータ）から、有効領域における色変化により対象人物の脈波を推定する。

端末装置２は、ユーザ３ａ、３ｂ、３ｃを撮影するカメラを有する装置であり、一例としてロボット２ａ、ＰＣ２ｂ（PC:Personal Computer）またはスマートフォン２ｃなどを適用できる。端末装置２は、カメラで撮影したユーザ３ａ、３ｂ、３ｃの撮影動画をネットワークＮを介して脈波推定装置１へ送信し、脈波推定装置１よりユーザ３ａ、３ｂ、３ｃの脈波の推定結果を受信する。これにより、端末装置２は、脈波推定装置１が推定したユーザ３ａ、３ｂ、３ｃの脈波について、例えばＢＰＭ（Beats Per Minute）として音声出力または表示出力する。

ユーザ３ａ、３ｂ、３ｃについては、例えば、ユーザ３ａ、３ｂのようにマスクを着用していない場合と、ユーザ３ｃのようにマスクを着用している場合とがある。なお、ユーザ３ａ、３ｂ、３ｃについては、以後の説明では特に区別することなくユーザ３とする。

図２は、実施形態にかかる脈波推定装置１の機能構成例を示すブロック図である。図２に示すように、脈波推定装置１は、通信部１０、記憶部２０および制御部３０を有する。

通信部１０は、他の装置との間の通信を制御する処理部であり、例えば、通信インタフェースである。

記憶部２０は、各種データや、制御部３０が実行するプログラムを記憶する記憶装置の一例であり、例えば、メモリやハードディスクなどである。記憶部２０は、画像ＤＢ２１、額領域情報ＤＢ２２および有効領域情報ＤＢ２３を記憶する。

画像ＤＢ２１は、端末装置２で撮影された撮影動画、撮影動画から取得された顔領域および顔領域に含まれる眉、目、鼻、口などに対応する特徴点（ランドマーク座標）などの情報を記憶する。なお、画像ＤＢ２１が記憶する情報には、各種画像処理に用いるために予め設定されたテンプレート画像（例えば、顔の鼻口部分に関して予め設定された鼻口画像）、各撮像画像においてマスクの着用の有無を判定した判定結果なども含まれている。

額領域情報ＤＢ２２は、画像ＤＢ２１に記憶された撮影動画について、撮像画像ごとに顔領域より抽出した顔の額部分に対応する額領域を示す情報を記憶する。具体的には、額領域情報ＤＢ２２は、各撮像画像を識別する識別情報（フレーム番号）ごとに、各撮像画像より抽出した額領域の座標情報を記憶する。

有効領域情報ＤＢ２３は、画像ＤＢ２１に記憶された撮影動画について、撮像画像ごとに顔領域より抽出した脈波の推定に用いる有効領域を示す情報を記憶する。具体的には、有効領域情報ＤＢ２３は、各撮像画像を識別するフレーム番号ごとに、各撮像画像より抽出した有効領域の座標情報を記憶する。有効領域は、心臓の拍動に伴って血管等に生じた変動が肌の色変化として現れる顔の一領域であり、例えば顔の頬、額などである。

制御部３０は、脈波推定装置１全体を司る処理部であり、プロセッサなどである。制御部３０は、取得部３１、判定部３２、額領域抽出部３３、有効領域抽出部３４および脈波推定部３５を有する。この各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。

取得部３１は、端末装置２で撮影された撮影動画における撮像画像ごとに、撮像画像に含まれる顔領域を取得する処理部である。具体的には、取得部３１は、通信部１０を介して端末装置２より撮影動画を取得し、取得した撮影動画を画像ＤＢ２１に格納する。次いで、取得部３１は、撮影動画に含まれる撮像画像ごとに、撮像画像に含まれる額・目・鼻・口などを含めた顔領域を公知のＯＳＳ（Open Source Software）などを用いて取得する。次いで、取得部３１は、撮影動画ごとに取得した顔領域の座標情報を画像ＤＢ２１に格納する。

判定部３２は、取得部３１が取得した顔領域に基づき、マスクの着用の有無を判定する処理部である。具体的には、画像ＤＢ２１に格納された顔領域の座標情報をもとに撮像画像ごとの顔領域の画像を取得し、取得した顔領域の画像よりマスク着用の有無を判定する。次いで、画像ＤＢ２１は、撮影動画ごとに判定したマスク着用の有無の判定結果を画像ＤＢ２１に格納する。

額領域抽出部３３は、判定部３２がマスク着用ありと判定した場合に、顔領域より額領域を抽出する処理部である。具体的には、額領域抽出部３３は、撮像画像ごとに、取得した顔領域に対して鼻口部分に関して予め設定された鼻口画像を重畳する。次いで、額領域抽出部３３は、顔領域に鼻口画像を重畳した画像に基づいて顔の額部分に対応する額領域を抽出する。次いで、額領域抽出部３３は、撮像画像ごとに、抽出した額領域の座標情報を額領域情報ＤＢ２２に格納する。

有効領域抽出部３４は、画像ＤＢ２１に格納された各撮像画像について、脈波推定に用いる有効領域を抽出する処理部である。具体的には、有効領域抽出部３４は、画像ＤＢ２１より各撮像画像の情報を読み出し、マスク着用なしの場合、撮像画像に含まれる頬部分に対応する頬領域を抽出し、脈波推定に用いる有効領域とする。また、有効領域抽出部３４は、マスク着用ありの場合、額領域情報ＤＢ２２により額領域の座標情報を読み出し、撮像画像における額領域の中から肌の露出部分に対応する領域を有効領域として抽出する。次いで、有効領域抽出部３４は、抽出した有効領域の座標情報を有効領域抽出部３４に格納する。

脈波推定部３５は、撮影動画の各撮像画像より有効領域抽出部３４が抽出した有効領域の時系列のデータ（有効領域の画像の時系列順のデータ）をもとに撮影動画中の対象人物（ユーザ３）の脈波を推定する処理部である。具体的には、脈波推定部３５は、有効領域抽出部３４より有効領域の座標情報を読み出し、画像ＤＢ２１に格納された各撮像画像より有効領域の画像を取得する。次いで、脈波推定部３５は、各撮像画像より取得した有効領域の色変化に基づいて、対象人物の脈拍数などを推定する。次いで、脈波推定部３５は、推定結果を通信部１０を介して端末装置２へ送信する。なお、画像の色変化に基づく脈波の推定については、ｈａｂｏｍ２３１０／Ｈｅａｒｔ－ｒａｔｅ－ｍｅａｓｕｒｅｍｅｎｔ－ｕｓｉｎｇ－ｃａｍｅｒａなどの公知のＯＳＳを適用することで、実施することができる。また、有効領域における色変化を用いて脈波を推定することも可能である。

図３は、実施形態にかかる脈波推定装置１の動作例を示すフローチャートである。図３に示すように、処理が開始されると、取得部３１は、通信部１０を介して端末装置２が撮影した映像（撮影動画）の入力を受け付け、受け付けた撮影動画を画像ＤＢ２１に格納する（Ｓ１）。

次いで、脈波推定装置１は、撮影動画についてフレーム単位でＳ２～Ｓ１０のループ処理を行うことで、撮影動画に含まれるユーザ３の脈波を推定する。ついで、脈波推定装置１は、推定結果を通信部１０を介して端末装置２へ出力する（Ｓ１１）。

各ループ処理では、取得部３１は、画像に含まれる顔領域の検出を行うＯＳＳを用いて撮像画像内に顔を含むか否かを判定する（Ｓ３）。撮像画像内に顔を含まない場合（Ｓ３：Ｎｏ）、脈波推定装置１は、Ｓ１０へ処理を進め、次のフレームのループ処理へ処理を進める。

撮像画像内に顔を含む場合（Ｓ３：Ｙｅｓ）、取得部３１は、顔領域を検出し、検出した顔領域の座標情報を画像ＤＢ２１に格納する（Ｓ４）。

次いで、判定部３２は、画像ＤＢ２１に格納された顔領域の座標情報をもとに撮像画像に含まれる顔領域の画像を取得し、ＡＩＺＯＯＴｅｃｈ／ＦａｃｅＭａｓｋＤｅｔｅｃｔｉｏｎなどのＯＳＳを用いてマスク着用の有無を判定する（Ｓ５）。

図４は、マスク着用の有無の判定を説明する説明図である。図４に示すように、ケースＣ１は、ユーザ３がマスク４を着用した場合の撮像画像Ｇ１よりマスク着用の有無を判定するケースを例示している。また、ケースＣ２は、マスク４未着用のユーザ３の撮像画像Ｇ２よりマスク着用の有無を判定するケースを例示している。

ケースＣ１に示すように、判定部３２は、ＡＩＺＯＯＴｅｃｈ／ＦａｃｅＭａｓｋＤｅｔｅｃｔｉｏｎなどのＯＳＳを用いることで、撮像画像Ｇ１についてはマスク着用あり（Ｍａｓｋ １．００）と判定する。また、ケースＣ２に示すように、判定部３２は、撮像画像Ｇ２についてはマスク着用なし（Ｎｏ Ｍａｓｋ １．００）と判定する。この場合、有効領域抽出部３４は、ユーザ３の頬部分に対応する頬領域Ｇ３ａの画像を有効領域として脈波の推定を行う。

ケースＣ２のようにマスク４を着用していない場合（Ｓ５：Ｎｏ）、有効領域抽出部３４は、ユーザ３の頬部分に対応する頬領域Ｇ３ａの画像を有効領域として脈波の推定を行い（Ｓ６）、Ｓ１０へ処理を進める。

ケースＣ１のようにマスク４を着用している場合（Ｓ５：Ｙｅｓ）、額領域抽出部３３は、顔領域より額領域を抽出する額領域抽出処理を行う（Ｓ７）。

図５は、額領域抽出処理の一例を示すフローチャートである。図５に示すように、額領域抽出処理が開始されると、額領域抽出部３３は、検出した顔領域をもとに、画像ＤＢ２１において予め用意した鼻口画像をリサイズする(Ｓ２１)。

図６は、顔画像への鼻口画像の貼り付けを説明する説明図である。図６に示すように、鼻口画像Ｇ４は、顔の鼻口部分に関するテンプレート画像であり、所定の画像サイズを有している。したがって、撮像画像Ｇ１の中の顔領域Ｇ３の顔画像に鼻口画像Ｇ４を貼り付ける場合には、顔領域Ｇ３の大きさに合わせてリサイズする必要がある。

具体的には、額領域抽出部３３は、画像ＤＢ２１に格納された顔領域Ｇ３の座標情報（５０１，１３２）、（９３２，１３２）、（５０１，７１５）、（９３２，７１５）を取得する。次いで、額領域抽出部３３は、取得した座標情報の縦方向のピクセル数（図示例では５８３［ｐｉｘｅｌ］）をもとに、鼻口画像Ｇ４をリサイズする。一例として、額領域抽出部３３は、鼻口画像Ｇ４を５８３の半分以下（縦の長さの３／８、２１９［ｐｉｘｅｌ］）へリサイズする。

次いで、額領域抽出部３３は、リサイズ後の鼻口画像Ｇ４の上端が顔領域Ｇ３の中央に重なるように鼻口画像Ｇ４を撮像画像Ｇ１に貼り付ける（Ｓ２２）。図６の例では、額領域抽出部３３は、顔領域Ｇ３の中央（７１６，４２３）にリサイズ後の鼻口画像Ｇ４の上端を合わせて貼り付けることで重畳画像Ｇ５を得る。

次いで、額領域抽出部３３は、鼻口画像Ｇ４を貼り付けた顔領域Ｇ３を使用し、ユーザ３の顔のランドマーク（眉、目、鼻、口などに対応する特徴点）を検出する（Ｓ２３）。次いで、額領域抽出部３３は、顔領域Ｇ３から髪部分に対応する髪領域を検出する（Ｓ２４）。

図７は、ランドマーク座標および髪領域マスク画像の抽出を説明する説明図である。図７に示すように、額領域抽出部３３は、ｄｌｉｂ．ｓｈａｐｅ＿ｐｒｅｄｉｃｔｏｒなどの公知のＯＳＳを用いることで、重畳画像Ｇ５より、眉、目、鼻、口、顔の輪郭などに対応するランドマーク座標ＬＭを検出する。

マスク４を着用したままの撮像画像Ｇ１では、鼻、口部分がマスク４で隠されることから、公知のＯＳＳでランドマーク座標ＬＭの検出を正常に行うことが困難となる。しかしながら、本実施形態では、鼻口画像Ｇ４を貼り付けた重畳画像Ｇ５であることから、公知のＯＳＳでランドマーク座標ＬＭの検出を正常に行うことができる。

同様に、額領域抽出部３３は、ｗｏｎｂｅｏｍｊａｎｇ／ｍｏｂｉｌｅ－ｈａｉｒ－ｓｅｇｍｅｎｔａｔｉｏｎ－ｐｙｔｏｒｃｈなどの公知のＯＳＳを用いることで、重畳画像Ｇ５より髪領域を検出する。額領域抽出部３３は、検出した髪領域をもとに、撮像画像Ｇ１と重畳することで髪領域をマスクする髪領域マスクＧ６を取得する。

図５に戻り、Ｓ２４に次いで、額領域抽出部３３は、額、眉、目が含まれると想定される、顔領域Ｇ３から上半分の領域（顔上部領域）を抽出する（Ｓ２５）。

図８は、顔上部領域の抽出を説明する説明図である。図８に示すように、額領域抽出部３３は、顔領域Ｇ３の座標情報（５０１，１３２）、（９３２，１３２）、（５０１，７１５）、（９３２，７１５）より、上半分の顔上部領域Ｇ７を取得する。図示例では、額領域抽出部３３は、（５０１，１３２）、（９３２，１３２）、（５０１，２９２）、（９３２，２９２）の顔上部領域Ｇ７を得る。

図５に戻り、Ｓ２５に次いで、額領域抽出部３３は、抽出した顔上部領域Ｇ７の内、顔のランドマークを結線した領域と、髪領域とを除いた領域（推定額領域）を抽出する（Ｓ２６）。

図９は、額領域の抽出を説明する説明図である。図９に示すように、額領域抽出部３３は、重畳画像Ｇ５より検出したランドマーク座標ＬＭおよび髪領域マスクＧ６より、眉、顔の輪郭などのランドマーク座標ＬＭを結線した額部分の領域に対応する額領域マスクＧ６ａを作成する。次いで、額領域抽出部３３は、撮像画像Ｇ１における顔上部領域Ｇ７に、額領域マスクＧ６ａを合わせることで、額部分と推定される推定額領域Ｇ８ａを得る。

図５に戻り、Ｓ２６に次いで、額領域抽出部３３は、抽出した領域（推定額領域Ｇ８ａ）の内、最も広い面積を持つ領域を額領域Ｇ８とし（Ｓ２７）、処理を終了する。

具体的には、図９に示すように、推定額領域Ｇ８ａには、額以外の小さなノイズ（図示例では左右２箇所）が含まれている。そこで、額領域抽出部３３は、Ｓｕｚｕｋｉ８５のアルゴリズム（Ｓ．Ｓｕｚｕｋｉ ａｎｄ Ｋ．Ａｂｅ， Ｔｏｐｏｌｏｇｉｃａｌ ｓｔｒｕｃｔｕｒａｌ ａｎａｌｙｓｉｓ ｏｆ ｄｉｇｉｔｉｚｅｄ ｂｉｎａｒｙ ｉｍａｇｅｓ ｂｙ ｂｏｒｄｅｒ ｆｏｌｌｏｗｉｎｇ， Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｇｒａｐｈｉｃｓ， ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． ３０（１） （１９８５） ３２－４６）を用いて各領域に対応する輪郭を抽出する。次いで、額領域抽出部３３は、抽出した輪郭からグリーンの定理（Ｇ． Ｇｒｅｅｎ， Ａｎ Ｅｓｓａｙ ｏｎ ｔｈｅ Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｍａｔｈｅｍａｔｉｃａｌ Ａｎａｌｙｓｉｓ ｔｏ ｔｈｅ Ｔｈｅｏｒｉｅｓ ｏｆ Ｅｌｅｃｔｒｉｃｉｔｙ ａｎｄ Ｍａｇｎｅｔｉｓｍ， Ｎｏｔｔｉｎｇｈａｍ， １８２８）を用いて各領域の面積を求める。次いで、額領域抽出部３３は、求めた面積の最大の領域を額領域Ｇ８とする。

図３に戻り、Ｓ７に次いで、有効領域抽出部３４は、額領域抽出部３３が抽出した額領域Ｇ８から有効領域を抽出する有効領域抽出処理を行う（Ｓ８）。

図１０は、有効額領域抽出処理の一例を示すフローチャートである。図１０に示すように、有効額領域抽出処理が開始されると、有効領域抽出部３４は、額領域Ｇ８の重心座標を取得する（Ｓ３１）。次いで、有効領域抽出部３４は、額領域Ｇ８について、特定の輝度値をもとに、肌色の部分と、前髪による影などの肌色以外の部分とに分けるように２値化を行う（Ｓ３２）。

図１１は、重心座標および２値化画像の取得を説明する説明図である。図１１に示すように、有効領域抽出部３４は、次の式（１）を用いた公知の手法により、額領域Ｇ８の重心座標を算出する。

ここで、Ｍは額領域Ｇ８のモーメントを示す。また、Ｉは、入力画像（額領域Ｇ８）を示す。また、ｘはｘ座標、ｙはｙ座標、Ｇは重心画像を示す。一例として、Ｍ_１０＝２８２５１１０６、Ｍ_０１＝９１７６５５２、Ｍ_００＝３８８１１が得られたものとする。この場合、Ｃ_ｘ＝Ｍ_１０／Ｍ_００＝２８２５１１０６／３８８１１＝７２７．９１となる。また、Ｃ_ｙ＝Ｍ_０１／Ｍ_００＝９１７６５５２／３８８１１＝２３６．４４となる。したがって、有効領域抽出部３４は、額領域Ｇ８の重心座標として（７２８，２３６）を得る。

肌色の部分と、前髪による影などの肌色以外の部分とに分ける２値化手法については、輝度値ベースの公知の手法を用いることができる。一例として、有効領域抽出部３４は、２値化手法として、特定の輝度値より上の平均輝度値とその輝度値以下の平均輝度値の平均を閾値として選択し、２値化するＩｓｏＤａｔａ ａｌｇｏｒｉｔｈｍを用いてもよい。また、有効領域抽出部３４は、特定の輝度値の上下の領域で分布のエントロピーが最大となる閾値を選択し、２値化するＭａｘｉｍｕｍ Ｅｎｔｒｏｐｙ ａｌｇｏｒｉｔｈｍを用いてもよい。

なお、ＩｓｏＤａｔａ ａｌｇｏｒｉｔｈｍについては、Ｔ．Ｗ． Ｒｉｄｌｅｒ ａｎｄ Ｓ． Ｃａｌｖａｒｄ． Ｐｉｃｔｕｒｅ ｔｈｒｅｓｈｏｌｄｉｎｇ ｕｓｉｎｇ ａｎ ｉｔｅｒａｔｉｖｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｙｓｔｅｍｓ， Ｍａｎ ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ， ８（８）：６３０－６３２， １９７８． １， ２．３に記載がある。また、Ｍａｘｉｍｕｍ Ｅｎｔｒｏｐｙ ａｌｇｏｒｉｔｈｍについては、Ｊ．Ｎ． Ｋａｐｕｒ， Ｐ．Ｋ． Ｓａｈｏｏ， ａｎｄ Ａ．Ｋ．ＣＷｏｎｇ． Ａ ｎｅｗ ｍｅｔｈｏｄ ｆｏｒ ｇｒａｙ－ｌｅｖｅｌ ｐｉｃｔｕｒｅ ｔｈｒｅｓｈｏｌｄｉｎｇ ｕｓｉｎｇ ｔｈｅｅｎｔｒｏｐｙ ｏｆ ｔｈｅ ｈｉｓｔｏｇｒａｍ．Ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ， ｇｒａｐｈｉｃｓ， ａｎｄ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ， ２９（３）：２７３－２８５， １９８５． １， ２．５， ２．６に記載がある。

本実施形態では、有効領域抽出部３４は、ＩｓｏＤａｔａ ａｌｇｏｒｉｔｈｍの変法であるＩＪ＿ＩｓｏＤａｔａ：ＩｓｏＤａｔａ ａｌｇｏｒｉｔｈｍ（ＡｕｔｏＴｈｒｅｓｈｏｌｄｅｒ）を用いて、額領域Ｇ８内から影の影響を除外するための閾値を求める。具体的には、有効領域抽出部３４は、次の式（２）により閾値（Ｔ）を算出する。

なお、式（２）において、ｈｉｓｔ［ｉ］は、輝度値（ｉ）を持つ合計ピクセル数である。また、ｍａｘは、ｈｉｓｔ［ｉ］≠０を満たす最大輝度値である。また、ｍｉｎは、ｈｉｓｔ［ｉ］≠０を満たす最小輝度値である。

図１０に戻り、Ｓ３２に次いで、有効領域抽出部３４は、２値化した領域の内、重心点を含む領域を有効額領域（影領域を除いた領域）とし（Ｓ３３）、処理を終了する。すなわち、有効額領域は、有効領域の一例である。

図１２は、有効額領域の抽出を説明する説明図である。図１２に示すように、有効領域抽出部３４は、額領域Ｇ８の重心座標（７２８，２３６）と、式（２）により求めた閾値（Ｔ）で２値化した２値化画像Ｇ８ｂとをもとに、重心座標を含む方の２値化領域を有効額領域Ｇ９として抽出する。

なお、有効領域抽出部３４は、有効額領域Ｇ９について、肌が露出している箇所（例えば眉間）の色と近しい色を持つ領域を更に選定してもよい。

図１３は、有効額領域の選定を説明する説明図である。図１３に示すように、有効領域抽出部３４は、ランドマーク座標ＬＭの中の眉頭に対応する眉頭座標（図示例では（６７３，３１５）・（７３９，３１２））より、眉の間のＬａ＊ｂ＊輝度値平均（図示例では（６０，１５，１９））を求める。有効領域抽出部３４は、この輝度値平均より肌色を算出する。

次いで、有効領域抽出部３４は、求めた肌色との色差（例：ＲＧＢ、ＨＳＶ、Ｌａ＊ｂ＊表色系などを用いて算出する）が一定以下（例：色差１０以下など）の領域を有効額領域Ｇ９ａとする。一例として、有効領域抽出部３４は、Ｌａ＊ｂ＊表色系における２点間（点Ａ、点Ｂ）の色差を次の式（３）に示すＣＩＥ１９７６（ＩＳＯ／ＣＩＥ １１６６４－４：２０１９）計算式を用いて算出する。

また、有効領域抽出部３４は、有効額領域Ｇ９、Ｇ９ａについて、特定の関心領域（ＲＯＩ：Region Of Interest）を抽出してもよい。具体的には、有効領域抽出部３４は、脈波推定部３５が推定に用いるための関心領域（例えば矩形領域）に合わせる形で、有効額領域Ｇ９、Ｇ９ａの中から関心領域を抽出する。

図１４は、脈波推定に関するＲＯＩの取得を説明する説明図である。図１４に示すように、有効領域抽出部３４は、有効額領域Ｇ９の内、最大面積となる矩形の４点座標を取得することでＲＯＩ Ｇ９ａが取得できる。また、有効領域抽出部３４は、有効額領域Ｇ９のピクセルを４点座標の矩形へ再配置などの方法でもＲＯＩ Ｇ９ｃを取得できる。

図３に戻り、脈波推定部３５は、有効領域抽出部３４が抽出した有効額領域Ｇ９、Ｇ９ａ、ＲＯＩ Ｇ９ｃの時系列のデータをもとに脈波を推定し（Ｓ９）、Ｓ１０へ処理を進める。脈波推定装置１では、上記のループ処理（Ｓ２～Ｓ１０）を繰り返すことで、撮影動画よりユーザ３の脈波を得ることができる。

以上のように、脈波推定装置１は、取得部３１と、判定部３２と、額領域抽出部３３と、有効領域抽出部３４と、脈波推定部３５とを有する。取得部３１は、撮像画像（Ｇ１、Ｇ２）に含まれる顔領域（Ｇ３）を取得する。判定部３２は、取得した顔領域に基づき、マスクの着用の有無を判定する。額領域抽出部３３は、マスク着用ありと判定した場合、取得した顔領域に対して鼻口部分に関して予め設定された鼻口画像（Ｇ４）を重畳したうえで、重畳した画像（Ｇ５）に基づいて額に対応する額領域（Ｇ８）を抽出する。有効領域抽出部３４は、抽出した額領域の中から肌の露出部分に対応する領域を有効領域（Ｇ９）として抽出する。脈波推定部３５は、抽出した有効領域における時系列のデータから、撮像画像に含まれる人物（３）の脈波を推定する。

これにより、脈波推定装置１は、マスク着用で頬が隠れることにより、脈波の推定が困難となる状況であっても、マスクで隠された鼻口を重畳した画像より額領域を抽出できる。そして、脈波推定装置１は、抽出した額領域の中の、肌の露出部分に対応する領域を有効領域として脈波を推定することができる。

また、有効領域抽出部３４は、マスク着用なしと判定した場合、取得した顔領域の中から頬に対応する頬領域（Ｇ３ａ）を有効領域として抽出する。これにより、脈波推定装置１は、マスク着用なしの場合は、額領域ではなく、頬領域を有効領域として脈波を推定することができる。

また、額領域抽出部３３は、取得した顔領域のサイズに基づいて鼻口画像をリサイズし、リサイズ後の鼻口画像を顔領域の特定位置に重畳する。これにより、脈波推定装置１は、顔領域のサイズに合わせた鼻口画像を顔領域の特定位置に重畳することで、より精度よく額領域を抽出することができる。

また、額領域抽出部３３は、重畳した画像より抽出した顔の特徴を示す特徴点の中の特定の特徴点に基づいて特定した領域において髪領域を除いた領域を額領域として抽出する。これにより、脈波推定装置１は、例えば、眉などの特定の特徴点より上で髪の部分を除いた額領域を精度よく抽出することができる。

また、有効領域抽出部３４は、抽出した額領域を特定の輝度値に基づいて２値化し、２値化した領域の内で重心座標を含む領域を有効領域として抽出する。これにより、脈波推定装置１は、例えば髪の生え際などの額の脇における陰影部分を除いた領域を有効領域として抽出することができる。

また、有効領域抽出部３４は、特徴点の中の眉頭に対応する特徴点をもとに取得した輝度値に基づいて有効領域を選定する。これにより、脈波推定装置１は、例えば、眉頭に対応する特徴点の間（眉の間）など、肌が露出している箇所の輝度値に対応する部分を有効領域とすることができる。

また、有効領域抽出部３４は、抽出した有効領域の中の特定の矩形領域を脈波の推定に用いる関心領域（ＲＯＩ）として脈波推定部３５に出力する。これにより、脈波推定装置１は、脈波の推定に用いる関心領域（ＲＯＩ）を矩形とする場合にも対応することができる。

なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

例えば、本実施形態では端末装置２とは別の脈波推定装置１でユーザ３の脈波を推定する構成を例示したが、端末装置２が脈波推定装置１と同等の機能を有してもよい。この場合は、端末装置２単体でユーザ３の脈波を推定することができる。

また、脈波推定装置１の制御部３０で行われる取得部３１、判定部３２、額領域抽出部３３、有効領域抽出部３４および脈波推定部３５の各種処理機能は、制御部３０の一例としてのＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、脈波推定装置１で行われる各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。

ところで、上記の実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施形態と同様の機能を有するプログラムを実行するコンピュータ構成（ハードウエア）の一例を説明する。図１５は、コンピュータ構成の一例を説明する説明図である。

図１５に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３と、スピーカー２０４とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０５と、各種装置と接続するためのインタフェース装置２０６と、有線または無線により外部機器と通信接続するための通信装置２０７とを有する。また、脈波推定装置１は、各種情報を一時記憶するＲＡＭ２０８と、ハードディスク装置２０９とを有する。また、コンピュータ２００内の各部（２０１～２０９）は、バス２１０に接続される。

ハードディスク装置２０９には、上記の実施形態で説明した機能構成（例えば取得部３１、判定部３２、額領域抽出部３３、有効領域抽出部３４および脈波推定部３５）における各種の処理を実行するためのプログラム２１１が記憶される。また、ハードディスク装置２０９には、プログラム２１１が参照する各種データ２１２が記憶される。入力装置２０２は、例えば、操作者から操作情報の入力を受け付ける。モニタ２０３は、例えば、操作者が操作する各種画面を表示する。インタフェース装置２０６は、例えば印刷装置等が接続される。通信装置２０７は、ＬＡＮ（Local Area Network）等の通信ネットワークと接続され、通信ネットワークを介した外部機器との間で各種情報をやりとりする。

ＣＰＵ２０１は、ハードディスク装置２０９に記憶されたプログラム２１１を読み出して、ＲＡＭ２０８に展開して実行することで、上記の機能構成（例えば取得部３１、判定部３２、額領域抽出部３３、有効領域抽出部３４および脈波推定部３５）に関する各種の処理を行う。なお、プログラム２１１は、ハードディスク装置２０９に記憶されていなくてもよい。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラム２１１を読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこのプログラム２１１を記憶させておき、コンピュータ２００がこれらからプログラム２１１を読み出して実行するようにしてもよい。

以上の実施形態に関し、さらに以下の付記を開示する。

（付記１）撮像画像に含まれる顔領域を取得する取得部と、
取得した前記顔領域に基づき、マスクの着用の有無を判定する判定部と、
マスク着用ありと判定した場合、取得した前記顔領域に対して鼻口部分に関して予め設定された鼻口画像を重畳したうえで、当該重畳した画像に基づいて額に対応する額領域を抽出する額領域抽出部と、
抽出した前記額領域の中から肌の露出部分に対応する領域を有効領域として抽出する有効領域抽出部と、
抽出した前記有効領域における時系列のデータから、前記撮像画像に含まれる人物の脈波を推定する脈波推定部と、
を有することを特徴とする脈波推定装置。

（付記２）前記有効領域抽出部は、マスク着用なしと判定した場合、取得した前記顔領域の中から頬に対応する頬領域を有効領域として抽出する、
ことを特徴とする付記１に記載の脈波推定装置。

（付記３）前記額領域抽出部は、取得した前記顔領域のサイズに基づいて前記鼻口画像をリサイズし、当該リサイズ後の鼻口画像を前記顔領域の特定位置に重畳する、
ことを特徴とする付記１または２に記載の脈波推定装置。

（付記４）前記額領域抽出部は、前記重畳した画像より抽出した顔の特徴を示す特徴点の中の特定の特徴点に基づいて特定した領域において髪領域を除いた領域を前記額領域として抽出する、
ことを特徴とする付記１乃至３のいずれか一に記載の脈波推定装置。

（付記５）前記有効領域抽出部は、抽出した前記額領域を特定の輝度値に基づいて２値化し、当該２値化した領域の内で重心座標を含む領域を前記有効領域として抽出する、
ことを特徴とする付記１乃至４のいずれか一に記載の脈波推定装置。

（付記６）前記有効領域抽出部は、前記重畳した画像より抽出した顔の特徴を示す特徴点の中の眉頭に対応する特徴点をもとに取得した輝度値に基づいて前記有効領域を選定する、
ことを特徴とする付記１乃至５のいずれか一に記載の脈波推定装置。

（付記７）前記有効領域抽出部は、抽出した前記有効領域の中の特定の矩形領域を脈波の推定に用いる関心領域として前記脈波推定部に出力する、
ことを特徴とする付記１乃至６のいずれか一に記載の脈波推定装置。

（付記８）撮像画像に含まれる顔領域を取得し、
取得した前記顔領域に基づき、マスクの着用の有無を判定する判定部と、
マスク着用ありと判定した場合、取得した前記顔領域に対して鼻口部分に関して予め設定された鼻口画像を重畳したうえで、当該重畳した画像に基づいて額に対応する額領域を抽出し、
抽出した前記額領域の中から肌の露出部分に対応する領域を有効領域として抽出し、
抽出した前記有効領域における時系列のデータから、前記撮像画像に含まれる人物の脈波を推定する、
処理をコンピュータが実行することを特徴とする脈波推定方法。

（付記９）前記有効領域として抽出する処理は、マスク着用なしと判定した場合、取得した前記顔領域の中から頬に対応する頬領域を有効領域として抽出する、
ことを特徴とする付記８に記載の脈波推定方法。

（付記１０）前記額領域を抽出する処理は、取得した前記顔領域のサイズに基づいて前記鼻口画像をリサイズし、当該リサイズ後の鼻口画像を前記顔領域の特定位置に重畳する、
ことを特徴とする付記８または９に記載の脈波推定方法。

（付記１１）前記額領域を抽出する処理は、前記重畳した画像より抽出した顔の特徴を示す特徴点の中の特定の特徴点に基づいて特定した領域において髪領域を除いた領域を前記額領域として抽出する、
ことを特徴とする付記８乃至１０のいずれか一に記載の脈波推定方法。

（付記１２）前記有効領域として抽出する処理は、抽出した前記額領域を特定の輝度値に基づいて２値化し、当該２値化した領域の内で重心座標を含む領域を前記有効領域として抽出する、
ことを特徴とする付記８乃至１１のいずれか一に記載の脈波推定方法。

（付記１３）前記有効領域として抽出する処理は、前記重畳した画像より抽出した顔の特徴を示す特徴点の中の眉頭に対応する特徴点をもとに取得した輝度値に基づいて前記有効領域を選定する、
ことを特徴とする付記８乃至１２のいずれか一に記載の脈波推定方法。

（付記１４）前記有効領域として抽出する処理は、抽出した前記有効領域の中の特定の矩形領域を脈波の推定に用いる関心領域として前記推定する処理に出力する、
ことを特徴とする付記８乃至１３のいずれか一に記載の脈波推定方法。

（付記１５）撮像画像に含まれる顔領域を取得し、
取得した前記顔領域に基づき、マスクの着用の有無を判定する判定部と、
マスク着用ありと判定した場合、取得した前記顔領域に対して鼻口部分に関して予め設定された鼻口画像を重畳したうえで、当該重畳した画像に基づいて額に対応する額領域を抽出し、
抽出した前記額領域の中から肌の露出部分に対応する領域を有効領域として抽出し、
抽出した前記有効領域における時系列のデータから、前記撮像画像に含まれる人物の脈波を推定する、
処理をコンピュータに実行させることを特徴とする脈波推定プログラム。

（付記１６）前記有効領域として抽出する処理は、マスク着用なしと判定した場合、取得した前記顔領域の中から頬に対応する頬領域を有効領域として抽出する、
ことを特徴とする付記１５に記載の脈波推定プログラム。

（付記１７）前記額領域を抽出する処理は、取得した前記顔領域のサイズに基づいて前記鼻口画像をリサイズし、当該リサイズ後の鼻口画像を前記顔領域の特定位置に重畳する、
ことを特徴とする付記１５または１６に記載の脈波推定プログラム。

（付記１８）前記額領域を抽出する処理は、前記重畳した画像より抽出した顔の特徴を示す特徴点の中の特定の特徴点に基づいて特定した領域において髪領域を除いた領域を前記額領域として抽出する、
ことを特徴とする付記１５乃至１７のいずれか一に記載の脈波推定プログラム。

（付記１９）前記有効領域として抽出する処理は、抽出した前記額領域を特定の輝度値に基づいて２値化し、当該２値化した領域の内で重心座標を含む領域を前記有効領域として抽出する、
ことを特徴とする付記１５乃至１８のいずれか一に記載の脈波推定プログラム。

（付記２０）前記有効領域として抽出する処理は、前記重畳した画像より抽出した顔の特徴を示す特徴点の中の眉頭に対応する特徴点をもとに取得した輝度値に基づいて前記有効領域を選定する、
ことを特徴とする付記１５乃至１９のいずれか一に記載の脈波推定プログラム。

（付記２１）前記有効領域として抽出する処理は、抽出した前記有効領域の中の特定の矩形領域を脈波の推定に用いる関心領域として前記推定する処理に出力する、
ことを特徴とする付記１５乃至２０のいずれか一に記載の脈波推定プログラム。

１…脈波推定装置
２…端末装置
２ａ…ロボット
２ｂ…ＰＣ
２ｃ…スマートフォン
３、３ａ、３ｂ、３ｃ…ユーザ
４…マスク
Ｎ…ネットワーク
１０…通信部
２０…記憶部
２１…画像ＤＢ
２２…額領域情報ＤＢ
２３…有効領域情報ＤＢ
３０…制御部
３１…取得部
３２…判定部
３３…額領域抽出部
３４…有効領域抽出部
３５…脈波推定部
２００…コンピュータ
２０１…ＣＰＵ
２０２…入力装置
２０３…モニタ
２０４…スピーカー
２０５…媒体読取装置
２０６…インタフェース装置
２０７…通信装置
２０８…ＲＡＭ
２０９…ハードディスク装置
２１０…バス
２１１…プログラム
２１２…各種データ
Ｃ１、Ｃ２…ケース
Ｇ１、Ｇ２…撮像画像
Ｇ３…顔領域
Ｇ３ａ…頬領域
Ｇ４…鼻口画像
Ｇ５…重畳画像
Ｇ６…髪領域マスク
Ｇ６ａ…額領域マスク
Ｇ７…顔上部領域
Ｇ８…額領域
Ｇ８ａ…推定額領域
Ｇ８ｂ…２値化画像
Ｇ９、Ｇ９ａ…有効額領域
Ｇ９ｃ…ＲＯＩ
ＬＭ…ランドマーク座標

Claims (9)

1. 撮像画像に含まれる顔領域を取得する取得部と、
   取得した前記顔領域に基づき、マスクの着用の有無を判定する判定部と、
   マスク着用ありと判定した場合、取得した前記顔領域に対して鼻口部分に関して予め設定された鼻口画像を重畳したうえで、当該重畳した画像に基づいて額に対応する額領域を抽出する額領域抽出部と、
   抽出した前記額領域の中から肌の露出部分に対応する領域を有効領域として抽出する有効領域抽出部と、
   抽出した前記有効領域における時系列のデータから、前記撮像画像に含まれる人物の脈波を推定する脈波推定部と、
   を有することを特徴とする脈波推定装置。
2. 前記有効領域抽出部は、マスク着用なしと判定した場合、取得した前記顔領域の中から頬に対応する頬領域を有効領域として抽出する、
   ことを特徴とする請求項１に記載の脈波推定装置。
3. 前記額領域抽出部は、取得した前記顔領域のサイズに基づいて前記鼻口画像をリサイズし、当該リサイズ後の鼻口画像を前記顔領域の特定位置に重畳する、
   ことを特徴とする請求項１または２に記載の脈波推定装置。
4. 前記額領域抽出部は、前記重畳した画像より抽出した顔の特徴を示す特徴点の中の特定の特徴点に基づいて特定した領域において髪領域を除いた領域を前記額領域として抽出する、
   ことを特徴とする請求項１乃至３のいずれか一項に記載の脈波推定装置。
5. 前記有効領域抽出部は、抽出した前記額領域を特定の輝度値に基づいて２値化し、当該２値化した領域の内で重心座標を含む領域を前記有効領域として抽出する、
   ことを特徴とする請求項１乃至４のいずれか一項に記載の脈波推定装置。
6. 前記有効領域抽出部は、前記重畳した画像より抽出した顔の特徴を示す特徴点の中の眉頭に対応する特徴点をもとに取得した輝度値に基づいて前記有効領域を選定する、
   ことを特徴とする請求項１乃至５のいずれか一項に記載の脈波推定装置。
7. 前記有効領域抽出部は、抽出した前記有効領域の中の特定の矩形領域を脈波の推定に用いる関心領域として前記脈波推定部に出力する、
   ことを特徴とする請求項１乃至６のいずれか一項に記載の脈波推定装置。
8. 撮像画像に含まれる顔領域を取得し、
   取得した前記顔領域に基づき、マスクの着用の有無を判定する判定部と、
   マスク着用ありと判定した場合、取得した前記顔領域に対して鼻口部分に関して予め設定された鼻口画像を重畳したうえで、当該重畳した画像に基づいて額に対応する額領域を抽出し、
   抽出した前記額領域の中から肌の露出部分に対応する領域を有効領域として抽出し、
   抽出した前記有効領域における時系列のデータから、前記撮像画像に含まれる人物の脈波を推定する、
   処理をコンピュータが実行することを特徴とする脈波推定方法。
9. 撮像画像に含まれる顔領域を取得し、
   取得した前記顔領域に基づき、マスクの着用の有無を判定する判定部と、
   マスク着用ありと判定した場合、取得した前記顔領域に対して鼻口部分に関して予め設定された鼻口画像を重畳したうえで、当該重畳した画像に基づいて額に対応する額領域を抽出し、
   抽出した前記額領域の中から肌の露出部分に対応する領域を有効領域として抽出し、
   抽出した前記有効領域における時系列のデータから、前記撮像画像に含まれる人物の脈波を推定する、
   処理をコンピュータに実行させることを特徴とする脈波推定プログラム。

Images