JP2023503174A - 心拍数の推定方法、装置及びそれを応用する電子機器 - Google Patents

Abstract

本発明は心拍数の推定方法、装置及びそれを応用する電子機器に関する。心拍数の推定方法は、顔撮影ビデオを取得するステップＳ１００と、顔撮影ビデオに対して顔検出を行い、心拍数を推定するために設定された顔局所領域を抽出するステップＳ１０２と、顔局所領域内の画素点の値に対して第１処理を行い、初期心拍数信号を取得するステップＳ１０４と、初期心拍数信号に対して時間領域－周波数領域変換を行い、周波数領域信号を取得するステップＳ１０６と、心拍数の推定範囲内で、周波数領域信号に対して第２処理を行い、心拍数の推定値を取得するステップＳ１１０と、を含む。

Description

関連出願の相互参照

本出願は２０１９年１１月２５日に中国国家知識産権局に出願された、出願番号２０１９１１１６６００１．２、出願名称「心拍数の推定方法、装置及びそれを応用する電子機器」の中国特許出願の優先権を主張し、その内容全体は参照により本出願に組み込まれる。

本発明はコンピュータビジョン技術に関し、具体的には、心拍数の推定方法、装置及びそれを応用する電子機器に関する。

心電図は心電計を用いて、心臓の１回の心周期ごとに生じる電気的活動の変化パターンを体表から記録する技術である。該方法は精度が高いが、機器が高価であり、且つ専門家が操作する必要があり、装置が煩雑で、使用シーンが極めて限られている。

光電式容積脈波記録法（ＰＰＧ）は、光電手段によって生体組織における血液容積の変化を監視する非侵襲的な検出方法である。指間などの皮膚表面に一定の波長を使用した光が照射されると、光は透過又は反射の方式で光受信器に捕捉される。光は皮膚、筋肉、血液などに吸収されることによりプロセス全体を通して減衰し、光受信器に到達する光の強度は減少する。光の強度に対する皮膚、筋肉等の減衰作用は一定であるが、光に対する血管内の血液の減衰作用は、心臓の拍動に伴って拍動性の変化を呈する。心臓が収縮すると血管内の血液容積が増大し、吸収される光の強度が増加し、光受信器が受信する光の強度が弱まり、心臓が拡張する時には逆になる。この光の強度を電気信号に変換し、容積脈波によって血流の変化を得ることができる。該方法はセンサを人体部位に固定して緊密に接触させる必要があり、ユーザの使用方法及びシーンに対して多くの制限がある。

本開示の実施例は、接触させる方法でしか心拍数を推定することができないという従来技術における技術的課題を少なくとも解決する、心拍数の推定方法、装置及びそれを応用する電子機器を提供する。

本発明の実施例の一つの態様によれば、顔撮影ビデオを取得するステップと、前記顔撮影ビデオに対して顔検出を行い、心拍数を推定するために設定された顔局所領域を抽出するステップと、前記顔局所領域内の画素点の値に対して第１処理を行い、初期心拍数信号を取得するステップと、前記初期心拍数信号に対して時間領域－周波数領域変換を行い、周波数領域信号を取得するステップと、心拍数の推定範囲内で、前記周波数領域信号に対して第２処理を行い、心拍数の推定値を取得するステップと、を含む心拍数の推定方法を提供する。

好ましくは、赤外線カメラを用いて前記顔撮影ビデオを収集する。

好ましくは、前記顔局所領域は両眼以下の領域を含む。

好ましくは、心拍数の推定方法は、さらに、顔キーポイント位置決めと前記顔検出を組み合わせることで、心拍数を推定するために設定された前記顔局所領域を抽出するステップを含む。

好ましくは、前記顔局所領域内の画素点の値に対して第１処理を行い、初期心拍数信号を取得するステップは、前記顔局所領域内の画素点の値に対して重みに従って重み付け平均を行い、重み付け平均の値を現フレームの輝度信号とし、ただし、前記現フレームの輝度信号と履歴の前Ｎフレームの輝度信号が前記初期心拍数信号を構成するステップと、を含む。

好ましくは、前記初期心拍数信号に対して時間領域－周波数領域変換を行い、周波数領域信号を取得するステップは、高速フーリエ変換により前記初期心拍数信号を時間領域から周波数領域に変換し、前記周波数領域信号を取得するステップを含む。

好ましくは、前記画素点の前記顔局所領域内の位置に基づいて前記重みを設定し、前記画素点が顔局所領域内の辺縁位置に近ければ近いほど、前記画素点に対応する前記重みは小さくなる。

好ましくは、初期心拍数信号に対して時間領域－周波数領域変換を行う前に、前記心拍数の推定方法は、さらに、前記初期心拍数信号に対して時間領域においてＳ－Ｇ（Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ）フィルタリング、トレンド除去（Ｄｅｔｒｅｎｄ）フィルタリング、移動平均フィルタリング、正規化（Ｎｏｒｍａｌｉｚｅ）処理、バンドパス（Ｂａｎｄｐａｓｓ）フィルタリングのうち少なくとも一つを含む第１ノイズ除去処理を行うステップを含んでもよい。

好ましくは前記心拍数の推定範囲内で、周波数領域信号に対して第２処理を行い、心拍数の推定値を取得するステップは、心拍数の推定範囲内で、前記周波数領域信号に対してピーク検出を行い、ピーク値を取得するステップと、前記ピーク値をソートし、ソート結果を取得するステップと、前記ソート結果に基づき、信頼度を計算するステップと、前記信頼度に基づいて前記心拍数の推定値を取得するステップと、を含む。

好ましくは心拍数の推定範囲内で、周波数領域信号に対して第２処理を行い、心拍数の推定値を取得する前記ステップは、心拍数の推定範囲内で、周波数領域信号に対してピーク値検出を行い、最高ピーク値を取得するステップと、前記最高ピーク値の周波数を主周波数として、主周波数に対応する１次高調波及び２次高調波のエネルギーを計算し、エネルギー計算値を取得するステップと、前記エネルギー計算値を前記主周波数以外の残りの周波数のエネルギーで除算し、信頼度を取得するステップと、前記信頼度に基づいて前記心拍数の推定値を取得するステップと、を含む。

好ましくは、前記心拍数の推定範囲は予め設定される。

好ましくは、前記心拍数の推定方法は、さらに、検出時間が第２閾値を超過しているか否かを判断するステップと、前記検出時間が前記第２閾値を超過している場合、周波数領域信号に対して第３処理を行って心拍数の推定範囲を取得するステップと、を含む。

好ましくは、前記周波数領域信号に対して第３処理を行って心拍数の推定範囲を取得するステップは、スライディングウィンドウによって、連続したＸフレーム又はＸ秒間の周波数領域信号を絶えず選択して心拍数の値を取得し且つバッファリングし、次にディープラーニングの方法により心拍数の推定範囲を取得し、Ｍフレーム又はＭ秒内に該操作を繰り返し、且つ取得した全ての心拍数の推定範囲を平均することによって最終的な心拍数の推定範囲を取得するステップを含む。

好ましくは、トラバースする方式を用いてピーク値の高い順にピーク値をソートし、最高ピーク値と第２ピーク値をソート結果として選択し、最高ピーク値と第２ピーク値の比を信頼度とする。

好ましくは、前記信頼度に基づいて前記心拍数の推定値を取得する前記ステップは、前記信頼度を第１閾値と比較して、比較結果を取得するステップと、前記信頼度が前記第１閾値より小さい場合、前記比較結果は前記周波数領域信号がノイズにかなり妨害されていることを示しており、現在の結果を放棄して次のフレームの検出を行うステップと、前記信頼度が前記第１閾値以上である場合、前記比較結果は前記周波数領域信号がノイズに妨害されていないか又はノイズ妨害が少ないことを示しており、前記最高ピーク値に対応する周波数を前記心拍数の推定値として取得するステップと、を含む。

好ましくは、前記周波数領域信号に対して第２処理を行う前に、前記心拍数の推定方法は、さらに、前記周波数領域信号に対して離散フーリエ変換（ＤＦＴ）、バンドパス（Ｂａｎｄｐａｓｓ）フィルタリングのうち少なくとも一つ以上を含む第２ノイズ除去処理を行うステップを含む。

本発明の実施例の別の態様によれば、さらに、顔撮影ビデオを取得するように設定される撮影ユニットと、前記顔撮影ビデオに対して顔検出を行い、心拍数を推定するために設定された顔局所領域を抽出するように設定される検出ユニットと、前記顔局所領域内の画素点の値に対して第１処理を行い、初期心拍数信号を取得するように設定される第１処理ユニットと、前記初期心拍数信号に対して時間領域－周波数領域変換を行い、周波数領域信号を取得するように設定される変換ユニットと、心拍数の推定範囲内で、前記周波数領域信号に対して第２処理を行い、心拍数の推定値を取得するように設定される第２処理ユニットと、を含む心拍数の推定装置を提供する。本発明の実施例の別の態様によれば、さらに、プログラムが記憶された記憶媒体であって、前記プログラムを実行する時に前記記憶媒体が位置する機器を制御して上記いずれか一項に記載の心拍数の推定方法を実行する記憶媒体を提供する。

好ましくは、前記第２処理ユニットは、心拍数の推定範囲内で、前記周波数領域信号に対してピーク検出を行い、ピーク値を取得するように設定されるピーク検出モジュールと、前記ピーク値をソートし、ソート結果を取得するように設定されるソートモジュールと、前記ソート結果に基づき、信頼度を取得するように設定される信頼度計算モジュールと、前記信頼度に基づいて前記心拍数の推定値を取得するように設定される推定モジュールと、を含む。

好ましくは、前記第２処理ユニットは、心拍数の推定範囲内で、周波数領域信号に対してピーク値検出を行い、最高ピーク値を取得するように設定される最高ピーク値検出モジュールと、前記最高ピーク値の周波数を主周波数として、主周波数に対応する１次高調波及び２次高調波のエネルギーを計算し、エネルギー計算値を取得するように設定されるエネルギー計算モジュールと、前記エネルギー計算値を前記主周波数以外の残りの周波数のエネルギーで除算し、信頼度を取得するように設定される信頼度計算モジュールと、前記信頼度に基づいて前記心拍数の推定値を取得するように設定される推定モジュールと、を含む。

好ましくは、前記心拍数の推定装置は、さらに、検出時間が第２閾値を超過したか否かを判断するように設定される判断モジュールと、前記検出時間が前記第２閾値を超過した場合、周波数領域信号に対して第３処理を行って心拍数の推定範囲を取得するように設定される第３処理モジュールと、を含む。

本発明の実施例の別の態様によれば、さらに、プロセッサと、前記プロセッサの実行可能なコマンドを記憶するように設定されるメモリとを含み、前記プロセッサは前記実行可能なコマンドを実行することによって前記いずれか一項に記載の心拍数の推定方法を実行するように構成される電子機器を提供する。

本発明の実施例において、顔撮影ビデオを取得するステップと、前記顔撮影ビデオに対して顔検出を行い、心拍数を推定するために設定された顔局所領域を抽出するステップと、前記顔局所領域内の画素点の値に対して第１処理を行い、初期心拍数信号を取得するステップと、前記初期心拍数信号に対して時間領域－周波数領域変換を行い、周波数領域信号を取得するステップと、心拍数の推定範囲内で、前記周波数領域信号に対して第２処理を行い、心拍数の推定値を取得するステップと、を実行する。これにより、接触させる方法でしか心拍数を推定することができないという従来技術における技術的課題を解決する。

ここで説明される図面は本発明のさらなる理解を提供するために用いられ、本願の一部を構成しているが、本発明の例示的な実施例及びその説明は本発明を説明するために設けられており、本発明に対する不当な制限を構成するものではない。図面の説明は以下のとおりである。
図１は本発明の実施例に基づく第１の選択可能な心拍数の推定方法のフローチャートである。 図２は本発明の実施例に基づく選択可能な抽出された顔局所領域の概略図である。 図３は本発明の実施例に基づく第２の選択可能な心拍数の推定方法のフローチャートである。 図４は本発明の実施例に基づいて提供された心拍数の推定方法の応用シーン図である。 図５は本発明の実施例に基づく選択可能な心拍数の推定装置の構造ブロック図である。

当業者が本発明の解決手段をよりよく理解するために、以下に本発明の実施例における図面を参照しながら、本発明の実施例における技術的解決手段を明確、且つ完全に説明するが、明らかな点として、説明される実施例は本発明の一部の実施例に過ぎず、全ての実施例ではない。本発明の実施例に基づき、当業者が創造的な労力を要することなく取得した全ての他の実施例は、いずれも本発明の保護範囲に属するべきである。

なお、本発明の明細書と特許請求の範囲、及び上記図面における「第１」、「第２」等の用語は類似の対象を区別するために用いられるものであり、特定の順序又は前後を説明するために用いられる必要はない。このように使用される順序は、本明細書で説明される本発明の実施例を本明細書で図示又は説明された以外の順序で実施するために、適切な状況で交換され得ることを理解されたい。また、「含む」及び「有する」という用語及びそれらの任意の同義語は、排他的でない包含を網羅することを意図しており、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は装置が明示的に列挙されたそれらのステップ又はユニットに限定される必要はなく、明示的に列挙されないもの、或いはこれらのプロセス、方法、製品又は装置に固有の他のステップ又はユニットを含むことができる。

本発明の実施例は、少なくとも１つの撮像ユニットを有し、スマートフォン、タブレットコンピュータ、電子書籍リーダ、デスクトップコンピュータ、ワークステーション、サーバ、パーソナルデジタルアシスタント（ＰＤＡ）、ポータブルマルチメディアプレーヤ（ＰＭＰ）、医療機器、カメラ又はウェアラブル機器（腕時計、ブレスレット、眼鏡、ヘッドセットなどのアクセサリタイプの機器）、電子衣服、体内に埋め込み可能なチップ、車載電子機器等であってもよい電子機器に応用することができる。

以下に本発明の実施例の選択可能な心拍数の推定方法のフローチャートを説明する。なお、図面のフローチャートに示されるステップは、コマンドの実行が可能な一組のコンピュータのようなコンピュータシステムにおいて実行することができる。且つ、フローチャートに論理的順序が示されているが、ある状況において、ここに示される又は説明されるステップと異なる順序で実施することができる。

図１は、本発明の実施例に基づく第１の選択可能な心拍数の推定方法のフローチャートである。図１に示すように、該心拍数の推定方法はステップＳ１００、ステップＳ１０２、ステップＳ１０４、ステップＳ１０６、ステップＳ１１０を含む。

ステップＳ１００は、顔撮影ビデオを取得するステップである。

選択可能な実施例において、このステップは撮像装置（例えば、ＲＧＢカメラ、赤外線カメラ等）により顔撮影ビデオを取得し、一般的にフレームレートを２５ｆｐｓより大きくすることで、画面の連続性を保持し、心拍数の状態の捕捉に役立つ。赤外線カメラを用いる場合、赤外線は肉眼でほとんど見えないため、人の活動に影響を与えない。且つ、赤外線カメラを使用すると暗い光や複雑な光線による影響を避けることができ、一定の干渉防止及び遮蔽防止能力を有する。また、赤外線光源は送受信の波長帯が明確であるため、一般的なＲＧＢカメラによる手段を採用すると回避できない大量のノイズを効果的に除去することができ、さらに能動的な補光を実現する。赤外線光源は赤外線カメラに内蔵された光源であってもよく、外部の独立した光源であってもよい。撮像装置は独立したカメラであるか、又は他のカメラの全体又は一部と、１つ又は複数の撮像モジュールとして集積されてもよく、独立して取り付けられ、又は組み込み式又は外付けの方式で電子機器に取り付けられてもよい。

ステップＳ１０２は、顔撮影ビデオに対して顔検出を行い、心拍数を推定するために設定された顔局所領域を抽出するステップである。

選択可能な実施例において、このステップは、さらに、顔キーポイント位置決めを顔検出と組み合わせる方式により、心拍数を推定するために設定された顔局所領域を抽出することができる。顔キーポイントを導入することにより、心拍数を推定するために設定された顔局所領域をより正確に抽出することができ、顔が揺れた場合でも、動きによるぼやけや顔の変形により心拍数の推定値がずれることがない。

選択可能な実施例において、このステップで抽出する顔の局所領域は両眼以下の領域を含む。両眼以下の領域は顔の他の場所に比べてより多くの静脈分布を有し且つ遮蔽されにくいため、両眼以下の領域を顔局所領域として抽出し、心拍数の推定方法の精度を向上させることができる。

例えば、図２に示す本発明の実施例に基づく選択可能な抽出された顔局所領域の概略図は、顔キーポイント位置決めを顔検出と組み合わせる方式により、心拍数を推定するために設定された顔局所領域を抽出する。図２において、矩形枠２０は顔検出により確定された顔領域を示し、不規則なマスク枠２２は顔キーポイントにより抽出された顔局所領域を示す。

当然のことながら、当業者であれば、さらに、額、頬などの顔の他の領域を抽出して顔局所領域とすることができる。又は、創造的な労力を要さない場合、当業者は首、手首などの静脈が多い他の人体領域を抽出して心拍数を推定するための検出領域としてもよい。

ステップＳ１０４は、顔局所領域内の画素点の値に対して第１処理を行い、初期心拍数信号を取得するステップである。

選択可能な実施例において、このステップは、顔局所領域内の画素点の値に対して重みに従って重み付け平均を行い、重み付け平均の値を現フレームの輝度信号とし、ただし、現フレームの輝度信号と履歴の前Ｎフレームの輝度信号が初期心拍数信号を構成し、Ｎは１以上の整数であるステップと、を含む。ここで、画素点の顔局所領域内の位置に基づいて重みを設定し、画素点が顔局所領域内の辺縁位置に近ければ近いほど、該画素点に対応する重みが小さくなるようにすることができる。重みの値の範囲は０～１であってもよい。

ステップＳ１０６は、初期心拍数信号に対して時間領域－周波数領域変換を行い、周波数領域信号を取得するステップである。

選択可能な実施例において、初期心拍数信号に対して時間領域－周波数領域変換を行い、周波数領域信号を取得するステップは、高速フーリエ変換により初期心拍数信号を時間領域から周波数領域に変換し、周波数領域信号を取得するステップを含む。

選択可能な実施例において、初期心拍数信号に対して時間領域－周波数領域変換を行う前に、心拍数の推定方法は、さらに、初期心拍数信号に対して時間領域において第１ノイズ除去処理を行うステップを含んでもよい。ここで、第１ノイズ除去処理のステップは、Ｓ－Ｇ（Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ）フィルタリング、トレンド除去（Ｄｅｔｒｅｎｄ）フィルタリング、移動平均フィルタリング、正規化（Ｎｏｒｍａｌｉｚｅ）処理、バンドパス（Ｂａｎｄｐａｓｓ）フィルタリングのうち少なくとも一つを含む。Ｓ－Ｇ（Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ）フィルタリング及びトレンド除去（Ｄｅｔｒｅｎｄ）フィルタリングにより、信号ベースラインのシフトが信号に与える影響を低減するように設定することができる（例えば、周囲光の影響を除去する）。移動平均フィルタリングにより信号中のランダムノイズを除去するように設定することができる。正規化（Ｎｏｒｍａｌｉｚｅ）処理により信号処理を容易にし、計算効率を向上させることができる。バンドパス（Ｂａｎｄｐａｓｓ）フィルタリングにより正常な心拍数帯域の信号を処理することができる。上記第１ノイズ除去処理により高周波ノイズ、低周波ノイズ及び他の要因（例えば、運動）により導入されるノイズを除去することができ、それにより心拍数信号がより明瞭になり、周期性がより顕著になる。

ステップＳ１１０は、心拍数の推定範囲内で、周波数領域信号に対して第２処理を行い、心拍数の推定値を取得するステップである。

選択可能な実施例において、周波数領域信号に対して第２処理を行い、心拍数の推定値を取得するステップは、心拍数の推定範囲内で、周波数領域信号に対してピーク検出を行い、ピーク値を取得するステップＳ１１００と、ピーク値をソートし、ソート結果を取得するステップＳ１１０２と、ソート結果に基づき、信頼度を取得するステップＳ１１０４と、信頼度に基づいて心拍数の推定値を取得するステップＳ１１０６と、を含む。

選択可能な実施例において、トラバースする方式を用いてピーク値の高い順にピーク値をソートし、且つ必要に応じて最高ピーク値と第２ピーク値をソート結果として選択するなどして、ソート結果を取得する。最高ピーク値と第２ピーク値の比を信頼度とし、すなわち信頼度＝最高ピーク値／第２ピーク値である。

選択可能な実施例において、周波数領域信号に対して第２処理を行い、心拍数の推定値を取得するステップは、心拍数の推定範囲内で、周波数領域信号に対してピーク値検出を行い、最高ピーク値を取得するステップＳ１１１０と、最高ピーク値の周波数を主周波数として、主周波数及び主周波数における１次高調波のエネルギーを計算し、エネルギー計算値を取得するステップＳ１１１２と、エネルギー計算値を主周波数以外の残りの周波数のエネルギーで除算し、信頼度を取得するステップＳ１１１４と、信頼度に基づいて心拍数の推定値を取得するステップＳ１１１６と、を含む。

選択可能な実施例において、心拍数の推定範囲を予め設定することができる。例えば、人体の心拍数の限界値に基づき、心拍数の推定範囲を５０回／分～１８０回／分に予め設定することができる。

選択可能な実施例において、信頼度に基づいて心拍数の推定値を取得するステップは、信頼度を第１閾値と比較して、比較結果を取得するステップと、信頼度が第１閾値より小さい場合、比較結果は周波数領域信号がノイズにかなり妨害されていることを示しており、現在の周波数領域信号を放棄して次のフレームの検出を行うステップと、信頼度が第１閾値以上である場合、比較結果は周波数領域信号がノイズに妨害されていないか又はノイズ妨害が少ないことを示しており、最高ピーク値に対応する周波数を前記心拍数の推定値として取得するステップと、を含む。

選択可能な実施例において、周波数領域信号に対して第２処理を行う前に、前記心拍数の推定方法は、さらに、周波数領域信号に対して第２ノイズ除去処理を行うステップを含んでもよい。ここで、第２ノイズ除去処理の方法は、離散フーリエ変換（ＤＦＴ）、バンドパス（Ｂａｎｄｐａｓｓ）フィルタリングのうち少なくとも一つを含む。バンドパス（Ｂａｎｄｐａｓｓ）フィルタリングにより正常な心拍数帯域の信号を処理することができる。周波数領域信号に対して第２ノイズ除去処理を行うことにより、必要な主成分信号をさらに強調することができる。

上記実施例が提供する心拍数の推定方法において、心拍数の推定範囲が予め設定された場合、範囲の設定が適切でないため出力数値が不安定になる可能性がある。より正確でより安定した心拍数の推定を実現するために、本発明はさらに自動範囲推定機能を有する別の心拍数の推定方法を提供する。図３を参照し、これは本発明の実施例に基づく第２の選択可能な心拍数の推定方法のフローチャートである。図３に示すように、該心拍数の推定方法は、顔撮影ビデオを取得するステップＳ３００と、顔撮影ビデオに対して顔検出を行い、心拍数を推定するために設定された顔局所領域を抽出するステップＳ３０２と、顔局所領域内の画素点の値に対して第１処理を行い、初期心拍数信号を取得するステップＳ３０４と、初期心拍数信号に対して時間領域－周波数領域変換を行い、周波数領域信号を取得するステップＳ３０６と、検出時間が第２閾値を超過したか否かを判断するステップＳ３０７と、周波数領域信号に対して第３処理を行い、心拍数の推定範囲を取得するステップＳ３０８と、心拍数の推定範囲内で、周波数領域信号に対して第２処理を行い、心拍数の推定値を取得するステップＳ３１０と、を含む。

本実施例が提供する心拍数の推定方法において、ステップＳ３００、ステップＳ３０２、ステップＳ３０４、ステップＳ３０６、ステップＳ３１０はそれぞれ第１の実施例におけるステップＳ１００、ステップＳ１０２、ステップＳ１０４、ステップＳ１０６、ステップＳ１１０に対応し、ここでは説明を省略する。異なるのは、本実施例が提供する心拍数の推定方法はさらにステップＳ３０７及びステップＳ３０８を含むことであり、以下に具体的に説明する。

ステップＳ３０７において、第２閾値はＭフレーム又はＭ秒に設定することができ、Ｍは１以上の整数であり、検出時間を計時し且つ計時値を第２閾値と比較することにより、検出時間が第２閾値を超過したか否かを判断する。検出時間が前記第２閾値を超過した場合、ステップＳ３０７からステップＳ３０８にジャンプし、周波数領域信号に対して第３処理を行って心拍数の推定範囲を取得する。ここで、周波数領域信号に対して第３処理を行って心拍数の推定範囲を取得するステップは、スライディングウィンドウによって、連続したＸフレーム又はＸ秒間の周波数領域信号を絶えず選択して心拍数の値を取得し且つバッファリングし、次にディープラーニングの方法により心拍数の推定範囲を取得し、Ｍフレーム又はＭ秒内に該操作を繰り返し、且つ全ての心拍数の推定範囲を平均することによって最終的な心拍数の推定範囲を取得するステップを含んでもよい。検出時間が第２閾値を超過していない場合、ステップＳ３１０にジャンプし、心拍数の推定範囲内で、周波数領域信号に対して第２処理を行い、心拍数の推定値を取得する。

本発明の実施例が提供する心拍数の推定方法に基づいて、心拍数推定の検出に用いる以外にも、さらに呼吸数、経皮的動脈血酸素飽和度（ＳｐＯ２）及び血圧等の心血管パラメータの取得に用いて、身体の状況をモニタリングすることができる。このような心拍数の推定方法は各種の移動プラットフォーム、車載チップ、埋め込み式チップ等に応用することができ、大型で複雑なハードウェア装置を必要とせず、検出プロセスが簡単且つ迅速であり、人体に接触せず無害であり、同時に十分な精度を有し、従来の接触式検出方法が複雑なハードウェア装置に依存し且つ人体と接触させる必要があるという課題を解決し、心拍数の推定方法のロバスト性及び使用範囲を顕著に向上させる。

本発明の実施例の応用シーンのうち、図４に示す本発明の実施例に基づいて提供された心拍数の推定方法の応用シーン図のように、該心拍数の推定方法により運転者の身体の状況をモニタリングすることで、運転者が従来の接触式心拍数装置を装着すると運転に一定の影響を及ぼすという問題を防ぐことができ、図４に示す検出結果から分かるように、該心拍数の推定方法を用いて取得された推定の心拍数値（Ｅｓｔｉｍａｔｅｄ）は実際の心拍数値（Ｒｅａｌ）に近く、精度が非常に高い。且つ夜間、トンネル、逆光等の暗い光の条件下でも正確な心拍数の推定を実現でき、運転者の身体状況に対して追跡及び判断を継続し、運転者の心拍数の異常を検出した場合、警報を発して、運転サポート機能を起動することができる。また、当業者であれば分かるように、本発明の実施例が提供する心拍数の推定方法に基づき、さらに睡眠時心拍数のモニタリングなどに応用することができる。

本発明の実施例の別の態様によれば、さらに、心拍数の推定装置を提供する。図５は、本発明の実施例に基づく選択可能な心拍数の推定装置の構造ブロック図である。図５に示すように、心拍数の推定装置５０は、撮像ユニット５００と、検出ユニット５０２と、第１処理ユニット５０４と、変換ユニット５０６と、第２処理ユニット５１０と、を含む。

以下に心拍数の推定装置５０に含まれる各ユニットについて具体的に説明する。

撮像ユニット５００は、顔撮影ビデオを取得するように設定される。

選択可能な実施例において、撮像ユニット５００はＲＧＢカメラ、赤外線カメラなどであってもよく、一般的にフレームレートを２５ｆｐｓより大きくすることで、画面の連続性を保持し、心拍数の状態の捕捉に役立つ。赤外線カメラを用いる場合、赤外線は肉眼でほとんど見えないため、人の活動に影響を与えない。且つ、赤外線カメラを使用すると暗い光や複雑な光線による影響を避けることができ、一定の干渉防止及び遮蔽防止能力を有する。また、赤外線光源は送受信の波長帯が明確であるため、一般的なＲＧＢカメラによる手段を採用すると回避できない大量のノイズを効果的に除去することができ、さらに能動的な補光を実現する。赤外線光源は赤外線カメラに内蔵された光源であってもよく、外部の独立した光源であってもよい。撮像ユニット５００は独立したカメラであるか、又は他のカメラの全体又は一部と、１つ又は複数の撮像モジュールとして集積されてもよく、独立して取り付けられ、又は組み込み式又は外付けの方式で電子機器に取り付けられてもよい。

検出ユニット５０２は、顔撮影ビデオに対して顔検出を行い、心拍数を推定するために設定された顔局所領域を抽出するように設定される。

選択可能な実施例において、検出ユニット５０２は顔検出するために設定された顔検出モジュール５０２０を含む以外に、さらに、顔検出モジュール５０２０と組み合わせて、心拍数を推定するために設定された顔局所領域を抽出するように設定される顔キーポイント位置決めモジュール５０２２を含んでもよい。顔キーポイント位置決めモジュール５０２２を導入することにより、心拍数を推定するために設定された顔局所領域をより正確に抽出することができ、顔が揺れた場合でも、動きによるぼやけや顔の変形により心拍数の推定値がずれることがない。

選択可能な実施例において、このステップで抽出する顔の局所領域は両眼以下の領域を含む。両眼以下の領域は顔の他の場所に比べてより多くの静脈分布を有し且つ遮蔽されにくいため、両眼以下の領域を顔局所領域として抽出し、心拍数の推定方法の精度を向上させることができる。

第１処理ユニット５０４は、顔局所領域内の画素点の値に対して第１処理を行い、初期心拍数信号を取得するように設定される。

選択可能な実施例において、第１処理ユニット５０４は、顔局所領域内の画素点の値に対して重みに従って重み付け平均を行い、重み付け平均の値を現フレームの輝度信号とするように設定される輝度信号取得モジュール５０４０と、現フレームの輝度信号と履歴の前Ｎフレームの輝度信号に基づいて初期心拍数信号を取得し、Ｎは１以上の整数であるように設定される初期心拍数信号取得モジュール５０４２と、を含む。ここで、画素点の顔局所領域内の位置に基づいて重みを設定し、画素点が顔局所領域内の辺縁位置に近ければ近いほど、該画素点に対応する重みが小さくなるようにすることができる。重みの値の範囲は０－１であってもよい。

変換ユニット５０６は、初期心拍数信号に対して時間領域－周波数領域変換を行い、周波数領域信号を取得するように設定される。

選択可能な実施例において、変換ユニット５０６は、高速フーリエ変換により初期心拍数信号を時間領域から周波数領域に変換し、周波数領域信号を取得することができる。

選択可能な実施例において、心拍数推定装置５０は、さらに、初期心拍数信号に対して時間領域－周波数領域変換を行う前に、初期心拍数信号に対して時間領域において第１ノイズ除去処理を行うように設定される第１ノイズ除去モジュールを含んでもよい。ここで、第１ノイズ除去処理の方法は、Ｓ－Ｇ（Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ）フィルタリング、トレンド除去（Ｄｅｔｒｅｎｄ）フィルタリング、移動平均フィルタリング、正規化（Ｎｏｒｍａｌｉｚｅ）処理、バンドパス（Ｂａｎｄｐａｓｓ）フィルタリングのうち少なくとも一つ以上を含む。Ｓ－Ｇ（Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ）フィルタリング及びトレンド除去（Ｄｅｔｒｅｎｄ）フィルタリングにより、信号ベースラインのシフトが信号に与える影響を低減するように設定することができる（例えば、周囲光の影響を除去する）。移動平均フィルタリングにより信号中のランダムノイズを除去するように設定することができる。正規化（Ｎｏｒｍａｌｉｚｅ）処理により信号処理を容易にし、計算効率を向上させることができる。バンドパス（Ｂａｎｄｐａｓｓ）フィルタリングにより正常な心拍数帯域の信号を処理することができる。上記第１ノイズ除去処理により高周波ノイズ、低周波ノイズ及び他の要因（例えば、運動）により導入されるノイズを除去することができ、それにより心拍数信号がより明瞭になり、周期性がより顕著になる。

第２処理ユニット５１０は、心拍数の推定範囲内で、周波数領域信号に対して第２処理を行い、心拍数の推定値を取得するように設定される。

選択可能な実施例において、第２処理ユニット５１０は、心拍数の推定範囲内で、周波数領域信号に対してピーク検出を行い、ピーク値を取得するように設定されるピーク検出モジュール５１００と、ピーク値をソートし、ソート結果を取得するように設定されるソートモジュール５１０２と、ソート結果に基づき、信頼度を計算するように設定される信頼度計算モジュール５１０４と、信頼度に基づいて心拍数の推定値を取得するように設定される推定モジュール５１０６と、を含む。

選択可能な実施例において、トラバースする方式を用いてピーク値の高い順にピーク値をソートし、且つ必要に応じて最高ピーク値と第２ピーク値をソート結果として選択するなどして、ソート結果を取得する。最高ピーク値と第２ピーク値の比を信頼度とし、すなわち信頼度＝最高ピーク値／第２ピーク値である。

選択可能な実施例において、第２処理ユニット５１０は、心拍数の推定範囲内で、周波数領域信号に対してピーク値検出を行い、最高ピーク値を取得するように設定される最高ピーク値検出モジュール５１１０と、最高ピーク値の周波数を主周波数として、主周波数に対応する１次高調波及び２次高調波のエネルギーを計算し、エネルギー計算値を取得するように設定されるエネルギー計算モジュール５１１２と、エネルギー計算値を主周波数以外の残りの周波数のエネルギーで除算し、信頼度を取得するように設定される信頼度計算モジュール５１１４と、信頼度に基づいて心拍数の推定値を取得するように設定される推定モジュール５１１６と、を含む。

選択可能な実施例において、心拍数の推定範囲を予め設定することができる。例えば、人体の心拍数の限界値に基づき、心拍数の推定範囲を５０回／分～２４０回／分に予め設定することができる。

選択可能な実施例において、推定モジュール５１０６は、信頼度を第１閾値と比較して、比較結果を取得するステップと、信頼度が第１閾値より小さい場合、比較結果は周波数領域信号がノイズにかなり妨害されていることを示しており、現在の周波数領域信号を放棄して次のフレームの検出を行うステップと、信頼度が第１閾値以上である場合、比較結果は周波数領域信号がノイズに妨害されていないか又はノイズ妨害が少ないことを示しており、最高ピーク値に対応する周波数を前記心拍数の推定値として取得するステップと、を実行するように設定される。

選択可能な実施例において、心拍数推定装置５０は、さらに、周波数領域信号に対して第２処理を行う前に、周波数領域信号に対して第２ノイズ除去処理を行うように設定される第２ノイズ除去モジュールを含んでもよい。ここで、第２ノイズ除去処理の方法は、離散フーリエ変換（ＤＦＴ）、バンドパス（Ｂａｎｄｐａｓｓ）フィルタリングのうち少なくとも一つ以上を含む。バンドパス（Ｂａｎｄｐａｓｓ）フィルタリングにより正常な心拍数帯域の信号を処理することができる。周波数領域信号に対して第２ノイズ除去処理を行うことにより、必要な主成分信号をさらに強調することができる。

選択可能な実施例において、心拍数推定装置５０は、さらに、検出時間が第２閾値を超過したか否かを判断し、検出時間を計時し且つ計時値を第２閾値と比較することにより、検出時間が第２閾値を超過したか否かを判断する判断モジュール５０７であって、第２閾値はＭフレーム又はＭ秒に設定することができ、Ｍは１以上の整数であるように設定される判断モジュール５０７と、前記検出時間が前記第２閾値を超過した場合、周波数領域信号に対して第３処理を行って心拍数の推定範囲を取得するように設定される第３処理モジュール５０８と、を含む。ここで、周波数領域信号に対して第３処理を行って心拍数の推定範囲を取得するステップは、スライディングウィンドウによって、連続したＸフレーム又はＸ秒間の周波数領域信号を絶えず選択して心拍数の値を取得し且つバッファリングし、次にディープラーニングの方法により心拍数の推定範囲を取得し、Ｍフレーム又はＭ秒内に該操作を繰り返し、且つ取得した全ての心拍数の推定範囲を平均することによって最終的な心拍数の推定範囲を取得するステップを含んでもよい。検出時間が第２閾値を超過していない場合、第２処理ユニット５１０は、心拍数の推定範囲内で、周波数領域信号に対して第２処理を行い、心拍数の推定値を取得する。

本発明の実施例の別の態様によれば、さらに、プロセッサと、プロセッサの実行可能なコマンドを記憶するように設定されるメモリとを含み、プロセッサは実行可能なコマンドを実行することによって上記いずれか一項に記載の心拍数の推定方法を実行するように構成される電子機器を提供する。

本発明の実施例の別の態様によれば、さらに、プログラムが記憶された記憶媒体であって、プログラムを実行する時に記憶媒体が位置する機器を制御して上記いずれか一項に記載の心拍数の推定方法を実行する記憶媒体を提供する。

上記本発明の実施例番号は説明のためのものであり、実施例の優劣を表すものではない。

本発明の上記実施例において、各実施例に対する説明はいずれもある方面に重点が置かれており、ある実施例において詳述されていない部分は、他の実施例の関連説明を参照することができる。

本出願が提供するいくつかの実施例において、当然のことながら、開示された技術内容は、他の方式で実現することができる。これまで説明された装置の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は論理機能の分割であってもよく、実際に実現する時には他の分割方式を有してもよく、例えば複数のユニット又はアセンブリを別のシステムに組み合わせるか又は集積してもよく、又はいくつかの特徴を無視し、又は実行しなくてもよい。別の点では、図示又は議論される相互の結合又は直接的な結合、又は通信接続は、インターフェース、ユニット又はモジュールを介した間接的な結合又は通信接続であってもよく、電気的又は他の形態であってもよい。

前記分離部材として説明されたユニットは物理的に分離してもよく又は分離しなくてもよく、ユニットとして示された部材は物理的ユニットであってもよく又はそうでなくてもよく、すなわち一箇所に位置してもよく、又は複数のユニットに分布していてもよい。実際の必要に応じてそのうちの一部又は全てのユニットを選択して本実施例の解決手段の目的を達成することができる。

また、本発明の各実施例における各機能ユニットは１つの処理ユニットに集積されてもよく、各ユニットが単独で物理的に存在してもよく、２つ以上のユニットが１つのユニットに集積されてもよい。上記集積されるユニットはハードウェアの形式で実現してもよく、ソフトウェア機能ユニットの形式で実現してもよい。

上記集積されるユニットがソフトウェア機能ユニットの形式で実現され且つ独立した製品として販売又は使用される場合、コンピュータで読み取り可能な記憶媒体に記憶することができる。このような理解に基づき、本発明の技術的解決手段は、実質的部分である従来技術に寄与する部分又は該技術的解決手段の全て又は一部をソフトウェア製品の形式で実現することができる。該コンピュータソフトウェア製品は、記憶媒体に記憶される製品であり、１台のコンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワーク装置等であってもよい）により本発明の各実施例に記載の方法の全て又は一部のステップを実行するいくつかのコマンドが含まれる。上記記憶媒体はＵＳＢメモリ、リードオンリーメモリ（ＲＯＭ、Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、リムーバブルハードディスク、磁気ディスク又は光ディスク等のプログラムコードを記憶可能な各種媒体を含む。

以上の記載は本発明の好ましい実施形態に過ぎず、明らかなこととして、当業者であれば、本発明の原理から逸脱しない前提で、更に幾つかの改良及び変更を行うことができ、それらの改良及び変更も本発明の保護範囲とみなされるべきである。

本願の実施例が提供する手段は身体の状況をモニタリングすることができ、本願の実施例が提供する技術的解決手段は、各種の移動プラットフォーム、車載チップ、埋め込み式チップ等の少なくとも１つの撮像ユニットを有する電子機器に応用することができ、大型で複雑なハードウェア装置を必要とせず、検出プロセスが簡単且つ迅速であり、人体に接触せず無害であり、同時に十分な精度を有し、従来の接触式検出方法が複雑なハードウェア装置に依存し且つ人体と接触させる必要があるという課題を解決し、心拍数の推定方法のロバスト性及び使用範囲を顕著に向上させる。運転者の身体状況に対して追跡及び判断を継続し、運転者の心拍数の異常を検出した場合、警報を発して、運転サポート機能を起動することができる。

Claims (22)

1. 顔撮影ビデオを取得するステップと、
   前記顔撮影ビデオに対して顔検出を行い、心拍数を推定するために設定された顔局所領域を抽出するステップと、
   前記顔局所領域内の画素点の値に対して第１処理を行い、初期心拍数信号を取得するステップと、
   前記初期心拍数信号に対して時間領域－周波数領域変換を行い、周波数領域信号を取得するステップと、
   心拍数の推定範囲内で、前記周波数領域信号に対して第２処理を行い、心拍数の推定値を取得するステップと、
   を含む心拍数の推定方法。
2. 赤外線カメラを用いて前記顔撮影ビデオを取得する、請求項１に記載の心拍数の推定方法。
3. 前記顔局所領域は両眼以下の領域を含む、請求項１に記載の心拍数の推定方法。
4. 顔キーポイント位置決めと前記顔検出を組み合わせることで、心拍数を推定するために設定された前記顔局所領域を抽出するステップをさらに含む、請求項１に記載の心拍数の推定方法。
5. 前記顔局所領域内の画素点の値に対して第１処理を行い、初期心拍数信号を取得する前記ステップは、前記顔局所領域内の画素点の値に対して重みに従って重み付け平均を行い、重み付け平均の値を現フレームの輝度信号とし、前記現フレームの輝度信号と履歴の前Ｎフレームの輝度信号が前記初期心拍数信号を構成するステップと、を含む、請求項１に記載の心拍数の推定方法。
6. 前記初期心拍数信号に対して時間領域－周波数領域変換を行い、周波数領域信号を取得する前記ステップは、高速フーリエ変換により前記初期心拍数信号を時間領域から周波数領域に変換し、前記周波数領域信号を取得するステップを含む、請求項１に記載の心拍数の推定方法。
7. 前記画素点の前記顔局所領域内の位置に基づいて前記重みを設定し、前記画素点が顔局所領域内の辺縁位置に近ければ近いほど、前記画素点に対応する前記重みは小さくなる、請求項５に記載の心拍数の推定方法。
8. 初期心拍数信号に対して時間領域－周波数領域変換を行う前に、前記心拍数の推定方法は、さらに、前記初期心拍数信号に対して時間領域においてＳ－Ｇ（Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ）フィルタリング、トレンド除去（Ｄｅｔｒｅｎｄ）フィルタリング、移動平均フィルタリング、正規化（Ｎｏｒｍａｌｉｚｅ）処理、バンドパス（Ｂａｎｄｐａｓｓ）フィルタリングのうち少なくとも一つを含む第１ノイズ除去処理を行うステップを含む、請求項１に記載の心拍数の推定方法。
9. 心拍数の推定範囲内で、周波数領域信号に対して第２処理を行い、心拍数の推定値を取得する前記ステップは、
   心拍数の推定範囲内で、前記周波数領域信号に対してピーク検出を行い、ピーク値を取得するステップと、
   前記ピーク値をソートし、ソート結果を取得するステップと、
   前記ソート結果に基づき、信頼度を取得するステップと、
   前記信頼度に基づいて前記心拍数の推定値を取得するステップと、
   を含む、請求項１に記載の心拍数の推定方法。
10. 心拍数の推定範囲内で、周波数領域信号に対して第２処理を行い、心拍数の推定値を取得する前記ステップは、
    心拍数の推定範囲内で、周波数領域信号に対してピーク値検出を行い、最高ピーク値を取得するステップと、
    前記最高ピーク値の周波数を主周波数として、主周波数に対応する１次高調波及び２次高調波のエネルギーを計算し、エネルギー計算値を取得するステップと、
    前記エネルギー計算値を前記主周波数以外の残りの周波数のエネルギーで除算し、信頼度を取得するステップと、
    前記信頼度に基づいて前記心拍数の推定値を取得するステップと、
    を含む、請求項１に記載の心拍数の推定方法。
11. 前記心拍数の推定範囲は予め設定される、請求項１に記載の心拍数の推定方法。
12. 前記心拍数の推定方法は、さらに、
    検出時間が第２閾値を超過しているか否かを判断するステップと、
    前記検出時間が前記第２閾値を超過している場合、周波数領域信号に対して第３処理を行って心拍数の推定範囲を取得するステップと、を含む、請求項１０に記載の心拍数の推定方法。
13. 周波数領域信号に対して第３処理を行って心拍数の推定範囲を取得する前記ステップは、スライディングウィンドウによって、連続したＸフレーム又はＸ秒間の周波数領域信号を絶えず選択して心拍数の値を取得し且つバッファリングし、次にディープラーニングの方法により心拍数の推定範囲を取得し、Ｍフレーム又はＭ秒内に該操作を繰り返し、且つ取得した全ての心拍数の推定範囲を平均することによって最終的な心拍数の推定範囲を取得するステップを含む、請求項１２に記載の心拍数の推定方法。
14. トラバースする方式を用いてピーク値の高い順にピーク値をソートし、最高ピーク値と第２ピーク値をソート結果として選択し、最高ピーク値と第２ピーク値の比を信頼度とする、請求項９に記載の心拍数の推定方法。
15. 前記信頼度に基づいて前記心拍数の推定値を取得する前記ステップは、
    前記信頼度を第１閾値と比較して、比較結果を取得するステップと、
    前記信頼度が前記第１閾値より小さい場合、前記比較結果は前記周波数領域信号がノイズにかなり妨害されていることを示しており、現在の結果を放棄して次のフレームの検出を行うステップと、
    前記信頼度が前記第１閾値以上である場合、前記比較結果は前記周波数領域信号がノイズに妨害されていないか又はノイズ妨害が少ないことを示しており、前記最高ピーク値に対応する周波数を前記心拍数の推定値として取得するステップと、
    を含む、請求項１２に記載の心拍数の推定方法。
16. 前記周波数領域信号に対して第２処理を行う前に、前記心拍数の推定方法は、さらに、前記周波数領域信号に対して離散フーリエ変換（ＤＦＴ）、バンドパス（Ｂａｎｄｐａｓｓ）フィルタリングのうち少なくとも一つ以上を含む第２ノイズ除去処理を行うステップを含む、請求項１に記載の心拍数の推定方法。
17. 顔撮影ビデオを取得するように設定される撮影ユニットと、
    前記顔撮影ビデオに対して顔検出を行い、心拍数を推定するために設定された顔局所領域を抽出するように設定される検出ユニットと、
    前記顔局所領域内の画素点の値に対して第１処理を行い、初期心拍数信号を取得するように設定される第１処理ユニットと、
    前記初期心拍数信号に対して時間領域－周波数領域変換を行い、周波数領域信号を取得するように設定される変換ユニットと、
    心拍数の推定範囲内で、前記周波数領域信号に対して第２処理を行い、心拍数の推定値を取得するように設定される第２処理ユニットと、
    を含む、心拍数の推定装置。
18. 前記第２処理ユニットは、
    心拍数の推定範囲内で、前記周波数領域信号に対してピーク検出を行い、ピーク値を取得するように設定されるピーク検出モジュールと、
    前記ピーク値をソートし、ソート結果を取得するように設定されるソートモジュールと、
    前記ソート結果に基づき、信頼度を取得するように設定される信頼度計算モジュールと、
    前記信頼度に基づいて前記心拍数の推定値を取得するように設定される推定モジュールと、
    を含む、請求項１７に記載の心拍数の推定装置。
19. 前記第２処理ユニットは、
    心拍数の推定範囲内で、周波数領域信号に対してピーク値検出を行い、最高ピーク値を取得するように設定される最高ピーク値検出モジュールと、
    前記最高ピーク値の周波数を主周波数として、主周波数に対応する１次高調波及び２次高調波のエネルギーを計算し、エネルギー計算値を取得するように設定されるエネルギー計算モジュールと、
    前記エネルギー計算値を前記主周波数以外の残りの周波数のエネルギーで除算し、信頼度を取得するように設定される信頼度計算モジュールと、
    前記信頼度に基づいて前記心拍数の推定値を取得するように設定される推定モジュールと、
    を含む、請求項１７に記載の心拍数の推定装置。
20. 前記心拍数の推定装置は、さらに、
    検出時間が第２閾値を超過したか否かを判断するように設定される判断モジュールと、
    前記検出時間が前記第２閾値を超過した場合、周波数領域信号に対して第３処理を行って心拍数の推定範囲を取得するように設定される第３処理モジュールと、
    を含む、請求項１７に記載の心拍数の推定装置。
21. プログラムが記憶された記憶媒体であって、前記プログラムを実行する時に前記記憶媒体が位置する機器を制御して請求項１～１６のいずれか一項に記載の心拍数の推定方法を実行する記憶媒体。
22. プロセッサと、
    前記プロセッサの実行可能なコマンドを記憶するように設定されるメモリと、を含み、
    前記プロセッサは前記実行可能なコマンドを実行することによって請求項１～１６のいずれか一項に記載の心拍数の推定方法を実行するように構成される電子機器。

Images