JP2013506927A - 画素値に基づく少なくとも値の変化を表す時間変化する信号の形成 - Google Patents

Abstract

画像の系列からの画素値に基づいて、生物の周期的な現象を表す構成要素を少なくとも表す時間変化する信号を形成及び処理する方法は、画像の系列を取得することを含む。画素値のサブセットの複数のグループは、関連するサブセットのグループを形成するために、間隔を規定する少なくとも２つの画像のそれぞれから少なくとも１つの画素値のサブセットを選択することにより形成される。サブセットのグループは、少なくとも１つの選択基準に従って選択される。サブセットの選択されたグループは、系列の長さより短い異なる間隔をカバーする。最後に、この方法は、サブセットの選択されたグループから信号セグメントを抽出するステップと、この信号セグメントを融合することにより時間変化する信号を形成するステップと、フォトプレチスモグラフィを使用してこの時間変化する信号から関心のある生物測定信号に対応する情報を抽出するステップとを有する。

Description

本発明は、画像の系列からの画素値に基づいて少なくとも値の変化を表す時間変化する信号を形成する方法及びシステムに関する。本発明はまた、コンピュータプログラムに関する。

US2009/0141124A1は、対象の整列（subject alignment）、信号拡張及び調和解析を使用した赤外線ビデオに基づく生命徴候の測定システム及び方法に関する。この方法では、測定される血管を見つけるために、最初に輪郭セグメンテーション（contour segmentation）が実行される。次に、対応する領域を分割するために、同じ一式のセグメンテーションパラメータが全てのフレームで使用される。その後、セグメンテーションの位置及び各フレームのスケールに基づいてフレームを通じて選択された領域の全ての画素を整列することにより、動き補償が実行される。輪郭セグメンテーション及び動き補償の後に、心拍に関係ない雑音を除去するために空間フィルタリングが実行され、それぞれ整列された画素系列に対応する時間信号を処理するために非線形フィルタリングが実行される。次に、各画素の信号スペクトルは、外れ値を除去するクラスタリングアルゴリズムに供給される。最大のクラスタの画素が主要周波数を選択するために使用され、主要周波数の中央値がパルスレートとして出力される。

既知の方法の問題は、セグメントの整列が十分に正確に行われていない場合、外れ値の除去がうまく機能しないことにある。特定の状況では、特に対応する画素の差が画素値の量子化誤差以下である場合、整列は十分に正確ではない。

スペクトル解析に使用される更に正確な時間変化する信号を実現し、例えば、ビデオ画像の系列から生物測定パラメータの値を判定することを可能にする上記の種類の方法、システム及びコンピュータプログラムを提供することが望まれる。

このため、本発明の１つの態様によれば、本発明に従って画素値に基づいて少なくとも値の変化を表す時間変化する信号を形成する方法が提供される。この方法は、画像の系列を取得し、関連するサブセットのグループを形成するために、間隔を規定する少なくとも２つの画像のそれぞれから少なくとも１つの画素値のサブセットを選択することにより、画素値のサブセットの複数のグループを形成し、ただし、同じ画像からのサブセットのみを有するグループのいずれかの対について、１つより多くの画像からのサブセットは異なり、少なくとも１つの選択基準に従って信号を形成するように、サブセットのグループを選択することを含み、サブセットの選択されたグループは、系列の長さより短い異なる間隔をカバーする。

少なくとも２つの画像のそれぞれから画素値のサブセットのグループが選択されるため、全てがスペクトル解析に必要になる差を構築することが可能になる。従って、この方法により得られた信号は、画像の少なくとも特定の部分の少なくとも色調及び／又は強度の変化を表す。この信号は、画像のその特定の部分に表された個人の心拍数又は呼吸数を判定するために使用可能である。信号の異なる間隔をカバーするために別々に選択ステップを実行することにより、対応するサブセットの異なる対が異なる間隔に使用可能になる。例えば、第１のサブセットが第１の画像から選択され、対応するサブセットが第２の画像から選択される場合、その対は信号で使用可能である。例えば、画像の次の対に対応する信号の次の間隔では、第１の画像からの第１のサブセットに対応しない、対応するサブセットの対が選択される。小さい信号変化のみが、定量化される周期的な現象の値（例えば、画像の系列に表される人の心拍数又は呼吸数のような生物測定パラメータ）を判定することに関係する。この方法は、周期的な現象を特徴付ける値を判定する際に使用する信号を形成するために、第１の画像の画素の特定のサブセットに対応する領域が画像の全体の系列を通じて必ずしもトラッキングされる必要はないという点で、この認識に基づく。むしろ、適切なグループが異なる間隔について選択され、グループのいずれかより長い信号を形成するために融合（fuse）される。従って、この方法は、同じ画像のサブセットのみを有するグループのいずれかの対について、１つより多くの画像からのサブセットが異なるという点で、単一の関心のある領域が画像の系列を通じてトラッキングされる方法とは異なる。

実施例では、グループは、グリッドにより規定される対応する空間開口（spatial aperture）内の各画像の対応する画素値をそれぞれ有する画素値の時空間量を取得するために、取得された画像に少なくとも基づいて複数の画像のそれぞれの少なくとも領域でグリッドを用意することにより形成される。

複数の画像のそれぞれの類似するサブセットを検索する必要がないという効果がある。グループは、単に２つ以上の画像の対応する位置でのサブセットから形成される。

この実施例の変形例は、グループ毎に、特定の種類の表面の一部を表すか否かを判定するために、空間開口により規定された画素値の少なくとも１つのサブセットを分析する。

特に、画素の１つ以上のサブセットは、生物（特に、人間）の露出した皮膚の領域の部分を表すことを示す特徴を有するか否かを判定するために分析されてもよい。この実施例は、この方法がフォトプレチスモグラフィ（photoplethysmographic）方法に関して使用されている場合に有用である。これは、時間変化する信号がこれに関する鼓動する血流のため、反射における変化を表すことを確保するのに役立つ。

この方法の実施例では、グループは、取得された画像の系列に少なくとも基づいて画像の系列からの画素値の時空間量を取得することにより形成される。それぞれの量は、系列の間隔内の各画像からの空間開口内の画素値を有し、この方法は、系列の異なる間隔で規定されたグループについて異なる開口を使用することを含む。

この実施例は、特に異なる時点（画像の系列における異なる間隔に対応する）での開口のサイズの調整を可能にする。これは、大きい空間開口を有することは、ランダム雑音を低減するように結合可能な多くの画素値が存在するが、大きい開口を有することはまた、動きのアーティファクト（motion artifact）又は照明の変化のため、グループが少なくとも１つの選択基準を満たさない可能性を増加させるという問題に対処する。実施例では、開口のサイズは、開口内の画素のサブセットの均一性に依存する。均一性は、物体セグメンテーション、色調セグメンテーション及び／又は背景・前景セグメンテーションを使用して判定されてもよい。これは、画像に表される物体の実際の輝度の変化によらないが、特徴が時空間量の期間に空間開口に入るという事実による、画素値に基づく値の時間変化が検出される状況を回避するのに役立つ。

実施例では、グループは、取得された画像の系列に少なくとも基づいて、画像の系列から画素値の時空間量を取得することにより形成される。それぞれの量は、系列の間隔内の各画像からの空間開口内の画素値を有し、この方法は、系列の異なる間隔で規定されたグループについて異なる間隔長を使用することを含む。

この実施例は、長い間隔を有することは、行われる必要がある処理量を増加させ得るが、除去可能な動きのアーティファクトを検出可能にするという問題に対処する。

実施例では、グループは、取得された画像の系列に少なくとも基づいて、画像の系列から画素値の時空間量を取得することにより形成される。それぞれの量は、系列の間隔内の各画像からの空間開口内の画素値を有し、少なくとも１つの選択基準の評価は、空間均一性の尺度を判定することと、時間均一性の尺度を判定することとのうち少なくとも１つを含む。

時間均一性の尺度は、特定の周波数範囲に制限されてもよい。この実施例は、不安定な測定及び動き又は照明のアーティファクトへの脆弱性の問題に対処する。空間均一性の尺度を使用することにより、均一な領域を有するグループのみ（すなわち、空間均一性の最小絶対値を満たすもの、又は他のグループに対して単に最も均一なもの）を選択することが可能になる。不均一性は、直ちに動きのアーティファクトをもたらし、時空間量の画素値に基づいて時間変化する信号で表される色調又は強度の時間変化が、実際には時空間量を規定する空間開口への更に暗い又は明るい領域の移動によるものであることを意味する。時間均一性の尺度を使用することはまた、関心のあるもの以外の時間変化が時間変化する信号に入ることを妨げる。

実施例では、グループは、取得された画像の系列に少なくとも基づいて、画像の系列から画素値の時空間量を取得することにより形成される。それぞれの量は、系列の間隔内の各画像からの空間開口内の画素値を有し、この方法は、各開口からの複数の画素値を値に結合することにより、それぞれ選択されたグループから信号部分を抽出することを更に含む。

結合ステップは、ランダム雑音を除去するのに役立つ。特定の変形例では、信号部分の抽出は、画素値の空間結合に基づいて値の時間変化のみを表す信号部分を取得することを含む。特に、これらは、特定の振幅より下の変化及び／又は特定の限られた周波数内での変化でもよい。最大振幅は、絶対振幅又は相対振幅（例えば、移動平均の最大の割合）でもよい。

この実施例の変形例では、時間変化する信号は、信号部分を入力として取る融合動作（fusion operation）により形成される。信号部分は、時間変化する信号に影響を及ぼす程度を判定する異なる重みで、融合動作に関係する。

この実施例は、或る信号部分が他のものより関心のある現象の明確な構成要素（成分）の特徴を含むという事実を考慮に入れる。例えば、或る部分は、血流により皮膚反射の変化を表す比較的明確な構成要素（成分）を有する。また、特定の信号部分が多くの情報を伝達するように、他のものより長い場合も存在する。これは、融合処理でこれらの部分を強調することに役立ててもよい。

この方法の実施例では、グループは、取得された画像の系列の１つに少なくとも基づいて第１の画像から少なくとも１つの画素値の第１のサブセットを選択し、取得された画像の系列のそれぞれ１つに少なくとも基づいて少なくとも１つの更なる画像のそれぞれの類似するサブセットを見つけることにより形成される。

類似するサブセットは、少なくともサイズの拡大若しくは縮小及び／又は回転の後の少なくとも或る程度まで表現するものに対応する。この実施例は、移動する物体の画素値の変化を取得するのに有用である。

実施例では、更なる画像のうち少なくとも１つの類似するサブセットは、予想動きベクトルを取得し、少なくとも１つの類似基準に対して評価する候補サブセットを選択するように予想動きベクトルを変更することにより形成される。

この実施例は、サブセット毎に別々の動きベクトルを使用するため、比較的高い精度で類似するサブセットを検出することができる。しかし、網羅的な検索を利用しないため、非常に計算上高コストにはならない。

実施例では、グループを形成することは、取得された画像の系列の各画像に少なくとも基づいて少なくとも２つの画像の系列のそれぞれの限られた関心のある領域のみからサブセットを選択することを含む。

この実施例は、同じ種類の異なる物体（例えば、２つの生物）を表す画像の系列に対処することができる。更に、計算効率が高い。

本発明の他の態様によれば、画像の系列からの画素値に基づいて少なくとも値の変化を表す時間変化する信号を形成するシステムが提供される。信号は、長さにおいて画像の系列に対応する。このシステムは、画像の系列を取得するインタフェースと、画像が少なくとも２つの間隔によりカバーされるように、関連するサブセットのグループを形成するために、間隔を規定する少なくとも２つの画像のそれぞれから少なくとも１つの画素値のサブセットを選択することにより、画素値のサブセットの複数のグループを形成し、少なくとも１つの選択基準に従って信号を形成するように、サブセットのグループを選択するように構成されたデータ処理システムとを含み、サブセットの選択されたグループは、系列の長さより短い異なる間隔をカバーする。

実施例によれば、システムは、本発明による方法を実行するように構成される。

本発明の更なる態様によれば、機械可読媒体に組み込まれた場合、情報処理機能を有するシステムに対して本発明による方法を実行させることが可能な一式の命令を含むコンピュータプログラムが提供される。

時間変化する信号を形成するシステムの概略ブロック図 時間変化する信号を形成する方法の第１の一般的な実施例を示すフローチャート 時間変化する信号を形成する方法の第２の実施例を示すフローチャート 画像の系列の限られた間隔をカバーする画像から取得された画素値のサブセットのグループ 画素値のサブセットの選択されたグループからの信号部分の抽出を示す図

本発明について添付図面を参照して更に詳細に説明する。

遠隔フォトプレチスモグラフィ（photoplethysmographic）を実行するのに適したシステムの複数の実施例がここで説明される。フォトプレチスモグラフィは、皮膚反射の変化を使用して特定の周期的な生理現象を特徴付ける方法である。人間の皮膚は、少なくとも２つの層を有する物体としてモデル化されてもよい。これらのうち１つは、表皮（薄い表面層）であり、他方は、真皮（表皮の下にある厚い層）である。光の入射光線の約5%は、表皮で反射される。これは、全ての波長及び皮膚の色の場合である。残りの光は、身体反射として知られる現象で、２つの皮膚層内で拡散及び吸収される（２色性反射モデルに記載される）。表皮は光フィルタのように動作し、主に光を吸収する。真皮では、光は拡散及び吸収される。吸収は血液成分に依存するため、吸収は血流の変化に反応しやすい。真皮の光特性は、概して全ての人種で同じである。真皮は、血管の密集した網を含み、成人の合計の血管網の約10%になる。これらの血管は、身体の血流に従って収縮する。従って、これらは、真皮の構造を変化させ、皮膚層の反射に影響を与える。従って、心拍数は、皮膚反射の変化から判定され得る。

ここに記載のシステム及び方法は、フォトプレチスモグラフィに限定されず、画像の系列で表される関心のある周期的な現象を特徴付ける情報を伝達する構成要素（成分）を少なくとも含む信号を取得するために使用され得る。全ての用途において、この方法は、関心のある周期的な現象（フォトプレチスモグラフィの場合には血流の鼓動）に関係しない動きのアーティファクト及び照明の変化にロバスト性がある。

システムは、複数の構成要素を有する。このうち数個のみが図１に示されている。システムは、データ処理システム1を含む。データ処理システム1は、汎用コンピュータでもよく、データ処理ユニット2と、メインメモリ3とを有する。更に、ここに記載の方法を実行するソフトウェアを含むソフトウェアを格納する大容量記憶装置4を含む。データ処理システム1は、デジタル画像の系列を取得するビデオカメラ6へのインタフェース5を有する。また、出力を認知可能な形式に処理するために、出力装置8（例えば、視覚ディスプレイ）へのインタフェース7を有する。当然に、データ処理システム1は、ユーザ入力装置、ネットワークインタフェース等のような共通の機能構成要素を更に含んでもよい。これらは、図１に別々に示されていない。

実施例（図示せず）では、データ処理システム1は、少なくとも１つの光源へのインタフェースを更に有する。少なくとも１つの光源は、電磁放射のスペクトルの可視部分又は赤外線近くの部分の特定の範囲に同調した光源でもよい。

データ処理システム1は、ビデオカメラ6により取得された画像の系列のそれぞれから画素値に基づいて少なくとも値の変化を表す第１の信号を生成するように構成される。特定の実施例（図面には図示せず）では、取得された画像の別の分析により判定された動きを抑制又は除去するために、第１の信号を処理するように構成される。

第１の実施例（図２）では、データ処理システム1により実行される方法は、画像の系列を取得する（ステップ9）ことを含む。画像のうち少なくとも１つは、セグメント化され（ステップ10）、関心のある１つ以上の領域が選択される（ステップ11）。

セグメンテーション及び選択ステップ10、11は、特定の種類の表面を表す領域（特に、特定の基準を満たすもの）を識別するために実行される。一実施例では、画像で表される人の顔の一部又は全部を表す関心のある領域が識別される。この実施例を実装する適切なアルゴリズムは、Viola, P. and Jones, M.J., “Robust real-time object detection”, Proc. of IEEE workshop on statistical and computational theories of vision, 13 July 2001に記載されている。特定の形状、色彩及び／又はパターンを有する画像セグメント認識する他の適切なアルゴリズムが、このアルゴリズムの代わりに又はこのアルゴリズムと組み合わせて使用されてもよい。

この説明は、１つの関心のある領域が選択されたという仮定で進む。この関心のある領域は、画像の系列を通じてトラッキングされる。これを行う適切なアルゴリズムは、De Haan他，“True-motion estimation with 3-D recursive search block matching”, IEEE transactions on circuits and systems for video technology, 3(5), October 1993, pp.368-379.に記載されている。

系列の画像の第１の対では、データ処理システム1は、関心のある領域から少なくとも１つの画素値のサブセットを選択するように進む。特に、複数のサブセットは、第１の画像の関心のある領域から選択される（ステップ12）。選択されたサブセット毎に、部分系列（sub-sequence）の隣接する画像（一般的には、現在の画像に続くものであるが、前の画像でもよい）において対応するサブセットが見つけられる（ステップ13）。

一般的には、各サブセットは、複数の画素値を有しており、このため、更なる画像において対応するサブセットを見つけるステップ13は、或る基準に従って類似するサブセットを検索することを含む。すなわち、次の画像の関心のある領域内で最も合致するサブセットが見つけられる。第１の画像からのそれぞれ選択されたサブセット及び次の画像からの最も合致するサブセットは、サブセットのグループを形成する。第１の画像からのサブセットは相互に全て異なるため、グループのいずれかの対について、第１及び次の画像の双方からのサブセットも異なる。

次のフレームにおいて対応するサブセットを見つけることは、次の画像において第１の画像からの一式の選択されたサブセットに対応する結合された一式のサブセットのグローバル検索を含んでもよい。これは低コストの対策であるが、比較的不正確になる可能性がある。或いは、第１の画像から選択された画素値のサブセット毎に網羅的検索が実行されてもよい。これは比較的正確な方法であるが、計算上で比較的高コストになる。他の実施例では、類似するサブセットは、そのサブセットの予想動きベクトルを取得し、少なくとも１つの類似基準に対して評価する候補サブセットを選択するように予想動きベクトルを変更することにより見つけられてもよい。変更は、ランダムでもよい更新ベクトルの形式である。このような手法は、予測検索を表し、現在の画像のサブセットで複数回繰り返されてもよい。動きベクトルが初期ステップ12で選択されたサブセット毎に個々に見つけられるという事実のため、グループのサブセットは比較的うまく合致する。予測動きベクトルの使用は、比較的低い計算コストでの実装を可能にする。例えば、予想動きベクトルは、現在のフレームで選択されたサブセットのうち第１のものの網羅的検索を実行し、結果の動きベクトルを他のサブセットの予想動きベクトルとして使用することにより取得されてもよい。

次に（ステップ14）、各グループが分析される。少なくとも１つの所定の基準を満たさないグループは破棄される（ステップ15）。一実施例では、少なくとも１つの基準は、最も合致する１つ以上のグループが選択されるという意味で、相対基準である。しかし、一般的には、少なくとも１つの基準は、絶対基準でもよい。この理由は、形成されるグループの数は非常に大きいため、少なくとも１つの基準を満たす数個が常に存在するからである。

特定の実施例では、少なくとも１つの基準は、画素値の各サブセットが最小の空間均一性を有する基準を含む。他の実施例では、少なくとも１つの基準は、少なくとも１つの類似基準を含む。例えば、類似基準は、色彩及び／又はテクスチャの類似性に関係してもよい。実施例では、接続された画素が画像によって特定の距離より大きく動かない可能性があるという意味で、動き基準が使用される。これらの基準のそれぞれは、関心のある現象（フォトプレチスモグラフィの場合には周期的な生物現象）に関係しない動き及び／又は照明の変化に対するロバスト性を確保するように設計される。

次に、サブセットの選択されたグループのみのそれぞれについて信号セグメントが構築される（ステップ16）。実施例では、サブセット内からの画素値は、（例えば、加重平均を取ることにより、又は平均値を見つけることにより）単一の値に結合される。これは、画像毎に１つのこのような値が存在するように、グループのサブセット毎に行われる。効果は、雑音に対するロバスト性が比較的高くなるという点にある。しかし、信号値を抽出する他の方法も可能である。実施例では、画像の系列は、それぞれ異なるチャネルに対応し、電磁放射のスペクトルの限られた範囲で取得された電磁放射の強度を表す画素値を構成する、画像フレームの２つ以上の系列を有する。例えば、画像の系列は、異なる色彩チャネル（例えば、赤、緑及び青）の画像フレームの系列を有してもよい。この別法では、組み合わせは、完全な画像を形成する各画像フレームからの画素値の加重和を取ることを含んでもよい。また、減算演算（例えば、緑色光に対応するチャネルの画素値からの全てのチャネルを通じた平均輝度の減算）を含んでもよい。

次に、グループの各サブセットに関連する値の間の差が取得される。従って、各グループが２つの画像からのサブセットのみを含む実施例では、信号セグメントは唯一の値を有する。特に、値の組み合わせ又は画像の間の組み合わせの差に基づく選択基準を使用するために、選択ステップ15は、信号セグメントが構築された後まで延期されてもよい。従って、信号値を格納する結果になるグループのみが選択されてもよい。

ステップ12〜16は、画像の次の対毎に繰り返される。これにより、画像の系列により規定される時間基準で異なる時間間隔を表す異なる信号セグメントが取得される。

これらは、画像の系列によりカバーされる時間間隔に対応する時間間隔をカバーする信号を取得する最終ステップで融合される（ステップ17）。信号セグメントの融合のために様々な方法が使用されてもよい。例えば、融合は、信号の間の最も高い相関を見つけることに基づいてもよく、外れ値の照明に基づいてもよい。任意選択で、信号部分は、融合ステップ17の結果である時間変化する信号に影響を与える程度を判定する異なる重みで、融合処理に関係してもよい。例えば、重み値は、類似するサブセットを見つけるステップ13においてグループのサブセットが合致すると判定される信頼性に依存してもよい。他の実施例では、グループのサブセットの間の空間距離は、少なくとも部分的に重みを判定する。距離が大きい場合、重みが小さくなる。

図２の方法は、隣接するサブセットからのサブセットの対のグループの例を使用して説明しているが、図２の方法は、系列の連続する画像からの３つ以上のサブセットのグループを利用することもできる。グループにより規定される間隔は重複してもよい。例えば、１つのグループは第１〜第３の画像のサブセットを有し、他のグループは第２〜第４の画像からのサブセットを有してもよい。

更に他の実施例では、特定のグループは、隣接する画像からのサブセットから形成されず、特定の画像をスキップすることにより形成される。例えば、１つの実装では、サブセットは第１の画像から選択され、第２の画像の最も類似するサブセットが見つけられ、これにより、第１及び第２の画像からサブセットの対が取得される。特定の対が特定の基準を満たさない場合、その対は破棄され、第３の画像からの類似するサブセットが判定される。例えば、信号部分が抽出されるサブセットの対を形成するために、補間が使用されてもよい。従って，この実施例では、一式の少なくとも１つの基準を満たさない画素値のサブセットの対を破棄するステップ15に続いて、更なる画像において類似するサブセットを見つけるステップ13は、画像の系列において現在の画像から更に除去された画像で繰り返される。

実施例（図示せず）では、動きに対するロバスト性を増加させるために、追加の訂正が実行される。画像の系列で表された少なくとも特定の種類の対象の少なくとも周期的な動きを表す別の信号を取得するために、画像の系列で表された少なくとも１つの対象の動きが量子化される。この情報は、融合処理の結果として取得された信号の成分を抑制するために使用される。関心のある領域に対応する対象のみの動きが分析されることが分かる。動き分析は、画像の系列で関心のある領域の動きを表す動きベクトルの系列を判定することにより実現されてもよい。生物の動きの周期的な構成要素（成分）を表すデータは、動きベクトルの反復性を分析することにより判定される。実施例では、特定の範囲の振幅内の動きのみが考慮される。動きベクトルを使用する別法として、動きを推測するために、画素値又は一式の画素値の輝度の変化が使用されてもよい。しかし、これは信頼性が低く、動きの頻度は非常にうまく判定できない。

融合ステップ17の結果である信号、任意選択の動き抑制ステップで取得された信号、及び様々な間隔で取得された信号セグメント（ステップ16）のうちいずれかは、更なる処理を受けてもよいことが分かる。更なる処理は、関心のある生物測定信号に対応する情報を抽出するステップ（例えば、アルファトレンド平均フィルタ（alpha trend mean filter）を使用したフィルタリング）を含んでもよい。更に可能なフィルタリング動作は、帯域通過フィルタリングである。

例えば、結果の信号は、例えば心拍数又は呼吸数に対応する関心のある周期的な現象の頻度の値を取得するために分析されてもよい。また、画像装置（例えば、CTスキャナ）をゲート制御するために使用されてもよい。

画像の系列からの画素値に基づいて少なくとも値の変化を表す時間変化する信号を形成する別の方法（図３）は、画素値のサブセットのグループを形成するために２つ以上の画像において類似するサブセットを見つけるステップ13を除外する。その代わりに、位置で対応するサブセットのグループが形成される。

この方法は、最近の画像が追加される（ステップ18）特定の数の画像のバッファを利用する。これらから、この方法のそれぞれの繰り返しで、あまり最近でない画像が除去される。従って、バッファは、画像の系列の部分系列を含む。これらは、一式の画像20のそれぞれでグリッドを用意することにより（図３）、時空間量（ボリューム）を構築する（ステップ19）ために使用される。一式の画像20は、ビデオカメラ6により提供される画像に少なくとも基づく。これらは、動き、カメラの動き等を補償するフィルタリング及び／又は画像処理動作の結果でもよい。

グリッドは、幅Δx及び高さΔyの空間開口（spatial aperture）を規定する。各時空間量は、一式の画像20のそれぞれの開口の所与のものの中の画素値で構成される。空間開口内の画素値に対応する画素値のサブセットの系列21の例は、図４に示されている。一式の画像20の数は、時間間隔Δtを判定する。

一式の少なくとも１つの基準に対して、各時空間量内の画素値のサブセットが評価される（ステップ22）。少なくとも１つの基準を満たすもののみが保持され、生物の周期的な現象を表す構成要素（成分）を少なくとも含む信号を取得するために使用される。

一般的には、図２の実施例の選択ステップ14に関して記載したものと同じ種類の選択基準が、図３の実施例で使用されてもよい。グリッドが全体の画像に用意される場合、図３の方法の選択ステップ22はまた、画素値のサブセットが特定の種類の表面（例えば、人間の露出した皮膚）を表すか否かを評価するステップを含む。更なる選択基準は、画素値の各サブセットの均一性及びサブセットの系列21の時間均一性に関する。最も均一な時空間量又は或る絶対の均一性基準を満たすもののみが保持される。空間及び時間領域での均一性の計算は、ダイナミックレンジ、分散、エントロピー等の計算を含む複数の方法のいずれかを使用して行われてもよい。

時空間量を構成するステップ19は、初期設定の空間開口及び時間間隔Δtを使用してもよい。一実施例では、図３の方法のそれぞれの繰り返しで（すなわち、処理される画像の全体の系列の間隔毎に）、開口の異なるサイズが使用されてもよい。更に又は或いは、間隔の長さ（すなわち、一式の画像20の数）が変化する。開口サイズ（幅Δx又は高さΔy）は、分析される領域の均一性に関連付けられてもよい。より均一な領域は、大きい開口を生じる。他の適切な有力要因は、ビデオカメラ6のセンサの空間解像度及びこれらのセンサの他の特徴を含む。他の実施例では、異なる開口が異なる大きさを有するという点で、グリッドは不規則である。適切な大きさはまた、一式の画像20のうち少なくとも１つで物体セグメンテーション、色彩セグメンテーション及び背景・前景セグメンテーションのうち少なくとも１つを実行することにより判定されてもよい。セグメンテーションが比較的小さいセグメントを生じる場合、グリッドの開口も小さくなるべきである。一式の画像20によりカバーされる間隔Δtの適切なサイズは、各画像に存在する動きの量に依存する。従って、これらの実施例では、選択ステップ22に関する分析の一部は、時空間量を構成するために既に実行されている。間隔Δtのサイズを判定し得る他の要因は、ビデオカメラ6のフレームレート、画像に表される対象の動きの強度及び輝度の変化を含む。

時空間量の特定のものが選択された後に、時空間量の画素値に基づく値の時間変化が、選択された時空間量毎に抽出される（ステップ23）。このステップ23において、サブセット内からの画素値は、例えば、加重平均を取ることにより又は平均値を見つけることにより、単一の値に結合される。これは、画像毎に１つのこのような値が存在するように、系列21（図４）のサブセットのそれぞれで行われる。画素値の組み合わせの効果は、雑音に対するロバスト性が比較的高くなるという点にある。しかし、信号値を抽出する他の方法も可能である。実施例では、各画像は、２つ以上の画像フレームを有し、それぞれが異なるチャネルに対応し、電磁放射のスペクトルの限られた範囲で取得された電磁放射の強度を表す画素値を構成する。例えば、画像の系列は、異なる色彩チャネル（例えば、赤、緑及び青）の画像フレームの系列を有してもよい。この別法では、組み合わせは、完全な画像を形成する各画像フレームからの画素値の加重和を取ることを含んでもよい。また、減算演算（例えば、緑色光に対応するチャネルの画素値からの平均輝度の減算）を含んでもよい。

図５に示すように、画素値の１つのサブセットについて計算された値と、系列21の全てのサブセットの値の時間平均との間の差が計算される。一般的に、特定の期間で色彩値の空間平均輝度の時間的変動を抽出するための他の方法が使用されてもよい。これらの変化は、特定の範囲の振幅変化及び周波数値にあるべきである。

図示の実施例では、時空間量を形成して選択するために、スライディングウィンドウ（sliding window）が使用される。従って、各繰り返し時に、現在の一式の画像20について取得された信号セグメントが、相互に及び前の繰り返しで取得された重複する信号セグメントと融合される（ステップ24）。例えば、融合は、信号の間の最も高い相関を見つけることに基づいてもよく、外れ値を浮かび上がらせることに基づいてもよい。信号セグメントは、異なる重みパラメータで融合動作に関係してもよい。例えば、これらは、関連する時空間量の時間間隔Δtの長さに依存してもよい（大きい間隔Δtの場合、より大きい重みが量に割り当てられる）。

融合された信号は、最重要情報を抽出するために使用される。最重要情報は、心拍信号監視の場合には心拍数である。融合された信号から関心のある融合された信号の部分を抽出するために、アルファトレンド平均フィルタが使用されてもよい。

図２に示す方法への任意選択の追加として前述したように、周期的な動きを表す成分を抑制する同様の方法が、一実施例（図示せず）で使用される。この場合、処理されている画像の系列に表される生物の動きの周期的な構成要素（成分）を少なくとも表す別のデータは、画像の系列のビデオに基づく動き分析を実行することにより取得される。１つの動き信号が取得され、その周期的な動きに対応する融合された信号の成分を少なくとも抑制するために使用される。或いは、画像の別の部分に対して別の動き信号が取得され、これらの部分に対応する時空間量について取得された信号部分の成分を抑制するために使用されてもよい。特定の変形例では、別の時空間量から抽出された信号部分の周期的な成分を少なくとも抑制する別の動き信号を取得するか否かは、動き信号の間の差の程度に依存する。

動きの抑制がなくても、前述の方法は、対象の動き又は輝度の急激な変化が存在する場合に、対象の皮膚の領域からの時間的生物測定信号のロバストな抽出及び分析を可能にする。動きのアーティファクトにより影響されない最も信頼性の高い時間的に安定した時空間画素値の構成及び選択に基づく図３の実施例は、信号取得処理中に直接的に実施されてもよい。

前述の実施例は、本発明を限定するものではなく、例示するものであり、当業者は、特許請求の範囲を逸脱することなく、多くの代替実施例を設計することができる点に留意すべきである。特許請求の範囲において、括弧の間に配置された如何なる参照符号も、特許請求の範囲を限定するものとして解釈されるべきではない。“有する”という用語は、請求項に記載のもの以外の要素又はステップの存在を除外しない。単数の要素は、このような要素の複数の存在を除外しない。特定の手段が互いに異なる従属項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示すのではない。

図２の方法で類似するサブセットを見つけるために使用される類似性の尺度は、テクスチャの類似性に制限されてもよい。画素値の正確な類似性は必要ない。

本発明は、画像の系列からの画素値に基づいて生物の周期的な現象を表す構成要素を少なくとも表す時間変化する信号を形成及び処理する方法及びシステムに関する。本発明はまた、コンピュータプログラムに関する。

このため、本発明の１つの態様によれば、本発明に従って画素値に基づいて生物の周期的な現象を表す構成要素を少なくとも表す時間変化する信号を形成及び処理する方法が提供される。この方法は、画像の系列を取得し、関連するサブセットのグループを形成するために、間隔を規定する少なくとも２つの画像のそれぞれから少なくとも１つの画素値のサブセットを選択することにより、画素値のサブセットの複数のグループを形成し、少なくとも１つの選択基準に従って、サブセットのグループを選択し、ただし、サブセットの選択されたグループは、系列の長さより短い異なる間隔をカバーし、サブセットの選択されたグループから信号セグメントを抽出し、この信号セグメントを融合することにより前記時間変化する信号を形成し、フォトプレチスモグラフィを使用してこの時間変化する信号から関心のある生物測定信号に対応する情報を抽出することを含む。

実施例では、グループは、取得された画像の系列に少なくとも基づいて、画像の系列から画素値の時空間量を取得することにより形成される。それぞれの量は、系列の間隔内の各画像からの空間開口内の画素値を有し、この方法は、各開口からの複数の画素値を値に結合することにより、それぞれ選択されたグループから信号セグメントを抽出することを更に含む。

結合ステップは、ランダム雑音を除去するのに役立つ。特定の変形例では、信号セグメントの抽出は、画素値の空間結合に基づいて値の時間変化のみを表す信号セグメントを取得することを含む。特に、これらは、特定の振幅より下の変化及び／又は特定の限られた周波数内での変化でもよい。最大振幅は、絶対振幅又は相対振幅（例えば、移動平均の最大の割合）でもよい。

この実施例の変形例では、時間変化する信号は、信号セグメントを入力として取る融合動作（fusion operation）により形成される。信号セグメントは、時間変化する信号に影響を及ぼす程度を判定する異なる重みで、融合動作に関係する。

この実施例は、或る信号セグメントが他のものより関心のある現象の明確な構成要素（成分）の特徴を含むという事実を考慮に入れる。例えば、或る部分は、血流により皮膚反射の変化を表す比較的明確な構成要素（成分）を有する。また、特定の信号部分が多くの情報を伝達するように、他のものより長い場合も存在する。これは、融合処理でこれらの部分を強調することに役立ててもよい。

本発明の他の態様によれば、画像の系列からの画素値に基づいて生物の周期的な現象を表す構成要素を少なくとも表す時間変化する信号を形成及び処理するシステムが提供される。このシステムは、画像の系列を取得するインタフェースと、関連するサブセットのグループを形成するために、間隔を規定する少なくとも２つの画像のそれぞれから少なくとも１つの画素値のサブセットを選択することにより、画素値のサブセットの複数のグループを形成し、少なくとも１つの選択基準に従って、サブセットのグループを選択するように構成されたデータ処理システムとを含み、サブセットの選択されたグループは、系列の長さより短い異なる間隔をカバーする。データ処理システムは、サブセットの選択されたグループ（21）から信号セグメントを抽出し、この信号セグメントを融合することにより時間変化する信号を形成し、フォトプレチスモグラフィを使用してこの時間変化する信号から関心のある生物測定信号に対応する情報を抽出する。

時間変化する信号を形成するシステムの概略ブロック図 時間変化する信号を形成する方法の第１の一般的な実施例を示すフローチャート 時間変化する信号を形成する方法の第２の実施例を示すフローチャート 画像の系列の限られた間隔をカバーする画像から取得された画素値のサブセットのグループ 画素値のサブセットの選択されたグループからの信号セグメントの抽出を示す図

これらは、画像の系列によりカバーされる時間間隔に対応する時間間隔をカバーする信号を取得する最終ステップで融合される（ステップ17）。信号セグメントの融合のために様々な方法が使用されてもよい。例えば、融合は、信号の間の最も高い相関を見つけることに基づいてもよく、外れ値の照明に基づいてもよい。任意選択で、信号セグメントは、融合ステップ17の結果である時間変化する信号に影響を与える程度を判定する異なる重みで、融合処理に関係してもよい。例えば、重み値は、類似するサブセットを見つけるステップ13においてグループのサブセットが合致すると判定される信頼性に依存してもよい。他の実施例では、グループのサブセットの間の空間距離は、少なくとも部分的に重みを判定する。距離が大きい場合、重みが小さくなる。

更に他の実施例では、特定のグループは、隣接する画像からのサブセットから形成されず、特定の画像をスキップすることにより形成される。例えば、１つの実装では、サブセットは第１の画像から選択され、第２の画像の最も類似するサブセットが見つけられ、これにより、第１及び第２の画像からサブセットの対が取得される。特定の対が特定の基準を満たさない場合、その対は破棄され、第３の画像からの類似するサブセットが判定される。例えば、信号セグメントが抽出されるサブセットの対を形成するために、補間が使用されてもよい。従って，この実施例では、一式の少なくとも１つの基準を満たさない画素値のサブセットの対を破棄するステップ15に続いて、更なる画像において類似するサブセットを見つけるステップ13は、画像の系列において現在の画像から更に除去された画像で繰り返される。

図２に示す方法への任意選択の追加として前述したように、周期的な動きを表す成分を抑制する同様の方法が、一実施例（図示せず）で使用される。この場合、処理されている画像の系列に表される生物の動きの周期的な構成要素（成分）を少なくとも表す別のデータは、画像の系列のビデオに基づく動き分析を実行することにより取得される。１つの動き信号が取得され、その周期的な動きに対応する融合された信号の成分を少なくとも抑制するために使用される。或いは、画像の別の部分に対して別の動き信号が取得され、これらの部分に対応する時空間量について取得された信号セグメントの成分を抑制するために使用されてもよい。特定の変形例では、別の時空間量から抽出された信号セグメントの周期的な成分を少なくとも抑制する別の動き信号を取得するか否かは、動き信号の間の差の程度に依存する。

Claims (14)

1. 画像の系列からの画素値に基づいて少なくとも値の変化を表す時間変化する信号を形成する方法であり、前記信号は、長さにおいて前記画像の系列に対応する方法であって、
   前記画像の系列を取得し、
   関連するサブセットのグループを形成するために、間隔を規定する少なくとも２つの画像のそれぞれから少なくとも１つの画素値のサブセットを選択することにより、画素値のサブセットの複数のグループを形成し、ただし、同じ画像からのサブセットのみを有するグループのいずれかの対について、１つより多くの画像からのサブセットは異なり、
   少なくとも１つの選択基準に従って前記信号を形成するように、サブセットのグループを選択することを含み、
   サブセットの選択されたグループは、前記系列の長さより短い異なる間隔をカバーする方法。
2. グループは、グリッドにより規定される対応する空間開口内の各画像の対応する画素値をそれぞれ有する画素値の時空間量を取得するために、前記取得された画像に少なくとも基づいて複数の画像のそれぞれの少なくとも領域でグリッドを用意することにより形成される、請求項１に記載の方法。
3. グループ毎に、特定の種類の表面の一部を表すか否かを判定するために、前記空間開口により規定された画素値の少なくとも１つのサブセットを分析することを含む、請求項２に記載の方法。
4. グループは、前記取得された画像の系列に少なくとも基づいて画像の系列からの画素値の時空間量を取得することにより形成され、それぞれの量は、前記系列の間隔内の各画像からの空間開口内の画素値を有し、前記方法は、前記系列の異なる間隔で規定されたグループについて異なる開口を使用することを含む、請求項１に記載の方法。
5. グループは、前記取得された画像の系列に少なくとも基づいて、画像の系列から画素値の時空間量を取得することにより形成され、それぞれの量は、前記系列の間隔内の各画像からの空間開口内の画素値を有し、前記方法は、前記系列の異なる間隔で規定されたグループについて異なる間隔長を使用することを含む、請求項１に記載の方法。
6. グループは、前記取得された画像の系列に少なくとも基づいて、画像の系列から画素値の時空間量を取得することにより形成され、それぞれの量は、前記系列の間隔内の各画像からの空間開口内の画素値を有し、少なくとも１つの選択基準の評価は、空間均一性の尺度を判定することと、時間均一性の尺度を判定することとのうち少なくとも１つを含む、請求項１に記載の方法。
7. グループは、前記取得された画像の系列に少なくとも基づいて、画像の系列から画素値の時空間量を取得することにより形成され、それぞれの量は、前記系列の間隔内の各画像からの空間開口内の画素値を有し、前記方法は、各開口からの複数の画素値を値に結合することにより、それぞれ選択されたグループから信号部分を抽出することを更に含む、請求項１に記載の方法。
8. 前記時間変化する信号は、前記信号部分を入力として取る融合動作により形成され、前記信号部分は、前記時間変化する信号に影響を及ぼす程度を判定する異なる重みで、前記融合動作に関係する、請求項７に記載の方法。
9. 前記グループは、前記取得された画像の系列の１つに少なくとも基づいて第１の画像から少なくとも１つの画素値の第１のサブセットを選択し、前記取得された画像の系列のそれぞれ１つに少なくとも基づいて少なくとも１つの更なる画像のそれぞれの類似するサブセットを見つけることにより形成される、請求項１に記載の方法。
10. 前記更なる画像のうち少なくとも１つの類似するサブセットは、予想動きベクトルを取得し、少なくとも１つの類似基準に対して評価する候補サブセットを選択するように前記予想動きベクトルを変更することにより形成される、請求項１に記載の方法。
11. グループを形成することは、前記取得された画像の系列の各画像に少なくとも基づいて少なくとも２つの画像の系列のそれぞれの限られた関心のある領域のみからサブセットを選択することを含む、請求項１に記載の方法。
12. 画像の系列からの画素値に基づいて少なくとも値の変化を表す時間変化する信号を形成するシステムであり、前記信号は、長さにおいて前記画像の系列に対応するシステムであって、
    前記画像の系列を取得するインタフェースと、
    画像が少なくとも２つの間隔によりカバーされるように、関連するサブセットのグループを形成するために、間隔を規定する少なくとも２つの画像のそれぞれから少なくとも１つの画素値のサブセットを選択することにより、画素値のサブセットの複数のグループを形成し、少なくとも１つの選択基準に従って前記信号を形成するように、サブセットのグループを選択するように構成されたデータ処理システムと
    を含み、
    前記サブセットの選択されたグループは、前記系列の長さより短い異なる間隔をカバーするシステム。
13. 請求項１ないし１１のうちいずれか１項に記載の方法を実行するように構成された、請求項１２に記載のシステム。
14. 機械可読媒体に組み込まれた場合、情報処理機能を有するシステムに対して、請求項１ないし１１のうちいずれか１項に記載の方法を実行させることが可能な一式の命令を含むコンピュータプログラム。

Images