JP2018515854A

JP2018515854A - ビデオ・シーケンスにおける生体皮膚組織の識別

Info

Publication number: JP2018515854A
Application number: JP2017559799A
Authority: JP
Inventors: ワン，ウェンジン; ハーン，ヘラルトデ
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2015-05-21
Filing date: 2016-05-20
Publication date: 2018-06-14
Anticipated expiration: 2036-05-20
Also published as: US10242441B2; JP6549734B2; CN107646113A; WO2016185004A1; US20160343130A1; EP3298539A1

Abstract

ある側面によれば、ビデオ・シーケンスにおいて生体皮膚組織を識別するための装置が提供される。本装置は処理ユニットを有し、該処理ユニットは、複数の画像フレームを含むビデオ・シーケンスを受け取り；前記画像フレームの各画像フレームを、それぞれ前記画像フレームにおける近隣のピクセルの群である複数のフレーム・セグメントに分割し；それぞれ前記複数の画像フレームの二つ以上からのフレーム・セグメントを含む複数のビデオ・サブシーケンスを形成し；前記複数のビデオ・サブシーケンスを解析して、各ビデオ・サブシーケンスについて脈信号を決定し；それぞれの決定された脈信号について、他の決定された脈信号のそれぞれとのペアごとの類似性に基づく類似性行列を決定し；前記類似性行列から前記ビデオ・シーケンスにおける生体皮膚組織の領域を識別するよう構成されている。

Description

本発明は、ビデオ・シーケンスにおける生体皮膚組織を識別するための装置および方法に関する。

近年、リモート光体積変動記録法（photoplethysmography）（リモートPPGまたはrPPG）を実行する技法が開発されている。これらの技法は、撮像ユニット（たとえばカメラ）を使って捕捉された画像フレームのビデオ・シーケンスからPPG信号が得られることを可能にする。ビデオ・シーケンスが処理されrPPG信号が抽出されるのが自動的であることが望ましく、それにより被写体が自動的にモニタリングできる。しかしながら、これはビデオ・シーケンスにおいて生体の皮膚組織の領域が自動的に識別されることを要求する。

ビデオにおいて被写体を検出するタスクは、コンピュータビジョンにおける根源的なトピックの一つとして、過去数十年において幅広く研究されている。被写体を含んでいるビデオ・シーケンスが与えられたとき、目標は、被写体の身体部分に対応する領域を位置特定することである。たいていの既存の研究は、教師付きトレーニング機構において、被写体と背景との間で区別するために人間の外観の特徴を利用する。しかしながら、これらの方法での共通の問題は、トレーニングされた特徴が人間に特有ではなく、人間の外観に似た任意の特徴が誤分類されうるということである。さらに、教師付き方法は通例、事前にわかっているサンプルに制約され、予測不可能なサンプルが生じるときには失敗する傾向がある。たとえば、正面の顔でトレーニングされた顔検出器は横から見た顔を位置特定できず、一方、明るい肌でトレーニングされた肌分類器は暗い肌の被写体では失敗する。

rPPG技法の開発に基づき、物理的な外観特徴に比べて、目に見えない生理的な特徴（たとえば脈）が、ビデオ・シーケンスにおいて人間を人間以外からよりよく区別できることが観察されている。自然環境では、生きている被写体の皮膚組織のみが脈動性を示すので、脈信号を示さないいかなるオブジェクトも、安全に人間以外のカテゴリーに分類できる。これは、たとえば図１に示されるように、人間に似た外観をもつオブジェクトの誤検出を防止できる。

図１は、生体組織検出技法がいかに成功裏に動作すべきかの二つの例を与えている。左側の画像では、人間の顔および人工的な顔がカメラに正面を呈しており、人間の顔のみが識別されるべきである（人工的な顔が人間の顔と似た物理的な外観特徴をもつにもかかわらず）。このことは、生体皮膚組織に対応する領域の破線の四角および輪郭線によって示されている。右側の画像では、人間の顔と人工的な顔がカメラに側面を向けていて、人間の顔だけが識別されるべきである。

非特許文献１の論文では、より高い周波数スペクトル・エネルギーをもつセグメント分割された局所領域（たとえばグリッド、三角形またはボクセル）を皮膚領域として選択するよう、硬閾値が設定される。非特許文献２の論文では、事前定義されたクラスタリング・パラメータが、類似性を共有する領域を皮膚領域としてクラスタリングするために使われる。

しかしながら、これらの方法はパラメータなしではなく、実際的な使用事例からの現実的な困難に対して堅牢ではない。たとえば、成人で調整された硬閾値は新生児には適用可能でなく、事前定義されたクラスター数または密度は複数被写体検出には柔軟ではない。

G.Gibert and D.D'Alessandro, and F. Lance、"Face detection method based on photoplethysmography"、10th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS), pp.449-453, (2013) R. van Luijtelaar, W.Wang, S.Stuijk, and G. de Haan、"Automatic ROI detection for rPPG measurements"、ACCV 2014, Singapore Achanta et al.、"SLIC Superpixels Compared to State-of-the-art Superpixel Methods"、IEEE Transactions on Pattern Analysis & Machine Intelligence 2012 vol.34 Issue No.11, Nov. 2012, pp.2274-2282 G. de Haan and V. Jeanne、"Robust pulse rate from chrominance-based rPPG"、TBME, 60(1):2878-2886, 2013 G. de Haan and A. van Leest、"Improved motion robustness of remote-PPG by using the blood volume pulse signature"、Physiol. Meas. 35 1913, 2014 Haar, in P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features", CVPR, 2001, 1 HOG, in N. Dalal and B. Triggs, "Histograms of oriented gradients for human detection", CVPR, 2005, 1 Y. Zhang, A. d'Aspremont and L. Ghaoui、"Sparse PCA: Convex relaxations, algorithms and applications"、International Series in Operations Research & Management Science Volume 166:915-940, 2012 A. Argyriou, M. Signoretto and J. Suykens、"Hybrid conditional gradient-smoothing algorithms with applications to sparse and low rank regularization"、arXivプレプリント: 1404.3591, 2014

したがって、ビデオ・シーケンスにおいて生体皮膚組織を識別するための改善された方法および装置を提供することが目的である。

第一の側面によれば、ビデオ・シーケンスにおいて生体皮膚組織を識別するための方法が提供される。本方法は、ビデオ・シーケンスを取得する段階であって、前記ビデオ・シーケンスは複数の画像フレームを含む、段階と；前記画像フレームのそれぞれを複数のフレーム・セグメントに分割する段階であって、各フレーム・セグメントは前記画像フレームにおける近隣のピクセルの群である、段階と；複数のビデオ・サブシーケンスを形成する段階であって、各ビデオ・サブシーケンスは前記複数の画像フレームの二つ以上からのフレーム・セグメントを含む、段階と；前記複数のビデオ・サブシーケンスを解析して、各ビデオ・サブシーケンスについて脈信号を決定する段階と；それぞれの決定された脈信号について、他の決定された脈信号のそれぞれとのペアごとの類似性に基づく類似性行列を決定する段階と；前記類似性行列から前記ビデオ・シーケンスにおける生体皮膚組織の領域を識別する段階とを含む。

いくつかの実施形態では、類似性行列を決定する段階は、前記ペアごとの類似性を決定し；決定されたペアごとの類似性を組み合わせることによって前記類似性行列を決定することを含むことができる。

いくつかの実施形態では、前記ペアごとの類似性を決定することは、各脈信号について、その脈信号と他の脈信号のそれぞれとの間のペアごとの類似性の指標を決定することを含むことができる。

代替的な実施形態では、前記ペアごとの類似性を決定することは、各脈信号について、他の脈信号のそれぞれとのペアごとの類似性の二つ以上の指標を決定し；各脈信号についてのペアごとの類似性の前記二つ以上の指標を組み合わせて、各脈信号について、他の脈信号のそれぞれとの前記ペアごとの類似性を表わす距離メトリックを形成することを含むことができる。ここで、前記類似性行列は前記距離メトリックに基づいて決定される。

いくつかの実施形態では、脈信号と他の脈信号の一つとについてのペアごとの類似性は、それら二つの脈信号の周波数スペクトルの間の相関の指標を含むことができる。代替的なまたはさらなる実施形態では、脈信号と他の脈信号の一つとについてのペアごとの類似性は、それら二つの脈信号の周波数スペクトルの間の規格化された相互相関の指標を含むことができる。代替的なまたはさらなる実施形態では、脈信号と他の脈信号の一つとについてのペアごとの類似性は、それら二つの脈信号の周波数スペクトルの間の相関の規則性の指標を含むことができる。代替的なまたはさらなる実施形態では、脈信号と他の脈信号の一つとについてのペアごとの類似性は、それら二つの脈信号の内積の結果を含むことができる。

いくつかの実施形態では、ペアごとの類似性は周波数ベースのペアごとの類似性を含むことができる。

いくつかの実施形態では、前記類似性行列から画像の前記シーケンスにおける生体皮膚組織の領域を識別する前記段階は、前記類似性行列に対して行列分解を実行することを含むことができる。

いくつかの実施形態では、行列分解を実行することは、特異値分解SVD、QR分解、疎SVD、インクリメンタルSVD、主成分分析PCAおよび独立成分分析ICAを含むことができる。

各フレーム・セグメントは、典型的には、画像フレームにおける近隣のピクセルの群である。いくつかの実施形態では、各フレーム・セグメントは同じ形をもつ。代替的な実施形態では、前記画像フレームのそれぞれを複数のフレーム・セグメントに分割する前記段階は、ピクセルを、該ピクセルの色および空間的類似性に基づいてフレーム・セグメントにグループ分けすることを含む。

いくつかの実施形態では、複数のビデオ・サブシーケンスを形成する前記段階は、前記複数の画像フレームにおいて対応する空間位置にあるフレーム・セグメントから各ビデオ・サブシーケンスを形成することを含むことができる。代替的な実施形態では、複数のビデオ・サブシーケンスを形成する前記段階は、各ビデオ・サブシーケンスについて、そのビデオ・サブシーケンス内のフレーム・セグメントどうしの間のクロマティック・エネルギーおよび／または空間距離エネルギーが最小化されるように、前記複数の画像フレームのそれぞれからフレーム・セグメントを選択することを含むことができる。

いくつかの実施形態では、ビデオ・サブシーケンスを解析して脈信号を決定する前記段階は、フレーム・セグメント内の各ピクセルについての諸ピクセル値を平均し；ビデオ・サブシーケンスについての脈信号を、そのビデオ・サブシーケンス内の各フレーム・セグメントについての平均された諸ピクセル値から形成することを含むことができる。

いくつかの実施形態では、ピクセル値を平均する前記段階は、フレーム・セグメント内のピクセルのピクセル値に重み付けする段階であって、ピクセル値はそのフレーム・セグメント内でのそのピクセルの空間位置および／またはそのフレーム・セグメントの中心または中心近くのピクセルまたはピクセル群との色の差に基づいて重み付けされる、段階と；フレーム・セグメント内のピクセルの重み付けされたピクセル値を平均する段階とを含む。

いくつかの実施形態では、本方法はさらに、ビデオ・シーケンスにおける生体皮膚組織の識別された領域に関連付けられた一つまたは複数の脈信号から、一つまたは複数の生理的特性を決定する段階をさらに含む。

第二の側面によれば、コンピュータ可読コードが具現されているコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクトが提供される。コンピュータ可読コードは、好適なコンピュータまたはプロセッサによって実行されると、該コンピュータまたはプロセッサに上記で記載された方法のいずれかを実行させるよう構成されている。

第三の側面によれば、ビデオ・シーケンスにおいて生体皮膚組織を識別するための装置が提供される。本装置は処理ユニットを有し、該処理ユニットは、ビデオ・シーケンスを受け取る段階であって、前記ビデオ・シーケンスは複数の画像フレームを含む、段階と；前記画像フレームのそれぞれを複数のフレーム・セグメントに分割する段階であって、各フレーム・セグメントは前記画像フレームにおける近隣のピクセルの群である、段階と；複数のビデオ・サブシーケンスを形成する段階であって、各ビデオ・サブシーケンスは前記複数の画像フレームの二つ以上からのフレーム・セグメントを含む、段階と；前記複数のビデオ・サブシーケンスを解析して、各ビデオ・サブシーケンスについて脈信号を決定する段階と；それぞれの決定された脈信号について、他の決定された脈信号のそれぞれとのペアごとの類似性に基づく類似性行列を決定する段階と；前記類似性行列から前記ビデオ・シーケンスにおける生体皮膚組織の領域を識別する段階とを実行するよう構成されている。

いくつかの実施形態では、前記処理ユニットは、類似性行列を決定する段階を、前記ペアごとの類似性を決定し；決定されたペアごとの類似性を組み合わせることによって前記類似性行列を決定することによって実行するよう構成される。

いくつかの実施形態では、前記処理ユニットは、前記ペアごとの類似性を決定することを、各脈信号について、その脈信号と他の脈信号のそれぞれとの間のペアごとの類似性の指標を決定することによって実行するよう構成される。

代替的な実施形態では、前記処理ユニットは、前記ペアごとの類似性を決定することを、各脈信号について、他の脈信号のそれぞれとのペアごとの類似性の二つ以上の指標を決定し；各脈信号についてのペアごとの類似性の前記二つ以上の指標を組み合わせて、各脈信号について、他の脈信号のそれぞれとの前記ペアごとの類似性を表わす距離メトリックを形成することによって実行するよう構成される。ここで、前記類似性行列は前記距離メトリックに基づいて決定される。

いくつかの実施形態では、前記処理ユニットは、前記類似性行列から画像の前記シーケンスにおける生体皮膚組織の領域を識別することを、前記類似性行列に対して行列分解を実行することによって実行するよう構成される。

いくつかの実施形態では、前記処理ユニットは、行列分解を、特異値分解SVD、QR分解、疎SVD、インクリメンタルSVD、主成分分析PCAおよび独立成分分析ICAのうちの一つまたは複数を使って実行するよう構成される。

各フレーム・セグメントは、典型的には、画像フレームにおける近隣のピクセルの群である。いくつかの実施形態では、各フレーム・セグメントは同じ形をもつ。代替的な実施形態では、前記処理ユニットは、前記画像フレームのそれぞれを複数のフレーム・セグメントに分割することを、ピクセルを、該ピクセルの色および空間的類似性に基づいてフレーム・セグメントにグループ分けすることによって実行するよう構成される。

いくつかの実施形態では、前記処理ユニットは、複数のビデオ・サブシーケンスを形成することを、前記複数の画像フレームにおいて対応する空間位置にあるフレーム・セグメントから各ビデオ・サブシーケンスを形成することによって実行するよう構成される。代替的な実施形態では、前記処理ユニットは、複数のビデオ・サブシーケンスを形成することを、各ビデオ・サブシーケンスについて、そのビデオ・サブシーケンス内のフレーム・セグメントどうしの間のクロマティック・エネルギーおよび／または空間距離エネルギーが最小化されるように、前記複数の画像フレームのそれぞれからフレーム・セグメントを選択することを含むことによって実行するよう構成される。

いくつかの実施形態では、前記処理ユニットは、ビデオ・サブシーケンスを解析して脈信号を決定することを、フレーム・セグメント内の各ピクセルについての諸ピクセル値を平均し；ビデオ・サブシーケンスについての脈信号を、そのビデオ・サブシーケンス内の各フレーム・セグメントについての平均された諸ピクセル値から形成することによって実行するよう構成される。

いくつかの実施形態では、前記処理ユニットは、ピクセル値を平均することを、フレーム・セグメント内のピクセルのピクセル値に重み付けする段階であって、ピクセル値はそのフレーム・セグメント内でのそのピクセルの空間位置および／またはそのフレーム・セグメントの中心または中心近くのピクセルまたはピクセル群との色の差に基づいて重み付けされる、段階と；フレーム・セグメント内のピクセルの重み付けされたピクセル値を平均する段階とを実行することによって実行するよう構成される。

いくつかの実施形態では、前記処理ユニットはさらに、ビデオ・シーケンスにおける生体皮膚組織の識別された領域に関連付けられた一つまたは複数の脈信号から、一つまたは複数の生理的特性を決定するよう構成される。

いくつかの実施形態では、本装置はさらに、ビデオ・シーケンスを捕捉するための撮像ユニットを有する。

本発明のよりよい理解のために、また本発明がどのように実施されうるかをより明瞭に示すために、ここで単に例として付属の図面を参照する。
生体皮膚組織検出技法の所望される動作を示す図である。本発明の実施形態に基づく装置のブロック図である。本発明の実施形態に基づく方法を示すフローチャートである。図４（ａ）〜（ｄ）はビデオ・シーケンスから、複数のビデオ・サブシーケンスについての脈信号がどのように得られるかを示す図であり、図４（ａ）は、ビデオ・シーケンスが一連の画像フレームから構成される様子を示す図である。各画像フレームが複数のフレーム・セグメントに分割される様子を示す図である。画像フレーム内の同じ空間位置にあるフレーム・セグメントを使って二つのビデオ・サブシーケンスが形成される様子を示す図である。そのように形成された二つのビデオ・サブシーケンスについて例示的な脈信号を示す図である。例示的なボクセル脈スペクトル法における処理段階を示す図である。画像フレームの三つの異なるスケールでのセグメント分割を示す図である。ペアごとの類似性の四つの異なる指標および結果として得られる類似性行列を示す図である。インクリメンタル疎PCAを使っての類似性行列分解の例を示す図である。固有ベクトルの階層的ボクセルへの投影と、ビデオ・シーケンスのどの部分が生体皮膚組織に対応するかを示す融合マップとを示す図である。

本発明の実施形態に従って生体皮膚組織を識別するために使用できる装置２が図２に示されている。装置２は、ある時間期間にわたってビデオ・シーケンスを捕捉する撮像ユニット４を有する。撮像ユニット４は、rPPG測定のために使用できるカメラ、たとえばRGBカメラであるまたはかかるカメラを含むことができる。撮像ユニット４は、複数の画像フレームを含むビデオ・シーケンスを処理ユニット６に提供する。

処理ユニット６は、装置２の動作を制御し、本稿に記載される生体皮膚組織識別技法を実装するための一つまたは複数のプロセッサ、マルチコア・プロセッサまたは処理モジュールを有することができる。いくつかの実施形態では、処理ユニット６は、複数の処理モジュールとして実装されることができる。各モジュールが、本稿に記載される生体皮膚組織識別技法の特定の部分または段階を実行するよう構成される。

装置２はさらに、本発明に基づく方法を実行するために処理ユニット６によって実行されることのできるコンピュータ可読プログラム・コードを記憶するためのメモリ・ユニット８を有する。メモリ・ユニット８は、処理ユニット６による処理の前、間および後の撮像ユニット４からのビデオ・シーケンスならびに処理の何らかの中間産物を記憶またはバッファリングするために使うこともできる。

いくつかの実施形態では、装置２は、統合されたまたは別個の撮像ユニット４をもつ汎用コンピュータ（たとえばデスクトップPC）または統合されたまたは別個の撮像ユニット４を有するポータブル・コンピューティング装置（たとえばラップトップ、タブレットまたはスマートフォン）を含むことができることは理解されるであろう。いくつかの実施形態では、装置２はビデオ・シーケンスにおいて生体皮膚組織を識別する目的および／または生体皮膚組織に対応すると識別されたビデオ・シーケンスの領域から抽出されたrPPG信号から被写体の生理的特性を測定するための専用にされることができる。

実際的な実装では、装置２は、図２に示され上記したもの以外の他のまたはさらなるコンポーネント、たとえば主体が装置２を作動させるおよび／または操作することを許容するユーザー・インターフェースおよび装置２に電力を与えるための電源、たとえばバッテリーまたは幹線電源への接続を有していてもよい。ユーザー・インターフェースは、主体が装置２と対話し、装置２を制御することを許容する一つまたは複数のコンポーネントを有していてもよい。例として、前記一つまたは複数のユーザー・インターフェース・コンポーネントは、装置２を作動させ、作動停止させるためおよび／または生体皮膚組織識別プロセスのための、スイッチ、ボタンまたは他の制御手段を有することができる。ユーザー・インターフェース・コンポーネントは、さらに、または代わりに、装置２の動作について主体に情報を提供するために、ディスプレイまたは他の視覚的インジケーター（たとえばライト）を有することができる。同様に、ユーザー・インターフェース・コンポーネントは、装置２の動作について主体に可聴フィードバックを提供するためにオーディオ源を有することができる。

図３のフローチャートは、ある実施形態に基づくビデオ・シーケンスにおける生体皮膚組織を識別する方法を示している。

段階１０１では、撮像ユニット４がビデオ・シーケンスを取得する。ビデオ・シーケンスは、一連の画像フレームから構成される。一連の画像フレーム２０は図４（ａ）に示される。

次に、画像フレーム２０のそれぞれが複数のフレーム・セグメント２２に分割される（段階１０３）。各フレーム・セグメント２２は、画像フレーム２０における近隣のピクセルの群である。例示的なセグメント分割が図４（ｂ）に示されている。この図では、各フレーム２０は等しいサイズの正方形または長方形に分割されている。代替的な実施形態では、セグメントは異なる形、たとえば三角であってもよい。他の（好ましい）代替的な実施形態では、セグメント２２の形状は、画像フレーム２０内の画像によって決定されることができる（たとえば、前記形状の境界は、画像フレーム内の異なる色の間の境界をなぞることができる）。しかしながら、各実施形態において、各フレーム・セグメント２２が、各画像フレーム２０における空間的に関係した（すなわち近隣の）ピクセルの群を含むことは理解されるであろう。前記好ましい実施形態では、フレーム・セグメント２２は当技術分野において「スーパーピクセル」としても知られる。これはたとえば非特許文献３に記載される。

ピクセルのグループ分け／セグメント２２の形状が画像フレームの内容によって決定される、上記の好ましい「スーパーピクセル」実施形態では、フレーム・セグメント２２は画像フレーム２０内のピクセルをピクセルの色および空間的類似性に基づいてグループ分けすることによって決定できる。このようにして近隣のまたは隣接したピクセルであって同様のまたは一貫した色をもつものが単一のフレーム・セグメント２２にグループ化される。

上記の諸実施形態において、画像フレーム２０は、単にその画像フレーム２０の解析のみに基づいてフレーム・セグメント２２に分割される。しかしながら、特定の画像フレーム２０をその画像フレーム２０および一つまたは複数のその後の画像フレーム２０の解析に基づいてフレーム・セグメント２２に分割することが可能である。換言すれば、上記した画像フレーム２０の空間的および／または色ベースのセグメント分割は、時間領域において外観（たとえば色）および空間的類似性を共有するピクセルが一緒にグループ化されるよう、時間領域に拡張される。

画像フレーム２０をセグメント分割した後、フレーム・セグメント２２から複数のビデオ・サブシーケンスが形成される（段階１０５）。いくつかの場合には、各ビデオ・シーケンスは画像フレーム２０のそれぞれからのフレーム・セグメント２２を含むことができる。他の場合には、ビデオ・サブシーケンスは、ビデオ・シーケンスにおける画像フレーム２０の、二つ以上の（好ましくは連続する）画像フレーム２０を含む部分集合内のそれぞれの画像フレーム２０からのフレーム・セグメント２２を含むことができる。さらなる場合には、ビデオ・サブシーケンスは、一緒に連結された画像フレーム２０の複数の部分集合からのフレーム・セグメント２２を含むことができる（各部分集合は二つ以上の画像フレーム２０を含む）。ビデオ・サブシーケンスがビデオ・シーケンスにおける画像フレーム２０の部分集合のそれぞれからのフレーム・セグメント２２（たとえば2〜9個の画像フレーム２０からのフレーム・セグメント２２）を含む実施形態では、ビデオ・サブシーケンスは本稿ではボクセルとも称される。

いくつかの実施形態では、ビデオ・サブシーケンスは、適宜ビデオ・シーケンスにおけるそれぞれの画像フレーム２０内または画像フレーム２０の部分集合におけるそれぞれの画像フレーム２０内で、同じ空間位置にあるフレーム・セグメント２２を使って形成される。たとえば、諸画像フレーム２０の左上隅にあるフレーム・セグメント２２から一つのビデオ・サブシーケンスが形成でき、諸画像フレーム２０の左下隅にあるフレーム・セグメント２２からもう一つのビデオ・サブシーケンスが形成でき、などとなる。このことは、四つの画像フレーム２０のそれぞれにおける二つの特定のフレーム・セグメント２２について、図４（ｃ）に示されている。このように、第一のビデオ・サブシーケンス２４は、諸画像フレーム２０のそれぞれにおいて同じ空間位置にある第一のフレーム・セグメント２６から形成され、第二のビデオ・サブシーケンス２８は、諸画像フレーム２０のそれぞれにおいて別の空間位置にある第二のフレーム・セグメント３０から形成される。

しかしながら、ある好ましい実施形態（フレーム・セグメント２２がピクセルを色および空間的類似性に従ってグループ分けすることによって形成されるときに特に好ましい実施形態）では、ビデオ・シーケンスの内容における変化（たとえば被写体の動きに起因する変化）に対する本方法の堅牢さを改善するために、ビデオ・サブシーケンスは、互いに整合する（たとえば、画像フレーム内の空間位置において概して整合するおよび色において概して整合する）、諸画像フレーム２０からの諸フレーム・セグメント２２を選択することによって、形成されることができる。これは、諸画像フレーム２０を通じて「曲がりながら進む」ビデオ・サブシーケンス、よって、被写体の特定の部分についてのフレーム・セグメントを含むビデオ・サブシーケンスを生じることができる（たとえば、ビデオ・シーケンスにおいて被写体が左から右に動く際、ある特定のビデオ・サブシーケンスは、空間的および色の類似性のために被写体の頬に対応する各画像フレーム中のフレーム・セグメント２２によって形成されることができる）。ビデオ・サブシーケンスを形成する一つの好ましい方法は、画像２００における特定のフレーム・セグメント２２について、次の画像フレーム２０においてその特定のフレーム・セグメント２２から最小のクロマティック・エネルギー（すなわち、クロミナンスにおける最小の差）および空間距離エネルギー（すなわち、最小の空間距離）をもつフレーム・セグメント２２を同定することである。クロマティック・エネルギーが、当該フレーム・セグメント２２と次の画像フレーム２０におけるあるフレーム・セグメント２２におけるピクセルのクロミナンス値に基づくエネルギー関数を指すこと、よって、ビデオ・サブシーケンスを形成するためにクロマティック・エネルギーを最小化することは、特定のフレーム・セグメント２２について、次の画像フレーム２０において、考えているフレーム・セグメント２２に対する最小のクロマティック・エネルギーをもつフレーム・セグメント２２を同定することを含むことができることは理解されるであろう。考えているフレーム・セグメント２２におけるピクセルについてのクロミナンスに比べてあるフレーム・セグメント２２におけるピクセルについてのクロミナンスが異なるほど、クロマティック・エネルギーは高く、よってそのフレーム・セグメント２２がそのビデオ・サブシーケンスのために選択される可能性は低くなることは理解されるであろう。空間距離エネルギーが、当該画像フレーム２０における当該フレーム・セグメント２２の空間位置と次の画像フレーム２０におけるフレーム・セグメント２２の空間位置に基づくエネルギー関数を指すこと、よって、ビデオ・サブシーケンスを形成するために空間距離エネルギーを最小化することは、特定のフレーム・セグメント２２について、次の画像フレーム２０において、考えているフレーム・セグメント２２における最小の空間距離を与えるフレーム・セグメント２２を同定することを含むことができることは理解されるであろう。次の画像フレーム２０におけるあるフレーム・セグメント２２の位置から考えているフレーム・セグメント２２までの距離が大きいほど、空間距離エネルギーは高く、そのフレーム・セグメント２２がそのビデオ・サブシーケンスのために選択される可能性は低くなることは理解されるであろう。代替的な手法では、時刻tにおける新たな諸ボクセルを、時刻t−1における諸ボクセルの中心を使って初期化することも可能である。諸ボクセルが時間的に重なり合う場合には、ボクセルの最後のフレーム・セグメント２２における中心が、次のボクセルの最初のフレーム・セグメント２２における中心を決定する。

次いで、各ビデオ・サブシーケンスは、各ビデオ・サブシーケンスについての脈信号を決定するために解析される（段階１０７）。脈信号は、ビデオ・サブシーケンスにおける諸フレーム・セグメント２２の色または色の変化を表わす。ビデオ・シーケンスから（よってビデオ・サブシーケンスから）脈信号を決定するためのさまざまな技法が当技術分野において知られており、ここで詳細に述べることはしない。しかしながら、いくつかの例示的な技法が下記に呈示されるボクセル脈スペクトル（VPS）法の記述において言及される。

いくつかの実施形態では、各フレーム・セグメント２２のピクセル値（たとえばRGB値）が平均され、サブシーケンス内の各フレーム・セグメント２２についての平均値の時系列から、脈信号が形成される。いくつかの実施形態では、ピクセル値は、フレーム・セグメント２２におけるピクセルの空間位置および／またはフレーム・セグメント２２の中心または中心近くのピクセルまたはピクセル群との色の差に基づいて重み付けされ、重み付けされた値の平均が決定される。たとえば、ピクセル値は、そのピクセルからフレーム・セグメント２２の空間的境界までの距離および／またはそのピクセルからそのフレーム・セグメント２２の中心までの距離に基づいて重み付けされることができる。好ましくは、重み付けは、セグメント２２境界に近いピクセルがより小さな重みをかけられることにつながる。境界に近いピクセルは、隣り合うセグメント２２の間のジッタ・アーチファクトのためセグメント２２の中央に近いピクセルほど信頼できないからである。

例示的な脈信号が、二つのビデオ・サブシーケンス２４、２８について図４（ｄ）に示されている。この例では、ビデオ・サブシーケンス２４は生体皮膚組織の領域を含み、よってこのビデオ・サブシーケンスから決定された脈信号はPPG信号に典型的な特性（すなわち、心臓の拍動のため被写体の皮膚における血液灌流の変化と整合した振幅変動）を示す。ビデオ・サブシーケンス２８は、生体皮膚組織の領域を含まず、よって、このビデオ・サブシーケンスから決定された脈信号はPPG信号に典型的な特性を示さない（そして、ビデオ・シーケンスにおける周辺照明の変化がなければ、サブシーケンス２８についての脈信号は概してノイズ信号に対応しうる）。

ひとたび各ビデオ・サブシーケンスについて脈信号が決定されたら、ビデオ・シーケンスについて類似性行列が決定される（段階１０９）。類似性行列は、同様の脈信号が互いに相関付けられている行列である。類似性行列の使用は、何らかのパラメータ（たとえば皮膚色調またはクラスタリングに基づくパラメータ）があらかじめ定義されることを要求しないので、有利である。

類似性行列は好ましくは、各脈信号と他の脈信号とについてのペアごとの類似性を決定することによって形成される。すなわち、各脈信号について、他の脈信号のそれぞれとの類似性の指標が決定される。これらのペアごとの類似性指標が次いで組み合わされて、類似性行列を形成する。

ペアごとの類似性指標は好ましくは、周波数ベースのペアごとの類似性指標を含む、または、周波数ベースのペアごとの類似性指標である。同じ特定の被写体の生体皮膚組織の領域に対応する異なるフレーム・セグメント２２は、相関において、類似の（または同じ）周波数ピーク・インデックス、位相または低いエントロピーをもつ脈信号を示すはずなので、これは有利である。

脈信号と他の脈信号のうちの一つとについてのペアごとの類似性の指標は、その脈信号と他の脈信号のうちの前記一つとの周波数スペクトルの少なくとも一部の間の相関の指標（これは本稿ではスペクトル・ピークと称する）、その脈信号と他の脈信号のうちの前記一つとの周波数スペクトルの少なくとも一部の間の規格化された相互相関の指標（これは本稿ではスペクトル位相と称される）、それら二つの脈信号の周波数スペクトルの少なくとも一部の間の相関の規則性の指標（これは本稿ではスペクトル・エントロピーと称される）および／またはそれら二つの脈信号の内積の結果（脈信号は任意的には内積が計算される前にフィルタリングされることができる）であることができる。これらのペアごとの類似性指標のさらなる詳細は、下記のVPS法の記述に見出される。

当業者は、ペアごとの類似性について上記のものに対する代替的なまたはさらなる指標であって、決定され類似性行列形成に使用できるものを認識するであろう。

いくつかの実施形態では、ペアごとの類似性の複数の指標（たとえばスペクトル・ピークおよびスペクトル位相）が、各脈信号と他の脈信号のそれぞれとについて決定でき、それらの指標が組み合わされて、各脈信号と他の脈信号のそれぞれとについてのペアごとの類似性を表わす距離メトリックを形成することができる。次いで、それらの距離メトリックに基づいて類似性行列が決定されることができる。

ひとたび類似性行列が決定されたら、類似性行列から、ビデオ・シーケンスにおいて、生体皮膚組織の領域が識別される（段階１１１）。生体皮膚組織の領域は、類似性行列の行列分解を実行することによって同定される。いくつかの実施形態では、行列分解は、特異値分解（singular value decomposition）（SVD）、QR分解、疎SVD、インクリメンタルSVD、主成分分析（principal component analysis）PCAおよび独立成分分析（independent component analysis）ICAを含むことができる。これらの技法は当技術分野において一般に知られており、本稿では詳細に述べることはしない。下記でより詳細に述べるある好ましい実施形態では、類似性行列はインクリメンタル疎PCAを使って分解される。

段階１１１は、同じ被写体に属するビデオ・シーケンスの諸部分を見出すために、類似性行列を直交基底に因子分解（分解）することを含むことができる。この因子分解の結果、異なる種類の類似性が独立な方向に分離される。その結果、同じ被写体に属するフレーム・セグメント２２は同じ方向にクラスタリングされる。

図３には示していないが、ひとたびビデオ・シーケンスにおいて生体皮膚組織の領域が識別されたら、被写体（識別された生体皮膚組織をもつ被写体）の一つまたは複数の生理的特性がビデオ・シーケンスから決定できる。

いくつかの実施形態では、生理的特性（単数または複数）は、生体皮膚組織の識別された領域に関連付けられた前記一つまたは複数の脈信号から決定できる。この場合、前記一つまたは複数の脈信号は個々に解析されて生理的特性を決定し、複数の生理的特性が組み合わされて（たとえば平均されて）被写体についての生理的特性の全体的指標を与えることができる。あるいはまた、前記一つまたは複数の脈信号が組み合わされて（たとえば平均されて）単一の脈信号を与え、その脈信号が解析されて生理的特性を決定することができる。

他の実施形態では、ビデオ・シーケンスは再処理されて生体皮膚組織として識別された領域から脈信号（単数または複数）を抽出し、その脈信号が処理されて生理的特性を決定することができる。

ビデオ・シーケンスから決定される脈信号は、PPGセンサーを使って得られる信号と同様であり、よって被写体の前記一つまたは複数の生理的特性は、被写体のPPG信号または血液灌流（または血液灌流の変化）の他の指標から導出できる任意の特性、たとえば心拍数、心拍数変動率、拍間間隔、呼吸数、呼吸信号、SpO2値（すなわち、血液の動脈酸素飽和レベル）などを含むことができる。このように、PPG信号からそのような生理的特性を導出するために当技術分野で知られている諸技法（たとえば、心拍数を決定するための周波数領域におけるピーク検出）が、生体皮膚組織であると識別された領域から得られる脈信号から生理的特性についての値を導出するために使用できる。

本稿に記載される技法のある好ましい実施形態を下記に述べる。これは本稿では、ボクセル脈スペクトル（VPS）法と称される。

〈ボクセル脈スペクトル（VPS: Voxel-Pulse-Spectral）法〉
〈カメラに基づく脈抽出〉
人間の心臓血管系では、身体を通じて伝搬する血液脈は皮膚組織における血液体積を変える。血液中のヘモグロビンの光吸収は光スペクトルを通じて変化するので、皮膚反射の色変動を検出することで脈拍数を明らかにできる。近年のリモート光体積変動記録法（rPPG）技法は、通常のRGBカメラを使って人間の皮膚での脈に誘起された色変動を検出することを可能にする。脈を見出すために時間的なRGB信号を因子分解するためにブラインド信号源分離方法（たとえばPCAに基づくもの、ICAに基づくもの）が提案されている。標準化された皮膚色調の想定のもとでRGBチャネルの線形結合として脈を定義するためのクロミナンスに基づくrPPG法も提案されており、これは現実的な困難（たとえば異なる被写体皮膚色）に対処することにおいて最も正確なrPPG法の一つである。

脈に基づく関心領域の検出
人間の脈がビデオ・シーケンスにおいてrPPGによって測定できるという事実を与えられると、脈信号は被写体検出を支援するために使用できる。すなわち、生きている被写体を、その生体皮膚組織を位置特定することによって検出するのである。既存の技法は、局所的な脈抽出のために、ビデオを、固定した剛体的なグリッドにスライスする、脈信号に基づく顔検出方法を提案する。同方法は、硬閾値を設定して高いスペクトル・エネルギーをもつグリッドを見出し、それらのグリッドに顔領域とラベル付けする。同方法は、静止した顔がカメラからあらかじめ定義された距離のところに置かれている必要があるビデオに制限される。本稿に記載されるVPS法は、こうした制限を受けない。もう一つの既存の技法では、rPPGモニタリングを向上させるための顔に対する最適関心領域（RoI: Region of Interest）選択法が提案された。しかしながら、RoIはあらかじめ定義された顔ランドマークに制約され、これは被写体検出のための一般的解決策ではない。すなわち、ビデオにおいて見える可能性のある他の身体部分（たとえば手）を検出できない。対照的に、本稿に記載されるVPS法は、そのような想定をせず、脈動する血液体積をもつすべての身体部分を検出できる。

VPS法の概観が図５に示されている。これは、画像フレーム２０を含む入力ビデオ・シーケンスを受けて、被写体RoI ３２（すなわち、生体皮膚組織に対応するビデオ・シーケンスの領域）を出力する。図３に示した方法と整合して、ビデオ・シーケンスは複数のサブシーケンスにセグメント分割され（階層的ボクセル段３４――段階１０３および１０５）、各サブシーケンスについて脈信号が決定され（脈抽出段３６――段階１０７）、RoIを同定するために類似性行列が決定されて解析される（スペクトル解析段３８――段階１０９および１１１）。各段は下記で詳細に述べる。

〈階層的ボクセル〉
被写体についての（あるいは内容一般についての）何らの事前情報もなしにビデオ・シーケンスを与えられて、ビデオ・シーケンスはまず、独立して脈が測定できる密な局所的領域にセグメント分割される（これは図５では階層的ボクセル段３４である）。ビデオ・シーケンスは固定した剛体的グリッドにスライスされることができるが、これは被写体サイズがグリッド幾何によって量子化されることを意味し、そのことは被写体が小さいときまたは身体動きがあるときは難儀するまたは失敗する。したがって、VPS法においては、「階層的ボクセル」と呼ばれる、脈抽出のための、より優れたビデオ・セグメント分割方法を使うことが好ましい。階層的ボクセルは、好ましくは複数のスケールでの（スケールは各画像フレーム２０が分割されるクラスター／セグメントの数を決定する）、空間時間的にコヒーレントなクラスター（フレーム・セグメント）からなる。ここで、時間領域における空間的類似性および外観を共有する、諸画像フレーム２０内の諸ピクセルが一緒にグループ化される。複数のスケールが好ましく、以下におけるVPS法の記述でも使われるが、VPS法において単一のスケールを使うことも可能である。

一つのスケールから始めて、ボクセル（連続する画像フレームの部分集合（たとえば2,3,4など）からのフレーム・セグメントを含むビデオ・サブシーケンス）の構築は、短い期間T∈{2n＋1, n∈N⁺}内の時間的に隣り合うスーパーピクセル／フレーム・セグメントの間のクロマティック・エネルギーE_c（すなわち、諸フレーム・セグメントについてのクロミナンスの差を最小化）および空間距離エネルギーE_s（すなわち、フレーム・セグメント間の空間距離の差を最小化）を

として最小化する手順として定義される。ここで、p∈P(t)はt番目のフレームにおけるピクセルの集合である。pの表現は4次元特徴ベクトル(x,y,u,v)であり、(x,y)および(u,v)はそれぞれ画像平面およびクロマティック平面（たとえばYUV空間のUV平面、皮膚セグメンテーションのための経験的空間）における座標である。Tの間の全エネルギーを最小にするようピクセルをk個のクラスターに割り当てるために、K平均クラスタリングが実行される。λは二つのエネルギー項の間のバランスを制御するパラメータである。

さらに、単一スケールのボクセルは、式(1)における異なるkを同時に初期化することによって、複数スケールに拡張される。ここで、各スケールは独立なクラスタリングである。別個のスケールでのボクセルは異なる分解能およびエネルギー変動をもつことを考えると、i番目のスケールにおけるλ_iは、tでのそれ自身のエネルギー変動に基づいて、

として適応的に自己調節される。ここで、σ(・)は標準偏差演算子を表わし；φ(・)はクラスター平均の集合を表わし；log(k)はボクセルのコンパクトさを制御する、すなわちより高い分解能（より大きなk）をもつボクセルほどコンパクトであるべきである。異なるスケールでのλのリアルタイム調節は、安定しない、うつろいやすいクラスタリングを回避し、これは細かい粒度のセグメント分割を保存する。

上記のような階層的ボクセルを使うことには、四つの恩恵がある。そのことを例解する図６は、生体被写体および人工的な顔を含む二つの異なる画像について三つの異なる分解能／スケール（k＝16、k＝36、k＝64）を示している。図６において、第一の画像４０は図１の左側の画像に対応し、いずれもカメラを向いている人間の顔よび人工的な顔を示している。第二の画像４２は図１の右側の画像に対応し、カメラに側面を向けている人間の顔および人工的な顔を示す。第一に、階層的ボクセルを使うことは、脈測定のための、空間時間的にコヒーレントな「チューブ」（ビデオ・サブシーケンス）を確立する。第二に、ビデオにおけるスケール不変な被写体検出を可能にする。第三に、被写体形状の高い境界再現（recall）を維持する（フレーム・セグメントの境界が画像中の形をなぞっていることによって示される）。第四に、異なる分解能をもつボクセルから測定された脈は異なる量子化された品質をもつので、皮膚領域の統計的観察が生成される。

〈脈抽出〉
本節は図５の脈抽出段３６を記述する。階層中の各ボクセル（すなわち、ビデオ・サブシーケンス）は、並列的な脈抽出における独立な脈センサーであると想定される。ある好ましい実施形態では、脈測定のために、非特許文献４に記載される、クロミナンスに基づく方法（CHROM）が使われる。しかしながら、当業者は、ボクセルについての脈信号を決定するために使用できる他の技法を認識するであろう。たとえば、上記のように、ボクセルから脈信号を抽出するために、PCAまたはICAに基づく技法が使用でき、あるいは非特許文献５に記載される「PBV」法が、RGBトレースから脈を抽出するために使用できる。局所的な領域／クラスターにおける脈信号を導出するためにすべてのピクセルの空間的に平均されたRGBを使うCHROMとは異なり、ボクセル中のピクセルRGB値がボクセル境界への距離に基づいて重み付けすることによって組み合わされる。すなわち、ボクセル境界に近いピクセルは、隣り合うボクセルの間の時折のジッタ・アーチファクトのため、それほど信頼できず、よってより小さな重みがかけられるべきである。ピクセルkからボクセル境界までの最も近いユークリッド距離がd_kであるとすると、tにおけるi番目のスケールでのj番目のボクセルの平均RGBは

として組み合わされる。ここで、Nはj番目のボクセルにおけるピクセル数を表わす。一定した照明の環境では、人間の皮膚組織は同じ相対PPG振幅を示すが、諸ボクセルにおけるクロマティックな差は脈振幅における変動を生じる。よって、CHROMとは異なり、ボクセルにおける平均RGBの時間微分が、そのクロミナンス信号を導出するために使われる。すなわち、

期間T（式1に関して定義した）において、規格化されたクロミナンス微分は

として計算される。ここで、(dR^t _ij,dG^t _ij,dB^t _ij)は二つの画像フレームの間でのボクセル中のRGBの時間微分を表わす。各区間において推定されたクロミナンスの微分は線形結合されて脈微分とされ、さらに積分される。その後、異なる脈期間が重複加算されて、長さLをもつ完全な脈信号

にされる。この手順は、次のように解釈できる。

ここで、csum(・)は時間微分信号の累積和（cumulative sum）を表し；wは重複加算を平滑化するためのハニング窓である。結果として、（i番目のスケールでのj番目のボクセルからの）並列抽出された脈信号

は次のように中心化および規格化される。

ここで、μ(・)は平均演算を表わす。この方法では使用された唯一の特徴は脈信号であることを注意しておく。色またはテクスチャーのような他の外観特徴は使われていない。

〈スペクトル解析〉
本節は、スペクトル解析段３８を記述する。これは、類似性行列を形成し、類似性行列に対してインクリメンタル疎PCAを実行し、階層的融合を使ってビデオ・シーケンスにおける生体皮膚組織の領域を識別するという三つのサブ段を含む。

同じ被写体に属する皮膚領域から抽出された脈信号が位相および周波数のような多くの側面において類似性を共有するが着目されている。一方、皮膚以外の領域（たとえば背景）から抽出された脈信号は相関のないランダム・ノイズである。よって、階層的ボクセルから脈信号を抽出した後、脈信号のペアごとの類似性が、生きている被写体を見出すために使われる。これは、ビデオ・シーケンスに複数の被写体がいる場合にも適用可能である。異なる被写体から測定された脈も位相および周波数で区別できる。

類似性行列――この段階では、測定された脈に基づいて階層的ボクセルを相互に連関させる類似性行列Σ＝(D,C)が生成される。Σにおいて、対角線トレースにおける諸要素Dは種々のスケールにおけるすべてのボクセルを含み；残りの諸要素Cは任意の対のボクセルの間のペアごとの連関を表わす。そのような類似性行列を構築するために、脈類似性を測るための距離メトリックが定義される必要がある。最も一般的に使われる距離メトリック、すなわちL1およびL2距離は、脈特徴には適用可能でない。しかしながら、他の外観特徴（たとえば非特許文献６、７）に比べて、脈特徴における本質的で独特な性質は、周期性を含むということである。同じ被写体からの脈信号は以下の関係を示すことが着目されている：（１）類似した周波数をもち、よってその相互相関は有意なスペクトル・ピークを呈する；（２）有意な位相シフトをもたない；（３）周波数相関が規則的であり、乱れがより少ない；（４）脈信号を多次元ベクトルとして考える場合、二つの類似したベクトルにはさまれる角度は小さい。したがって、脈信号についての類似性行列を構築するために使われる好ましい距離メトリックは、上記の連関（connections）を強調し、四つの異なる測定値から構成される。

・スペクトル・ピーク――周波数領域において、諸ボクセルが連通する（communicate）ための脈拍数帯域f∈[40,240]BPM（Beats Per Minute［拍毎分］）が定義される。これは、新生児およびスポーツをしている被写体を含む健康な被写体についての広い範囲である。二つの相互相関を取った脈信号のスペクトル・ピークは次のように定義される。

ここで、白丸は要素ごとの積を表わし、*は共役を表わし、F(・)は高速フーリエ変換（FFT）を表わす。

・スペクトル位相――二つの類似した脈信号は同じ位相でもあるので、その規格化された相互相関（normalized cross-correlation）は

としての時間領域における強い応答を示すはずである。ここで、||・||₂はL2ノルムであり、F^-1(・)は逆FFTを表わす。

・スペクトル・エントロピー――用語「エントロピー」は、二つの脈信号の間の相関の規則性を

として測るために使われている。ここで、Eの解釈は、他の測定と整合する。すなわち、大きなEほどよりよい相関を表わす。

・内積――時間領域において、二つの脈信号の間の余弦角を測るために内積を

として使う。ここで、＜，＞は内積演算を表わす。

最後に、これら四つの測定値が範囲[0,1]に規格化されて、ガウシアン・カーネルを用いて

として一緒に融合される。ここで、σ_I,F,P,Eは四つの行列の間の、要素ごとの標準偏差を表わす。四つの測定値は互いに完全に独立ではないことを注意しておくべきである。測定値の間の冗長性は、類似性推定における不確定性を減らすために有益である。図７は、二つのビデオ・シーケンスについての、四つの測定値およびその融合された類似性行列Σ ４４、４６の例を示している。ビデオ・シーケンスの一方は単一の生きている被写体を含み、他方は二人の生きている被写体を含む。より高いエネルギーをもつ要素が、その階層における類似しているボクセルのインデックスを表わす。

本稿で使われる距離メトリックでは、二つのよく揃った脈信号は、相互相関の際に増強された周波数エネルギーを示し、これは事実上、ノイズ要素（たとえば、脈のないボクセル）を抑制することができる。対照的に、以前の距離メトリックはみな、比較における類似した要素の間の連関を高めることができない客観的な測定値である。結局、階層におけるすべてのボクセルは、類似性行列において相互に連関している。諸ボクセルにおいて生きている被写体を検出するタスクは、同じ部分空間内の要素が同一の類似性方向をもつような類似性行列の部分空間分割を見出すこととして、再定式化できる。

インクリメンタル疎行列分解（incremental sparse matrix decomposition）――類似性行列Σ ４４、４６は、λ₁x₁x₁ ^T＋λ₂x₂x₂ ^T＋……λ_nx_nx_n ^Tの線形結合として解釈できる。ここで、x_i∈Xは多次元空間における直交ベクトルの集合である。同じ被写体に属するボクセルを見出すために、ΣをXに因子分解するために行列分解技法が使われる。ここで、異なる被写体が異なる固有ベクトルに分離される。Σは多くの0の要素をもつ疎な行列である（たとえば、背景を指すボクセルは類似性を共有しない）から、表現力とデータ解釈可能性との間のトレードオフを追求することによってΣをXに分解するために疎PCAが適用される。

疎PCAは非特許文献８に記載されている。疎PCAは、次の凸でない目的関数を最適化することによって、Σにおける最大分散をもつ第一の疎な固有ベクトルを見出す：

ここで、||・||₂はL1ノルムであり、n＞0はXの濃度（cardinality）を制御する。しかしながら、最大分散をもつ疎な固有ベクトルを計算することは組み合わせ問題であり、数値的に解くのが困難である。よって、

のように、l₁ペナルティ付与を用いた半定符号の（semidefinite）緩和のためのリフティング（lifting）手順に続いて、式(13)における凸でない階数制約条件が落とされる。ここで、Tr(・)は行列トレース演算を表わし、ρ＞0は疎さを制御し、

は第一の先頭の固有ベクトルによって近似される対称行列である。この時点で、式(14)を解くために、ハイブリッド条件付き勾配平滑化（HCGS: Hybrid Conditional Gradient Smoothing）というアルゴリズムを使うことができる。HCGSは非特許文献９に記載されている。HCGSの利点は、条件付き勾配手法を使った凸緩和（convex relaxation）における速い収束である。

しかしながら、実際上は、Σは、複数の被写体の場合、多重疎固有基底（multiple sparse eigenbasis）からなることがある。一方、式(14)は第一の先頭の固有ベクトルにおける疎さを促進するだけである。この問題に対処するため、その後の疎な固有ベクトルx_iは、以前の疎な固有ベクトルx₁、x₂、…、x_i-1を用い、ホテリングの収縮（Hotelling's deflation）を使って

として、逐次的にΣを収縮させることによって推定される。ここで、

はHGCSにおいて冪逐次反復（power iteration）によって導出できる。mは、最も表現力のある（expressive）固有ベクトルの自動的に見出された数であり、これはビデオ・シーケンスにおける被写体の数をも含意する。すなわち、mは通例、最大の固有値ギャップのところに見出される。

図８は、図７に示される二つの類似性行列４４、４６について、インクリメンタル疎PCAを使っての類似性行列分解の例を示している。ここで、類似するボクセルは、選択された固有ベクトルにおける同じ方向に因子分解される。このように、図８は、類似性行列からの、因子分解され選択された固有基底を示している。もとのΣ ４４、４６におけるノイズのある要素は＾付きのΣ ４８、５０では消去されている。固有値（それぞれグラフ５２および５４に示される）は、（それぞれグラフ５６および５８に示される）＾付きのΣにおける最も表現力のある固有ベクトルの数を明確に示している。

実のところ、いくつかの内在的（たとえば脈拍数変動）および外来的（たとえばルミナンス変化）要因が、その後のフレームにおいて時折類似性行列を変化させることがある。このことは、それぞれの単一フレームから推定される疎な固有ベクトルの不安定性につながる。この問題を解決するために、x_i∈Xを時間領域におけるリアルタイム変化になめらかに適合させるために、インクリメンタルな部分空間更新が用いられる。基本的には、これは時間変化する類似性行列

を新たな観察として考慮し、異なるフレームからの複数の観察

を、部分空間モデルを

のように豊かにするために使う。ここで、SVD(・)は、特異値分解を表わし；UおよびDはインクリメンタルに更新された固有ベクトルおよび固有値である。時間変化する類似性行列から複数の疎な固有ベクトルをインクリメンタルに推定するための例示的なアルゴリズムが下記のアルゴリズム１に示されている。

階層的融合――推定された疎な固有ベクトル５６、５８を階層的ボクセルに投影することによって、複数のスケールにおけるボクセルに基づく人間のオブジェクトネス・マップが得られる。ここで、各スケールは被写体に対する異なる量子化された記述をもつ。図７および図８からの二人の被写体を含むビデオ・シーケンスについてのこの投影が図９に示されている。固有ベクトル５８は諸部分空間における被写体方向（符号）を決定するのみならず、対応する皮膚領域の脈動性（振幅）をも決定する。すなわち、額および頬は、投影において相対的に高い脈動性を示す。最終段階は、複数のオブジェクトネス・マップを単一の出力に融合するものである。階層的測定が皮膚領域についての統計的な観察を生成するという事実のため、基本的な発想は、この冗長性を活用して、すべてのスケールが最高の一致をもつ単一の出力を導出するということである。この意味で、階層的な融合は、マルチスケール・オブジェクトネス・マップの間のエネルギー最小化として、次のように書ける。

ここで、O_ijは、固有ベクトル要素によって決定されるi番目のスケールにおけるj番目のボクセルのオブジェクトネス値に対応し；＾付きのOは融合されたオブジェクトネス・マップを表わし；γは二つのエネルギー項の間のバランスを制御する。式(19)において、E₁は入力と出力の間のエネルギーを最小化し、一方、E₂は異なるスケールにおける空間的に重なったボクセルどうしの間のエネルギーを最小化する。すなわち、暗黙的な木構造である。図９は、二人の生きた被写体がいるビデオ・シーケンスにおける融合された結果の例を示している。ここで、識別された被写体のそれぞれについて、別個の出力６０、６２が提供される。

上記の方法およびVPS法の好ましい実施形態は、ビデオ・シーケンスにおいて生体皮膚組織を識別するための改善された方法および装置を提供する。特に、本方法は、通常の技法に比べて、改善された生体皮膚組織検出率を提供し、検出は生体組織を検出するために脈信号を使うことのみに基づく。これらの改善は、ビデオ・シーケンスにおける被写体または被写体の背景のスケール（撮像ユニット４からの距離）、姿勢、位置、皮膚色調、可視の身体部分または動き、被写体が撮像ユニット４から部分的に隠蔽されているかどうか、ビデオ・シーケンスに人工的な顔または身体部分が存在するかどうかまたはビデオ・シーケンスに複数の生きた被写体があるかどうかに関わりなく得られる。

図面、本開示および付属の請求項を吟味することから、開示される実施形態に対する変形が、特許請求される発明を実施する当業者によって理解され、実施されることができる。請求項において「有する／含む」という語は他の要素や段階を排除するものではなく、単数形の表現は複数を排除するものではない。単一のプロセッサまたは他のユニットが請求項において記載されているいくつかの項目の機能を充足してもよい。ある種の施策が互いに異なる従属請求項に記載されているというだけの事実がこれらの施策の組み合わせが有利に使用できないことを示すものではない。コンピュータ・プログラムは、光記憶媒体または半導体媒体のような、他のハードウェアと一緒にまたは他のハードウェアの一部として供給される好適な媒体上で記憶／頒布されてもよいが、インターネットまたは他の有線もしくは無線の遠隔通信システムを通じてなど、他の形で配送されてもよい。請求項に参照符号があったとしても、範囲を限定するものと解釈されるべきではない。

Claims

ビデオ・シーケンスにおいて生体皮膚組織を識別するための装置であって、
当該装置は処理ユニットを有し、該処理ユニットは：
ビデオ・シーケンスを受け取る段階であって、前記ビデオ・シーケンスは複数の画像フレームを含む、段階と；
前記画像フレームのそれぞれを複数のフレーム・セグメントに分割する段階であって、各フレーム・セグメントは前記画像フレームにおける近隣のピクセルの群である、段階と；
複数のビデオ・サブシーケンスを形成する段階であって、各ビデオ・サブシーケンスは前記複数の画像フレームの二つ以上からのフレーム・セグメントを含む、段階と；
前記複数のビデオ・サブシーケンスを解析して、各ビデオ・サブシーケンスについて脈信号を決定する段階と；
それぞれの決定された脈信号について、他の決定された脈信号のそれぞれとのペアごとの類似性に基づく類似性行列を決定する段階と；
前記類似性行列から前記ビデオ・シーケンスにおける生体皮膚組織の領域を識別する段階とを実行するよう構成されている、
装置。
脈信号と他の脈信号の一つとについてのペアごとの類似性は：
それら二つの脈信号の周波数スペクトルの少なくとも一部の間の相関；
それら二つの脈信号の周波数スペクトルの少なくとも一部の間の規格化された相互相関；
それら二つの脈信号の周波数スペクトルの少なくとも一部の間の相関のエントロピーの指標；および
それら二つの脈信号の内積の結果
のうちの一つまたは複数を含む、請求項１記載の装置。
ペアごとの類似性は周波数ベースのペアごとの類似性を含む、請求項１または２記載の装置。
前記処理ユニットは、前記類似性行列から画像の前記シーケンスにおける生体皮膚組織の領域を識別することを、前記類似性行列に対して行列分解を実行することによって実行するよう構成されている、請求項１ないし３のうちいずれか一項記載の装置。
前記処理ユニットは、前記画像フレームのそれぞれを複数のフレーム・セグメントに分割することを、ピクセルを、該ピクセルの色および空間的類似性に基づいてフレーム・セグメントにグループ分けすることによって実行するよう構成されている、請求項１ないし４のうちいずれか一項記載の装置。
前記処理ユニットは、複数のビデオ・サブシーケンスを形成することを、各ビデオ・サブシーケンスについて、そのビデオ・サブシーケンスにおいて、フレーム・セグメントどうしのクロミナンスの間の差および／またはフレーム・セグメントどうしの位置の間の空間距離が最小化されるように、前記複数の画像フレームのそれぞれからフレーム・セグメントを選択することを含むことによって実行するよう構成されている、請求項１ないし５のうちいずれか一項記載の装置。
前記処理ユニットはさらに、前記ビデオ・シーケンスにおける生体皮膚組織の識別された領域に関連付けられた一つまたは複数の脈信号から、一つまたは複数の生理的特性を決定するよう構成されている、請求項１ないし６のうちいずれか一項記載の装置。
前記ビデオ・シーケンスを捕捉するための撮像ユニットをさらに有する、
請求項１ないし７のうちいずれか一項記載の装置。
ビデオ・シーケンスにおいて生体皮膚組織を識別するための方法が提供であって：
ビデオ・シーケンスを取得する段階であって、前記ビデオ・シーケンスは複数の画像フレームを含む、段階と；
前記画像フレームのそれぞれを複数のフレーム・セグメントに分割する段階であって、各フレーム・セグメントは前記画像フレームにおける近隣のピクセルの群である、段階と；
複数のビデオ・サブシーケンスを形成する段階であって、各ビデオ・サブシーケンスは前記複数の画像フレームの二つ以上からのフレーム・セグメントを含む、段階と；
前記複数のビデオ・サブシーケンスを解析して、各ビデオ・サブシーケンスについて脈信号を決定する段階と；
それぞれの決定された脈信号について、他の決定された脈信号のそれぞれとのペアごとの類似性に基づく類似性行列を決定する段階と；
前記類似性行列から前記ビデオ・シーケンスにおける生体皮膚組織の領域を識別する段階とを含む、
方法。
ペアごとの類似性は周波数ベースのペアごとの類似性を含む、請求項９記載の方法。
前記類似性行列から画像の前記シーケンスにおける生体皮膚組織の領域を識別する前記段階は、前記類似性行列に対して行列分解を実行することを含む、請求項９または１０記載の方法。
複数のビデオ・サブシーケンスを形成する前記段階は、各ビデオ・サブシーケンスについて、そのビデオ・サブシーケンスにおいて、フレーム・セグメントどうしのクロミナンスの間の差および／またはフレーム・セグメントどうしの位置の間の空間距離が最小化されるように、前記複数の画像フレームのそれぞれからフレーム・セグメントを選択することを含む、請求項９ないし１１のうちいずれか一項記載の方法。
ビデオ・サブシーケンスを解析して脈信号を決定する前記段階は：
フレーム・セグメント内の各ピクセルについての諸ピクセル値を平均し；
ビデオ・サブシーケンスについての脈信号を、そのビデオ・サブシーケンス内の各フレーム・セグメントについての諸平均ピクセル値から形成することを含む、
請求項９ないし１２のうちいずれか一項記載の方法。
ピクセル値を平均する前記段階は：
フレーム・セグメント内のピクセルのピクセル値に重み付けする段階であって、ピクセル値はそのフレーム・セグメント内でのそのピクセルの空間位置および／またはそのフレーム・セグメントの中心または中心近くのピクセルまたはピクセル群との色の差に基づいて重み付けされる、段階と；
フレーム・セグメント内のピクセルの重み付けされたピクセル値を平均する段階とを含む、
請求項１３記載の方法。
コンピュータ可読コードが具現されているコンピュータ可読媒体であって、前記コンピュータ可読コードは、好適なコンピュータまたはプロセッサによって実行されると、該コンピュータまたはプロセッサに請求項９ないし１４のうちいずれか一項記載の方法を実行させるよう構成されている、コンピュータ可読媒体。