JP2014502187A - 入力信号を出力信号に変換するためのシステム及び方法 - Google Patents

Abstract

本発明は、少なくとも１つの少なくとも部分的に周期的なバイタル信号１８を表す生理的情報５４を有する入力信号２４から取得されたデータを処理するためのシステム及び方法に関する。生理的情報５４は、オブジェクト１６により反射された可視放射線２０から導出可能である。本システムは、入力信号２４における少なくとも１つのバイタルサイン５０を検出するための検出手段２８と、検出されたバイタルサイン５０に依存して入力信号２４を修正することにより出力信号３４を生成するためのコンバータ手段３０とを有する。出力信号３４は、入力信号２４の少なくとも１つのバイタルサイン５０のそれぞれのバイタルサイン５０を少なくとも部分的に置換する人工的なサイン５６を有する。一実施形態において、本システムは、少なくとも１つの特定の波長範囲内で可視電磁放射２０を検出するためのセンサ手段２２を更に有する。

Description

本発明は、入力信号を出力信号に変換するデータを処理するためのシステム及び方法に関し、入力信号は、電磁放射から、特に一連の画像フレームから導出可能な生理的情報を有する。更に、本発明は、前記方法を実装するためのコンピュータプログラムに関する。

近年、記録された画像の単なる表現の他に、記録データの深い分析が可能にされたという点で、画像処理の分野において、大きな進展がもたらされた。詳細には、記録データが、動物又はより詳しくは人間のような生物の表現を有するときに、個々の人格又は健康に関する決定が可能となる。

この状況において、米国特許第６，０６７，３９９号明細書は、ビデオデータを記録するための方法及び装置を開示している。この方法は、対象物を表す記録されていないビデオデータを受信するステップと、前記対象物の肌のトーンの詳細を検出するステップと、前記検出された肌のトーンの詳細に対応する前記ビデオデータをぼかすために前記検出された肌のトーンの詳細にのみ実質的に対応する前記ビデオデータを操作するステップと、前記操作されたビデオデータを含む前記ビデオデータを記録するステップとを有する。

それ故、記録されたビデオデータ内の対象物のそれぞれの部分をマスキングすることにより記録された対象物のアイデンティティのプライバシを保証することが可能となる。

しかしながら、少なくともある程度対象物（例えば人間）を認識することが必要とされるか又は望ましいときに、斯様な厳密なマスキングは適用できない。これらのニーズは、例えば、テレビ会議、セキュリティモニタリング、健康モニタリング等の分野において存在し得る。

更なるチャレンジは、同時に、画像及びそのシーケンスがデジタル的に記録、処理及び再生され、損失を伴うことなく繰り返され得るという事実に関する。結果として、個人情報の制御の損失の増大されたリスクが生じるかもしれない。

本発明の目的は、上述の欠点に対処するとともに、記録されたデータの表示及びサーキュレーションを可能にする一方で、表示されたときにプライバシの或るレベルを維持するとともに処理されたデータの人間の認識の或るレベルを依然として可能にする、データを処理するためのシステム及び方法を提供することにある。

更にまた、データの記録を可能にするシステムを提供する一方で、実質的に同時に、プライバシ保護手段に対して対処される記録データの処理を保証するとともに、処理された記録データへの無断アクセスも防止することが有利であるだろう。

本発明の第１の態様において、生理的情報を有する入力信号から取得されたデータを処理するためのプライバシ保護システムであって、前記生理的情報は、オブジェクトにより反射された可視放射線から導出され、前記生理的情報は、少なくとも１つの少なくとも部分的に周期的なバイタル信号を表し、当該システムは、前記入力信号における少なくとも１つのバイタルサインを検出するための検出手段であって、前記少なくとも１つのバイタルサインは、時間に渡って変化し、前記少なくとも１つの少なくとも部分的に周期的なバイタル信号に対応する、検出手段と、検出されたバイタルサインに依存して前記入力信号を修正することにより出力信号を生成するためのコンバータ手段とを有し、前記出力信号は、前記入力信号の前記少なくとも１つのバイタルサインのそれぞれのバイタルサインを少なくとも部分的に置換する人工的なサインを有する、プライバシ保護システムが提示される。

本発明は、特定の個人情報を抽出するために分析されようとする生理的情報が記録されたオブジェクトの全体の認識可能性に実質的に影響を及ぼすことなく修正され得るという考えに基づく。全体の認識可能性は、人間の一般的な視覚の認識可能性に言及すると理解されるべきである。換言すれば、これは、概して、人間の視覚が、この状況において、デジタル論理回路アルゴリズム及び動作（例えば、デジタル画像処理）に基づく認識及び処理よりもはるかに進展しないという事実のとられた利点である。

それ故、本来の使用目的に真正面から対立した態様において利用されるという点で、即ち、分析にさらされる生理的情報を検出するために、及び、更に後の分析を可能にするか又は少なくとも影響を及ぼすか若しくは影響するような態様でこれを修正するために、画像処理のための洗練された方法及びデバイスが利用され得る。生成された人工的なサインがブランクのサインとみなされ得るという点で、出力信号をもたらす入力信号の変更が少なくとも１つのバイタルサインの削除又は除去を有してもよいことは言うまでもない。

記録されたデータが処理された後、ユーザは、関心のある記録されたオブジェクト（即ち、記録された生物、又は、特に、記録された人間）のプライバシの本質的なレベルの暴露の危険を冒すことなく、これを転送、複製又は共有することができる。

情報が生物の記録された画像データからどのように抽出され得るかという一例が、ＷＯ２０１０／１００５９４において述べられる。この文書は、少なくとも１つの生物の画像を処理する方法であって、時間における連続点で取得される一連のデジタル画像を取得するステップと、複数の画像ポイントを有する少なくとも１つの測定ゾーンを選択するステップであって、少なくとも１つの測定ゾーンを選択するステップは、画像の少なくとも１つにおける複数の画像部分の画素データに基づいて情報を分析するステップを含み、各画像部分は、少なくとも１つの画像ポイントを含む、ステップと、類似の特性を有するように決定された隣接する部分から各測定ゾーンを選択するステップと、測定ゾーンごとに、周期的な生理的現象の周波数に対応する信号のスペクトルにおける少なくとも１つのピークの存在及び周波数値のうち少なくとも１つを決定するために使用する少なくとも多数の画像ポイントでの画素値の組み合わせの時間変化している平均値についての少なくとも変化を表わす信号を取得するステップとを含む方法を開示している。目標値の検出を改良する方法の幾つかの実施形態も、この文書において開示される。

検出手段及びコンバータ手段のいくつかの実施形態が存在する。第１のかなり単純な実施形態において、検出手段及びコンバータ手段の双方は、それぞれの論理コマンドにより駆動される、処理ユニット（特にパーソナルコンピュータの処理ユニット）により具現化される。また、斯様な処理ユニットは、適切な入出力インタフェースを有してもよい。

しかしながら、代替手段において、検出手段及びコンバータ手段の各々は、それぞれのコマンドにより駆動されるか又は駆動可能な別個の処理ユニットにより具現化され得る。それ故、それぞれの処理ユニットは、その特別な目的に適応され得る。従って、タスクの分配が適用されてもよく、ここで、異なったタスクが処理され、例えば、マルチプロセッサ処理ユニットの単一のプロセッサ上に実行され、又は、再びパーソナルコンピュータによれば、画像処理に関するタスクが画像プロセッサ上で実行される一方で、他の使用可能なタスクが中央処理ユニット上で実行される。

データを処理するためのシステムの好ましい実施形態によれば、入力信号は、特定の信号空間に関連した画像フレームの連続した又は異なったシーケンスを有する。

データを処理するためのシステムの更なる実施形態によれば、少なくとも１つの少なくとも部分的に周期的なバイタル信号は、心拍数、呼吸数及び心拍数変動性からなるグループから選択される。それ故、各バイタル信号を修正するか、又は必要に応じて、単一の所望のバイタル信号だけを修正する一方で他のバイタル信号を基本的には修正されないままにすることが想定され得る。

斯様なバイタル情報は、時間に渡る肌のトーンの詳細の僅かな変化から取得され得る。特に血管系にフォーカスしたときには、血液循環及び呼吸は、皮膚色の最も僅かな変化に相関する。所望の皮膚色を表す関心のあるエリアの一連の画像フレームの捕獲が検出されるように変化したときには、その変化が人間の認識可能性によって画像フレームの記録されたシーケンスの再生を見ている人により検出され得ないにもかかわらず、時間に渡る変化は、論理アルゴリズムによって除外及び評価され得る。

それ故、未処理のビデオデータ等の転送又は分配は、他の者に個人情報を誤って提供するというリスクを実質的に負ってもよい。例えば記録された人の物理的な健康又は精神衛生を評価するために、抽出された斯様なデータ及び情報を誤用することが意図され得る。

処理データのシステムの更なる実施形態によれば、検出手段は、少なくとも１つのバイタルサインの時間的変化を検出するように適合され、時間的変化は、少なくとも１つの少なくとも部分的に周期的なバイタル信号を表す。

この実施形態は、好ましくは、コンバータ手段は、少なくとも１つのバイタルサインの時間的変化を均一化するための均一化手段、少なくとも１つのバイタルサインを入力信号から除去するためのマスク手段、少なくとも１つのバイタルサインの時間的変化を表すバイタル信号の振幅を強化するための評価促進手段、及び、少なくとも１つのバイタルサインの時間的変化を変更するためのモジュレータ手段のグループから選択される下位手段を有し、モジュレータ手段が、周波数変更を時間的変化に適用するように適合されるように、更に開発される。

コンバータ手段に関連した下位手段の種々の実施形態が存在する。下位手段がそれぞれの論理コマンドにより駆動される処理ユニットにより具現化されてもよいことは言うまでもない。

下位手段が均一化手段として設定されるときには、少なくとも１つのバイタルサインの時間的変化は、後の分析処理が所望の情報を記録データから分離することを防止するという態様で計画され得る。換言すれば、例えば、処理されたデータに心拍数分析を適用したときには、更なる分析が基づかれ得ないゼロ信号が検出され得る。

均一化又は平滑化（planing）は、時間に渡る画像フレーム全体の全体変化により、少なくとも１つの少なくとも部分的に周期的なバイタル信号を表す検出された変化を調整するように実質的に向けられることが理解されるべきである。いわゆる全体の変化は、局所条件又は照明の変化により、又は、概して、ノイズ信号により誘発され得る。この点に関して、出力信号は、完全には均一化されないが、むしろ、バイタル信号の抽出を可能にする追加の時間的変化によってはもはや覆われない。少なくとも部分的に周期的なバイタル信号の変化は、一般的なノイズ誘発された全体変化と比較して非常に小さい。例えば、これらの間の比率は、信号レベル変化に関して、約５：１００未満から約１：１００未満であり得る。

また、ある程度の均一化であってもプライバシの必要なレベルを維持するのに十分であると考えられるので、少なくとも１つのバイタルサインの時間的変化を完全に均一化することは必要ではないことも理解されるべきである。所望の信号の僅かな振幅が残ったときであっても、信号の抽出は十分に妨げられ得る。

反対に、下位手段が評価促進手段として構成されるときには、少なくとも１つの少なくとも部分的に周期的なバイタル信号を表す検出時間的変化を大きく高めることが想定され得る。それ故、ノイズ比に対する信号は、所望のバイタル信号の後の決定を促進するために改良され得る。

代わりに、下位手段は、少なくとも１つのバイタルサインの時間的変化を概ね一定の値に置換するように適合されるマスク手段として構成され得る。マスク手段及び均一化手段は、マスク手段が、画像フレームの全体の変化により調整することにより少なくとも１つのバイタルサインの時間的変化を均一化するようには適合されないが、むしろ、全体の変化によって大幅に調整されないか又は影響されない値に置換することにより平均化するという点で、互いに異なる。

換言すれば、例えば、マスク手段によって記録される人の顔をマスキングしたときには、"チャイナドール"フェイスの印象が観察者により知覚され得る。即ち、画像ピクセルのレベルにおいて、分析されるべき（及び、少なくとも１つの少なくとも部分的に周期的なバイタル信号の時間的変化に起因して入力信号において時間に渡って、より大きな範囲で、全体のノイズに対して、変化するようにさらされるべき）皮膚部分に関連した画素値は、例えば時間に渡って概ね一定又は安定な典型的な皮膚色の画素値により置換される。

また、これは、下位手段が所望のバイタル信号に"見せかける"ために適用されるモジュレータ手段として構成される場合に好ましい。時間的変化の周波数を修正することにより、人工的なバイタル信号が生成され、これは、後の分析動作の間において抽出され得るが、しかしながら、元のバイタルサインを把握することはできない。

プライバシの特定のレベルの有効な保護は、この手段により実現されてもよい。元の周波数を１セット周波数又は時間に渡って変化する周波数と置換することが想定され、これにより、固有振動数グラフを模倣する。

更なる好ましい実施形態によれば、コンバータ手段は、画像フレームの大部分を変化させるための全体のコンバータを有し、大部分は、非表示サインを有し、全体のコンバータは、再使用不能な変調を、少なくとも１つのバイタルサインの時間的変化に適用するために好ましくは適応される。更に、変調は、入力信号成分の空間又は時間的変更を有し得る。

言うまでもなく、画像フレームの大部分は、非表示サインの他に少なくとも１つのバイタルサインを有する。この実施形態において、再使用不能な変調が、ランダムな態様において更に好ましくは実行される画像成分の複数混合を有することが更に好ましい。しかしながら、再使用不能な変調も、好ましくは、或る範囲に、即ち、人間の観察者により画像オブジェクトの認識を依然として可能にするレベルに制限されるべきである。

更に好ましい実施形態によれば、コンバータ手段は、複数ステージ変換を少なくとも１つのバイタルサインに適用するように適合される。

例えば、複数ステージ変換は、モジュレータ手段により実行される少なくとも１つのバイタルサインの時間的変化に適用される周波数修正、及び、マスク手段により実行される少なくとも１つのバイタルサイン（の残部）を除去するための後のマスク動作を有し得る。プライバシ保護のレベルを強化するために、更なる処理、例えば、全体のコンバータにより実行される再使用不能な変調が適用されてもよい。この状況において、ランダムな複数ステージ変換又は固定されたステージシーケンス変換を入力信号に適用することが想定されてもよい。

好ましい実施形態によれば、処理データのためのシステムは、可視光、赤外線及び紫外線放射からなるグループから選択される少なくとも１つの特定の波長範囲内で可視電磁放射を検出するためのセンサ手段を更に有し、センサ手段は、入力チャネルに接続可能である。

センサ手段の種々の実施形態が存在する。第１の単純な実施形態において、センサ手段は、複数のスペクトル、例えば、ＲＧＢ、ｓＲＧＢ、Ｒｇ ｔｒａｕｍａｔｉｃｉｔｙ、ＨＳＶ、ＨＳＬ、ＣＭＹＫ、ＹＰｂＰｒ、ＹＣｂＣｒ、ｘｖＹＣＣ及びそのような種類のものを有する定義された信号空間における画像フレームを取得するように適合されたカメラを有する。

例えば、センサ手段は、例えば、健康モニタリング又はセキュリティモニタリングの分野において、カメラをモニタリング又は観察することにより、及び、いわゆるウェブカムにより、画像のシーケンスを記録するために適応される通常のデジタルカメラにより具現化され得る。

特別な用途のカメラが適用される場合において、この実施形態は、検出手段、コンバータ手段及びセンサ手段が共通ハウジングに設けられるように更に発展され得る。即ち、入力チャネルも、その外部のアクセスが妨げられるようにハウジングに配置され得る。それ故、入力信号が変更されていない状態で取り込まれ得ないので、プライバシの所望のレベルの保護は更に強化される。

この実施形態は、システムが入力信号をバッファリングするためのバッファ手段を有するという点で、好ましくは更に進展し、バッファ手段は、無断データアクセスを防止するためのアクセス保護を有する。ソフトウェアバッファ又はハードウェアバッファ、例えば半導体メモリ（ＲＡＭ、ＲＯＭ、ＥＰＲＯＭなど）のような、バッファ手段のいくつかの実施形態がある。

バッファ手段は、原則として、無断データアクセスがアドレスされ得るという弱点があるので、バッファ手段を保護するための更なる手段を適用することが理解される。斯様な手段は、ソフトウェア手段、ハードウェア手段又はこれらの組み合わせとして具現化され得る。適切なソフトウェア手段は、バッファリングされたデータの暗号化であり得る。ハードウェア手段は、封止を有するハウジングにより具現化され得る。好ましい実施形態において、封止の破損は、検出されてもよく、又は、代わりに、入力信号のための信号ラインの破壊をもたらす。

バイパスラインに接続されたアクセス制御を提供することが更に有利であり、アクセスコントローラは、オーソライズされた要求上で、入力信号に対する直接的なアクセスを可能にするように適合される。

このような態様で適合された場合、システムは、２つの動作モード（即ち、プライバシ保護モード及び直接データアクセスモード）を実行し得る。後者のモードは、例えば特別な要求が満たされるべきときに適用され得る。斯様な要求は、記録された生物の健康が評価されるべきである、インフルエンザ等のような伝染病の場合に望ましい。例えば、このための典型的なアプリケーションは、国境管理、健康モニタリング又は公共の場所及び公共輸送機関のモニタリングの分野において想定され得る。

他の好ましい実施形態によれば、検出手段は、色正規化及び輝度正規化を信号空間に適用するために更に適合される。

この手段は、特定の信号空間における自由度が低減され、単純化された抽出をもたらすので、入力信号における少なくとも１つのバイタルサインの検出を促進するように機能する。

色正規化は、入力信号の所与の実際の値に時間平均値を適用することによる（例えば実際の値がその移動平均値により分割される移動平均計算による）、異なる信号成分のための時間平均値の検出、及び、それぞれの色成分の正規化された値の計算を有する。

輝度正規化は、その原色成分の定義された組み合わせを適用することにより、入力信号の色−表現成分の修正を有し得る。この手法において、照明条件を変えることにより誘発される時間的変化は、例えば原色成分の決定された線形組み合わせによる入力信号の色−表現成分の分割により、低減され得るか又は除去され得る。

信号空間に色正規化及び輝度正規化の双方を適用するときには、少なくとも１つのバイタルサインを検出することに基づく問題は、より少ない次元に関する代数的計算に対する低減により簡素化され得る。

本発明の他の態様において、入力信号から取得されたデータを処理するためのプライバシ保護方法が提示され、前記入力信号は、オブジェクトにより反射された可視放射線から導出される生理的情報を有し、前記生理的情報は、少なくとも１つの少なくとも部分的に周期的なバイタル信号を表し、当該方法は、入力チャネルからの入力信号を受信するステップと、前記入力信号における少なくとも１つのバイタルサインを検出するステップとを有し、前記入力信号は、特定の信号空間に関する画像フレームの連続又は別々のシーケンスを有し、前記少なくとも１つのバイタルサインは、時間に渡って変化するとともに、前記少なくとも１つの少なくとも部分的に周期的なバイタル信号に対応し、前記少なくとも１つの少なくとも部分的に周期的なバイタル信号は、心拍数、呼吸数及び心拍変動性からなるグループから選択され、前記少なくとも１つの少なくとも部分的に周期的なバイタル信号は、時間に渡る肌のトーンの僅かな変化から取得され、当該方法は、検出されたバイタルサインに依存して前記入力信号を修正することにより出力信号を生成するステップを有し、前記出力信号は、前記入力信号の少なくとも１つのバイタルサインのそれぞれのバイタルサインを少なくとも部分的に置換する人工的なサインを有し、当該方法は、前記出力信号を出力チャンネルに供給するステップを有する。

有利には、本方法は、本発明のデータを処理するためのシステムを使用して実行され得る。

本発明の更なる態様によれば、コンピュータプログラムが提示され、当該コンピュータプログラムは、当該コンピュータプログラムがコンピュータ上で実行されたときに本発明のデータを処理するための方法のステップを実行することをコンピュータがもたらすためのプログラムコード手段を有する。

本発明の好ましい実施形態は、従属請求項において規定される。請求項に記載された方法が、請求項に記載されたデバイスと類似の及び／又は同一の、及び、従属請求項において規定されたような、好ましい実施形態を有することが理解されるべきである。

本発明のこれらの及び他の態様は、後述される実施形態から明らかになり、これらを参照して説明されるだろう。

本発明が用いられ得るシステムの一般的な配置の概略図を示す。 本発明が用いられ得るシステムの一実施形態の第１の部分を示すブロック図の第１の部分を示す。 図２のシステムの実施形態のブロック図の第２の部分を示す。 本発明のシステムの一実施形態の概略ブロック図を示す。 本発明のシステムの他の実施形態の更なる概略ブロック図を示す。 本発明の方法の一実施形態のいくつかのステップを示すブロック図を示す。 正規化が適用され得る信号空間のサンプル概略図を示す。

図１を参照して、データを処理するためのシステムが示され、参照番号１０により示される。システム１０は、オブジェクト１６の画像フレームを記録するために利用され得る。オブジェクト１６は、人間若しくは動物、又は、概して生物であり得る。記録されたデータから所望の情報を抽出するために、オブジェクトの規定された部分又は部分は、時間に渡る一連の画像フレームを取り込むことにより記録され得る。後の画像処理のための適切なデータベースは、斯様な手段において生成され得る。いくつかの抽出ステップは、収集されたデータに適用され、ここから、心拍数、呼吸数又は心拍変動性のようなバイタル信号１８を得る。バイタル信号１８は、取り込まれた画像シーケンスから導出可能ないくつかのバイタル信号の例示的な例とみなされ得る。上記したように、国際公開第２０１０／１００５９４号は、一連の画像フレーム及びそのいくつかの改良を分析することにより所望の信号を抽出する方法を開示する。例えば、輝度、色及び動作条件に関して悪条件下であっても、所望の信号の抽出が実現され得ることが示され得る。

しかしながら、斯様な所望の信号の抽出が防止されるか又は少なくともある程度妨げられる一方で、オブジェクト１６が依然として認識可能であるという点で、記録されたオブジェクト１６のプライバシを保護することがしばしば望ましい。ますます多くのデータが日常生活において収集されるので、データ不正使用のリスクもそれに応じて上昇する。この状況における潜在的シナリオは、例えば、テレビ取材、セキュリティ監視又は健康モニタリングの分野において、あまり想像によって想定され得ない。例えば、政治家の記者会見で記録されるビデオデータから、健康の状態、本当の考え又は彼の声明の有効性に関する結論を下すために後に用いられ得る政治家の心拍数を取り出すことが可能であり得る。これは望ましくないかもしれない。それ故、本発明のための考えられるアプリケーションは、斯様な結論が下され得ないことが保証されるような記者会見で使用するカメラだけを認めることであり得る。例えば本発明がこれを防止するために前記カメラにおいて実装されるためである。

潜在的に望ましいバイタル信号１８は、電磁放射から、特に可視放射線２０から、導出され得る。所望のバイタル信号１８は、概して可視放射線２０に、及び、更に、電磁放射に含まれ得る。また、紫外線放射及び赤外線が、可視放射線に加えて想定され得る。この目的で、それぞれの放射線がオブジェクト１６により反射され得るか又は発され得る点が注目に値し、後者は、例えば、加えて又は排他的に赤外線を検出するときに少なくとも部分的に当てはまる。

言うまでもなく、システム１０は、既に取り込まれた、及び、格納又はバッファされたデータを処理することにより一体型のセンサ手段２２を伴うことなく利用されてもよい。

プライバシ保護が上述されたように必要であることを考慮すると、システム１０は、センサ手段２２により記録され入力信号２４から取得可能である可視放射線２０から導出され得るデータを処理するように更に適合され得る。入力信号２４は、入力チャネル２６に供給され得る。システム１０は、検出手段２８及びコンバータ手段３０が配置されるサブシステム１２を更に備える。検出手段２８は、要求に応じて入力信号２４を受信するように、入力チャネル２６に接続され得る。

検出手段２８は、所望のバイタル信号１８を検出するために利用され得る。それ故、バイタル信号１８は、入力信号２４から抽出され得る。しかしながら、システム１０が単に入力信号２４の後の修正のためだけに利用されるので、バイタル信号１８に対する外部のアクセスは提供されない。更に、幾つかのアクセス制限が、検出手段２８、コンバータ３０、又は、概して、プライバシ保護手段のための下位手段１２で、この状況において、利用され得る。

コンバータ手段３０は、出力信号３４が供給され得る出力チャンネル３２に接続され得る。コンバータ手段３０は、バイタル信号１８がもはやそこから抽出され得ないという点で、入力信号２４を修正することにより出力信号３４を生成するために更に適合される。代わりに、人工的な信号４０が出力信号３４から抽出されてもよい。それ故、記録されたオブジェクト１６のプライバシが適切に保護される一方で、依然として、記録されたオブジェクトの適切な表示を可能にする。入力チャネル２６及び出力チャンネル３２は、それぞれのインタフェースを備えたバスシステムにより具現化され得る。検出手段２８及びコンバータ手段３０が１又はそれ以上のプロセッサを有する処理ユニットによって実装され得ることは言うまでもない。

出力信号３４は、処理された生理的情報３８を有する少なくとも１つの処理された画像フレーム３６を有する。所望のバイタル信号（図１における参照番号１８参照）の抽出が出力信号３４に適用されるというイベントにおいて、単に人工的な信号４０ａ，４０ｂ，４０ｃだけが検出され得る。例えば、人工的な信号４０ａ，４０ｂ，４０ｃは、入力信号２４に適用される代替的修正を示す。実質的に、人工的な信号４０ａ，４０ｃは、所望の信号の抽出の適切な結果とみなされ得る。しかしながら、少なくとも１つの処理された画像フレーム３６が"偽の情報"を有するので、検出可能な人工的な信号４０ａ，４０ｃも、最初に狙われるバイタル信号１８を示すことができない。信号４０ａは、例えば心拍数を評価したときに、定義上大き過ぎる関心のある値を示す一方で、信号４０ｃは、定義上小さ過ぎる関心のある値を示す。

一実施形態によれば、出力信号３４を分析するときに、元の入力信号２４の修正は隠されたままである。代替手段において、出力信号３４がその修正が実行されたことを示すことが理解され得る。この目的で、出力信号３４を分析するときに、仮定されたバイタル信号とは明らかに異なる人工的な信号４０ｂが検出され得る。前と同じように、実行された修正は、記録されたオブジェクト１６の元の表示と比較して出力信号３４の表示を観察したときに、ユーザが視覚の間に違いを認識することが可能なことを必ずしも意味するわけではないことに注意すべきである。

代替実施形態において、システム１０は、入力信号２４及び出力信号３４をバッファリングするか又は格納するためのバッファ手段４２及び／又は格納手段４４を更に有する（図１における破線のバイパスライン参照）。それ故、即時の動作モードに加えて、中間の動作モードも可能となる。例えば最終的な状態又は非最終的な状態における生データ及び処理されたデータのバッファリングは、データに適用される分析及び修正ステップを促進し得る。しかしながら、これは、最終的な状態における処理されたデータだけが格納され、外部のアクセスのために利用可能となる場合に望ましい。

第１の全体の実施形態によれば、システム１０は、カメラに接続可能な又はカメラを有するパーソナルコンピュータによって実装され得る。パーソナルコンピュータは、適切なプログラムコード又は論理コマンドにより駆動される。他の全体の実施形態によれば、システム１０は、適切なプログラムコード又は論理コマンドにより駆動される処理ユニットを有する、ビデオ監視システムによって実装され得る。

図３と組み合わせて考慮されるべき図２は、データを処理するシステムのいくつかのサンプル利用を示す。センサ手段２２（例えば、ビデオカメラ又はウェブカメラ）は、オブジェクト１６により反射される可視電磁放射２０を検出するために適合される。それ故、センサ手段２２は、（生データとも呼ばれる）入力信号２４を取り込む。入力信号２４は、入力チャネル２６が取り付けられたインタフェース４６に供給され得る。インタフェース４６及び入力チャネル２６を介して入力信号２４は、検出手段２８に供給され得る。基本的に、検出手段２８は、国際公開第２０１０／１００５９４号において開示された方法に関する入力信号２４の分析を実行するように適合される。しかしながら、検出手段２８は、外部の無断アクセスに対して利用可能な抽出された情報を作成するようには適合されない。

参照番号４８ａは、検出手段２８に供給されたサンプルとして取り込まれた画像フレームを示す。画像フレーム４８ａは、後の分析のために引き出され得るバイタルサイン５０ａを有するオブジェクト１６の表現を有する。矢印ｔにより示されるように、時間に渡って記録されるとともに入力シーケンス４９を形成するいくつかの取り込まれた画像フレーム４８ｂ，４８ｃ，４８ｄは、バイタル信号１８を検出するために利用され得る。外部又は公共アクセスに対して利用可能となる出力信号３４におけるバイタル信号１８を適切にマスキング、隠蔽又は変調することにより、入力信号２４の後の修正を可能にするように所望のバイタル信号１８を少なくともある程度抽出することが必要とされる。

画像フレーム４８ａは、オブジェクト１６のバイタル信号１８を示す時間的変化にさらされない非表示サイン５２ａを更に有する。即ち、非表示サイン５２ａは、単に、概ね画像フレーム４８ａ全体を覆う全体の変化及びノイズにさらされるだけである。一連のバイタルサイン５０ｂ，５０ｃ，５０ｄ及び一連の非表示サイン５２ｂ，５２ｃ，５２ｄは、所望のバイタル信号１８を評価するような態様で比較され得る。所望の信号の検出に関して、本発明と同じ出願人の名において、未公開の欧州特許出願第０９１７２３３７．９号に言及する。この出願は、入力データからのバイタル信号の検出に適した信号抽出プロセスの更なる改良を示す。

プライバシの所望のレベルの充分な保護を実現するために、バイタルサイン５０ａが生理的情報５４を実質的に有する画像フレーム４８ａの部分全体に好ましくは適合されることは言うまでもない。それ故、バイタルサイン５０ａの検出が、概してバイタル信号を示す画像フレーム４８ａの関連部分の検出を有することが理解される。この目的で、例えば、それぞれの関連部分は、画像フレーム４８ａに含まれる肌色ピクセルにより形成され得る。しかしながら、代替手段において、それぞれの関連部分全体がコンバータ手段３０により実行される後の修正の間に修正されるべきことが保証される限り、それぞれの関連部分のサブパーツだけがバイタル信号の検出のために引き出されることが想定されてもよい（図３参照）。この状況において、説明の便宜上、図において与えられたバイタルサイン５０（及び人工的なサイン５６）のようなそれぞれの関連エリアは、それぞれのサンプルオブジェクト１６の潜在的に表示可能なエリア全体を覆うものではないことに注意すべきである。

換言すれば、例えばオブジェクト１６の顔を記録するときに、顔のエリア全体は適宜修正されるべきである。少なくとも１つのバイタルサイン５０及びその時間的変化の検出に基づく方法のより詳細な説明に関して、図６と組み合わせて以下に記載される更なる記載、並びに、欧州特許出願第０９１７２３３７．９号及び国際公開第２０１０／１００５９４号に言及する。

図３を向くと、検出されたバイタルサイン５０に依存して入力信号２４を修正することによる出力信号３４の作成が示される。例えば、コンバータ手段３０は、モジュレータ手段６２、均一化手段６４、マスク手段６６及び全体のコンバータ６８を有してもよい。言うまでもなく、コンバータ手段３０は、代わりに、それぞれの下位デバイスのうちの１つ、２つ又は３つだけを有してもよい。

モジュレータ手段６２は、少なくとも１つのバイタルサイン５０の時間的変化を修正するために適合される。変換を適用した後に、出力信号３４は、人工的なサイン５６ａ，５６ｂ，５６ｃが埋め込まれる出力画像フレーム５８ａ，５８ｂ，５８ｃの出力シーケンス６０ａを有する。人工的なサイン５０ａ，５０ｂ，５０ｃの時間的変化は、人工的な信号４０ｄを示す。元のバイタル信号１８と生じる人工的な信号４０ｄとを比較したときに、周波数修正が実行されたことが明らかになる。従って、所望のバイタル信号の無断抽出は、もはや元のバイタル信号１８を示さない人工的な信号４０ｄをもたらすだろう。

他の実施形態において、少なくとも１つのバイタルサイン５０の時間的変化を均一化するように適合される均一化手段６４が適用されてもよい。"均一化する"という用語は、取り込まれた画像フレーム４８の非表示サイン５２の時間的変化全体を伴ってその配列を有し得ることを理解すべきである。図３において、非表示サイン５２ｂ，５２ｃ，５２ｄのシーケンス及び人工的なサイン５６ｄ，５６ｅ，５６ｆのシーケンスの双方は、分析が少なくとも１つの仮定された"バイタルサイン"（即ち、人工的なサイン５６ｄ，５６ｅ，５６ｆ）の時間的変化を検出するために出力シーケンス６０ｂに適用されたときに、均一化された人工信号４０ｅだけがそこから抽出され得るような範囲に一致する。それ故、人工的な信号４０ｅは、オブジェクト１６に関する個人情報を取得するために利用され得ない。図３において、図示によって、非表示サイン５２ｂ，５２ｃ，５２ｄのパターン及び人工的なサイン５６ｄ，５６ｅ，５６ｆのパターンの双方は、出力シーケンス６０ｂの各フレームにおいて調整される。この点に関し、非表示サイン５２ｂ，５２ｃ，５２ｄのシーケンスは、基本的に、取り込まれた画像フレーム４８ｂ，４８ｃ，４８ｄのシーケンスに対して不変のままであることが強調される。

この点について、抽出された人工信号４０ｅに無断分析を適用したときに、使用された検出器が、所望のバイタル信号が人工的な信号４０ｅに置換されたという事実を検出するために更に適合され得ることが想定され得る。しかしながら、本方法に基づく斯様な方法及びアルゴリズムは、人工的な信号４０ｅからバイタル信号１８を"復元"することができない。

他の実施形態において、コンバータ手段３０は、入力信号２４から少なくとも１つのバイタルサイン５０を除去するために適合されるマスク手段６６を有してもよい。マスク手段６６は、それぞれのバイタルサイン５０ｂ，５０ｃ，５０ｄを実質的に安定した人工的なサイン５６ｇに置換するように更に適合され得る。人工的なサイン５６ｇは、時間に渡って一定であってもよい。上記したように、それ故、その結果は、"チャイナドール"皮膚色と比較可能な印象になり得る。それ故、時間に渡って一定である安定した人工的なサイン５６ｇにより実質的に特徴づけられた出力シーケンス６０ｃに分析を適用したときに、人工的なサイン５６ｇ（即ち、人工的なサイン５６ｇのほとんど検出不可能な又は検出不可能な変化）の時間的変化と非表示サイン５２のノイズによって誘発された変化とを比較したときに、考えられる結果として、分析のエラーを明らかに示す人工的な信号４０ｆ、又は、小さな時間的変化だけが抽出され得るか若しくは時間的変化が抽出されないことを示す人工的な信号４０ｇが検出され得る。

更なる代替実施形態により、図３は、画像フレームの大部分を変化させるための全体のコンバータ６８を示しており、再使用不能な変調は、少なくとも１つのバイタルサイン５０ｂ，５０ｃ，５０ｄの時間的変化に適用され得る。出力シーケンス６０ｄの各出力画像フレームを覆うパターンによって示されるように、画像フレームの大部分又は画像フレーム全体が、この手法において修正され得る。したがって、人工的なサイン５６ｈ，５６ｉ，５６ｊに加えて、各フレームの残りの部分も変調にさらされ得る。変調は、出力シーケンス６０ｄの出力画像フレームの画像要素のランダムな複数混合を実行するためのランダムな要素を有してもよい。それ故、少なくとも望ましいバイタルサイン５０の時間的変化を決定するように分析に対して出力シーケンス６０ｄをさらすときには、最終的に、エラーを明確に示す人工的な信号４０ｈだけがそこから導出され得る。

前と同じように、好ましくは、全体の修正が元のバイタル信号１８を置換するのに充分な範囲で実行された場合であっても、これらの修正は、人間の観察者に対して明らかにならないことに注意すべきである。

処理データ、即ち出力信号３４は、出力チャンネル３２が接続され得るデータアクセスインタフェース７０で利用可能になり得る。

図４及び図５を参照して、データを処理するためのシステム１０ａ，１０ｂの２つの代替実施形態が示される。双方のシステム１０ａ，１０ｂは、センサ手段２２，バッファ手段４２，検出手段２８，格納手段４４及びデータアクセスインタフェース７０を有する。

しかしながら、第１に、バッファ手段４２、検出手段２８及びコンバータ手段３０がサブシステム１２ａに設けられる一方で、第２に、バッファ手段４２がアクセス保護７２により更に囲まれるので、システム１０ａは、プライバシ保護の強化されたレベルを更に有する。センサ手段２２もサブシステム１２又はアクセス保護７２により覆われることが想定され得る。

図４に示すように、無断データアクセスにさらされるシステム１０ａのメインコンポーネントは、無断アクセスが或るレベルで妨げられるように、サブシステム１２ａに配置される。更に、無断アクセスに最も影響を受けやすいコンポーネント、即ち、バッファ手段４２は、無断の機械的又は電子的なアクセスを防止するために、密封して収容され得る。

対照的に、システム１０ｂは、２つの動作モード（即ち、第１の、プライバシ保護モード、及び、第２の、生データアクセスモード）において動作するように適合される。この目的で、スイッチング機能を実質的に提供するアクセス制御７４が、バッファ手段４２と検出手段２８との間に設けられる。第１の動作モードにおいて、アクセス制御は、入力信号２４がここに供給され得るように、バッファ手段４２を検出手段２８と結合する。第２のモードにおいて、アクセス制御は、バッファ手段４２をバイパス７６を介してデータアクセスインタフェース７０に結合する。それ故、入力信号２４は、検出手段２８及びコンバータ手段３０をバイパスすることができ、データアクセスインタフェース７０を介して外部データアクセスに対して利用可能にされ得る。この実施形態において、アクセス制御７４を作動させる権限は、特別なイベント又はインシデントに制限されるべきであり、更に、ユーザのかなり小さい信頼するグループに限定されるべきであることが注目に値する。

図６は、データを処理するための方法を概略的に示す。最初に、ステップ７８において、データは、受信又は取得される。データは、センサ手段２２又はバッファ手段４２から供給され得る。後のステップ８０において、少なくとも１つのバイタルサイン５０ｅ，５０ｆ，５０ｇは、入力信号の入力シーケンス４９において検出される。有利な補足として、破線矢印により示されるように、色正規化８４及び／又は輝度正規化８６は、セットの信号空間８２ａ，８２ｂ，８２ｃに適用され、検出されたバイタルサイン５０ｅ，５０ｆ，５０ｇの時間的変化を示す所望の変化が示され得る。従って、ステップ９０により示される、バイタル信号１８を抽出する問題は、例えば多次元問題が正規化された信号空間８８ａ，８８ｂ，８８ｃにより示される二次元の問題に移され得る点で、促進され得る。ステップ８４及び８６が、代わりに互いに、続いてもよく又は先行してもよいことは言うまでもない。

関連情報（即ち、保護されるべき個人情報を示すバイタル信号１８）を抽出した後に、この情報は、単にここから人工的な信号４０ｉの抽出を可能にするだけであるような態様で、入力信号を修正するために利用され得る（ステップ９２）。最終的に、修正された出力信号が供給及び分配され得る（ステップ９４）。

図７は、例えば、サンプル信号空間９２ｄに適用される輝度正規化を示す。信号空間９２ｄは、それぞれが異なる原色値を表す３つの軸９６ａ，９６ｂ，９６ｃをもつＲＧＢ空間とみなされ得る。この信号空間８２ｄに対して、輝度正規化は、根本的な問題の次元の低減をもたらす単一の値の決定された線形的組み合わせ（例えば、Ｒ値+Ｇ値+Ｂ値=一定）により適用される。それ故、ここから生じる正規化された信号空間８８は平面とみなされ得る。正規化された信号空間は、近似手段により経験的に決定され得る心拍軸９８を有する。検出された信号１００は、少なくとも１つのバイタルサインの時間的変化を表わす。しかしながら、バイタル成分に加えて、検出された信号１００は、取り込まれた画像フレームを覆う、ノイズ等のような全体の時間的変化も表わす。予め決められた心拍軸９８に検出信号１００を投射することにより、所望のバイタル信号の時間的な値を示す投射された信号１０２は、心拍軸９８に対して垂直な方向をもつ妨害成分を回避して推定され得る。

この状況において、サンプル信号空間８２ｄが関心のある時間的変化を表わす実際の差分値を示すことが注目に値する。輝度正規化に対して又はその前に連続的に実行される色正規化は、所望のバイタル信号の抽出を促進することに更に寄与し得る。

それ故、バイタル信号は、入力信号から抽出され、更に、プライバシ情報を保護するために入力信号を修正するために利用され得る。修正にさらされた後に、"偽の信号"だけが、検出された信号１００の長さ及び向きとは明らかに異なる長さ及び向きをもつように検出され得る。それ故、バイタル信号は復元され得ない。

本発明が図面及び前述の説明において示され、詳述された一方で、斯様な図例及び説明は、例示又は単なる例であり、限定するものではないものとみなされるべきである。本発明は、開示された実施形態に限定されるものではない。開示された実施形態に対する他のバリエーションは、図面、開示及び添付の特許請求の範囲の研究から、当業者によって理解され、実施され得る。

請求項において、"有する"という用語は他の要素又はステップを除外するものではなく、単数表記は複数を除外するものではない。単一の要素又は他のユニットが請求項に記載された幾つかのアイテムの機能を実現してもよい。特定の手段が相互に異なる従属請求項に記載されるという単なる事実は、これらの手段の組み合わせが有効に用いられ得ないことを示すものではない。

コンピュータプログラムは、他のハードウェアと共に、又は、それの一部として供給される光記憶媒体又はソリッドステート媒体のような適切な媒体上に格納／分配されてもよいが、インターネット又は他の有線若しくは無線通信システムを経たような他の形式において分配されてもよい。

請求項中のいかなる参照符号も、その範囲を限定するものとして解釈されるべきでない。

Claims (12)

1. オブジェクトにより反射された可視放射線から導出可能な生理的情報を有する入力信号から取得されたデータを処理するためのシステムであって、
   前記生理的情報は、少なくとも１つの少なくとも部分的に周期的なバイタル信号を表し、
   当該システムは、前記入力信号における少なくとも１つのバイタルサインを検出するための検出手段であって、前記少なくとも１つのバイタルサインは、時間に渡って変化し、前記少なくとも１つの少なくとも部分的に周期的なバイタル信号に対応する、検出手段と、
   検出されたバイタルサインに依存して前記入力信号を修正することにより出力信号を生成するためのコンバータ手段とを有し、
   前記出力信号は、前記入力信号の前記少なくとも１つのバイタルサインのそれぞれのバイタルサインを少なくとも部分的に置換する人工的なサインを有する、システム。
2. 前記入力信号は、特定の信号空間に関する画像フレームの連続的な又は異なるシーケンスを有する、請求項１に記載のシステム。
3. 前記少なくとも１つの少なくとも部分的に周期的なバイタル信号は、心拍数、呼吸数及び心拍変動性からなるグループから選択される、請求項１に記載のシステム。
4. 前記検出手段は、前記少なくとも１つのバイタルサインの時間的変化を検出するように更に適合され、前記時間的変化は、前記少なくとも１つの少なくとも部分的に周期的なバイタル信号を示す、請求項１に記載のシステム。
5. 前記コンバータ手段は、
   前記少なくとも１つのバイタルサインの時間的変化を均一化するための均一化手段、
   前記入力信号から前記少なくとも１つのバイタルサインを除去するためのマスク手段、
   前記少なくとも１つのバイタルサインの時間的変化を示すバイタル信号の振幅を強化するための評価促進手段、及び、
   前記少なくとも１つのバイタルサインの時間的変化を修正するためのモジュレータ手段からなるグループから選択される下位手段を更に有し、
   前記モジュレータ手段は、周波数修正を前記時間的変化に適用するように適合される、請求項４に記載のシステム。
6. 前記コンバータ手段は、前記画像フレームの大部分を変化させるための全体のコンバータを更に有し、
   前記大部分は、非表示サインを有し、
   前記全体のコンバータは、再使用不能変調を前記少なくとも１つのバイタルサインの時間的変化に適用するように好ましくは適合される、請求項２又は請求項４に記載のシステム。
7. 前記コンバータ手段は、複数ステージ変換を前記少なくとも１つのバイタルサインに適用するように適合される、請求項４に記載のシステム。
8. 可視光、赤外線及び紫外線放射からなるグループから選択される少なくとも１つの特定の波長範囲内で可視電磁放射を検出するためのセンサ手段を更に有し、
   前記センサ手段は、前記入力チャネルに接続可能である、請求項１に記載のシステム。
9. 前記入力信号をバッファリングするためのバッファ手段を更に有し、
   前記バッファ手段は、無断データアクセスを防止するためのアクセス保護を有する、請求項８に記載のシステム。
10. 前記検出手段は、色正規化及び輝度正規化を前記信号空間に適用するために更に適合される、請求項２に記載のシステム。
11. オブジェクトにより反射された可視放射線から導出可能な生理的情報を有する入力信号から取得されたデータを処理するための方法であって、
    前記生理的情報は、少なくとも１つの少なくとも部分的に周期的なバイタル信号を表し、
    当該方法は、
    入力チャネルからの入力信号を受信するステップと、
    前記入力信号における少なくとも１つのバイタルサインを検出するステップであって、前記少なくとも１つのバイタルサインは、時間に渡って変化するとともに、前記少なくとも１つの少なくとも部分的に周期的なバイタル信号に対応するステップと、
    検出されたバイタルサインに依存して前記入力信号を修正することにより出力信号を生成するステップであって、前記出力信号は、前記入力信号の前記少なくとも１つのバイタルサインのそれぞれのバイタルサインを少なくとも部分的に置換する人工的なサインを有する、ステップと、
    前記出力信号を出力チャンネルに供給するステップとを有する、方法。
12. コンピュータプログラムがコンピュータ上で実行されたときに、請求項１１に記載の方法のステップをコンピュータに実行させるためのプログラムコード手段を有する、コンピュータプログラム。

Images