JP2013506526A - 生体中の少なくとも周期的現象を表す成分を含む信号を処理する方法およびシステム - Google Patents

生体中の少なくとも周期的現象を表す成分を含む信号を処理する方法およびシステム Download PDF

Info

Publication number
JP2013506526A
JP2013506526A JP2012532703A JP2012532703A JP2013506526A JP 2013506526 A JP2013506526 A JP 2013506526A JP 2012532703 A JP2012532703 A JP 2012532703A JP 2012532703 A JP2012532703 A JP 2012532703A JP 2013506526 A JP2013506526 A JP 2013506526A
Authority
JP
Japan
Prior art keywords
signal
motion
component
sequence
periodic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012532703A
Other languages
English (en)
Other versions
JP5834011B2 (ja
Inventor
ハーン,ハラルド デ
オレホヴィチ キレンコ,イホール
レースト,アドリアーン ヨハン ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2013506526A publication Critical patent/JP2013506526A/ja
Application granted granted Critical
Publication of JP5834011B2 publication Critical patent/JP5834011B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30076Plethysmography

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

生体中の少なくとも周期的現象を表す成分を含む信号を処理する方法が、前記生体を示す画像のシーケンスを取得する段階と;リモート光体積変動記録法を使って前記画像のシーケンスから生体中の少なくとも周期的現象を表す成分を有する少なくとも一つの第一の信号を抽出する段階とを有する。前記画像のシーケンスのビデオ・ベースの動き解析を実行することによって、前記生体の動きの少なくとも周期的成分を表す別個のデータが取得される。前記データは、少なくとも、前記生体の動きの前記周期的成分に対応する前記第一の信号の成分を抑制するために使われる。

Description

本発明は、生体中の周期的現象を表す成分を少なくとも含む信号を処理する方法およびシステムに関する。本発明はコンピュータ・プログラムにも関する。
US5,431,170は、ヘッドバンドを装着するとセンサー・ユニットが額にあてがわれるようにヘッドバンドに取り付けられたセンサー・ユニットを有する脈拍数計を開示している。センサー・ユニットは、二つの発光器と、額の身体組織内での反射後にそれぞれの発光器からの光を受光する光センサーとを有する。一つの発光器は赤外光を放出し、この発光器からの光を受光するセンサーによって与えられる電気信号は、額における血管を通る血流の脈動に従って変動する。他方の発光器は異なる、好ましくは実質的により短い波長の光、たとえば黄色の光を放出し、そのセンサーからの信号は流れの脈動に起因する変動とは比較的独立になるようにする。しかしながら、いずれの信号も、動きに起因する額の振動に従って変動する。ノイズ打ち消し回路がそれぞれのセンサーからの出力信号の周波数解析を実行してもよい:二つの信号における対応する周波数または周波数範囲におけるピークがノイズと見なされ、赤外センサーからの信号における残りの周波数が脈拍数を表す。
この既知のシステムの問題は、比較的邪魔になり、一つの特定の身体部分、つまりセンサー・ユニットが取り付けられている身体部分の動きしか補償できないということである。たとえば腕の動きは血流に影響するであろうが、前記の、より短い波長で動作する発光器および受光器の組み合わせによっては拾われない。一方、そのような動きは、呼吸や心拍に起因する血流変動を検出するのを一層難しくする。
US5,431,170
Viola,P. and Jones, M.J., "Robust real-time object detection", Proc. of IEEE workshop on statistical and computational theories of vision, 13 July 2001 De Haan et al., "True-motion estimation with 3-D recursive search block matching", IEEE transactions on circuits and systems for video technology, 3(5), October 1993, pp.368-379 B. Widrow and S.D. Stearns, Adaptive Signal Processing, Prentice-Hall, Inc., Englewood Cliffs, New Jersey 07632, 1985
生体中の少なくとも周期的現象を表す成分を含む比較的クリーンな信号を、該周期的現象を定量化する解析のために提供できるようにするとともに、幅広い型の動きについて補償できる、上述した型の方法、システムおよびコンピュータ・プログラムを提供することが望ましい。
この目的のため、本発明のある側面によれば、生体中の少なくとも周期的現象を表す成分を含む信号を処理する方法であって:
生体中の少なくとも周期的現象を表す成分を有する少なくとも一つの第一の信号を取得する段階と;
前記少なくとも一つの第一の信号と同期して、前記生体を示す画像のシーケンスを取得して、前記画像のシーケンスのビデオ・ベースの動き解析を実行することによって、前記生体の動きの少なくとも周期的成分を表す別個のデータを取得する段階と;
前記データを使って、少なくとも、前記生体の動きの前記周期的成分に対応する前記第一の信号の成分を抑制する段階とを含む方法が提供される。
前記少なくとも一つの第一の信号と同期して、前記生体を示す画像のシーケンスを取得して、前記画像のシーケンスのビデオ・ベースの動き解析を実行することによって、幅広い型の動きが、邪魔にならず、比較的効率的な仕方で定量化できる。生体の大きな部分が前記画像のシーケンスにおいて表現される限り、局所化された動きでさえ検出できる(たとえば、腕または脚のみの動き)。これは、多数のセンサーではなく、単一のビデオ・カメラで行うことができる。身体に取り付けられるセンサーも回避される。他の型のリモート・センシングに比べ、多くの異なる方向における動きが、特に画像平面に平行な動きのほかカメラに向かう動きおよびカメラから離れる動きが検出されることができる。前記生体の動きの少なくとも周期的成分を表す別個のデータを取得することは、画像または該画像中の関心領域(ROI: Region Of Interest)の整列に関わる画像解析を使って、前記第一の信号が前記画像のシーケンスから抽出される場合にも有益となる。そのような整列は、動きに起因して間接的に導入される画像アーチファクト、たとえば影に対して常に堅牢ではない。よって、そのような状況にあっても、前記生体の動きの少なくとも周期的成分を表す別個のデータを取得し、前記データを使って、少なくとも、前記生体の動きの前記周期的成分に対応する前記第一の信号の成分を抑制することは、前記第一の信号の品質を改善するであろう。
本発明の好ましい実施形態は従属請求項において定義される。特許請求されるシステムおよび特許請求されるコンピュータ・プログラムは特許請求される方法および従属請求項の記載と同様および/または同一の好ましい実施形態をもつことは理解しておかねばならない。
ある実施形態では、前記少なくとも一つの第一の信号を取得する段階は、少なくとも一つの第一の信号を前記画像のシーケンスから抽出することを含む。
この実施形態は、一連のデジタル画像を撮影するカメラの形の一つのセンサーのみを使って実装できるので、比較的効率的である。その場合、前記第一の信号を動きの少なくとも周期的成分を表す前記別個のデータと同期させる問題は自明になる。よって、前記データを使って、少なくとも、前記生体の動きの前記周期的成分に対応する前記第一の信号の成分を抑制する段階も実装がより簡単になる。
ある変形では、前記少なくとも一つの第一の信号を前記画像のシーケンスから抽出することは、それぞれの画像からのピクセル値の組み合わせに対応する変数の値を得ることを含む。
ピクセル値を組み合わせることにより、色および/または輝度の非常に小さな変動が検出できる。一般に合計演算、可能性としては重み付けされた和を含むであろう組み合わせる段階によってランダム・ノイズは除去される。こうして、この実施形態では、リモート光体積変動記録法(photoplethysmography)が提供できる。
あるさらなる変形では、前記少なくとも一つの第一の信号をシーケンスから抽出することは、前記シーケンスにわたる前記変数の変動のみを決定することを含む。
この変形は、周期的な生物学的現象を特徴付けるときには、輝度または色の変動のみが関心対象であるとの認識に基づく。
本発明によれば、ビデオ・カメラを使った邪魔にならない生命徴候(vital sign)(たとえば心拍数/呼吸数)モニタリング、あるいはリモート光体積変動記録法が可能にされる。ある実施形態では、アルゴリズムが、血液体積および血液酸素供給とともに変動する、ある人の平均肌色を追跡する。しかしながら、この方法は、動き、肌色の局所的変動および照明レベル/スペクトル変化に敏感であり、そのため商業的に有望な用途にはそれほど好適ではない。動きへの敏感さは、本邪魔にならない生命徴候モニタリングを、個人が自由に動きたい用途には特に不適にする。そのような場合のいい例が、フィットネス用途における心拍モニタリングである。
よって、好ましい実施形態によれば、平均肌色信号における、動きに起因する望ましくない成分を抑制することが提案される。これは、動きが周期的であり、動きの周波数が関心のある周波数範囲、たとえば40拍毎分(BPM: beats per minute)から210BPMの間にはいる場合に特に重要である。この場合、心拍信号を動き信号から区別することは難しく、この望ましくない成分の除去は安定した心拍数推定のためには非常に重要である。しかしながら、本方法は周期的な動きのみに制約されない。
したがって、本方法のある実施形態は、画像において表現されている少なくとも一つの被験体について少なくとも一つの動きベクトルを計算し、動きベクトル値の反復性(repetitiveness)を解析することを含む。
この実施形態は、ある種の型の、たとえばある大きさの、周期的動きのみに関する情報を単離することを許容する。それはまた、画像のシーケンスにおいて表現されている複数の生体の間の区別をするためにも有用である。
ある変形は、画像において表現されているある被験体の複数の部分のそれぞれについて動きベクトル値を計算することを含む。
この変形は、生体中の少なくとも周期的現象を表す成分を有する複数の信号が取得される場合に有用である。それら各信号について適切な訂正信号が形成できるからである。さらに、前記複数の部分の動きがある量以上に異なる場合には、それらの信号のそれぞれを、生体中の周期的現象を表す一つの信号に組み合わせる前に別個に訂正することが可能である。他方、差がより小さい場合には、生体中の少なくとも周期的現象を表す成分を有する複数の信号が組み合わされることができ、該組み合わせが、前記生体の動きの前記周期的成分に対応する成分を抑制することによって訂正されることができる。これは本方法の比較的効率的な実施形態である。
ある実施形態では、動きの少なくとも周期的成分を表す別個のデータを取得する段階は、前記生体の少なくとも一部の空間的な変位を定量化することを含む。
この実施形態は、ある種の型の周期的動き、たとえば大規模な変位のみを表す前記第一の信号の成分を抑制することが可能であるという効果をもつ。
提案される方法のさらなる実施形態は、適応エコー打ち消し(adaptive echo cancellation)に基づく。時間において関心のある皮膚領域の動きを記述する動きベクトルが非常にクリーンな信号であることが見出されている。さらに、動きベクトルはいかなる心拍信号も含まず、よって適応的フィルタのための参照信号として使うのに非常に好適である。一般に、動きアーチファクトを著しく軽減するために非常に少数の係数しか要求されないことがわかる。信号から動きアーチファクトを除去する直接的な結果は、ずっとクリーンな心拍信号を得ることができるということであり、それは、ピーク・ツー・ピーク検出によって時間領域で代替的な方法で心拍数の推定を可能にする。クリーンな信号の追加的な利点は、HRV(heart rate variability[心拍数変動度])が推定できるということである。
したがって、本方法のある実施形態は、画像において表現されている少なくとも一つの被験体について少なくとも一つの動きベクトルを計算する段階と、前記少なくとも一つの動きベクトルをフィルタ処理する段階と、前記第一の信号から前記フィルタ処理された動きベクトルを減算して、前記第一の信号の、前記生体の動きの前記周期的成分に対応する成分を抑制し、擾乱が軽減された第一の信号を得る段階とを含む。好ましくは、前記フィルタ処理は、前記フィルタ処理の係数が適応的に更新される適応的フィルタ処理を含む。
好ましくは、規格化(normalization)、特に最小平均平方(least-mean-square)(NLMS)アルゴリズムが適用される。NLMSアルゴリズムは、LMSアルゴリズムの特別な場合である。この規格化は動き信号(参照信号)に、よって間接的には係数更新に適用される。さらに、動きベクトルのエネルギーが近似的にわかるシステムについては、必ずしもNLMSアルゴリズムを使う必要はなく、係数を更新する間にこのエネルギーを考慮に入れることが可能である。
前記フィルタ処理の係数は好ましくは、擾乱が軽減された第一の信号(すなわち第一の信号からフィルタ処理された動きを引いたもの)のエネルギーが最小化されるよう、更新される。
ある好ましい実施形態では、特に第一の方向(たとえば水平方向またはx方向)および前記第一の方向に垂直な第二の方向(たとえば垂直方向またはy方向)の、少なくとも二つの動きベクトルが別個に計算され、別個にフィルタ処理される。
本発明のもう一つの側面によれば、生体中の少なくとも周期的現象を表す成分を含む信号を処理するシステムであって:
生体中の少なくとも周期的現象を表す成分を有する少なくとも一つの第一の信号を取得する少なくとも一つのコンポーネントと;
前記少なくとも一つの第一の信号と同期して、前記生体を示す画像のシーケンスを取得するインターフェースおよび前記画像のシーケンスのビデオ・ベースの動き解析を実行する画像データ処理システムを含む、前記生体の動きの少なくとも周期的成分を表す別個のデータを取得する少なくとも一つのコンポーネントと;
前記データを使って、少なくとも、前記生体の動きの前記周期的成分に対応する前記第一の信号の成分を抑制するよう構成された少なくとも一つのデータ処理コンポーネントとを含むシステムが提供される。
ある実施形態では、本システムは、本発明に基づく方法を実行するよう構成される。
本発明のもう一つの側面では、機械可読媒体に組み込まれたときに、情報処理機能をもつシステムに本発明に基づく方法を実行させることのできる一組の命令を含むコンピュータ・プログラムが提供される。
本発明は、付属の図面を参照しつつさらに詳細に説明される。
生体中の周期的現象を表す成分を少なくとも含む時間変動する信号を形成するシステムの概略的なブロック図である。 前記時間変動する信号を形成する方法の第一の一般的な実施形態を示すフローチャートである。 時間変動する信号を形成する方法の第二の実施形態を示すフローチャートである。 画像のシーケンスの限られた区間をカバーする諸画像から得られるピクセル値のサブセットの諸グループを示す図である。 ピクセル値のサブセットの選択されたグループからのある信号セクションの抽出を示す図である。 生体中の周期的現象を表す成分を少なくとも含む信号を処理する代替的なシステムを概略的に示す図である。 動き誘起された擾乱打ち消しなしの、ルームランナー上を走る個人から得られた信号のスペクトログラムを示す図である。 心拍信号における動き誘起された汚染を軽減するための動き補償ユニットのある実施形態のブロック図である。 動き誘起された擾乱打ち消し後の、ルームランナー上を走る個人から得られた信号のスペクトログラムを示す図である。
リモート光体積変動記録法〔フォトプレチスモグラフィー〕(PPG: photoplethysmography)を実行するのに好適なシステムのいくつかの実施形態をここで述べる。光体積変動記録法は、皮膚反射率変動を使ってある種の周期的な生理現象を特徴付ける方法である。人間の皮膚は、少なくとも二つの層をもつオブジェクトとしてモデル化できる。二つの層の一つは表皮(薄い表面の層)、他方は真皮(表皮の下にあるより厚い層)である。入射光線の約5%は表皮において反射され、これはあらゆる波長および皮膚の色について成り立つ。残りの光は、体反射(body reflectance)として知られる現象(二色性反射モデル(Dichromatic Reflection Model)において記述される)においてそれら二つの皮膚の層内で散乱され、吸収される。表皮は光フィルタのように振る舞い、主として光を吸収する。光はその波長および表皮におけるメラニン濃度に依存して透過される。真皮では、光は散乱および吸収の両方を受ける。吸収は血液組成、すなわち血液の内容およびヘモグロビン、ビリルビンおよびベータカロテンのようなその構成成分に依存し、よって、吸収は血流変動に敏感である。真皮の光学的属性は一般にすべての人種について同じである。真皮は、成人の全血管網の約10%をなす、血管の密なネットワークを含む。これらの血管が、体内の血流に従って収縮する。その結果、これらの血管は真皮の構造を変え、それが皮膚層の反射率に影響する。結果として、皮膚反射率変動から心拍数が決定できる。
記載されるシステムおよび方法は光体積変動記録法に限定されるものではなく、関心対象の周期現象を表す信号が捕捉され、動きについて補正される他の状況においても使用できる。光体積変動記録法の場合、本稿に記載される方法は、関心対象の周期現象(光体積変動記録法の場合、脈動する血流)に無関係な動きアーチファクトや照明の変化に対して堅牢である。
本システムはいくつものコンポーネントを有する。そのうち若干のみが図1に示されている。本システムは、データ処理システム1を含む。これは汎用コンピュータまたは特定用途のための特製コンピューティング装置であってもよく、データ処理ユニット2およびメイン・メモリ3を有する。データ処理システム1はさらに、本稿で概説される方法を実行するためのソフトウェアを含むソフトウェアを記憶する大容量記憶装置4を含む。データ処理システム1は、デジタル画像のシーケンスを取得するために、ビデオ・カメラ6へのインターフェース5を有する。データ処理システム1は、出力を知覚できる形に表現するための出力装置8、たとえば視覚表示ユニットへのインターフェース7も有する。もちろん、データ処理システム1はさらに、ユーザー入力装置、ネットワーク・インターフェースなどといった、図1に別個には示さない一般的な機能要素を含む。
ある実施形態(図示せず)では、データ処理システム1はさらに、少なくとも一つの光源へのインターフェースを含む。該光源は、電磁放射のスペクトルの可視部分または近赤外部分の特定の範囲に調整された光源であることができる。
データ処理システム1は、ビデオ・カメラ6によって捕捉された画像のシーケンスの各画像からのピクセル値に基づくある値の少なくとも変動を表す第一の信号を生成するよう構成される。データ処理システム1はさらに、捕捉された画像の別個の解析によって決定される動きを抑制または除去するために、前記第一の信号を処理するよう構成される。
第一の実施形態(図2)では、データ処理システム1によって実行される方法は、画像のシーケンスを取得することを含む(ステップ9)。それらの画像の少なくとも一つはセグメント化され(ステップ10)、一つまたは複数の関心領域が選択される(ステップ11)。
セグメント化および選択ステップ10、11は、ある種の型の表面を表す、特にある基準を満たす領域を同定するために実行される。ある実施形態では、画像において表現されている人物の顔の一部または全部を表す関心領域が同定される。この実施形態を実装するための好適なアルゴリズムは非特許文献1に記載されている。ある種の形、色および/またはパターンをもつ画像セグメントを認識するための他の好適なアルゴリズムが知られており、このアルゴリズムの代わりに、またはこのアルゴリズムと組み合わせて使用できる。
本記載は、一つの関心領域が選択されるという想定に基づいて進められる。この関心領域が画像シーケンスを通じて追跡される。これを行うための好適なアルゴリズムが非特許文献2に記載されている。
シーケンス中の最初の一対の画像については、データ処理システム1は、関心領域内から、少なくとも一つのピクセル値の諸サブセットを選択することに進む。特に、第一の画像において関心領域から複数のサブセットが選択される(ステップ12)。選択された各サブセットについて、サブシーケンス中の隣接する画像(一般には現在画像の次の画像だが、直前の画像であってもよい)において、対応するサブセットが見出される(ステップ13)。
一般に、各サブセットは複数のピクセル値をもち、さらなる画像中で対応するサブセットを見出すステップ13は何らかの基準に従って類似したサブセットを探すことを含む。これはすなわち、次の画像における関心領域内の最良一致〔ベストマッチ〕するサブセットが見出されるということである。第一の画像からの選択された各サブセットおよび次の画像からの最良一致するサブセットはサブセットのグループをなす。第一の画像からのサブセットはみな互いに異なるので、諸グループの任意の対について、第一の画像および次の画像両方からのサブセットは異なっている。
次のフレーム中の対応するサブセットを見出すことは、第一の画像からの選択された諸サブセットの集合に対応する、諸サブセットの組み合わされた集合を、次の画像において探すグローバル探索を含むことができる。これは低コストの解決策であるが、比較的不正確である可能性が高い。あるいはまた、第一の画像から選択されたピクセル値の各サブセットについて網羅的探索が実行されることができる。これは比較的正確な方法だが、計算的には比較的高価である。もう一つの実施形態では、類似するサブセットは、そのサブセットについての予測される動きベクトルを取得し、予測された動きベクトルを修正して諸候補サブセットを選択し、少なくとも一つの類似性基準と突き合わせて評価することによって見出される。修正は更新ベクトルの形であり、これはランダムであってもよい。そのようなアプローチは、予測探索を表し、これは、現在画像において諸サブセットにわたって数回逐次反復されることができる。初期ステップ12において選択された各サブセットについて個々に動きベクトルが見出されるという事実のため、あるグループ内のサブセットどうしは比較的よく一致する。予測された動きベクトルの使用は、比較的低い計算コストでの実装を許容する。予測された動きベクトルは、たとえば、現在フレームにおいて選択された諸サブセットの第一のものについて網羅的な探索を実行し、次いで、結果として得られる動きベクトルを他の諸サブセットについての予測された動きベクトルとして使うことによって得ることができる。
次に(ステップ14)、各グループが解析される。少なくとも一つの所定の基準を満たさないグループは破棄される(ステップ15)。ある実施形態では、前記少なくとも一つの基準は、最良一致するグループ(単数または複数)が選択されるという意味で相対的な基準である。しかしながら、一般には、前記少なくとも一つの基準は絶対的な基準であろう。形成されるグループの数は非常に多数になり、前記少なくとも一つの基準を満たすものが常に若干はあるだろうからである。
ある個別的実施形態では、前記少なくとも一つの基準は、ピクセル値の各サブセットが最小の空間的一様性をもつべきであるという基準を含む。もう一つの実施形態では、前記少なくとも一つの基準は少なくとも一つの類似性基準を含む。前記類似性基準は、たとえば色および/またはテクスチャーの類似性に関係することができる。ある実施形態では、画像から画像にかけて、接続されたピクセルはある距離より多くは動いてはならないという意味で、動き基準が使われる。これらの基準のそれぞれは、関心対象の現象(光体積変動記録法の場合、周期的な生理現象)に関係ない動きおよび/または照明変化に対する堅牢さを補償するよう設計される。
次いで、サブセットの選択されたグループのみのそれぞれについて、諸信号セグメントが構築される(ステップ16)。ある実施形態では、あるサブセット内からのピクセル値が、たとえば重み付けられた平均を取ることによって、あるいは平均値を見出すことによって、単一の値に組み合わされる。これは、グループ内の各サブセットについて行われるので、画像毎に一つのそのような値がある。その効果は、ノイズに対する堅牢性が比較的高いということである。ただし、信号値を抽出する他の方法も可能である。ある実施形態では、画像のシーケンスは、画像フレームの二つ以上のシーケンスを含み、各シーケンスが異なるチャネルに対応し、電磁放射のスペクトルの限られた範囲において捕捉された電磁放射の強度を表すピクセル値からなる。たとえば、画像のシーケンスは、複数の異なる色チャネル(たとえば赤、緑および青)における画像フレームのシーケンスを含むことができる。この代替では、組み合わせは、完全な画像をなす各画像フレームからのピクセル値の重み付けされた和を取ることに関わることができる。組み合わせはまた、減算演算に関わることもできる。たとえば、緑の光に対応するチャネルにおけるピクセル値から、すべてのチャネルを横断した平均輝度を減算する。
次いで、あるグループのそれぞれのサブセットに関連付けられた値の間の差が取られる。各グループが二つの画像からのサブセットのみを含む実施形態における信号セグメントは、一つの値のみを含む。選択ステップ15は、信号セグメントが構築され終わったあとまで遅らされることができることを注意しておく。これは特に、値の組み合わせまたは画像間の該組み合わせの差に基づく選択基準を使うためである。こうして、強い信号値を与えるグループのみが選択されることができる。
ステップ12〜16は、次の各画像対について繰り返される。それにより、画像のシーケンスによって定義される時間ベース上の種々の時間区間を表す種々の信号セグメントが得られる。
これらが最終ステップにおいて融合され(ステップ17)、画像のシーケンスによってカバーされる時間区間に対応する時間区間をカバーする信号が得られる。信号セグメントの融合のためには、さまざまな方法を使用できる。融合は、たとえば、信号間の最高の相関を見出すこと、または外れ値(outliers)の照明(illumination)に基づくことができる。任意的に、諸信号セクションは、融合ステップ17の結果である時間変動する信号に影響する度合いを決定する異なる重みをもって、融合プロセスに参加することができる。たとえば、重み付け値は、類似したサブセットを見出すステップ13において、グループ中のサブセットどうしが一致すると決定される信頼度に依存することができる。もう一つの実施形態では、グループ中のサブセット間の空間的距離が少なくとも部分的に重み付けを決定する。距離が大きければ、重みはより低くなる。
図2の方法は、隣り合うサブセットからのサブセットの対のグループの例を使って説明したが、図2の方法は、シーケンスの相続く画像からの三つ以上のサブセットのグループを使うこともできる。それらのグループによって定義される諸区間は重なり合うことができる。たとえば、あるグループは第一から第三の画像のサブセットを含むことができ、別のグループは第二から第四の画像を含むことができる。
さらにもう一つの代替的な実施形態では、ある種のグループは、隣接し合う画像からのサブセットから形成されるのではなく、ある種の画像をスキップすることによって形成される。たとえば、ある実装では、第一の画像から諸サブセットが選択され、第二の画像における最も類似する諸サブセットが見出され、それにより、第一および第二の画像からのサブセットの諸対が得られる。特定の対がある基準を満たさない場合、その対は破棄され、第三の画像からの類似したサブセットが決定される。次いで、サブセットの対を形成するために補間を使うことができ、その対からたとえば信号セクションが抽出される。こうして、この実施形態では、少なくとも一つの基準の集合を満たさないピクセルのサブセットの諸対を破棄するステップ15に続いて、画像のシーケンスにおいて現在画像からさらに隔たった画像に対して、さらなる諸画像において類似する諸サブセットを見出すステップ13が繰り返される。
図2は、動きに対する堅牢さを高めるために追加的な補正に含まれるステップを示している。並行ステップ18において、画像のシーケンスにおいて表される少なくとも一つの被験体の少なくとも一部の動きの指標が決定される。画像のシーケンスにおいて表される被験体の少なくともある種の型の少なくとも周期的な動きを表す別個の信号を得るためである。次いでこの情報は、融合プロセスの結果として得られた信号の、ある成分を抑制する(ステップ19)ために使われる。関心領域に対応する被験体のみの動きが解析されることは理解されるであろう。
動き解析は、画像のシーケンスにわたる関心領域の動きを表す動きベクトルのシーケンスを決定することによって達成できる。次いで、それらの動きベクトルの反復性を解析することによって、生体の動きの周期的成分を表すデータが決定される。ある実施形態では、振幅のある範囲内の動きのみが考慮に入れられる。
動きベクトルを使うことに対する代替として、ピクセル値またはピクセル値の集合における照明変化が、動きを推定するために使用できる。しかしながら、これはそれほど信頼できず、動きの周波数もあまりよく決定できない。
ある代替的な実施形態では、部分的に重なり合っていてもよい複数の関心領域がある。各関心領域は、画像のシーケンスにおいて表されている単一の被験体の諸部分を表す。各関心領域について、ピクセル値に基づくある値の少なくとも変動を表す信号が、図2に示される仕方で決定される。同様に、各関心領域の動きが別個に解析される。次いで、さまざまな関心領域の動きの相違がある値未満であるかどうかの判定がなされる。そうであれば、ピクセル値に基づくある値の少なくとも変動を表す信号は、さらに一つの信号に融合される。それらの関心領域に関連付けられた諸動き信号に基づく単一の動き信号も形成される。この単一の動き信号は、ピクセル値に基づくある値の少なくとも変動を表す信号をさらに融合することによって得られる前記信号の成分を抑制するために使われる。他方、種々の関心領域に関連付けられた動き信号の相違がある量より大きければ、ピクセル値に基づくある値の少なくとも変動を表す信号は、関連付けられた関心領域に関連付けられた動き信号を使って個々に補正される。次いで、ピクセル値に基づくある値の少なくとも変動を表す補正された諸信号がさらに一つの信号に融合される。
動き抑制は、時間領域または周波数領域において実行できる。ある実施形態では、動き信号と、動きの周期成分に対応する周期成分が抑制されるべき信号との両方のウェーブレット解析が実行される。
融合ステップ17の結果である信号、動き抑制ステップ19の結果である信号およびさまざまな区間について得られた(ステップ16)諸信号セグメントの任意のものが、さらなる処理を受けることができ、一般にはそうされる。そうしたさらなる処理は、関心対象のバイオメトリック信号に対応する情報を抽出するステップ、たとえばアルファ・トレンド平均フィルタ(alpha trend mean filter)を使ったフィルタ処理を含んでいてもよい。さらなる可能なフィルタ処理操作は帯域通過フィルタ処理である。
結果として得られる信号は、たとえば心拍数または呼吸数に対応する、たとえば関心対象の周期的現象の周波数の値を得るために解析されることができる。撮像装置(たとえばCTスキャナ)のゲーティングのために使われることもできる。
画像のシーケンスからのピクセル値に基づくある値の少なくとも変動を表す時間変動する信号を形成する代替的な方法(図3)は、ピクセル値のサブセットのグループをなす二つ以上の画像における類似したサブセットを見出すステップ13を省く。その代わり、位置において対応する諸サブセットの諸グループが形成される。
この方法は、ある数の画像のバッファを利用する。本方法の各反復工程で、該バッファには最も最近の画像が追加され(ステップ20)、該バッファからより最近でない画像が除去される。こうして、バッファは画像のシーケンスのサブシーケンスを含む。これらは、画像のセット22の各画像上にグリッド(図4)をかぶせることによって、空間時間的体積を構成するために使われる(ステップ21)。セット22中の画像は、少なくともビデオ・カメラ6によって与えられる画像に基づく。それらの画像は、動き、カメラ動きなどを補償するためにフィルタ処理および/または画像処理操作(図示せず)した結果であってもよい。
グリッドは、幅Δx、高さΔyの空間的開口を画定する。各空間時間的体積は、セット22中の各画像の諸開口のうち所与の開口中の諸ピクセル値からなる。ある空間的開口内の諸ピクセル値に対応するピクセル値の諸サブセットのシーケンス23の例が図5に示されている。セット22内の画像の数が時間区間Δtを決定する。
各空間時間的体積内のピクセル値の諸サブセットは、少なくとも一つの基準からなる集合と突き合わせて評価される(ステップ24)。前記少なくとも一つの基準を満たすもののみが保持され、生体中の周期現象を表す成分を少なくとも含む信号を取得するために使われる。
一般に、図2の実施形態の選択ステップ14との関連で述べたのと同じ種類の諸選択基準が、図3の実施形態において使用できる。グリッドが画像全体の上にかぶせられるところでは、図3の方法の選択ステップ24は、少なくとも、ピクセル値の諸サブセットがある型の表面、たとえば人間の露出した皮膚を表すかどうかを評価するステップをも含むであろう。さらなる選択基準は、ピクセル値の各サブセットの一様性や、諸サブセットのシーケンス23の時間的一様性に関係する。最も一様な空間時間的諸体積だけ、あるいは何らかの絶対的な一様基準を満たすものだけが保持される。空間領域および時間領域における一様性の計算は、ダイナミックレンジ、分散、エントロピーなどの計算を含むいくつもある方法のいずれを使って行ってもよい。
空間時間的諸体積を構成するステップ21は、デフォルトの空間的開口および時間区間Δtを使うことができる。ある実施形態では、開口の異なるサイズが、図3の方法の各反復工程で、すなわち、処理される全画像シーケンスの各区間について、使用される。追加的または代替的に、区間の長さ、すなわちセット22中の画像の枚数が変えられる。開口サイズ(幅Δxまたは高さΔy)は解析される領域の一様性にリンクされることができる。その際、より一様な領域はより大きな開口につながるであろう。他の好適な影響する因子は、ビデオ・カメラ6のセンサーの空間的分解能やそうしたセンサーの他の特徴を含む。他の実施形態では、グリッドは、異なる開口が異なる寸法をもつという意味で不規則である。適切な寸法は、オブジェクト・セグメンテーション、色セグメンテーションおよび背景‐前景セグメンテーションのうちの少なくとも一つを画像のセット22の少なくとも一つの画像に対して実行することによって決定されることもできる。セグメンテーションが比較的小さな諸セグメントを与える場合には、グリッドの諸開口も小さいべきである。画像のセット22によってカバーされる区間Δtの適切なサイズは、一般に、各画像中に存在する動きの量に依存する。このように、選択ステップ24に関係する解析の一部はこれらの実施形態では、空間時間的体積を構成するために実行されていることになる。区間Δtを決定できる他の因子は、ビデオ・カメラ6のフレーム・レート、画像において表現されている被験体の動きの強度および照明の変化を含む。
空間時間的体積のあるものが選択されたのち、選択された各空間時間的体積について、その空間時間的体積のピクセル値に基づくある値の時間的変動が抽出される(ステップ25)。このステップ25において、あるサブセット内からのピクセル値は、たとえば重み付き平均を取ることにより、あるいは平均値を見出すことにより、単一の値に組み合わされる。これは、シーケンス23(図5)中の各サブセットについて行われ、そのため、画像毎にそのような一つの値がある。ピクセル値の組み合わせの効果は、ノイズに対する堅牢性が比較的高いということである。ただし、信号値を抽出する他の方法も可能である。ある実施形態では、各画像は二つ以上の画像フレームを有し、各フレームが異なるチャネルに対応し、電磁放射のスペクトルの限られた範囲において捕捉された電磁放射の強度を表すピクセル値からなる。たとえば、画像のシーケンスは、種々の色チャネル(たとえば赤、緑および青)における画像フレームのシーケンスを有することができる。この代替では、組み合わせは、完全な画像をなす各画像フレームからのピクセル値の重み付けされた和を取ることに関わってもよい。組み合わせはまた、減算演算に関わることもできる。たとえば、緑の光に対応するチャネルにおけるピクセル値から、平均輝度を減算する。
図5に示されるように、ピクセル値の一つのサブセットについて計算された値と、シーケンス23中のすべてのサブセットについての値の時間平均との間の差が計算される。一般に、ある時間期間にわたる色値の空間平均輝度の時間的ゆらぎを抽出するために、他のいかなる方法を使ってもよい。これらの変動は、振幅変化および周波数値のある範囲内にあるべきである。
図示した実施形態では、空間時間的諸体積を形成するためにスライディング窓が使われる。こうして、各反復工程において、画像の現在セット22について得られる諸信号セグメントが、互いと、また先行する諸反復工程において得られた重なる諸信号セグメントと融合される(ステップ26)。融合は、たとえば信号間の最高の相関を見出すことに基づく、または照明外れ値(illuminating outliers)に基づくことができる。これらの信号セグメントは、異なる重み付けパラメータをもって、融合処理に参加できる。これらは、たとえば関連する空間時間的体積の時間区間Δtの長さに依存することができる(より大きな区間Δtをもつ体積により大きな重みが割り当てられる)。
融合された信号は、最も重要な情報を抽出するために使われる。最も重要な情報とは、心拍信号モニタリングの場合には心拍数である。融合された信号から、該融合された信号の、関心のある部分を抽出するために、アルファ・トレンド平均フィルタを使うことができる。
図のように、図2に関係して述べた周期的動きを表す成分を抑制するのと同様の方法が使われる。すなわち、処理される画像のシーケンスにおいて表される生体の動きの周期的成分を少なくとも表す別個のデータを取得する並行ステップ27は、画像のシーケンスのビデオ・ベースの解析を実行することによって得られる。図示した実施形態では、一つの動き信号が得られて、その周期的動きに対応する融合された信号の成分を少なくとも抑制する(ステップ28)ために使われる状況が示されている。
ある代替的な実施形態では、諸画像の別個の諸部分について、別個の動き信号が取得され、それらの部分に対応する諸空間時間的体積について得られた諸信号セクションの成分を抑制するために使われることができる。ある個別的実施形態では、別個の空間時間的体積から抽出された信号セクションの少なくとも周期的成分を抑制するために別個の動き信号を取得するかどうかは、動き信号間の相違の度合いに依存する。
動き抑制をある型の動きに限定するために、解析ステップ27は一般に、たとえば動きベクトルを計算することによって、動きを定量化する。この場合、動き信号は、動きベクトルの反復性を決定することによって得ることができる。反復周波数に対応する範囲内で、融合された信号の、あるいは抽出された信号セクションの諸成分を抑制するためである。
図6は、上記の諸方法の基礎になる動き抑制の原理を実装する代替的なシステムを示している。本システムのうち図1のシステムに対応する部分は、同様の参照符号を与えられている。図6のデータ処理システム601は、生体中の周期的現象を表す信号を捕捉するための少なくとも一つのセンサー610へのインターフェース609をさらに有することによって異なっている。
ある実施形態では、センサー610は、生体の心拍を表す成分を少なくとも含む信号を捕捉するよう構成される。ある変形では、センサー610は、生体と接触した際にそのような信号を捕捉するよう適応される。たとえば、センサー610は、一つまたは複数の心電図信号を捕捉するために人の身体の近くに保持されるよう構成された電極を有することができる。
データ処理システム601は、ビデオ・カメラ606から画像のシーケンスを同時に受信する。センサー610によってモニタリングされる生体の身体の少なくとも一部の動きの少なくとも周期的成分を表す信号を決定するために、ビデオ・ベースの解析が実行される。これは、必ずしも、センサー610があてがわれるのと同じ身体部分である必要はない。たとえば、センサー610がルームサイクル〔トレーニング用自転車〕のハンドルに統合されていて、ビデオ・カメラ606はルームサイクルに乗った人の上体の画像を取り込むことができる。センサー610からの信号は一般に、運動する人の上体の揺れによって影響されるので、センサー610からの信号の対応する成分を抑制するために、この揺れる動きを表す信号を決定することは有用である。これは、出力装置608を介してユーザーに補正された信号に基づく情報を提供するデータ処理システム1によって実行される。
ある実施形態では、データ処理システムは、ビデオ・ベースの解析の一部として、動き、少なくとも一つの時間変動する動きベクトルを計算する。次いで動きベクトル値の反復性が解析されて、動きの少なくとも周期成分を表す信号が得られる。この信号は、センサー610からの信号を補正するために使われる。
ある種の実施形態では、ある型の動きの少なくとも周期成分を表す信号が得られる。たとえば、特定の平面内の動きのみが判別されることができる。代替的にまたは追加的に、ある大きさまたはある周波数範囲内の動きのみが判別されることができる。
センサー610からの信号は、信号中の周期的な動きに対応するブロッキング周波数によって補正されることができる。もう一つの実施形態では、時間‐周波数(たとえばウェーブレット)解析が動き信号およびセンサー610からの信号の両方に対して実行される。これは、周期成分が比較的小さな一連の時間的窓について別個に解析されるという意味で、非反復性の動きの推定および補償を許容する。そのような時間的窓の大きさは、動きの期待される強度およびビデオ・カメラ606と被験体の間の距離を含む種々のパラメータに依存することができる。
次に、本発明のあるさらなる実施形態について述べる。肌色の変動を測定する方法が、顔の画像を撮るカメラに基づき、手動で選択された皮膚領域(たとえば頬)にわたるピクセル平均を計算する。この平均信号の周期的変動を見ることによって、心拍数が実験室場面において抽出できる。
前記カメラによって得られる平均信号は、心拍信号に対応する非常に小さな信号を含み、個人の動きによって容易に汚染されてしまう。ルームランナーで走っている場合のように個人の動きが周期的であり、その周波数が関心のある周波数範囲内、たとえば40BPMから210BPMまでの間にはいる場合、動きの周波数を心拍の周波数から区別することは難しい。一例として、ルームランナーで走っている個人から得られた信号のスペクトログラムが図7にプロットされている。
図7では、横軸は分単位での時間に対応し、縦軸は毎秒拍数(周波数)に対応する。150BPMのまわりに水平方向の暗い線が明瞭に見て取れる。この線が暗いほど、この周波数での信号のエネルギーが大きい。この暗い線が動きに対応する。さらに、150BPM、300BPMおよび若干薄いが450BPM周辺により低い強度で三本の線が見える。これらの線は心拍信号の基本周波数および二つの高調波に対応する。動き信号のエネルギーが心拍信号に比べて大きいので、明らかに、動きが信号を有意に汚染している。よって、心拍数を正しく推定するためには、動きの影響を減らす必要がある。さらに、信号から動きを除去することが可能であれば、ずっとクリーンな心拍信号を得ることができ、それによりピーク・ツー・ピーク検出によって時間領域で心拍数を推定することが可能になる。クリーンな信号の追加的な利点は、HRV(心拍数変動度)が推定できるということである。
時間において関心のある皮膚領域の動きを記述する(平均)動きベクトルが非常にクリーンな信号であり、精密に動きを記述することが見出されている。さらに、動きベクトルはいかなる心拍信号も含まず、よって(たとえば非特許文献3に記載されるような)適応フィルタなどのための、平均肌色信号における動きに誘起された歪みを低減させるための参照信号として使うのに非常に好適である(適応エコー打ち消しの用語では、これは遠方端信号(far-end signals)と呼ばれる)。
各ピクセルの個々の動きベクトルに目を向けると、これらの動きベクトルはみな同じではないことが見て取れる(たとえば、頭の回転がある場合、並進についてはこれらのベクトルはより似通ったものになる)。好ましくは、単にすべてのピクセル(またはあるグループのピクセル)の平均動きベクトルが取られ、参照信号として使われる。オブジェクト、たとえば顔を諸領域に分割し、ローカルに補償するためにそれらの領域の平均動きベクトルを使うことも可能である。
図8は、心拍信号における(一般に、図2または図3を参照して上記した処理によって得られる信号、特にステップ17またはステップ26の出力における)動きに誘起された汚染を減らすために、上記のシステムにおいて、好ましくは処理ユニット7または607の一部として使うための動き補償ユニット800のある実施形態のブロック図を描いている。このように、前記動き補償ユニット800は、たとえば、図2または図3を参照して例解した前記諸方法のステップ19またはステップ28を実装するよう適応される。
動き補償ユニット800は、入力x動き信号809および入力y動き信号810として与えられる、関心のある皮膚領域の(平均)x動きおよびy動きをフィルタ処理する二つの適応フィルタ801、802を有する。これらの動き信号809、810はたとえば、提案される方法の上記の諸実施形態のステップ18またはステップ27によって与えられてもよいし、および/または図6に示されるセンサー610によって与えられてもよい。(x方向およびy方向の動きについての)二つのフィルタという数および二つの動き信号の使用は必須ではないことを注意しておくべきである。一般に、所望される方向(たとえば動きが最も強いと想定される方向)における一つのフィルタおよび一つの動き信号、あるいは(所望される諸方向における)より多くの動き信号を使うこともできる。
この実施形態では、適応フィルタ801、802の係数は、規格化ユニット803、804内の規格化最小平均二乗(NLMS: normalized least-mean-square)アルゴリズムによって更新されるが、他の適応アルゴリズムが使われることもできる。フィルタ処理されたx動き信号およびy動き信号805、806は、減算ユニット807において入力信号808から減算される。入力信号808は、動きに誘起された信号により汚染された、カメラによって得られた心拍信号に対応する。規格化ユニット803、804は、出力信号811(理想的には、動きに誘起された汚染が除去された心拍信号)のエネルギーが最小化されるよう、係数を適応させる。x動き信号およびy動き信号809、810は心拍信号を含まないので、この最小に到達するのは、出力信号811が動きと相関したいかなる信号も含まないときである。よって、本実施形態によれば、適応フィルタ801、802は好ましくは単に、動きに起因する歪みが減らされるよう、参照信号の振幅および位相を変える。
図9では、関心対象の皮膚領域の平均動きベクトルが上記適応フィルタによって心拍信号中の動きに誘起された信号を減らすために使われるときの、ルームランナーで走っている個人から得られた結果のスペクトログラムがプロットされている。図7に描かれたプロットに比べ、動きに誘起された汚染が著しく除去されていることが明らかに見て取れる。この場合、両適応フィルタ801、802について四つの係数のみが使われる。
図7ないし図9を参照して上述した実施形態では、x動きおよびy動きが完全に無相関であり、二つの規格化ユニット803、804が独立して適応することが想定されていた。実際上、これは必ずしも成り立たず、一般には、二つの入力動き信号809、810の間の相関を取り入れるために、適応フィルタ801、802としての複数入力単一出力の適応フィルタが使われる。しかしながら、相関が小さい場合、上記の実施形態は上例が示すように非常によく機能する。たとえば、本願によれば、心拍信号を信頼できる形で抽出することが可能であり、該心拍信号は動きに誘起された歪みの削減によってさらに改善される。
上述の実施形態が本発明を限定するのではなく例解しているのであり、付属の請求項の範囲から外れることなく当業者は多くの代替的な実施形態を設計できるであろうことを注意しておくべきである。請求項において、括弧内に参照符号があったとしても、その請求項を限定するものと解釈してはならない。「有する」「含む」の語は、請求項に挙げられている以外の要素やステップの存在を排除するものではない。要素の単数形の表現はそのような要素の複数の存在を排除するものではない。ある種の施策が互いに異なる従属請求項に記載されているというだけの事実がそれらの施策の組み合わせが有利に使用できないことを示すものではない。
コンピュータ・プログラムは、他のハードウェアと一緒にまたは他のハードウェアの一部として供給される光記憶媒体または半導体媒体のような好適な非一時的媒体上で記憶/頒布されてもよいが、インターネットまたは他の有線もしく無線遠隔通信システムを介するなど他の形で頒布されてもよい。
図2の方法において類似のサブセットを見出すために使われる類似性の指標はテクスチャーの類似性に限定されることができる。ピクセル値の厳密な類似性は要求されない。
この目的のため、本発明のある側面によれば、生体中の少なくとも周期的現象を表す成分を含む信号を処理する方法であって:
前記生体を示す画像のシーケンスを取得する段階と;
リモート光体積変動記録法を使って前記画像のシーケンスから生体中の少なくとも周期的現象を表す成分を有する少なくとも一つの第一の信号を抽出する段階と;
記画像のシーケンスのビデオ・ベースの動き解析を実行することによって、前記生体の動きの少なくとも周期的成分を表す別個のデータを取得する段階と;
前記データを使って、少なくとも、前記生体の動きの前記周期的成分に対応する前記第一の信号の成分を抑制する段階とを含む方法が提供される。
本発明によれば、前記少なくとも一つの第一の信号を取得する段階は、少なくとも一つの第一の信号を前記画像のシーケンスから抽出することを含む。
これは、一連のデジタル画像を撮影するカメラの形の一つのセンサーのみを使って実装できるので、比較的効率的である。その場合、前記第一の信号を動きの少なくとも周期的成分を表す前記別個のデータと同期させる問題は自明になる。よって、前記データを使って、少なくとも、前記生体の動きの前記周期的成分に対応する前記第一の信号の成分を抑制する段階も実装がより簡単になる。
本発明のもう一つの側面によれば、生体中の少なくとも周期的現象を表す成分を含む信号を処理するシステムであって:
前記生体を示す画像のシーケンスを取得するインターフェースと;
リモート光体積変動記録法を使って前記画像のシーケンスから生体中の少なくとも周期的現象を表す成分を有する少なくとも一つの第一の信号を抽出する少なくとも一つのコンポーネントと;
記画像のシーケンスのビデオ・ベースの動き解析を実行する画像データ処理システムを含む、前記生体の動きの少なくとも周期的成分を表す別個のデータを取得する少なくとも一つのコンポーネントと;
前記データを使って、少なくとも、前記生体の動きの前記周期的成分に対応する前記第一の信号の成分を抑制するよう構成された少なくとも一つのデータ処理コンポーネントとを含むシステムが提供される。

Claims (14)

  1. 生体中の少なくとも周期的現象を表す成分を含む信号を処理する方法であって:
    生体中の少なくとも周期的現象を表す成分を有する少なくとも一つの第一の信号を取得する段階と;
    前記少なくとも一つの第一の信号と同期して、前記生体を示す画像のシーケンスを取得して、前記画像のシーケンスのビデオ・ベースの動き解析を実行することによって、前記生体の動きの少なくとも周期的成分を表す別個のデータを取得する段階と;
    前記データを使って、少なくとも、前記生体の動きの前記周期的成分に対応する前記第一の信号の成分を抑制する段階とを含む、
    方法。
  2. 前記少なくとも一つの第一の信号を取得する段階は、少なくとも一つの第一の信号を前記画像のシーケンスから抽出することを含む、請求項1記載の方法。
  3. 前記少なくとも一つの第一の信号を前記画像のシーケンスから抽出することが、それぞれの画像からのピクセル値の組み合わせに対応する変数の値を得ることを含む、請求項2記載の方法。
  4. 前記少なくとも一つの第一の信号を前記シーケンスから抽出することが、前記シーケンスにわたる前記変数の変動のみを決定することを含む、請求項3記載の方法。
  5. 前記画像において表現されている少なくとも一つの被験体について少なくとも一つの動きベクトルを計算し、動きベクトル値の反復性を解析することを含む、請求項1記載の方法。
  6. 前記画像において表現されているある被験体の複数の部分のそれぞれについて動きベクトル値を計算することを含む、請求項5記載の方法。
  7. 動きの少なくとも周期的成分を表す別個のデータを取得する段階が、前記生体の少なくとも一部の空間的な変位を定量化することを含む、請求項1記載の方法。
  8. 前記画像において表現されている少なくとも一つの被験体について少なくとも一つの動きベクトルを計算する段階と、
    前記少なくとも一つの動きベクトルをフィルタ処理する段階と、
    前記第一の信号から前記フィルタ処理された動きベクトルを減算して、前記第一の信号の、前記生体の動きの前記周期的成分に対応する成分を抑制し、擾乱が軽減された第一の信号を得る段階とを含む、
    請求項1記載の方法。
  9. 前記フィルタ処理が、前記フィルタ処理の係数が適応的に更新される適応的フィルタ処理を含む、請求項8記載の方法。
  10. 前記フィルタ処理の係数が、擾乱が軽減された第一の信号のエネルギーが最小化されるよう更新される、請求項9記載の方法。
  11. 特に第一の方向および前記第一の方向に垂直な第二の方向の、少なくとも二つの動きベクトルが別個に計算され、別個にフィルタ処理される、請求項8記載の方法。
  12. 生体中の少なくとも周期的現象を表す成分を含む信号を処理するシステムであって:
    生体中の少なくとも周期的現象を表す成分を有する少なくとも一つの第一の信号を取得する少なくとも一つのコンポーネントと;
    前記少なくとも一つの第一の信号と同期して、前記生体を示す画像のシーケンスを取得するインターフェースおよび前記画像のシーケンスのビデオ・ベースの動き解析を実行する画像データ処理システムを含む、前記生体の動きの少なくとも周期的成分を表す別個のデータを取得する少なくとも一つのコンポーネントと;
    前記データを使って、少なくとも、前記生体の動きの前記周期的成分に対応する前記第一の信号の成分を抑制するよう構成された少なくとも一つのデータ処理コンポーネントとを含むシステム。
  13. 請求項1ないし11のうちいずれか一項記載の方法を実行するよう構成された、請求項8記載のシステム。
  14. 機械可読媒体に組み込まれたときに、情報処理機能をもつシステムに請求項1ないし11のうちいずれか一項記載の方法を実行させることのできる一組の命令を含むコンピュータ・プログラム。
JP2012532703A 2009-10-06 2010-10-05 生体中の少なくとも周期的現象を表す成分を含む信号を処理する方法およびシステム Active JP5834011B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09172329.6 2009-10-06
EP09172329 2009-10-06
PCT/IB2010/054491 WO2011042858A1 (en) 2009-10-06 2010-10-05 Method and system for processing a signal including at least a component representative of a periodic phenomenon in a living being

Publications (2)

Publication Number Publication Date
JP2013506526A true JP2013506526A (ja) 2013-02-28
JP5834011B2 JP5834011B2 (ja) 2015-12-16

Family

ID=43125542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012532703A Active JP5834011B2 (ja) 2009-10-06 2010-10-05 生体中の少なくとも周期的現象を表す成分を含む信号を処理する方法およびシステム

Country Status (5)

Country Link
US (1) US8649562B2 (ja)
EP (2) EP3142071A1 (ja)
JP (1) JP5834011B2 (ja)
CN (1) CN102549621B (ja)
WO (1) WO2011042858A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014529797A (ja) * 2011-08-22 2014-11-13 コーニンクレッカ フィリップス エヌ ヴェ データ管理システム及び方法
WO2014207875A1 (ja) * 2013-06-27 2014-12-31 株式会社日立製作所 運動負荷時の生体情報算出システム、生体情報算出方法、及び、携帯情報端末
JP2017530815A (ja) * 2014-10-13 2017-10-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 被験者のバイタルサイン情報を検出するデバイス及び方法
JP6343107B1 (ja) * 2015-05-21 2018-06-13 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ビデオ・シーケンスにおける生体皮膚組織の識別
JP2018520418A (ja) * 2015-05-21 2018-07-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ビデオシーケンスからのパルス信号の決定
JP2019055256A (ja) * 2013-03-14 2019-04-11 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 対象のバイタルサインを決定する装置及び方法
JP2021531068A (ja) * 2018-07-26 2021-11-18 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 対象の脈拍を検出する装置、システム及び方法

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011016772B8 (de) * 2011-04-12 2024-08-14 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
JP6108486B2 (ja) * 2011-08-01 2017-04-05 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 生体の測定読み出しを得る及び処理するデバイス及び方法
GB201114406D0 (en) 2011-08-22 2011-10-05 Isis Innovation Remote monitoring of vital signs
WO2013030739A1 (en) 2011-08-26 2013-03-07 Koninklijke Philips Electronics N.V. Distortion reduced signal detection
WO2013038326A1 (en) 2011-09-13 2013-03-21 Koninklijke Philips Electronics N.V. Distortion reduced signal detection
US9241674B2 (en) 2011-09-29 2016-01-26 Koninklijke Philips N.V. Distortion reduced signal detection
US8870765B2 (en) * 2011-10-31 2014-10-28 Eyal YAFFE-ERMOZA Polygraph
JP6259776B2 (ja) * 2012-02-28 2018-01-10 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. バイタルサインをモニタするためのデバイス及び方法
WO2013136231A1 (en) * 2012-03-13 2013-09-19 Koninklijke Philips N.V. Cardiopulmonary resuscitation apparatus comprising a physiological sensor
WO2013164724A1 (en) 2012-05-01 2013-11-07 Koninklijke Philips N.V. Device and method for extracting information from remotely detected characteristic signals
US11590053B2 (en) 2012-05-17 2023-02-28 Zoll Medical Corporation Cameras for emergency rescue
US9522096B2 (en) 2012-05-17 2016-12-20 Zoll Medical Corporation CPR team performance
US10420701B2 (en) 2013-05-17 2019-09-24 Zoll Medical Corporation Cameras for emergency rescue
WO2014020463A1 (en) 2012-07-30 2014-02-06 Koninklijke Philips N.V. Device and method for extracting physiological information
CN104540443B (zh) * 2012-08-02 2017-06-20 皇家飞利浦有限公司 用于提取生理信息的设备和方法
WO2014024104A1 (en) * 2012-08-06 2014-02-13 Koninklijke Philips N.V. Device and method for extracting physiological information
WO2014038077A1 (ja) 2012-09-07 2014-03-13 富士通株式会社 脈波検出方法、脈波検出装置及び脈波検出プログラム
WO2014045197A1 (en) 2012-09-21 2014-03-27 Koninklijke Philips N.V. Device and method for processing data derivable from remotely detected electromagnetic radiation
EP2767233A1 (en) * 2013-02-15 2014-08-20 Koninklijke Philips N.V. Device for obtaining respiratory information of a subject
EP2769667A1 (en) * 2013-02-22 2014-08-27 Koninklijke Philips N.V. Marker with light emitting area for use in determining vital sign information
EP2774533A1 (en) * 2013-03-06 2014-09-10 Machine Perception Technologies, Inc. Apparatuses and method for determining and using heart rate variability
RU2675036C2 (ru) * 2013-03-14 2018-12-14 Конинклейке Филипс Н.В. Устройство и способ получения информации о показателях жизненно важных функций субъекта
CA2917635A1 (en) * 2013-07-10 2015-01-15 Koninklijke Philips N.V. System for screening of the state of oxygenation of a subject
US20150094606A1 (en) 2013-10-02 2015-04-02 Xerox Corporation Breathing pattern identification for respiratory function assessment
WO2015049150A1 (en) * 2013-10-01 2015-04-09 Koninklijke Philips N.V. Improved signal selection for obtaining a remote photoplethysmographic waveform
JP6371837B2 (ja) * 2013-10-17 2018-08-08 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 被験者のバイタルサインを取得するデバイスと方法
TWI546052B (zh) * 2013-11-14 2016-08-21 財團法人工業技術研究院 影像式心率活動偵測裝置及其方法
EP3073905B1 (en) * 2013-11-27 2017-04-12 Koninklijke Philips N.V. Device and method for obtaining pulse transit time and/or pulse wave velocity information of a subject
US10134307B2 (en) 2013-12-12 2018-11-20 Koninklijke Philips N.V. Software application for a portable device for CPR guidance using augmented reality
US20150245787A1 (en) * 2014-03-03 2015-09-03 Xerox Corporation Real-time video processing for respiratory function analysis
US10028669B2 (en) * 2014-04-02 2018-07-24 Massachusetts Institute Of Technology Methods and apparatus for physiological measurement using color band photoplethysmographic sensor
JP6248780B2 (ja) * 2014-04-21 2017-12-20 富士通株式会社 脈波検出装置、脈波検出方法及び脈波検出プログラム
CN105556539A (zh) * 2014-05-16 2016-05-04 联发科技股份有限公司 检测兴趣区域的检测装置和方法
US9737219B2 (en) * 2014-05-30 2017-08-22 Mediatek Inc. Method and associated controller for life sign monitoring
CN104161505A (zh) * 2014-08-13 2014-11-26 北京邮电大学 一种适用于可穿戴式心率监测设备的运动和噪声干扰消除方法
JP2016066922A (ja) * 2014-09-25 2016-04-28 ソニー株式会社 信号処理装置、撮像装置、および、それらにおける信号処理方法。
US20160217588A1 (en) * 2014-12-11 2016-07-28 Jeffrey R. Hay Method of Adaptive Array Comparison for the Detection and Characterization of Periodic Motion
US10242441B2 (en) * 2015-05-21 2019-03-26 Koninklijke Philips N.V. Identifying living skin tissue in a video sequence using color and spatial similarities
JP6531834B2 (ja) * 2015-11-20 2019-06-19 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US11191489B2 (en) * 2016-01-15 2021-12-07 Koninklijke Philips N.V. Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
CA2958010C (en) * 2016-02-19 2021-09-07 Covidien Lp System and methods for video-based monitoring of vital signs
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
US11202579B2 (en) 2016-08-08 2021-12-21 Zoll Medical Corporation Wrist-worn device for coordinating patient care
US10492986B2 (en) 2016-09-30 2019-12-03 Zoll Medical Corporation Wearable sensor devices and systems for patient care
WO2018156970A1 (en) 2017-02-24 2018-08-30 Flir Systems, Inc. Real-time detection of periodic motion systems and methods
CN110352035B (zh) * 2017-02-27 2023-09-08 皇家飞利浦有限公司 经由信号变化放大的静脉穿刺和动脉线引导
EP3833241A1 (en) 2018-08-09 2021-06-16 Covidien LP Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
WO2022167453A1 (en) 2021-02-04 2022-08-11 Koninklijke Philips N.V. Touch-free infectious disease screening
CN114462199B (zh) * 2021-12-29 2023-04-18 中科星通(廊坊)信息技术有限公司 遥感数字试验场选址与评价方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07124126A (ja) * 1993-11-05 1995-05-16 Ken Ishihara 医療用生体情報検出装置、診断装置および治療装置
JPH11276448A (ja) * 1998-03-31 1999-10-12 Seiko Epson Corp 信号抽出装置および信号抽出方法
JP2001008908A (ja) * 1999-06-28 2001-01-16 Omron Corp 電子血圧計
JP2004298606A (ja) * 2003-03-19 2004-10-28 Seiko Epson Corp 脈拍計、脈拍計の制御方法、腕時計型情報機器、制御プログラム、記録媒体、血管模擬センサおよび生体情報計測装置
JP2005517257A (ja) * 2002-02-06 2005-06-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ セグメント化装置及び方法
WO2007043328A1 (ja) * 2005-10-12 2007-04-19 Konica Minolta Holdings, Inc. データ検出装置及びデータ検出方法
JP2007319246A (ja) * 2006-05-30 2007-12-13 Sharp Corp 電子機器及び電子機器を用いた脈拍検出方法
JP2008079813A (ja) * 2006-09-27 2008-04-10 Yazaki Corp 血管年齢測定装置、脈波測定装置、生体情報処理システム、血管年齢測定方法
JP2009132012A (ja) * 2007-11-29 2009-06-18 Sanbii Kk 差換印付きの回転ゴム印
JP2009160415A (ja) * 2001-05-15 2009-07-23 Masimo Corp データ信頼度インジケータ、データ信頼度表示方法及び患者モニタ
US20090203998A1 (en) * 2008-02-13 2009-08-13 Gunnar Klinghult Heart rate counter, portable apparatus, method, and computer program for heart rate counting
US20090226071A1 (en) * 2008-03-06 2009-09-10 Motorola, Inc. Method and Apparatus to Facilitate Using Visible Light Images to Determine a Heart Rate
JP2009533121A (ja) * 2006-04-11 2009-09-17 ザ ユニバーシティ オブ ノッティンガム フォトプレチスモグラフィ

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9011887D0 (en) 1990-05-26 1990-07-18 Le Fit Ltd Pulse responsive device
GB9308952D0 (en) * 1993-04-30 1993-06-16 Philips Electronics Uk Ltd Tracking objects in video sequences
DE69918877T2 (de) * 1998-02-17 2005-07-28 Koninklijke Philips Electronics N.V. Bildbearbeitungsverfahren zur Bewegungsschätzung in einer Bildsequenz
JP4683250B2 (ja) * 2001-03-13 2011-05-18 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラムおよびプログラム記録媒体
JP4048996B2 (ja) * 2003-04-11 2008-02-20 ソニー株式会社 テロップの抽出装置および抽出方法、並びにプログラムおよび媒体
KR100571811B1 (ko) * 2003-05-09 2006-04-17 삼성전자주식회사 귀속형 생체 신호 측정 장치
US8989349B2 (en) * 2004-09-30 2015-03-24 Accuray, Inc. Dynamic tracking of moving targets
US7645247B2 (en) * 2004-10-25 2010-01-12 Norman A. Paradis Non-invasive device for synchronizing chest compression and ventilation parameters to residual myocardial activity during cardiopulmonary resuscitation
US20080187042A1 (en) * 2005-01-07 2008-08-07 Koninklijke Philips Electronics, N.V. Method of Processing a Video Signal Using Quantization Step Sizes Dynamically Based on Normal Flow
DE102005017492B4 (de) * 2005-04-15 2007-04-19 Siemens Ag Verfahren zum rechnerischen Kompensieren einer periodischen Bewegung eines Organs sowie Bildaufnahmesystem
EP2104071A1 (en) * 2008-03-19 2009-09-23 Thomson Licensing Method for segmenting video segments

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07124126A (ja) * 1993-11-05 1995-05-16 Ken Ishihara 医療用生体情報検出装置、診断装置および治療装置
JPH11276448A (ja) * 1998-03-31 1999-10-12 Seiko Epson Corp 信号抽出装置および信号抽出方法
JP2001008908A (ja) * 1999-06-28 2001-01-16 Omron Corp 電子血圧計
JP2009160415A (ja) * 2001-05-15 2009-07-23 Masimo Corp データ信頼度インジケータ、データ信頼度表示方法及び患者モニタ
JP2005517257A (ja) * 2002-02-06 2005-06-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ セグメント化装置及び方法
JP2004298606A (ja) * 2003-03-19 2004-10-28 Seiko Epson Corp 脈拍計、脈拍計の制御方法、腕時計型情報機器、制御プログラム、記録媒体、血管模擬センサおよび生体情報計測装置
WO2007043328A1 (ja) * 2005-10-12 2007-04-19 Konica Minolta Holdings, Inc. データ検出装置及びデータ検出方法
JP2009533121A (ja) * 2006-04-11 2009-09-17 ザ ユニバーシティ オブ ノッティンガム フォトプレチスモグラフィ
JP2007319246A (ja) * 2006-05-30 2007-12-13 Sharp Corp 電子機器及び電子機器を用いた脈拍検出方法
JP2008079813A (ja) * 2006-09-27 2008-04-10 Yazaki Corp 血管年齢測定装置、脈波測定装置、生体情報処理システム、血管年齢測定方法
JP2009132012A (ja) * 2007-11-29 2009-06-18 Sanbii Kk 差換印付きの回転ゴム印
US20090203998A1 (en) * 2008-02-13 2009-08-13 Gunnar Klinghult Heart rate counter, portable apparatus, method, and computer program for heart rate counting
US20090226071A1 (en) * 2008-03-06 2009-09-10 Motorola, Inc. Method and Apparatus to Facilitate Using Visible Light Images to Determine a Heart Rate

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014529797A (ja) * 2011-08-22 2014-11-13 コーニンクレッカ フィリップス エヌ ヴェ データ管理システム及び方法
JP2019055256A (ja) * 2013-03-14 2019-04-11 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 対象のバイタルサインを決定する装置及び方法
WO2014207875A1 (ja) * 2013-06-27 2014-12-31 株式会社日立製作所 運動負荷時の生体情報算出システム、生体情報算出方法、及び、携帯情報端末
JPWO2014207875A1 (ja) * 2013-06-27 2017-02-23 株式会社日立製作所 運動負荷時の生体情報算出システム、生体情報算出方法、及び、携帯情報端末
JP2017530815A (ja) * 2014-10-13 2017-10-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 被験者のバイタルサイン情報を検出するデバイス及び方法
JP6343107B1 (ja) * 2015-05-21 2018-06-13 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ビデオ・シーケンスにおける生体皮膚組織の識別
JP2018520418A (ja) * 2015-05-21 2018-07-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ビデオシーケンスからのパルス信号の決定
JP2018520417A (ja) * 2015-05-21 2018-07-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ビデオ・シーケンスにおける生体皮膚組織の識別
JP2021531068A (ja) * 2018-07-26 2021-11-18 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 対象の脈拍を検出する装置、システム及び方法
JP7340546B2 (ja) 2018-07-26 2023-09-07 コーニンクレッカ フィリップス エヌ ヴェ 対象の脈拍を検出する装置、システム及び方法

Also Published As

Publication number Publication date
US20120195473A1 (en) 2012-08-02
CN102549621A (zh) 2012-07-04
EP3142071A1 (en) 2017-03-15
EP2486544A1 (en) 2012-08-15
US8649562B2 (en) 2014-02-11
CN102549621B (zh) 2016-08-31
EP2486544B1 (en) 2016-08-31
WO2011042858A1 (en) 2011-04-14
JP5834011B2 (ja) 2015-12-16

Similar Documents

Publication Publication Date Title
JP5834011B2 (ja) 生体中の少なくとも周期的現象を表す成分を含む信号を処理する方法およびシステム
US8553940B2 (en) Formation of a time-varying signal representative of at least variations in a value based on pixel values
US8542877B2 (en) Processing images of at least one living being
US9928607B2 (en) Device and method for obtaining a vital signal of a subject
JP6521845B2 (ja) 心拍に連動する周期的変動の計測装置及び計測方法
JP2020510487A (ja) 対象の生理学的信号を測定及び処理するデバイス、システム並びに方法
Feng et al. Motion artifacts suppression for remote imaging photoplethysmography
EP3664690A1 (en) Device, system and method for determining a physiological parameter of a subject
EP2988662A1 (en) Device, system and method for extracting physiological information
JP2021517843A (ja) 脈拍推定装置、脈拍推定方法、及びプログラム
Qiao et al. Revise: Remote vital signs measurement using smartphone camera
Heinrich et al. Video based actigraphy and breathing monitoring from the bedside table of shared beds
Pilz et al. Heart rate from face videos under realistic conditions for advanced driver monitoring
Balaraman et al. Recent Innovations and Improvements in Remote Heart Rate and Heart Disease Measuring Methods Using RGB Camera
Pansare et al. Heart Rate Measurement from Face and Wrist Video
Zarándy et al. Multi-Level Optimization for Enabling Life Critical Visual Inspections of Infants in Resource Limited Environment
CN118402776A (zh) 一种呼吸频率检测方法、装置、电子设备及存储介质
JAFFAR et al. ReViSe: Remote Vital Signs Measurement Using Smartphone Camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151030

R150 Certificate of patent or registration of utility model

Ref document number: 5834011

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250