JP2015523132A - カメラによる生命徴候測定システム - Google Patents

カメラによる生命徴候測定システム Download PDF

Info

Publication number
JP2015523132A
JP2015523132A JP2015516721A JP2015516721A JP2015523132A JP 2015523132 A JP2015523132 A JP 2015523132A JP 2015516721 A JP2015516721 A JP 2015516721A JP 2015516721 A JP2015516721 A JP 2015516721A JP 2015523132 A JP2015523132 A JP 2015523132A
Authority
JP
Japan
Prior art keywords
marker
subject
video data
vital signs
vital sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015516721A
Other languages
English (en)
Other versions
JP2015523132A5 (ja
Inventor
エリック ブレシュ
エリック ブレシュ
ジェンス ミュールステフ
ジェンス ミュールステフ
ティモ ティゲス
ティモ ティゲス
アレクサンダー ドゥビエルクズイク
アレクサンダー ドゥビエルクズイク
ツァイフェン シャン
ツァイフェン シャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2015523132A publication Critical patent/JP2015523132A/ja
Publication of JP2015523132A5 publication Critical patent/JP2015523132A5/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427Details of sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers

Abstract

本発明は、呼吸速度や心拍等の生命徴候の測定に関する。本発明は、特に対象者のビデオデータを得るための撮像ユニット2と、対象者の体に直接又は間接的に取り付けられるマーカー10、20、60、61であって、グラフィカルパターン11、21を含む、マーカーと、前述のビデオデータ内の前述のマーカーを検出するための画像処理ユニット3と、前述のビデオデータから対象者の生命徴候に関する生命徴候パラメータを抽出し、前述の生命徴候パラメータから生命徴候を求めるように構成される解析ユニット4とを含む、対象者100の生命徴候を求めるためのシステム1に関する。本発明の更なる態様は、対象者の生命徴候を求めるための装置及び方法、並びに前述の方法を実行するためのコンピュータプログラムに関する。

Description

本発明は、対象者の生命徴候、具体的には呼吸速度を求めるためのシステム、装置、方法、及びコンピュータプログラムに関する。
人の生命徴候、例えば心拍(HR)や呼吸速度(RR)は、深刻な医療事象の強力な予測判断材料となり得る。このため、集中治療室内又は病院の一般病棟内の日々の無作為抽出検査において、呼吸速度がしばしばオンラインでモニタされる。固定ビデオカメラの助けにより、非侵襲的な呼吸速度の測定が光学的に実現され得る。
ビデオカメラが、患者の胸部の呼吸運動を画像ストリーム内で捕捉する。呼吸運動は、特定の画像特徴の時間的変化を引き起こし、その変化の頻度が呼吸速度に対応する。かかる画像特徴の例は、患者の胸部周囲の空間的関心領域(ROI)内の平均振幅、又は連続画像内のROIの空間的相互相関の極大の位置である。取得される生命徴候情報の質及び信頼性は、入力ビデオデータの質、とりわけ画像コントラスト及び適切なROIの選択の影響を強く受ける。具体的には、ROIを手動で選択することは時間がかかる。更に、生命徴候に関係しない患者の動きは測定を妨げる。
欧州特許出願公開第2 380 493 A1号は、人の呼吸運動を検出するための呼吸運動検出機器を開示する。照明器が或る照明パターンで人を照らし、検出器が人の上の照明パターンを経時的に検出する。この照明パターンは、人の僅かな動きによって著しく変形する。その人の呼吸運動を明らかにするために、この変形が経時的に解析される。パターン投影領域が患者上で、好ましくは患者の胸部上で調節される必要がある。開示されている機器は、パターン投影用の能動照明ユニットの追加の代償として呼吸速度測定の信頼性を高める。
本発明の目的は、低減されたシステムコストでより正確且つ高信頼の生命徴候測定を行うためのシステム、装置、及び方法を提供することである。
本発明の第1の態様では、対象者の生命徴候を求めるためのシステムが提示されており、このシステムは、対象者のビデオデータを得るための撮像ユニットと、対象者の体に取り付けられるマーカーであって、グラフィカルパターンを含む、マーカーと、前述のビデオデータ内の前述のマーカーを検出するための画像処理ユニットと、前述のビデオデータから対象者の生命徴候に関する生命徴候パラメータを抽出し、前述の生命徴候パラメータから生命徴候を求めるように構成される解析ユニットとを含む。
本発明の更なる態様では、対象者の生命徴候を求めるための装置が提示されており、この装置は、対象者のビデオデータを得るための撮像ユニットと、前述のビデオデータ内のマーカーを検出するための画像処理ユニットであって、前述のマーカーは対象者の体に取り付けられ、グラフィカルパターンを含む、画像処理ユニットと、前述のビデオデータから対象者の生命徴候に関する生命徴候パラメータを抽出し、前述の生命徴候パラメータから生命徴候を求めるように構成される解析ユニットとを含む。
本発明の更なる態様では、対象者の生命徴候を求めるための方法が提示されており、この方法は、対象者の体にマーカーを取り付けるステップであって、マーカーはグラフィカルパターンを含む、取り付けるステップと、対象者のビデオデータを得るステップと、前述のビデオデータ内の前述のマーカーを検出するステップと、前述のビデオデータから対象者の生命徴候に関する生命徴候パラメータを抽出するステップと、前述の生命徴候パラメータから生命徴候を求めるステップとを含む。
本発明の更に別の態様では、コンピュータプログラムが提供されており、このコンピュータプログラムは、コンピュータ上で実行されるとき、対象者の生命徴候を求めるための方法のステップをコンピュータに実行させるためのプログラムコード手段を含む。
本発明の好ましい実施形態が従属請求項の中で定められている。特許請求の範囲に記載の装置、方法、及びコンピュータプログラムは、特許請求の範囲に記載のシステム及び従属請求項に定められるシステムと同様の及び/又は同一の好ましい実施形態を有することが理解されるべきである。
本明細書で使用するとき、「生命徴候」という用語は対象者の生理学的パラメータを指す。具体的には、「生命徴候」という用語は、心拍(HR)、呼吸速度(RR)、体温、血圧、酸素飽和度や血糖値等の血液中及び/又は組織中の物質濃度を含む。
従来技術のシステムは、能動的な照明なしの受動システムと、パターン投影用の能動的な照明源を有する欧州特許出願公開第2 380 493 A1号等の能動システムとに分けられ得る。
本発明者らは、従来技術による受動システムが、信頼できる生命徴候測定値を生成できないことを見出した。具体的には、患者の随意運動、即ち生命徴候に関係しない運動がその場の画像内の変化を引き起こし、それが患者の病状として間違って解釈される可能性がある。更に、従来技術のシステムは、画像コントラストが低いとき、即ち単一色の毛布の下にいる患者を測定するとき、又は低い光レベルで患者を測定するとき、限られた測定性能を示す。
更に、従来技術の受動システムは、二次元の画像又はビデオストリーム内の動きしか評価しない。従って、画像平面に対して垂直な運動方向で主に生じる有意の振幅の呼吸運動が、表在呼吸として間違って解釈される可能性がある。つまり、画像平面の運動方向にしか、有意の振幅を有する信頼できる測定データを生成することができない。
本発明によるマーカーは、グラフィカルパターンを含む。このグラフィカルパターンは、マーカーの向き及び/又は位置をシステムが判定することを可能にする。この向きを使用して、二次元ビデオデータをマーカーの三次元運動に変えることができる。従って、画像平面内の低振幅が、患者の三次元空間内のその実際の振幅に再構築され得る。このことは、測定性能を著しく改善し、医者に警戒態勢を取らせる誤った呼吸警報の量を減らす。
本発明によるマーカーは、生命徴候の測定に直接又は間接的に使用され得る。まずマーカーは、測定される関心領域を直接画定する。呼吸測定では、マーカー自体の動きが直接評価され得る。例えばマーカーは、患者の胸部に配置される。胸部(及びマーカー)の呼吸運動が直接追跡され、呼吸速度が求められる。或いは、心拍測定では、マーカーにおける皮膚の経時的な変色が評価される。
第2に、マーカーは、評価される関心領域(ROI)を示す指標として間接的に使用されても良い。例えばマーカーは、胸部の隣の患者の上腕に配置される。この例では、マーカーが大きく動くことはない。しかし、ROIは、マーカーに対して知られている場所に位置する。従って、生命徴候を求めるために画像のどの領域が評価されなければならないのかをマーカーの向き及び位置が示す。また更に、二次元画像平面内の生命徴候に関する運動の測定済み振幅を三次元空間内に投影するために、ROIの向き及び位置が推定され得る。生命徴候の実際の運動方向及び運動振幅に関するこの知識は、測定される生命徴候の信頼度メトリックを求めることも可能にする。
欧州特許出願公開第2 380 493 A1号等の能動システムは、信頼できる測定結果をもたらすことができるが、パターン投影用の追加の費用及び能動照明ユニットが必要である。本発明によるシステムは、能動照明ユニットを必要としないので、より安価な受動システムである。更に、システムの複雑さが低減されており、このことは保守のためになる。
マーカーは、画像処理ユニットによってビデオデータ内で検出可能なように構成されるグラフィカルパターンを含む。好ましくは、マーカーは、高い画像コントラスト、例えば白黒パターンを有するグラフィカルパターンである。或いは、グラフィカルパターンは、明確に区別可能な様々な色を含む。好ましくは、グラフィカルパターンが、バーコード、マトリクスバーコード、英数字の文字、QRコード(登録商標)等、機械可読であるように最適化される。好ましくは、検出可能性について最適化されたグラフィカルパターンが使用される。画像処理ユニットにとって、どの関心領域が測定に最適な箇所であるのかについての知的な決定を下すよりも、観測シーン内の指定されたグラフィカルパターンを検出する方が簡単である。
本発明の第1の実施形態では、前述の生命徴候パラメータが呼吸運動であり、求められる生命徴候が呼吸速度である。
本発明の第2の実施形態では、前述の生命徴候パラメータが皮膚色の時間的変化であり、求められる生命徴候が心拍又は脈拍である。皮膚色は、輝度及びスペクトルを含む。心拍又は脈拍を求めるには、輝度の時間的変化を評価すれば十分である。任意選択的に、幾つかのスペクトル成分、例えばカラーカメラのRGB(赤緑青)チャネルの輝度が評価される。解析される皮膚色は、可視スペクトルに限定されない。血中酸素飽和度や血糖値等の追加の値を求めるために、赤外を含む幾つかのスペクトル成分が評価され得る。概して、スペクトル評価は、血液中及び/又は組織中の物質濃度の遠隔測定を可能にする。
本発明の別の実施形態によれば、マーカーが、その向きを示すための方向指標を更に含む。方向指標は、グラフィカルパターンの一部とすることができ、又はマーカー上の別の要素とすることができる。病院では、マーカーが典型的には看護師又は他の医療関係者によって患者の体に取り付けられる。一例では、マーカーが対象者の体にどのように取り付けられるべきかを方向指標が示す。そうすることにより、患者及び/又はマーカーに対して特定の方向の動きを測定するように撮像ユニットが構成され得るので、これは重要である。
呼吸運動は、理想的には胸部の表面に対して垂直に測定される。方向指標は、例えば図像又は矢印として実装され得る。或いは、例えばビデオデータ内のマーカーの位置及び/又は向きを画像処理ユニットによって突き止めることを可能にする機械可読パターンを設けることにより、マーカーの向き及び/又は位置がグラフィカルパターンから求められても良い。
本発明の更なる実施形態では、マーカーが、ほぼ平らな面に含まれる。具体的には、マーカーはほぼ二次元の物体である。例えば、グラフィカルパターン及び方向指標を有するマーカーは、患者の胸部上に配置され得る一種の「マウスパッド」上に印刷されても良い。或いはマーカーは、紙切れに印刷されても良い。ほぼ二次元の薄いマーカーは、当然ながらマーカーが配置される物体の形状に適合することができる。例えばマーカーは、患者の胸部の湾曲をたどることができる。これにより、非常に安価な患者固有のマーカーが可能になる。
本発明の別の実施形態によれば、対象者と接触するように構成される布の上に、又は対象者と接触するように構成される品物、好ましくは医療関係の品物の上にマーカーが配置される。マーカーは、毛布、ベッドシート、Tシャツ、ロンパース、又は衣類や同様の品物上に印刷されても、その中に織り込まれても良い。毛布上に印刷されたマーカーを追跡することは、ベッドにいる間、対象者をほぼ連続してモニタすることを可能にする。
或いは、マーカーは、対象者と接触するように構成される品物の上に配置される。概して、評価される対象者の関心領域に対して固定された、又は少なくとも比較的固定された位置を有する如何なる品物も使用され得る。例には、これだけに限定されないが、患者によって着られる任意の種類の取付具、ベッド、ギプス、又は医用測定器具が含まれる。グラフィカルパターンは、患者の皮膚を含む関心対象の表面に手で描かれ、ゴム印を押され、又は印刷されても良い。
仕事の流れの効率を高めるために、グラフィカルパターンを含むマーカーが、病院のガウンや血圧測定用カフ等、患者の治療に既に使用されている他の品物に追加されても良い。
本発明の別の実施形態では、マーカーが、生命徴候を与えるのに向いた対象者の体の関心領域を少なくとも部分的に覆う。一例として、マーカーが患者の胸部上に配置される。従って、このマーカーは、呼吸周期の間上下に動く体の領域を覆う。更なる例として、マーカーにおける皮膚の変色から心拍を求めるために、マーカーが患者の額の上に配置される。マーカーの下にある素肌を撮像するために、少なくとも部分的に透明なマーカー、又は開口部を有するマーカーが使用され得る。ビデオデータ内の評価領域が、マーカーの大きさよりも大きく、又は小さく選択されても良い。
本発明の別の実施形態によれば、マーカーが対象者の胸部上に又は胸部に隣接して配置される。対象者の胸部上に直接配置される場合、マーカーの動きが直接評価され得る。或いは、マーカーが、前述のマーカーを保持する血圧測定用カフや他の品物等の上に、胸部に隣接して配置される。この場合、マーカーは、マーカーを保持する品物の位置を突き止めるためにビデオデータ内で検出される。次いで、マーカーの位置に対して、生命徴候パラメータを抽出するための関心領域(ROI)が選択される。
本発明の別の実施形態によれば、対象者の体に取り付けられるマーカーの位置及び/又は向きを使用し、解析ユニットが較正される。撮像ユニットによって得られるビデオデータは、一連の二次元画像である。グラフィカルパターンを含むマーカーが、この撮像ユニットによって撮像される。つまり、グラフィカルパターンは、画像平面上に投影される、知られている二次元要素である。次に、解析ユニットが、マーカーの知られているグラフィカルパターン及び投影された画像に基づき、マーカーの向き及び/又は位置を三次元物体空間内、即ちカメラの前の空間内で求めることができる。例えば、撮像ユニットは、患者の呼吸運動の方向に対して45°の角度に向けられる。呼吸の方向は、吸息中又は呼息中に生じる、患者の胸部に対してほぼ垂直な運動方向として定められる。解析ユニットは、動画像データ内のマーカーの投影からこの角度を求めることができる。従って、45°の角度における4cmの投影された胸部運動は、呼吸の方向における5.6cmの実際の運動に相当する。概して、或る特定の画像特徴は方向特性を有し、例えばそれらの特徴は、主な運動成分に従って選択され得る特定の空間方向の運動について最大信号振幅をもたらし得る。解析ユニットは、マーカーの変形、例えば患者の胸部上に配置されるときの可撓性のあるマーカーの湾曲を補正するように更に構成され得る。或いは、硬いマーカーが使用される。
マーカーの向き及び/又は位置は、生命徴候を測定するために評価される相対位置を突き止めることを更に助けることができる。マーカーの向き及び/又は位置は、ビデオデータ内のどこで生命徴候パラメータが予期され得るのかを求めるために使用され得る。第1の例では、マーカーが患者の腕に取り付けられた血圧測定用カフ上に配置される。血圧を測定する間、患者の腕は概して胸部の隣に位置する。画像処理ユニットがビデオデータ内の前述のマーカーを検出し、マーカーの位置及び向きに対する位置である生命徴候を評価するための関心領域として胸部を突き止める。次いで、ROIの呼吸運動から呼吸速度が求められる。或いは、血圧測定用カフ上のマーカーの位置及び/又は向きから患者の顔の位置が推定され得る。患者の心拍を求めるために、顔の皮膚色の時間的変化が評価されても良い。
本発明の別の実施形態では、画像処理ユニットが測定品質メトリックを求めるように構成される。このシステムは、マーカー及びカメラが如何に適切に配置されているのかに関するフィードバックを看護師に与える。具体的には、撮像ユニットに対するマーカーの向き及び/又は位置が、最適な測定信号品質を得るために撮像ユニットの位置を調節するための看護師へのフィードバックとして使用され得る。例えば、呼吸運動の方向は、少なくとも画像平面に対して垂直な運動成分を含むべきである。
本発明の更なる実施形態によれば、マーカーが符号化データを更に含む。非接触測定のために、測定システムとモニタされている対象者との間に物理的結合はない。しかし、測定システムによって取得される情報が、モニタされる対象者に正しく割り当てられることをモニタリングシステムが確実にすることが極めて重要である。従って、符号化データは、患者名、病棟、患者識別情報等の患者に関するデータを含むことができる。この情報に基づき、求められた生命徴候が患者の健康記録に直接且つ自動的に割り当てられ得る。更に、生命徴候及び患者識別情報を並行して測定することは、測定値が適切な患者に正しく割り当てられることを確実にする本質的に安全なシステムを提供する。このことは仕事の流れも単純化する。一実施形態では、体の様々な部分から複数の生命徴候測定値を得るために複数のマーカーが患者に取り付けられる。例えば、酸素飽和度が額と両手において測定される。
符号化データを有するマーカーは、複数の対象者、又は対象者の体の複数の所望の測定箇所を識別するためにも使用され得る。符号化データは、画像処理ユニットが幾つかのマーカーの中から特定のマーカーを自動的に選択できるようにする一意の識別コードとすることができる。例えば別個のマーカーを有するTシャツをそれぞれ着用する、数人の患者が同時にモニタされ得る。更に、患者は、例えば或る部屋から別の部屋に移される間、病院を動き回るときに自動的に認識され得る。また更に、符号化データは、患者の識別を支援する、或いは生命徴候パラメータを抽出するための適切な関心領域を突き止めるのを助けることができる患者に固有のもの、例えば体重、身長等であり得る。
符号化データを有するマーカーは、生命徴候の測定を支援する情報、例えば較正データを提供することもできる。較正データは、対象者に応じた較正調節、又は測定が行われる体の一部に応じた1人の対象者向けの較正調節を含む。較正データは、生命徴候を求める際に使用される数学的な較正関数、及び/又は較正関数によって使用される係数を含むことができる。或いは較正データは、配置情報、例えば額、腕、脚、頬の上への配置を含み、システムはデータベースを照会して較正情報を取得し、配置情報によって指示される場所において生命徴候を測定するようにシステムを設定する。更に、較正データは、対象者を照らすための光源を制御するための情報を含む。例えば、較正データに基づき、赤外光源又は所定の発光スペクトルを有する光源がオンにされ、又は強度が調節される。
この実施形態の更なる側面では、マーカーがシステムの測定精度を設定するための符号化データを更に含む。応用シナリオに応じて測定精度の様々な要件がある。例えば、人工呼吸器を付けられた新生児の酸素飽和度の測定では、酸素飽和度を90%〜100%の範囲で正確に求めることが重要であるのに対し、一般病棟のシナリオでは、95%〜100%の健康な酸素飽和度、60%〜85%の低酸素飽和度を区別すれば十分であり得る。更に、一部の応用例では、絶対測定値に対する要件が一切ない傾向測定で十分である。所要の精度をコード化すること及び/又はマーカー内に適用することは、警告又は通知を出すための様々な閾値を自動的に選択し、それにより不要な警報を回避するために使用され得る。
マーカー上のデータを符号化することは、とりわけ対象者の生命徴候を求めるためのシステムが独立型システムである場合に有益である。例えば、患者識別情報、較正データ、又は所要の精度が、医療情報システムや電子健康記録等の外部エンティティに接続することなしにシステムに提供され得る。
符号化データを含むグラフィカルパターンは、任意の種類の機械可読コード、例えば白黒の又は単一の若しくは様々な色を有する、QRコード(登録商標)、バーコード、機械可読の英数字の文字やシーケンス、マーカーの大きさ及び/又は形状を含む図像や幾何学模様、マーカー内の開口部の配列とすることができる。
更に、患者のプライバシのために誤り補正コードが使用され、又は暗号化が施され得る。符号化データは、元の機器製造業者からのマーカーを検証するために更に使用され得る。
相乗効果として、符号化データは、測定品質メトリックを求めるために使用され得る。符号化データは、誤り検出又は誤り補正コードを用いて符号化され得る。検出中の誤りの数に基づき、測定品質メトリックが確立され得る。つまり符号化情報は、生命徴候測定値の信頼性、確実性、又は質を求めるためにも使用され得る。
別の実施形態では、本発明によるシステムが、対象者の第2のビデオデータを得るための第2の撮像ユニットと、前述の第2のビデオデータ内の前述のマーカーを検出するための第2の画像処理ユニットとを更に含む。第2の撮像ユニットの利点は、対象者の生命徴候を求める信頼性が改善され得ることである。第2の画像処理ユニットは第2のビデオデータ内のマーカーを検出し、それにより、ビデオデータ内に含まれる画像及び第2のビデオデータ内に含まれる第2の画像の調整を可能にする。マーカーは、両方のビデオストリーム内で同じ関心領域が評価されるのを助ける。任意選択的に、異なる視野からの測定値を提供するために、撮像ユニットが対象者に対して異なる位置に据え付けられる。任意選択的に、3つ以上の撮像ユニット及び画像処理ユニットが使用されても良い。更に、2つ以上の個々の画像処理ユニットの機能が、1つの画像処理ユニットとして実装され得る。
本システムの更なる実施形態では、撮像ユニットが、第1の波長の光を選択的に透過するためのフィルタを含み、第2の撮像ユニットが、第2の波長の光を選択的に透過するための第2のフィルタを含む。例えば、第1の撮像ユニットは、赤色波長用のフィルタを有するビデオカメラであり、第2の撮像ユニットは、赤外波長用の第2のフィルタを有する第2のビデオカメラである。異なる波長において測定することは、例えば血中酸素飽和度を遠隔的に求めるために、血液中及び/又は組織中の物質濃度の測定を可能にする。適切なフィルタを有する更なる撮像ユニットを用いて、追加の波長が評価されても良い。
本明細書で使用するとき、「波長」という用語は、波長域又は波長帯も指す。例えば、波長という用語は、光源の発光スペクトルを指し、中心波長だけを含むのではない。従って、光学フィルタでは、波長という用語はフィルタの通過帯域のことを言う。よって、波長という用語は、或る単一の波長に限定されず、中心波長の周りの例えば数ナノメートル又は数十ナノメートルの波長帯にも使用される。
本発明によるシステムの更なる実施形態では、マーカーのグラフィカルパターンを対象者が見ることができない。例えば、マーカーは、赤外線カメラによってのみ検出され得る。或いは、マーカーは、目に見える特徴と目に見えない特徴との組合せを含む。例えば、目に見えないグラフィカルパターンが、目に見える方向指標と組み合わせられる。目に見える方向指標は、マーカーを取り付ける方法を看護師に指示する一方で、目に見えないグラフィカルパターンは、例え患者が寝ていても赤外線カメラを使ってモニタされ得る。十分な照明及び画像コントラストを確保するために、可視光源及び/又は赤外線光源が適用されても良い。
本発明のこれらの及び他の態様が、以下に記載される実施形態から明らかになり、その実施形態に関して説明される。
本発明による、対象者の生命徴候を求めるためのシステムの一例示的実施形態を示す。 グラフィカルパターンを用いたマーカーの第1の例を示す。 グラフィカルパターンを用いたマーカーの第2の例を示す。 従来技術による測定シナリオを示す。 本発明による測定シナリオを示す。 対象者の運動のグラフの一例を示す。 血圧測定用カフにマーカーが組み込まれている、本発明の代替的実施形態を示す。 第2の撮像ユニットを用いた本発明の更なる実施形態を示す。 本発明によるシステムを使い、生命徴候を測定するためのプロセスフローを示す。
図1は、本発明による、対象者100の生命徴候を求めるためのシステム1の一例示的実施形態を示す。対象者100はベッド101に横たわり、対象者100の頭部が枕102の上にあり、対象者100は毛布103で覆われている。システム1は、対象者100及び対象者100の体に取り付けられたマーカー10のビデオデータを得るための撮像ユニット2を含む。マーカー10は、グラフィカルパターン11を含む。画像処理ユニット3が、ビデオデータ内の前述のマーカー10を検出するように構成される。解析ユニット4が、ビデオデータから対象者100の生命徴候に関する生命徴候パラメータを抽出し、生命徴候パラメータから生命徴候を求めるように構成される。この例では、生命徴候パラメータが呼吸運動であり、生命徴候が呼吸速度である。
マーカー10は、対象者100の胸部に配置することにより、対象者100の体に直接取り付けられている。この例では、マーカー10が毛布103上に印刷されている。
撮像ユニット2が、離れた距離に、例えばベッド101がある部屋の天井や壁に設置される。その場を照らし、十分な画像コントラストを確保するためにランプ5があっても良い。一実施形態では、撮像ユニット2が赤外線カメラでも良く、光源5が赤外線光源であり得る。
撮像ユニット2に対する患者100の向きは、マーカー10上のグラフィカルパターン11の向きから自動的に求められる。
図2は、グラフィカルパターン11及びマーカーの向きを示すための方向指標12を含むマーカー10の第1の実施形態を示す。この例では、グラフィカルパターン11が所謂QRコード(登録商標)17である。QRコード(登録商標)は、パターン11の向き及び/又は位置の機械可読判定を可能にする3つの構造要素13、14、15を特徴とする。対象者100の体にマーカー10が正しく配置されることを容易にするために、追加の方向指標12がグラフィカルパターン11に沿って差し込まれても良い。この例では、方向指標は、マーカー10を取り付ける位置16を示す人間の図像である。
マーカー10は、紙、布、ゴム、又は同様の材料から作られ得る。一例として、滑るのを防ぐゴム状の底面を有する、コンピュータのマウスパッドを想像することができる。その「マウスパッド」の上面に、グラフィカルパターン11が印刷される。マーカー10は、呼吸運動を密接に追うことを確実にするために、所定の重みを有しても良い。
グラフィカルパターン11は、コンピュータプログラムによって生成されても良く、材料上に印刷され得る。QRコード(登録商標)の場合、患者固有のデータが、データの誤り保護又は暗号化と共に符号化されても良い。或いは、他の種類の機械可読グラフィカルパターンが採用されても良い。
図3は、バーコード21形式のグラフィカルパターンを有するマーカー20の代替的実施形態を示す。更に、マーカー20は、対象者100の顔に向くように位置合わせされなければならない矢印23及び顔の図像22を有する方向指標を含む。データがバーコード21内に符号化され、テキスト18として印刷される。
図4は、従来技術による測定シナリオを示す。対象者100が、ベッド101で寝ている間モニタされる。対象者100は、白い毛布103によって覆われている。患者100の呼吸速度を求めるために、このシーンの動画像列が解析される。画像全体を解析することは、呼吸運動に関係しない患者の運動も含み、測定の誤りを引き起こす。
もう1つの知られている例では、対象者100の胸部104に対応するビデオ領域を看護師が手動で選択する。次いで、対象者100の呼吸速度に対応する周期運動について、この関心領域(ROI)が解析される。この手順は時間がかかり、誤りが生じ易い。
図5は、本発明による、対象者100の生命徴候を求めるためのシステムを用いた測定シナリオを示す。図4とは対照的に、図5は、対象者100の胸部104上に配置されるマーカー10を示す。マーカー10は、本発明による画像処理ユニット3により、容易且つ自動的に検出され得る機械可読グラフィカルパターン11を含む。コードパターン11は、生命徴候を求めるためのシステムに、関心領域をどのように選択するのかに関する命令を与える符号化データを更に含むことができる。例えば、関心領域(ROI)30は、マーカー10自体と同じ大きさに選択され得る。或いは、符号化データは、マーカー10の1つ又は2つの寸法において大きさをマーカー10自体よりも小さく又は大きく設定する命令を与えることができる。或いは、様々な大きさのマーカーが提供されても良い。ROIの大きさをコンピュータ上で選択するのではなく、適切な大きさのマーカー10が患者100の胸部に配置され得る。例えば、大人には大きいマーカー10が使用されるのに対し、子供には小さいマーカー10が使用される。
マーカー10上のグラフィカルパターン11は、マーカー10の向き及び位置を自動的に判定することを可能にする。グラフィカルパターン11は固定であり、撮像ユニット2から得られるビデオデータ内の画像ごとに変化することはない。従って、このマーカーの動きは容易に追跡され得る。撮像ユニット2は、カメラ等、複数の画像又は画像のストリームを作り出す任意の種類の画像源を指す。
好ましい実施形態では、マーカー10の動きが、撮像ユニット2に対して垂直な少なくとも1つの動き成分を含む。これにより、動きの容易な追跡が可能になる。代替的実施形態では、マーカー10が、カメラ2とマーカー10との間の距離を推定するために使用されても良い。この情報は、最適な測定信号品質を得るためにカメラの位置を調節するための看護師へのフィードバックとして使用され得る。フィードバックは、信号強度を示すディスプレイ上で与えられ得る。或いは、音響的フィードバックが与えられ、それにより患者100に引き続き向きながら看護師がマーカー10を調節することができる。
図6は、従来技術(図4)と比較し、本発明(図5)による装置1を用いて実現可能な測定データの改善を示す。ここでは、従来技術による測定曲線31と本発明による測定曲線32とを公平に比較するために、メカニカルファントム(mechanical phantom)を使用して呼吸運動がシミュレートされた。特徴検出器の応答が、ベッドシート31上の関心領域について、及びQRパターンベースのマーカー32に関する関心領域について示されている。本発明による装置は、呼吸周期を明瞭に表示する大幅に改善された信号を生成し、その後の呼吸速度の推定を改善する。更に、生命徴候パラメータを抽出する際、マーカーの向き及び位置が考慮され得る。例えば、画像平面に対して傾いたマーカーの投影は、グラフの振幅を調節することによって補正され得る。従って、本発明によるシステムは、呼吸運動の絶対振幅を与える。
図7は、一般病棟における標準的な無作為抽出検査手順中の本発明の代替的実施形態を示す。この手順では、看護師が血圧測定用カフを患者の片方の腕に付ける。血圧を測定する間、患者100は一般に静かにし、動かないように指示される。これらは、カメラを使用して呼吸速度を同時に測定するための理想的な条件である。カフ40上のマーカー10は、呼吸速度を測定するための患者の胸部104上の正しいROI30をカメラが自動的に発見するのを支援する。
より詳細には、カメラが概ね患者100に向いており、十分広い視界を有効範囲に含むことを所与とし、血圧測定の開始時に、カフ40上のパターンがカメラ画像内で自動的に発見され得る。カフ40は常に片方の上腕に装着されているので、カフ40及びパターン11の位置は、患者の胸部104の相対位置を直接示す。つまり、関心領域は、血圧測定用カフ40の隣に数センチ離れて位置する。従って胸部104は、容易、確実、且つ完全に自動的な方法で発見され得る。追加的に必要とされる如何なる人間による介入又は動作もなしに、呼吸速度の測定を血圧測定と共に平穏に開始することができる。これにより、看護師の仕事の流れの効率を著しく高め、呼吸速度測定の質を改善することができる。
呼吸速度の従来の測定は、呼吸を手動で数えることによって行われる。この手法は、極めて誤りが生じ易く、実際には医療関係者によってしばしば完全に回避される。手動で数える測定法は時間がかかり、骨が折れるので、実際には非常に多くの場合、本当に測定することを全くせず、「18」呼吸/分の通常呼吸速度が看護師によってデフォルトで報告されることを調査が示している。
更に、患者100は、呼吸速度の測定に特に気付くことがない。その結果、患者100が意識的に又は意識下で自身の呼吸に影響を及ぼす危険がはるかに低減される。つまり、自動的に測定される呼吸速度の質が高まる。
代替的実施形態では、生命徴候パラメータが皮膚色の時間的変化であり、生命徴候が心拍である。図7は、第2の関心領域33として患者の顔を示す。この場合もやはり、グラフィカルパターンが画像処理ユニットによってマーカー10上で自動的に検出される。マーカー10は、血圧測定用カフ40の一部を形成する。この例では、グラフィカルパターン11内に符号化されるデータは、第2の関心領域33が、マーカー10から特定の距離及び向きに位置することを、生命徴候を求めるためのシステム1に指示する。更に、第2の関心領域33の大きさも指定される。次いで解析ユニットが、ビデオデータからROI33の皮膚色の時間的変化を抽出し、心拍を求める。
患者が測定中に動く場合、画像処理ユニットは患者100のその動きを検出し、関心領域30、33をしかるべく調節することができる。更に、生命徴候パラメータに由来する信号を、生命徴候に関係しない全体的な体の動きと区別するために、周波数ドメイン解析及びフィルタリングが行われても良い。信号処理で知られている代替的処理ステップが適用されても良い。
図8は、本発明による、対象者100の生命徴候を求めるためのシステム1’の更なる例示的実施形態を示す。システム1’は、対象者100のビデオデータを得るための撮像ユニット2、対象者100のビデオデータを得るための第2の撮像ユニット2’、対象者100の額104に取り付けられたマーカー60、及び対象者100の左手に取り付けられた第2のマーカー61を含む。第1の撮像ユニット2は、赤色波長を選択的に透過するためのフィルタ6を有するビデオカメラであり、第2の撮像ユニット2’は、赤外線波長を選択的に透過するための第2のフィルタ6’を有する第2のビデオカメラである。
撮像ユニット2に接続される画像処理ユニット3は、撮像ユニット2を用いて得られるビデオデータ内の前述のマーカー60、61を検出するように構成される。第2の撮像ユニット2’に接続される第2の画像処理ユニット3’は、第2の撮像ユニット2’を用いて得られるビデオデータ内の前述のマーカー60、61を検出するように構成される。画像処理ユニット3及び第2の画像処理ユニット3’は、解析ユニット4に接続される。解析ユニット4は、撮像ユニット2及び第2の撮像ユニット2’を用いて得られるビデオデータから対象者100の生命徴候に関する生命徴候パラメータを抽出し、その生命徴候パラメータから生命徴候を求めるように構成される。その場は、紫外から赤外までのスペクトル域の周辺光によって照らされる。
この例では、マーカー60が対象者100の額104に付けられる。マーカー60の形は、額104の中心部を指し示すことにより、対象者100の生命徴候を求めるための関心領域34を指示する三角形を片側に有する長方形である。マーカー60のグラフィカルパターンは、マーカー60の形状に限定されず、任意選択的にシステム1’の較正情報を記憶する機械可読QRコード(登録商標)も含む。
この例では、マーカー61が患者100の左手に付けられている。マーカーは、機械可読グラフィカルパターンの隣に透明領域62を含む。このマーカーの透明領域62により、撮像ユニット2及び2’を用いて患者100の皮膚が撮像され得る。
この例では、生命徴候が患者の酸素飽和度である。酸素飽和度は、赤色波長及び赤外波長における光の時間的変化を評価し、比較することによって求められ得る。赤色フィルタ6により、撮像ユニット2は赤色波長の光しか受けない。第2の赤外フィルタ6’により、第2の撮像ユニット2’は赤外波長の光しか受けない。或いは、他の波長が使用される。マーカー60及び61は、撮像ユニット2のビデオデータ内、及び撮像ユニット2’のビデオデータ内で検出される。2つの撮像ユニット2及び2’のビデオデータは、検出されるマーカーに基づいて調整され得る。この調整は、同じ関心領域が両方の波長で測定されることを確実にする。
マーカー60及び61の機械可読パターンは、較正情報を更に含む。例えば、額104の皮膚の吸収特性と、手の皮膚の吸収特性は異なる。この違いを考慮し、補正するための較正曲線が、マーカーのグラフィカルパターン内に符号化されても良い。
図9は、本発明による、対象者100の生命徴候を求めるためのプロセスフロー50を示す。左側のプロセスステップは、看護師によって手動で行われなければならないステップを示す。グラフの右側は、本発明によるシステムによって実行される自動化されたプロセスステップを示す。まず、看護師が患者を椅子の上に又はベッドの中に配置し(51)、動かないように指示する。次に、本発明によるマーカーが、患者の関心領域に直接、又は例えば患者の腕に取り付けられた血圧測定用カフ上に間接的に取り付けられる(52)。次のステップ53では、患者が視界に入るように撮像ユニットが大まかに調節される(53)。或いは、調節が必要ないように、広角の光学機器を有する撮像ユニットが使用されても良い。
本発明によるシステムが、グラフィカルパターンによりマーカーを自動的に検出する(54)。マーカーの向き及び位置を使用し、関心領域を割り出す(55)。次に、対象者の生命徴候、例えば呼吸運動に関する生命徴候パラメータが、撮像ユニットによって得られるビデオデータから抽出される(56)。次いで、この運動データから生命徴候、例えば呼吸速度を求めるために対象者の動きが解析され得る。生命徴候に関する対象者の周期運動を抽出することに加え、ビデオデータは全体的な患者の動きについて補正されても良い。例えば、関心領域外の全体的な患者の動きが追跡され、この全体的な患者の動きを関心領域内で検出される動きから減じるために使用され得る。従って、呼吸速度等、生命徴候に関する動き又は信号の変化だけが残る。
最後のステップ58で、看護師はマーカーを取り外すだけで良い。マーカーは別の患者に再び使用されても良いことに留意すべきである。
測定された生命徴候情報は、医師又は病院のコンピュータシステムに自動的に提供され得る。
対象者の生命徴候を求めるためのシステムは、病院、診療所、医者で使用されること、又は患者を自宅でモニタすることを目的とする。
本発明が図面及び上記の説明の中で詳細に図示され説明されてきたが、かかる図面及び説明は制限的ではなく説明的又は例示的と見なされるべきであり、本発明は開示された実施形態に限定されない。特許請求の範囲に記載の本発明を実施する際、図面、本開示、及び添付の特許請求の範囲を検討することにより、開示された実施形態に対する他の改変形態が当業者によって理解され、もたらされ得る。
特許請求の範囲では、「含む」という語は、他の要素又はステップを排除せず、不定冠詞「a」又は「an」は複数形を排除しない。特許請求の範囲の中で列挙される幾つかのアイテムの機能を単一の要素又は他のユニットが果たしても良い。或る手段が互いに異なる従属請求項の中で列挙されているという単なる事実は、これらの手段の組合せが有利に使用されてはならないことを示すものではない。
コンピュータプログラムは、他のハードウェアと共に供給される、又は他のハードウェアの一部として供給される、光学記憶媒体やソリッドステート媒体等の適当な媒体上に記憶/分散され得るが、インターネットや他の有線又は無線通信システムによって等、他の形態で分散されても良い。
許請求の範囲の中の如何なる参照符号も、範囲を限定するものとして解釈すべきではない。

Claims (15)

  1. 対象者の生命徴候を求めるためのシステムであって、前記システムは、
    −対象者のビデオデータを得るための撮像ユニットと、
    −対象者の体に取り付けられるマーカーであって、グラフィカルパターンを含む、前記マーカーと、
    −前記ビデオデータ内の前記マーカーを検出するための画像処理ユニットと、
    −前記ビデオデータから対象者の前記生命徴候に関する生命徴候パラメータを抽出し、前記生命徴候パラメータから前記生命徴候を求める解析ユニットと
    を含む、システム。
  2. 前記生命徴候パラメータが対象者の呼吸運動であり、前記生命徴候が対象者の呼吸速度である、請求項1に記載のシステム。
  3. 前記生命徴候パラメータが対象者の皮膚色の時間的変化であり、前記生命徴候が対象者の心拍、並びに/又は、血液中及び/若しくは組織中の物質濃度である、請求項1に記載のシステム。
  4. 前記マーカーの向きを示すための方向指標を更に含む、請求項1に記載のシステム。
  5. 前記マーカーは、対象者と接触する布の上に、又は対象者と接触する医療器具の上に配置される、請求項1に記載のシステム。
  6. 前記マーカーは、前記生命徴候を導出するのに適した対象者の体の関心領域を少なくとも部分的に覆う、請求項1に記載のシステム。
  7. 前記マーカーは、対象者の胸部上に又は胸部に隣接して配置される、請求項1に記載のシステム。
  8. 前記マーカーの位置及び/又は向きを使用して、前記解析ユニットが較正される、請求項1に記載のシステム。
  9. 前記画像処理ユニットが測定品質メトリックを求める、請求項1に記載のシステム。
  10. 前記マーカーは符号化データを更に含む、請求項1に記載のシステム。
  11. −対象者の第2のビデオデータを得るための第2の撮像ユニットと、
    −前記第2のビデオデータ内の前記マーカーを検出するための第2の画像処理ユニットと
    を更に含む、請求項1に記載のシステム。
  12. 前記撮像ユニットは、第1の波長の光を選択的に透過するためのフィルタを含み、前記第2の撮像ユニットは、第2の波長の光を選択的に透過するための第2のフィルタを含む、請求項11に記載のシステム。
  13. 対象者の生命徴候を求めるための装置であって、前記装置は、
    −対象者のビデオデータを得るための撮像ユニットと、
    −前記ビデオデータ内のマーカーを検出するための画像処理ユニットであって、前記マーカーは対象者の体に取り付けられ、グラフィカルパターンを含む、前記画像処理ユニットと、
    −前記ビデオデータから対象者の前記生命徴候に関する生命徴候パラメータを抽出し、前記生命徴候パラメータから前記生命徴候を求める解析ユニットと
    を含む、装置。
  14. 対象者の生命徴候を求めるための方法であって、前記方法は、
    −対象者の体にマーカーを取り付けるステップ1であって、前記マーカーはグラフィカルパターンを含む、前記取り付けるステップ1と、
    −対象者のビデオデータを得るステップ2と、
    −前記ビデオデータ内の前記マーカーを検出するステップ3と、
    −前記ビデオデータから対象者の前記生命徴候に関する生命徴候パラメータを抽出するステップ4と、
    −前記生命徴候パラメータから前記生命徴候を求めるステップ5と
    を含む、方法。
  15. コンピュータプログラムがコンピュータ上で実行されるとき、請求項14に記載の方法の前記ステップ2乃至5を前記コンピュータに実行させるためのプログラムコード手段を含む、コンピュータプログラム。
JP2015516721A 2012-06-12 2013-06-11 カメラによる生命徴候測定システム Pending JP2015523132A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261658538P 2012-06-12 2012-06-12
US61/658,538 2012-06-12
US201261739770P 2012-12-20 2012-12-20
US61/739,770 2012-12-20
PCT/IB2013/054764 WO2013186696A1 (en) 2012-06-12 2013-06-11 System for camera-based vital sign measurement

Publications (2)

Publication Number Publication Date
JP2015523132A true JP2015523132A (ja) 2015-08-13
JP2015523132A5 JP2015523132A5 (ja) 2016-07-28

Family

ID=48914377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015516721A Pending JP2015523132A (ja) 2012-06-12 2013-06-11 カメラによる生命徴候測定システム

Country Status (8)

Country Link
US (1) US9943371B2 (ja)
EP (1) EP2858564A1 (ja)
JP (1) JP2015523132A (ja)
CN (1) CN104363831B (ja)
BR (1) BR112014030765A2 (ja)
MX (1) MX2014015052A (ja)
RU (1) RU2635479C2 (ja)
WO (1) WO2013186696A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017047734A1 (ja) * 2015-09-16 2017-03-23 シャープ株式会社 計測装置
WO2017119238A1 (ja) * 2016-01-07 2017-07-13 シャープ株式会社 被験体の呼吸に起因する生体活動の計測システム
WO2017122477A1 (ja) * 2016-01-13 2017-07-20 シャープ株式会社 被験体の生体活動の計測方法、計測システムおよびコンピュータプログラム
JP2017169768A (ja) * 2016-03-23 2017-09-28 富士フイルム株式会社 生体センサ制御装置とその作動方法および作動プログラム、並びに生体センサシステム
JP2018008039A (ja) * 2016-06-30 2018-01-18 パナソニックIpマネジメント株式会社 生体情報検出装置
WO2018101499A1 (ko) * 2016-11-29 2018-06-07 울산대학교 산학협력단 호흡 모니터링 장치 및 그 방법
JP2018102731A (ja) * 2016-12-27 2018-07-05 花王株式会社 肌分析方法及び肌分析装置
JP2020506740A (ja) * 2017-01-20 2020-03-05 ノバルティス アーゲー 医療処置において機械可読情報を使用するシステムおよび方法
JP2020511222A (ja) * 2017-03-17 2020-04-16 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 光学画像から導出される心臓運動信号

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10433917B2 (en) * 2009-05-29 2019-10-08 Jack Wade System and method for enhanced data analysis with video enabled software tools for medical environments
US20180289443A1 (en) * 2009-05-29 2018-10-11 Jack Wade System and method for enhanced data analysis with specialized video enabled software tools for medical environments
US11744668B2 (en) * 2009-05-29 2023-09-05 Jack Wade System and method for enhanced data analysis with specialized video enabled software tools for medical environments
US10687914B2 (en) * 2009-05-29 2020-06-23 Jack Wade System and method for enhanced data analysis with specialized video enabled software tools for medical environments
US11896196B2 (en) * 2009-05-29 2024-02-13 Jack Wade Method for enhanced data analysis with specialized video enabled software tools for medical environments
EP2762066A1 (en) * 2013-02-05 2014-08-06 Koninklijke Philips N.V. System and method for determining vital sign information of a subject
EP2767232A1 (en) * 2013-02-15 2014-08-20 Koninklijke Philips N.V. System and method for determining a vital sign of a subject
US10238292B2 (en) * 2013-03-15 2019-03-26 Hill-Rom Services, Inc. Measuring multiple physiological parameters through blind signal processing of video parameters
US9436984B2 (en) * 2013-06-21 2016-09-06 Xerox Corporation Compensating for motion induced artifacts in a physiological signal extracted from a single video
US10602962B2 (en) 2013-11-01 2020-03-31 Koninklijke Philips N.V. System and method for determining vital sign information of a subject
ES2967541T3 (es) * 2014-01-29 2024-04-30 Becton Dickinson Co Sistema y método para asegurar la administración de fluido y medicación de paciente en el punto de uso clínico
JP6669658B2 (ja) * 2014-01-29 2020-03-18 ベクトン・ディキンソン・アンド・カンパニーBecton, Dickinson And Company 臨床的な使用時に収集確認およびサンプル追跡を行うためのシステムおよび方法
US9999355B2 (en) 2014-02-12 2018-06-19 Koninklijke Philips N.V. Device, system and method for determining vital signs of a subject based on reflected and transmitted light
MX2016010525A (es) * 2014-02-12 2016-10-31 Koninklijke Philips Nv Dispositivo, sistema y metodo de determinacion de signos vitales de un sujeto basado en luz reflejada y transmitida.
US9336594B2 (en) * 2014-03-07 2016-05-10 Xerox Corporation Cardiac pulse rate estimation from source video data
US11297284B2 (en) 2014-04-08 2022-04-05 Udisense Inc. Monitoring camera and mount
US10708550B2 (en) 2014-04-08 2020-07-07 Udisense Inc. Monitoring camera and mount
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US10524725B2 (en) * 2014-06-06 2020-01-07 Koninklijke Philips N.V. Device, system and method for detecting apnoea of a subject
EP2960862B1 (en) 2014-06-24 2017-03-22 Vicarious Perception Technologies B.V. A method for stabilizing vital sign measurements using parametric facial appearance models via remote sensors
WO2016009901A1 (ja) * 2014-07-15 2016-01-21 シャープ株式会社 被験体の呼吸に起因する生体活動の計測方法、計測システムおよびコンピュータプログラム
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9588625B2 (en) 2014-08-15 2017-03-07 Google Inc. Interactive textiles
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US9693710B2 (en) * 2014-10-21 2017-07-04 Xerox Corporation System and method for determining respiration rate from a video
JP6507565B2 (ja) * 2014-10-28 2019-05-08 セイコーエプソン株式会社 電子デバイス、電子機器および移動体
US10064582B2 (en) 2015-01-19 2018-09-04 Google Llc Noninvasive determination of cardiac health and other functional states and trends for human physiological systems
JP2018509962A (ja) * 2015-02-26 2018-04-12 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医療用モニタリングのためのコンテキスト検出
WO2016147678A1 (ja) * 2015-03-13 2016-09-22 ノーリツプレシジョン株式会社 バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラム
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
KR101700911B1 (ko) * 2015-03-26 2017-02-01 경북대학교 산학협력단 호흡 운동 측정 장치 및 방법
US9983747B2 (en) 2015-03-26 2018-05-29 Google Llc Two-layer interactive textiles
US9848780B1 (en) 2015-04-08 2017-12-26 Google Inc. Assessing cardiovascular function using an optical sensor
EP3289434A1 (en) 2015-04-30 2018-03-07 Google LLC Wide-field radar-based gesture recognition
CN107466389B (zh) 2015-04-30 2021-02-12 谷歌有限责任公司 用于确定类型不可知的rf信号表示的方法和装置
CN111522434A (zh) 2015-04-30 2020-08-11 谷歌有限责任公司 用于手势跟踪和识别的基于rf的微运动跟踪
US10080528B2 (en) 2015-05-19 2018-09-25 Google Llc Optical central venous pressure measurement
JP6002811B1 (ja) * 2015-05-20 2016-10-05 シャープ株式会社 計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US10332423B2 (en) * 2015-05-28 2019-06-25 Koninklijke Philips N.V.V Cardiopulmonary resuscitation guidance method, computer program product and system
US10376195B1 (en) 2015-06-04 2019-08-13 Google Llc Automated nursing assessment
US10292369B1 (en) 2015-06-30 2019-05-21 Vium, Inc. Non-contact detection of physiological characteristics of experimental animals
US10342464B2 (en) * 2015-08-27 2019-07-09 Intel Corporation 3D camera system for infant monitoring
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10893814B2 (en) 2015-10-06 2021-01-19 Koninklijke Philips N.V. System and method for obtaining vital sign related information of a living being
RU2018116893A (ru) 2015-10-06 2019-11-07 Конинклейке Филипс Н.В. Устройство, система и способ получения информации о показателе жизненно важной функции живого существа
CN105266787B (zh) * 2015-11-03 2018-07-06 西安中科创星科技孵化器有限公司 一种非接触式心率检测方法及系统
WO2017079484A1 (en) 2015-11-04 2017-05-11 Google Inc. Connectors for connecting electronics embedded in garments to external devices
US11540780B2 (en) * 2015-12-23 2023-01-03 Koninklijke Philips N.V. Device, system and method for determining a vital sign of a person
WO2017109169A1 (en) 2015-12-23 2017-06-29 Koninklijke Philips N.V. Apparatus and method for measuring the quality of an extracted signal
US10667723B2 (en) 2016-02-19 2020-06-02 Covidien Lp Systems and methods for video-based monitoring of vital signs
EP3440660A1 (en) * 2016-04-06 2019-02-13 Koninklijke Philips N.V. Method, device and system for enabling to analyze a property of a vital sign detector
US10579203B2 (en) * 2016-04-13 2020-03-03 Intel Corporation Wellness mirror
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
US10861604B2 (en) * 2016-05-05 2020-12-08 Advinow, Inc. Systems and methods for automated medical diagnostics
USD854074S1 (en) 2016-05-10 2019-07-16 Udisense Inc. Wall-assisted floor-mount for a monitoring camera
WO2017200570A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive object with multiple electronics modules
WO2017216238A1 (en) 2016-06-15 2017-12-21 Koninklijke Philips N.V. A camera-based vital sign measurement device
CN106361340B (zh) * 2016-08-30 2019-05-31 苏州涵轩信息科技有限公司 一种检测呼吸频率的方法及装置
WO2018086990A1 (en) * 2016-11-11 2018-05-17 Koninklijke Philips N.V. Patient monitoring systems and methods
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US11164679B2 (en) 2017-06-20 2021-11-02 Advinow, Inc. Systems and methods for intelligent patient interface exam station
USD855684S1 (en) 2017-08-06 2019-08-06 Udisense Inc. Wall mount for a monitoring camera
CN111279405A (zh) * 2017-10-26 2020-06-12 Iee国际电子工程股份公司 用于呼吸监测的方法和系统
WO2019094893A1 (en) 2017-11-13 2019-05-16 Covidien Lp Systems and methods for video-based monitoring of a patient
WO2019104108A1 (en) 2017-11-22 2019-05-31 Udisense Inc. Respiration monitor
CA3086527A1 (en) 2018-01-08 2019-07-11 Covidien Lp Systems and methods for video-based non-contact tidal volume monitoring
US11348688B2 (en) 2018-03-06 2022-05-31 Advinow, Inc. Systems and methods for audio medical instrument patient measurements
TWI658815B (zh) * 2018-04-25 2019-05-11 國立交通大學 非接觸式心跳量測系統、非接觸式心跳量測方法以及非接觸式心跳量測裝置
US11547313B2 (en) 2018-06-15 2023-01-10 Covidien Lp Systems and methods for video-based patient monitoring during surgery
EP3833241A1 (en) 2018-08-09 2021-06-16 Covidien LP Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
USD900430S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle blanket
USD900431S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle blanket with decorative pattern
USD900428S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle band
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
USD900429S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle band with decorative pattern
EP3808269A1 (en) * 2019-10-15 2021-04-21 Koninklijke Philips N.V. Device, method and system for determining a vital sign of a subject
US20220361753A1 (en) 2019-10-22 2022-11-17 Oxypoint Nv Vital parameter measurements for low care patients
EP3811862A1 (en) 2019-10-22 2021-04-28 Oxypoint NV Vital parameter measurements for low care patients
US11813075B2 (en) * 2020-01-24 2023-11-14 Hb Innovations, Inc. Combinational output sleep system
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
US20230157550A1 (en) * 2020-04-06 2023-05-25 Kratos Sre, Inc. Contactless vital sign monitoring of multiple subjects in real-time
CN117257248A (zh) * 2022-06-14 2023-12-22 深圳迈瑞生物医疗电子股份有限公司 一种生理参数监测系统及方法、存储介质
CN115482931B (zh) * 2022-09-16 2023-07-04 北京慧养道健康科技有限公司 一种基于传感器采集的生命预警系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258891A (ja) * 2004-03-12 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> 3dモーションキャプチャ方法および装置
JP2006507088A (ja) * 2002-11-25 2006-03-02 バリアン・メディカル・システムズ・テクノロジーズ・インコーポレイテッド 対象の呼吸活動をモニターする方法およびシステム
JP2007319347A (ja) * 2006-05-31 2007-12-13 Anima Kk 動作解析システム、動作解析装置及びプログラム
US20100188231A1 (en) * 2007-07-26 2010-07-29 Koninklijke Philips Electronics N.V. System and method for automatic sensor position recognition

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606510B2 (en) 2000-08-31 2003-08-12 Mallinckrodt Inc. Oximeter sensor with digital memory encoding patient data
EP1249206A1 (en) 2001-04-14 2002-10-16 Agilent Technologies, Inc. (a Delaware corporation) Measurement of patient data requiring operator and patient identification
GB0110480D0 (en) * 2001-04-28 2001-06-20 Univ Manchester Metropolitan Methods and apparatus for analysing the behaviour of a subject
US20060015039A1 (en) * 2004-07-19 2006-01-19 Cassidy Kenneth T Guidewire bearing markings simplifying catheter selection
DE102005001133A1 (de) * 2005-01-10 2006-07-20 Siemens Ag System bzw. Verfahren zur Positionierung von, einem zu behandelnden Patienten in dessen Umgebung zuordbaren, Geräten
US8011905B2 (en) * 2005-11-17 2011-09-06 Novartis Ag Surgical cassette
US7434724B2 (en) 2006-12-22 2008-10-14 Welch Allyn, Inc. Dynamic barcode for displaying medical data
US20080221399A1 (en) * 2007-03-05 2008-09-11 Triage Wireless, Inc. Monitor for measuring vital signs and rendering video images
PT2291640T (pt) * 2008-05-20 2019-02-26 Univ Health Network Dispositivo e método para imagiologia e monitorização baseados em fluorescência
BRPI0921997B8 (pt) * 2008-11-21 2021-07-27 Terumo Corp dispositivo para medição do componente de sangue
EP2380493A1 (en) * 2010-04-21 2011-10-26 Koninklijke Philips Electronics N.V. Respiratory motion detection apparatus
WO2011143631A2 (en) 2010-05-14 2011-11-17 Kai Medical, Inc. Systems and methods for non-contact multiparameter vital signs monitoring, apnea therapy, sway cancellation, patient identification, and subject monitoring sensors
BR112013017158A2 (pt) 2011-01-06 2016-09-20 Koninkl Philips Electronics Nv dispositivo de leitura de código de barras e método de determinação de uma quantidade fisiológica de um paciente
US9020185B2 (en) * 2011-09-28 2015-04-28 Xerox Corporation Systems and methods for non-contact heart rate sensing
US20130267838A1 (en) * 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
EP2762066A1 (en) 2013-02-05 2014-08-06 Koninklijke Philips N.V. System and method for determining vital sign information of a subject
EP2769667A1 (en) 2013-02-22 2014-08-27 Koninklijke Philips N.V. Marker with light emitting area for use in determining vital sign information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070076935A1 (en) * 1998-10-23 2007-04-05 Andrew Jeung Method and system for monitoring breathing activity of a subject
JP2006507088A (ja) * 2002-11-25 2006-03-02 バリアン・メディカル・システムズ・テクノロジーズ・インコーポレイテッド 対象の呼吸活動をモニターする方法およびシステム
JP2005258891A (ja) * 2004-03-12 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> 3dモーションキャプチャ方法および装置
JP2007319347A (ja) * 2006-05-31 2007-12-13 Anima Kk 動作解析システム、動作解析装置及びプログラム
US20100188231A1 (en) * 2007-07-26 2010-07-29 Koninklijke Philips Electronics N.V. System and method for automatic sensor position recognition
JP2010534503A (ja) * 2007-07-26 2010-11-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動センサ位置認識システム及び方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017055949A (ja) * 2015-09-16 2017-03-23 シャープ株式会社 計測装置、計測システム、計測方法およびコンピュータプログラム
WO2017047734A1 (ja) * 2015-09-16 2017-03-23 シャープ株式会社 計測装置
WO2017119238A1 (ja) * 2016-01-07 2017-07-13 シャープ株式会社 被験体の呼吸に起因する生体活動の計測システム
JP2017121383A (ja) * 2016-01-07 2017-07-13 シャープ株式会社 被験体の呼吸に起因する生体活動の計測システム
WO2017122477A1 (ja) * 2016-01-13 2017-07-20 シャープ株式会社 被験体の生体活動の計測方法、計測システムおよびコンピュータプログラム
JP2017123966A (ja) * 2016-01-13 2017-07-20 シャープ株式会社 計測システム
JP2017169768A (ja) * 2016-03-23 2017-09-28 富士フイルム株式会社 生体センサ制御装置とその作動方法および作動プログラム、並びに生体センサシステム
JP7203314B2 (ja) 2016-06-30 2023-01-13 パナソニックIpマネジメント株式会社 生体情報検出装置
JP2018008039A (ja) * 2016-06-30 2018-01-18 パナソニックIpマネジメント株式会社 生体情報検出装置
US11730383B2 (en) 2016-06-30 2023-08-22 Panasonic Intellectual Property Management Co., Ltd. Method and system using biological information detection device using second light from target onto which dots formed by first light are projected to detect status of living body
WO2018101499A1 (ko) * 2016-11-29 2018-06-07 울산대학교 산학협력단 호흡 모니터링 장치 및 그 방법
JP7062359B2 (ja) 2016-12-27 2022-05-06 花王株式会社 生理指標の推定方法及び推定装置並びに健康情報の推定方法及び推定装置
JP2018102731A (ja) * 2016-12-27 2018-07-05 花王株式会社 肌分析方法及び肌分析装置
JP2020506740A (ja) * 2017-01-20 2020-03-05 ノバルティス アーゲー 医療処置において機械可読情報を使用するシステムおよび方法
JP2020511222A (ja) * 2017-03-17 2020-04-16 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 光学画像から導出される心臓運動信号
JP7319192B2 (ja) 2017-03-17 2023-08-01 コーニンクレッカ フィリップス エヌ ヴェ 光学画像から導出される心臓運動信号

Also Published As

Publication number Publication date
CN104363831B (zh) 2018-01-19
US20150105670A1 (en) 2015-04-16
MX2014015052A (es) 2015-03-03
WO2013186696A1 (en) 2013-12-19
US9943371B2 (en) 2018-04-17
RU2635479C2 (ru) 2017-11-13
BR112014030765A2 (pt) 2017-06-27
EP2858564A1 (en) 2015-04-15
CN104363831A (zh) 2015-02-18
RU2014154401A (ru) 2016-08-10

Similar Documents

Publication Publication Date Title
RU2635479C2 (ru) Система для измерения показателей жизнедеятельности с использованием камеры
US11311252B2 (en) Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
RU2697291C2 (ru) Система и способ определения информации об основных показателях состояния организма
US10602962B2 (en) System and method for determining vital sign information of a subject
US11617520B2 (en) Depth sensing visualization modes for non-contact monitoring
US20150094606A1 (en) Breathing pattern identification for respiratory function assessment
EP3104767B1 (en) Device, system and method for determining vital signs of a subject based on reflected and transmitted light
EP3703552A1 (en) Device, system and method for determining at least one vital sign of a subject
US20220233096A1 (en) Systems and methods for non-contact respiratory monitoring
US10292623B2 (en) Apparatus and method for determining a respiration volume signal from image data
US20220265150A1 (en) Device, system and method for determining physiological information
US20220240790A1 (en) Systems and methods for non-contact heart rate monitoring
WO2021074243A1 (en) Device, method and system for determining a vital sign of a subject
WO2017194669A1 (en) Textile product and system and method for monitoring vital signs

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160608

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170904

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190716