JP2012511707A - 対象物をモニタリングする方法及び装置 - Google Patents

対象物をモニタリングする方法及び装置 Download PDF

Info

Publication number
JP2012511707A
JP2012511707A JP2011540093A JP2011540093A JP2012511707A JP 2012511707 A JP2012511707 A JP 2012511707A JP 2011540093 A JP2011540093 A JP 2011540093A JP 2011540093 A JP2011540093 A JP 2011540093A JP 2012511707 A JP2012511707 A JP 2012511707A
Authority
JP
Japan
Prior art keywords
image data
pattern
radiation
time point
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011540093A
Other languages
English (en)
Other versions
JP2012511707A5 (ja
Inventor
リチャード アイルズ,
ジョナサン キャメロン,
ガレス ロバーツ,
ワード ヒルズ,
ジョアン ラセンビィ,
リチャード ウェアハム,
Original Assignee
ニューマケアー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ニューマケアー リミテッド filed Critical ニューマケアー リミテッド
Publication of JP2012511707A publication Critical patent/JP2012511707A/ja
Publication of JP2012511707A5 publication Critical patent/JP2012511707A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A61B5/1135Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本発明は、対象物をモニタリングする、特に人の形態の変化をモニタリングする方法に関する。本方法は、モニタリングするために対象物上に放射線のパターンを投影するステップと、第1の時点に、対象物上の放射線の投影パターンの少なくとも一部分を表す第1の画像データを記録するステップであり、第1の画像データが、第1の時点における対象物の3次元形態を表す、ステップと、第2の時点に、対象物上の放射線の投影パターンの少なくとも一部分を表す第2の画像データを記録するステップであり、第2の画像データが、第2の時点における対象物の3次元形態を表す、ステップと、第1の画像データ及び第2の画像データを処理して、第1の時点と第2の時点との間の対象物の形態の変化を表す差分データを生成するステップとを含む。本発明はさらに、本発明による方法を実施する装置及びソフトウェアに関する。
【選択図】図1

Description

本発明は、対象物をモニタリングする方法に関し、特に、限定されないが、人の形態の変化をモニタリングすることに関する。
対象物の3次元形態のモニタリング、たとえば、人の呼吸及び/又は肺機能を含むバイタルサインのモニタリングを実施することができる多くの応用がある。さらに、肺機能のモニタリングにより、何百万もの人々に影響を与える世界的な健康問題である肺疾患の存在を確定するのに役立つように使用することができるデータを提供することができる。肺疾患の有効な医学的管理には、肺機能の評価及びモニタリングが必要である。これは、臨床的観察によるか又は肺活量測定(1930年代に開発された技術)によって広く行われる。
肺機能をモニタリングする現行の技術には、臨床的必要性を満足させることができない、限定的な制限があり、特に、肺活量測定技法では、機敏で協力的な患者が、装置を使用している間に指示に従う必要がある。これら技法は、5歳未満の子供に用いる場合、重症又は意識不明の患者の場合、又は慢性的な病人若しくは高齢者の場合には適していない。こうした患者の場合は、完全に評価しモニタリングすることができないことが多く、評価を主観的な臨床的観察に任せることになる。これは、臨床的判断、たとえば集中治療からそれほど資源を消費しない一般的治療へ又はその逆に患者を移すことに対して主観的な要素を残し、その結果、資源の使用が非効率的になり、臨床的管理が最適ではなくなる。
肺機能をモニタリングする他の技法では、患者との物理的接触が必要であり、たとえば、センサ又は反射マーカを被験者に配置するか又は取り付ける必要がある。これは、たとえば火傷患者のモニタリング、又は未熟児の肺機能の測定等、救命救急診療の状況において、医学的に得策でないか又は不可能である場合がある。
上記欠点を克服することが本発明の目的である。
本発明の一態様によれば、対象物をモニタリングする方法であって、
a)モニタリングするために対象物上に放射線のパターンを投影するステップと、
b)第1の時点に、対象物上の前記放射線の投影パターンの少なくとも一部分を表す第1の画像データを記録するステップであり、前記第1の画像データが、前記第1の時点における前記対象物の3次元形態を表す、ステップと、
c)第2の時点に、対象物上の前記放射線の投影パターンの少なくとも一部分を表す第2の画像データを記録するステップであり、前記第2の画像データが、前記第2の時点における前記対象物の3次元形態を表す、ステップと、
d)前記第1の画像データ及び前記第2の画像データを処理して、第1の時点と第2の時点との間の前記対象物の形態の変化を表す差分データを生成するステップと
を含む方法が提供される。
本発明の方法は、有利には、ある期間にわたり対象物の3次元形態の変化を正確にモニタリングするのを可能にする。放射線の投影パターンを用いて、差分データを生成するのに用いる対応する画像データを得ることにより、モニタリングされている対象物とのいかなる接触を行う必要もない。したがって、本発明の方法は、簡単に行うことができ、対象物のモニタリングのために対象物と接触する必要がなく、すなわち対象物との相互作用が対象物上の投影された光学パターンの形態であるため、制御された環境又は隔離された環境にある対象物を含む、動いている対象物及び/又は繊細な対象物をモニタリングするのに適している。
差分データが、対象物の3次元形態を表す、したがってモニタリングされている対象物の3次元特徴に一致する第1の画像データ及び第2の画像データに基づくため、対象物の形態の変化は、本発明の方法を用いて正確に確定される。
本発明の好ましい実施形態では、本方法は、前記第1の画像データ及び前記第2の画像データを処理して、第1の時点と第2の時点との間の前記対象物の体積の変化を表す差分データを生成するステップを含む。モニタリングされる対象物と接触する必要なしに、ある期間にわたり、対象物の体積の変化を確定することができることは、有利且つ単純であり、多くのさまざまな応用で使用することができる対象物の体積データを提供する。
ステップb)及びステップc)における部分は、実質的にパターンの同じ部分であってもよい。別法として、ステップb)及びステップc)における部分は、パターンの異なる部分であり、それにより、本方法は、対象物の動きを可能にしながら、対象物の少なくとも一部に対し差分データを生成することができる。
本発明の一実施形態では、本方法は、第1の画像データ及び第2の画像データを処理して、第1の時点と第2の時点との間の所定時間にわたる対象物の全体的な動き(gross movement)を特定するステップを含む。
好ましくは、放射線のパターンは、非電離電磁放射線の強度が空間的に変化するパターンであり、それは、画像として解釈される時、明確且つ容易に位置特定可能な要素の組合せ、たとえば空間的に分散した交差点、角又は円形パッチの組合せを含む。
好ましくは、電磁放射線は、可視光又は非可視赤外線であってもよい。別法として、電磁放射線は他の周波数のものであってもよい。
好ましくは、ステップa)において、放射線からなる連続する(sequence)種々のパターンが対象物上に投影され、種々のパターンの各々は、異なる時点に連続的に投影される。
本発明の好ましい実施形態では、本方法は、
複数のさらなる時点に対象物上の放射線の投影パターンの少なくとも一部を表すさらなる画像データを記録するステップであり、前記さらなる画像データが、複数のさらなる時点の各々における前記対象物の3次元形態を表す、ステップと、
前記さらなる画像データを処理して、前記複数のさらなる時点のうちの少なくとも2つの間の前記対象物の形態の変化を表す差分データを生成するステップと
を含む。
さらなる画像データの記録及び処理を、第1の画像データ及び第2の画像データを記録し処理した後に行うことができる。さらなる画像データは、複数の種々の時点にそれぞれ記録された複数の画像データを含むことができる。したがって、さらなる画像データを用いて生成された差分データを用いて、長期間等、任意の持続時間の期間にわたり形態変化をモニタリングすることができる。これは、たとえば、所定期間にわたる患者の呼吸の連続的なモニタリング等、本発明の医学的応用において有利である。
さらなる画像データを、対象物の3次元形態の変化をモニタリングするために必要な時間分解能に応じて、本発明の所与の応用と一貫した速度で記録することができる。医学的応用、たとえば胸部運動及び呼吸のモニタリングに対する好ましい実施形態では、この速度は、1秒間に50又は60の時点、すなわち50又は60ヘルツであり得る。別法として、さらなる画像データを、より高速に、たとえば1秒間に180又は360の時点で記録してもよく、それにより時間分解能及び空間精度が向上する。任意の記録速度を、対象物の形態の変化を要求に応じてモニタリングすることができるように選択することができ、たとえば、限定されないが50〜360ヘルツの範囲内の速度である。この速度を、カメラ等のモニタリングを実行する装置の性能及び/又は設定によって確定することができる。
好ましい実施形態では、本方法は、対象物のうちで放射線のパターンが投影されない部分の形態を近似するステップを含む。近似に対して第1の画像データ及び/又は第2の画像データを用いることができる。さらに又は別法として、強度パターンが投影されない対象物の表面を近似するアルゴリズムを用いてもよい。たとえば、平坦面に対する単純な補間アルゴリズムを用いてもよい。別法として、より複雑な表面、たとえば円柱又は球の一部を補間する、より複雑なアルゴリズムを用いてもよい。本方法は、対象物の一部の近似された形態を用いて差分データを生成することを含むことができる。したがって、対象物のスキャンされない部分の形態により、形態、たとえば体積の変化を、本発明の方法を実行している装置により対象物と接触する必要なく正確に確定することができる。形態が近似される対象物の部分は、放射線パターンが投影される対象物の反対側であり得る。たとえば、人の正面側にパターンが投影される場合、人の背面側の形態を近似することができる。
本発明の実施形態では、対象物は人か又は人の少なくとも一部である。こうした実施形態では、本方法は、人を特徴付ける生物物理学的モデルデータを用いて第1の画像データ及び第2の画像データを処理するステップを含むことができる。生物物理学的モデルデータは、人のサイズ、年齢、性別及び体型のうちの任意のものを表すパラメータ及び/又は体の部分の力学的態様を表すパラメータを含むことができる。パラメータは、人の正常な状態及び異常な状態の両方に関連することができる。これにより、本方法を、モニタリングされている人の体型に合わせることができ、それにより差分データの精度が向上する。
好ましい実施形態では、形態の変化は、呼吸数、動的空気流及び/又は呼吸量の動的変化等、人の肺機能を示すことができる。
特許出願、欧州特許出願公開第1645841号は、3次元形状測定装置について記載しているが、これは、各々が、モニタリングされている対象物の3次元形態を表す、本発明による第1の画像データ及び第2の画像データを記録しない。したがって、それは、本発明の場合のように、第1の画像データ及び第2の画像データを用いて差分データを生成しない。さらに、欧州特許出願公開第1645841号の装置では、本発明の装置とは異なり、装置構成要素の精密な位置決めが必要である。
好ましい実施形態では、本方法は、少なくともステップa)及びb)を実行するように構成された装置を較正するステップをさらに含み、前記較正するステップが、
較正対象物上に放射線の較正パターンを投影するサブステップと、
前記放射線の投影された較正パターンの少なくとも一部を表す較正画像データを記録するサブステップであって、前記較正画像データが、前記較正対象物の3次元形態を表す、サブステップと、
ステップd)において、前記第1の画像データ及び前記第2の画像データを、較正画像データを用いて処理して、差分データを生成するサブステップと
を含む。
装置を較正することにより、有利には、生成された差分データがより正確になることが確実になる。
本方法は、較正対象物上に放射線からなる連続する種々の較正パターンを投影するステップと、前記放射線の種々の較正パターンの各々に対して較正画像データを記録するステップとを含むことができる。
本発明の実施形態では、本方法は、ステップa)〜d)を実行する前に前記較正を実行して、第1の画像データ及び/又は第2の画像データから対象物の寸法を確定するために用いる単位尺度を確定するステップを含むことができる。
好ましくは、ステップa)における投影は、前記較正パターンか又は前記較正パターンのうちの少なくとも1つをモニタリングのために対象物上に投影するサブステップをさらに含み、ステップb)及び/又はc)で記録された第1の画像データ及び/又は第2の画像データは、前記方法を実行する装置の投影システム及び記録システムの特徴を表す較正画像データを含む。
放射線の投影パターンと投影較正パターン又は放射線の較正パターンのうちの少なくとも1つとを、互いに交互に配置することができる。このように、較正を、対象物をモニタリングするのと同時に行うことができる。
本発明のさらなる態様によれば、対象物をモニタリングする方法であって、
a)モニタリングするために対象物上に放射線のパターンを投影するステップと、
b)第1の時点に、対象物上の前記放射線の投影パターンの少なくとも一部を表す第1の画像データを記録するステップであり、前記第1の画像データが、前記第1の時点における前記対象物の3次元形態を表す、ステップと、
c)第2の時点に、対象物上の前記放射線の投影パターンの少なくとも一部を表す第2の画像データを記録するステップであり、前記第2の画像データが、前記第2の時点における前記対象物の3次元形態を表す、ステップと、
d)前記第1の画像データ及び前記第2の画像データを処理システムに提供して、前記第1の時点と前記第2の時点との間の前記対象物の形態の変化を表す差分データを生成するステップと
を含む方法が提供される。
本発明のさらに別の態様によれば、対象物をモニタリングする方法であって、
a)以下の方法、すなわち、
i)モニタリングするために対象物上に放射線のパターンを投影するサブステップと、
ii)第1の時点に、対象物上の前記放射線の投影パターンの少なくとも一部を表す第1の画像データを記録するサブステップであり、前記第1の画像データが、前記第1の時点における前記対象物の3次元形態を表す、サブステップと、
iii)第2の時点に、対象物上の前記放射線の投影強度パターンの少なくとも一部を表す第2の画像データを記録するサブステップであり、前記第2の画像データが、前記第2の時点における前記対象物の3次元形態を表す、サブステップと
によって記録された第1の画像データ及び第2の画像データを受け取るステップと、
b)前記第1の画像データ及び前記第2の画像データを処理して、第1の時点と第2の時点との間の前記対象物の形態の変化を表す差分データを生成するステップと
を含む方法が提供される。
したがって、本発明の本方法のステップa)〜c)を、本発明のステップd)から遠隔に、たとえばコンピュータネットワークを介して行うことができる。
本発明の別のさらなる態様によれば、本発明の方法による方法を実行するように構成されたコンピュータソフトウェアが提供される。
本発明のさらなる態様によれば、本発明のコンピュータソフトウェアを格納するデータキャリアが提供される。
本発明のさらなる態様によれば、対象物をモニタリングする装置であって、
モニタリングするために対象物上に放射線のパターンを投影するように構成された投影システムと、
第1の時点及び第2の時点それぞれにおいて、対象物上の前記投影パターンの少なくとも一部を表す第1の画像データ及び第2の画像データを記録するように構成された記録システムであり、前記第1の画像データ及び前記第2の画像データが、前記第1の時点及び前記第2の時点それぞれにおける前記対象物の3次元形態を表す、記録システムと、
前記第1の画像データ及び前記第2の画像データを処理して、第1の時点と第2の時点との間の前記対象物の形態の変化を表す差分データを生成するように構成された処理システムと
を備える装置が提供される。
好ましくは、記録システムは、1つの時点に放射線の投影パターンの少なくとも一部の複数の画像を記録して、対象物の3次元形態を表す画像データを記録するように構成され、複数の画像の各々は、前記対象物の異なる視点で記録される。
好ましい実施形態では、本装置は、投影システムによる投影のために前記放射線のパターンを生成するように構成されたパターン発生器を備える。
パターン発生器を、モニタリング及び/又は較正対象物のために対象物上に投影する少なくとも1つの較正パターンを生成するように構成することができる。
投影システムを、非電離電磁放射線の放射線のパターンを投影するように構成することができる。
投影システムを、可視光線として放射線のパターンを投影するように構成することができ、記録手段は、可視光線を検出するように構成されている。
投影システムを、別法として、赤外線として放射線のパターンを投影するように構成することができ、記録システムを、赤外線を検出するように構成することができる。
さらに、パターンを、強度が空間的に変化するパターンとすることができ、それは、空間的に分散した交差点、角及び/又は円形パッチの組合せを含むことができる。
本発明のさらなる特徴及び利点は、添付図面を参照してなされる、単に例として示す本発明の好ましい実施形態の以下の説明から明らかとなろう。
本発明の方法の概要を示すフローチャートである。 本発明の実施形態によるモニタリング装置のブロック図である。 本発明の第1の実施形態によるモニタリング装置の側面図である。 本発明の第1の実施形態によるモニタリング装置の端面図である。 本発明の第2の実施形態によるモニタリング装置の側面図である。 本発明の第3の実施形態による保育器の一部として組み込まれたモニタリング装置を示す図である。 本発明の第3の実施形態による保育器の一部として組み込まれたモニタリング装置を示す図である。 本発明の第4の実施形態による複数の投影システムを備えたモニタリング装置を示す図である。 既知の対象物上に投影されている放射線の較正パターンを示す図である。 対象物上に投影されている放射線の異なるパターンを示す図である。 対象物上に投影されている放射線の異なるパターンを示す図である。 幼児のモデルの上に投影された放射線のパターンを示す図である。 本発明の方法によって作成された、図9に示す幼児のモデルの補間された3次元モデルを示す図である。
本発明は、対象物をモニタリングする方法及びその方法を実行する装置に関する。さらに、本発明は、本発明の方法を実行するように構成されたコンピュータソフトウェアと、こうしたソフトウェアを格納するデータキャリアとに関する。以下に開示する例示的な実施形態では、人の胸郭の容積の変化をモニタリングすることにより、人の肺機能を示す形態をモニタリングする方法を参照する。こうした方法は、胸部及び腹部の動的な体積の変化を安全にモニタリングし、医療診断及び患者治療に役立つように空気流及び肺機能データを正確に導出することができる、非接触、非侵襲方法である。人の肺機能には、限定されないが、胸郭の容積、呼吸数、1回換気量、吸気時間及び呼気時間、強制肺活量測定、胸壁の動きの局所的な変化並びに局所的な肺機能がある。後に説明するように、本発明の他の応用が考えられる。
本発明の方法の概要を示すフローチャートを示す図1を参照すると、ステップS1において、モニタリングされる対象物上に放射線のパターンを投影する。
ステップS2において、第1の時点に第1の画像データを記録する。第1の画像データは、対象物上に投影された放射線のパターンの少なくとも一部を表し、第1の時点における対象物の3次元形態を表すデータを含む。
ステップS3において、第1の時点とは異なる第2の時点において第2の画像データを記録する。第2の画像データは、対象物上に投影された放射線のパターンの少なくとも一部を表し、第2の時点における対象物の3次元形態を表すデータを含む。
ステップS4において、第1の画像データ及び第2の画像データを処理して、第1の時点と第2の時点との間の対象物の形態の変化を表す差分データを生成する。対象物の形態が第1の時点と第2の時点との間で変化しない場合、形態の変化はゼロ変化であり得る。
このように対象物の形態をモニタリングすることには、対象物と物理的に接触する必要なしに、所定時間にわたり対象物の正確なコンピュータ生成表現を提供することができるという利点がある。さらに、本発明の方法により、差分データを用いて対象物の形態の変化をモニタリングすることができ、差分データは、たとえば、モニタリングされている対象物の表面形状、位置、体積(容積)及び/又は3次元形状の変化を表すことができる。さらに、本発明の方法を適用して、対象物全体ではなく、対象物の一部の形態の変化をモニタリングしてもよい。
後にさらに説明するように、本発明の方法は、任意に、複数のさらなる時点において対象物上の放射線の投影されたパターンの少なくとも一部を表すさらなる画像データを記録するステップであって、さらなる画像データが、複数のさらなる時点の各々における対象物の3次元形態を表す、記録するステップと、さらなる画像データを処理して、複数のさらなる時点のうちの少なくとも2つの間の対象物の形態の変化を表す差分データを生成するステップとを含む。
図2は、本発明の実施形態による本発明の方法を実行するように構成された装置のブロック図を示す。装置10は、スキャニングシステム12、データ処理及びマンマシンインタフェース(MMI)システム14、ディスプレイシステム16、画像データ記憶システム18、生物物理学的モデリングデータ20並びに統計的データベース22を備えている。
スキャニングシステム12は、たとえば少なくとも2つのビデオカメラを含む記録システム24と、少なくとも1つの投影システム26、たとえばビデオプロジェクタと、記録システム24を制御し、記録システム24の各々から画像を取り込むビデオキャプチャハードウェア28と、処理プラットフォーム、たとえばパーソナルコンピュータ(PC)を投影システム26に接続するインタフェースシステム30と、投影システム26に対して少なくとも1つのパターンを作成するパターン発生器32とを有している。
本発明の一実施形態では、モニタリング装置10は、2つの200Hz、640×480解像度のカメラ24とビデオプロジェクタ26とを含むことができ、それらはすべて、カメラ24及びビデオプロジェクタ26の相対的な位置決めを画定するように、調整可能な取付け装置に取り付けられている。カメラ24及びビデオプロジェクタ26をともに、カメラ24用のビデオキャプチャカードとビデオプロジェクタ26を駆動するグラフィックスカードとを組み込んだ、標準パーソナルコンピュータ(PC)プラットフォームによって制御することができる。他の実施形態では、カメラ自体が、標準PC等のさらなるプロセッサに、ユニバーサルシリアルバス(USB)、ファイヤーワイヤー(Firewire)(商標)又はイーサネット接続等のデジタルバス接続を介して送信するように、記録された画像データを少なくとも部分的に処理することができる。
本発明の装置は、投影及び記録システムの互いに対する且つモニタリングされている対象物に対する正確な幾何学的位置決め及び分離が柔軟である、すなわち正確な位置決めを必要としないという点で有利である。後述するように、投影及び記録システムの較正により、正確なデータを生成するために投影及び記録システムの物理的な位置決めを考慮することができる。
記録システムの各カメラを、対象物の異なる視点に配置することができ、それら各カメラが、投影されたパターンの画像を一定の時点に記録することができるため、種々のカメラによりその一定の時点に記録された画像の組合せによって、対象物のより大きい割合をモニタリングすることができる。このように、たとえば、1つのカメラを、別のカメラがたとえば死角であるために正確に取り込むことができない対象物の部分を取り込むように位置決めすることにより、対象物のより広い有効範囲を提供するようにカメラを配置することができる。したがって、各時点に記録された画像データは、対象物のより広い部分を表し、したがって、種々の時点の間にその対象物に対してより正確なデータを生成することができる。
データ処理及びMMI(マンマシンインタフェース)システム14は、4つの主な要素、すなわち、3次元処理システム36、医療データ抽出システム38、提示処理及びシステム制御システム40並びに較正処理システム42を備えている。
提示処理及びシステム制御システム40は、モニタリング装置10のユーザによる制御を可能にするように処理を実行し、ディスプレイシステム16を介して結果を提示することができる。提示処理及び制御は、画像及びデータ記憶処理システム18と連動して実行され、画像及びデータ記憶処理システム18は、画像を記録する記録システム24からのデータと、3D処理からの画像データと、導出された医療データと、他の中間計算結果とを、記憶装置44を介して記憶し検索することができる。記憶装置44は、コンピュータディスク又は固体記憶装置であってもよい。
本発明の方法を実行する際、投影システム26は、モニタリングのために対象物上に放射線の1つ又は複数のパターンを投影し(本明細書ではスキャニングとも呼ぶ)、記録システム24の各カメラは、対象物上に現れる放射線の少なくとも1つの投影パターンの少なくとも一部を表す画像を、種々の視点で同時に取り込む。このように、投影パターンの同じ部分及び/又は異なる部分の複数の画像を、1つ時点で記録することができる。そして、記録システム24の各カメラからの取り込まれた画像は、第1の時点に対して第1の画像データを記録するため等、対応するパターン部分がその時点に投影された対象物の部分の3次元形態を表す画像データとして、処理され記録される。第2の時点に、且つ連続した第3の時点及び第4の時点等、さらなる任意の時点に記録された画像データを、特定の時点に対象物の複数の画像を記録し処理することによって、同様に記録することができる。ある時点に、記録システム24の各カメラによって画像を同時に取り込むことにより、種々の画像に対する画像データ間のデータ点を、さらなるデータ処理中に正確に相関させることができることが確実になる。取り込まれた画像を、たとえば雑音を低減する既知の画像処理技法を用いて処理することができる。
放射線の少なくとも1つのパターンは、明確且つ容易に位置特定可能なパターン要素の組合せ、たとえば空間的に分散した交差点、角又は小さい円形パッチの組合せを含む、空間的に強度が変化するパターンを含むことができる。たとえば、対象物に投影される放射線の少なくとも1つのパターンは、線及び点のモザイク式の組合せを含むことができる。パターンは、パターンの照明されたパッチの間に間隔を空けて配置された、照明されていないパターンパッチを含むことができる。パターン要素は、対象物に投影されると歪んで見え、この歪みによって、第1の画像データ又は第2の画像データ等、パターン要素が投影される対象物の部分の部分の3次元形態データを、取り込まれた画像データから導出することができ、対象物をスキャンするこの方法は、一般に、構造化光技法と呼ばれる。放射線のパターンは、単純な繰返しパターンであってもよく、及び/又はたとえば、カメラによって記録されたパターンの画像における曖昧さを回避し、対象物のより高解像度の画像を取り込むために、スポット、明るい/暗いエッジ等の特徴の複雑な繰返しパターンを有するように選択されてもよい。曖昧さは、対象物上に入るパターンの一部が、その対象物がそこになかった場合と同じように現れるように歪められる場合に発生する。こうした曖昧さにより、対象物の形態を正確に確定することが困難になる。他の実施形態では、対象物上に連続する種々の放射線パターンを投影させてもよく、種々のパターンの各々は、種々の時点に連続して投影される。投影システム26は、いくつかの選択された波長の放射線、たとえば可視光線又は不可視赤外線のパターンを、対象物上に投影することができるが、パターン放射線は、非電離電磁放射線のスペクトルの他の波長のものであってもよいことが考えられる。したがって、記録システム24は、適切な波長(複数可)の投影された放射線を取り込むように構成されている。投射システム26は、コヒーレントレーザ照明ではなく通常の非コヒーレント光源を必要とし、すなわち、これにより、レーザベースの投影法に比較して、被験者/対象物、たとえば子供の医学的により安全なスキャニングが可能になる。
3次元処理システム36は、記録システム24によって取り込まれた画像を処理し、対象物の表面の等価の点に対応する対象物の3次元形態を表す画像データを抽出する。この処理は、取り込まれた画像内の使用可能なコントラスト及びダイナミックレンジを最大化する画像解析、画像雑音低減、放射線の投影パターンの特定の特徴の位置、対象物表面によるパターン歪みによる特定のパターン特徴の予測された位置における曖昧さの解決、データ誤差の抑制、及び/又は所定時間にわたって対象物をモニタリングする時に対象物の全体的な動きの追跡に役立つシルエットの識別を含むことができる。そして、画像データは補間されて、モニタリングされている対象物の連続的な表面表現が作成される。
記録システム24は、本発明の実施形態では、第1の時点及び第2の時点の各々においてパターンの同じ部分を記録するように構成されている。このように、対象物が静止したままであると想定すると、対象物の同じ部分の形態の変化を、第1の時点及び第2の時点の両方においてモニタリングすることができる。他の実施形態では、記録システム24を、第1の時点及び第2の時点に投影されたパターンの異なる部分を記録するように構成してもよい。これにより、たとえば、対象物部分の全体的な動きではなく、モニタリングされている対象物の同じ部分、したがって観察されている対象物部分に入っているパターンの異なる部分に対して、画像データを記録することができる。
画像データ処理に対し、対象物の総合的な(全体的な)動きから対象物のスキャンされた表面(複数可)をモニタリングするために、求められる動きの識別を促進することにより、画像データの計算精度を向上させるように、モニタリングされている対象物のより大きい(全体的な)動きを追跡する、追跡アルゴリズムを用いてもよい。このアルゴリズムはまた、対象物が記録システム24の視野内にない時を検出することも可能であり、対象物が、たとえば人である場合に、急速に動いている場合、このアルゴリズムを、人の咳を全体的な動きとしてみなすことができるように構成することができる。
さらに、追跡アルゴリズムを用いて、対象物の全体的な動きが発生する時を確定し、これをエンドユーザに示し、全体的な動きが発生する時点に発生している画像データを無視し、又はたとえば対象物が回転又は並進により幾何学的に位置を移動した場合に対象物の新たな位置を確定することができる。
対象物の3次元形態を表す画像データを用いて、対象物の3次元処理システム36によって生成される連続した(順次)画像データを処理することにより、スキャンされた対象物領域に対応する体積を示すデータを得ることができる。それぞれの第1の時点及び第2の時点に取得された第1の画像データと第2の画像データとの間で、差分データを生成することができ、それは、2つの時点の間のスキャンされた対象物の形態の変化を表す。第1の画像データを第2の画像データと比較して、第1の時点における対象物の3次元形態と、第2の時点における対象物の3次元形態との差を特定することにより、差分データを生成することができる。差分データは、これら特定された差を示し、したがって、第1の時点と第2の時点との間の対象物の形態の変化を表す。2つの時点は、記録された2つの連続した時点であってもよく、別法として、2つの時点は、ある期間に記録された任意の2つの時点であってもよく、それは、画像データが記録される他の時点によって分離されてもよい。したがって、任意の2つの時点の間で、且つ複数の時点を含むある期間にわたって対象物の少なくとも一部の形態の任意の変化を動的に追跡することが可能である。対象物が人である実施形態では、形態の変化は、対象物の少なくとも一部の体積の変化、たとえば胸腔及び/又は腹腔の容積の変化を表してもよい。
たとえば後に参照する図3、図4及び図5に示すように、装置が医療環境で用いられる実施形態では、医療データ抽出システム38は、差分データから装置がモニタリングしている身体部分に対する体積変化を導出するアルゴリズム計算を実行する。
対象物の少なくとも一部の体積等の形態変化の確定に役立つように、記録システム24のいずれかには可視でない、及び/又は放射線の投影されたパターンで照明されない、対象物部分の一部の形態を近似することにより、対象物のスキャンされた部分の体積の近似が計算される。たとえば、パターンは、モニタリングされている人の胸部の正面側に投影される場合、その人の胸部の背面側には入らず、背面側の画像データを記録することによって、胸部の背面側の形態を確定することができない。しかしながら、その人の胸部の背面側の形態を、胸部の背面側の少なくとも生の、より好ましくは精緻化された形態を確定するように近似することができる。投影パターンのない対象物部分のこの近似して確定された形態を、記録された画像データ、たとえば第1の画像データ及び第2の画像データを用いて処理することにより、所定時間にわたる人の胸部の形態の変化に対しより正確な差分データを生成することができる。近似を、平坦面に対する補間アルゴリズムを用いて確定することができる。別法として、より複雑なアルゴリズムを用いて、たとえば対象となる対象物の部分、この場合は人の胸部のより代表的な形状を用いて、投影パターンのない部分の形態を補間することができる。こうした代表的な形状は、円柱又は球の一部であってもよく、及び/又は場合によっては、後述するように、人、又は実際にはモニタリングされている特定の人のタイプの生物物理学的データを使用して、近似を精緻化することができる。スキャンされた対象物の部分に対して取り込まれた画像データから導出される記録された画像データと組み合わせてこの近似された形態を用いることにより、モニタリングされている対象物の部分の体積等、形態の変化をより正確に確定することができ、対象物の3次元形態を表すより信頼性の高い画像データ及び差分データが提供される。これは、たとえば医療分野において、生成されたデータを用いて病状及び適切な治療を診断することができる場合、高水準のデータ精度を必要とする方法の応用において特に重要である。さらに、容易に動かすことができない、病気患者等の繊細な対象物の場合、この近似により、患者を静止したまま、たとえばベッドに横臥したままにすることができ、一方で、対象物の3次元形態の正確な画像データ及び差分データを依然として確定することができる。
したがって、記録システム24によって取り込まれるデータの処理を用いて、被験者の身体の運動、体積、表面積及び他の同様の物理的パラメータの動的な3次元モデルが作成される。そして、同時のデータ画像を比較して体積の変化を表す差分データを生成することにより、呼吸数を計算することができる。
そして、情報を、ディスプレイシステムを介して数値及び/又はグラフィカルフォーマットでエンドユーザに表示してもよく、及び/又は遠隔表示又はさらなる分析のために、処理プラットフォーム(たとえばパーソナルコンピュータ)の一部として提供されるデータネットワークインタフェースを介して、他のシステムに送信してもよい。出力情報を分類し、臨床管理及び診療方式に関連する意思決定支援プロセス又はエキスパートシステムの一部として用いることができる。復元により、対象物の完全な3次元表現を提供することができるため、放射線パターンで照明されない対象物の部位の近似を用いるいくつかの実施形態では、いずれかの新規な視点から画面上に対象物表面を見ることができる。
肺機能に関連する呼吸気流を、対象物の体積の動的体積変化から計算することができる。このプロセスを、装置の以前の基準(試験)操作から、及び/又は多数の異なる人に対する装置の以前の測定操作からのデータを含む、統計データベース22のデータと比較することによって、強化することができる。本発明の実施形態では、統計データベースのデータは、年齢、性別、体重及び体格の選択された農場(grange)に従って、選択された人の組に対して標準化された統計的に平均されたパラメータを提供する。統計データベースデータを用いる比較は、統計的基準と比較して、計算された動的な体積の変化の高度化した補間に役立つ。統計データベースのデータを用いて、生物物理的モデルデータ20に対してスケーリング及び基準パラメータの精緻化をもたらすことも可能である。
体積計算の精度を、たとえばマッピング及び「最良フィット」アルゴリズムを用いて、記録された画像データを対象物の体積モデルと統合する、生物物理学的モデリングデータ20によって向上させることができる。体積又は生物物理学的モデルデータ20は、スキャンされている対象物又は被験者の解剖学的構造の「物理学ベースの」近似を含み、対象物の部位の物理的特性、たとえば、胸部/腹部の物理的特性及び弾性と、関節及び骨格構造による運動制約とをモデル化する。生物物理学的モデルデータ20は、被験者のタイプ、年齢、性別、体重及び/又は他の形態による平均値に従って調整され且つ較正された物理的モデリングパラメータを用いて、検討中の対象物に対する汎用モデルに基づく。生物物理学的モデルデータは、先の基準(試験)操作からの記憶されたデータを含むことができる。
図3a及び図3bは、本発明の実施形態によるモニタリング装置の例示的な部分を示す。装置10は、たとえばアライドビジョンテクノロジー(Allied Vision Technology)のパイク(Pike)F032Bカメラであってもよい、記録システム24の一部としての第1のカメラ及び第2のカメラと、たとえばエイサー(Acer)P1625プロジェクタであってもよい、取付枠50に取り付けられた投影システム26とを備えている。記録システム24の各々が取付枠50に対して取り付けられている角度は、約10度から約40度まで変化してもよく、それは、記録システム24から対象物52までの距離によって決まる。この実施形態では、投影システム26は、放射線のパターンを、表面54の上で伏臥している被験者52の胸部及び腹部部位上に投影することが分かる。投影速度は、たとえば約50若しくは60Hz、又は180Hz若しくは360Hzであり得る。記録システム24からの記録速度は、投影速度と一貫しており、たとえば、投影速度が180Hzである場合、記録速度もまた、第1の記録システム及び第2の記録システムの各々に対して180画像/秒となる。第1の画像データ、第2の画像データ及びさらなる画像データの他の投影速度及び記録速度は、限定されないが50〜360Hzの範囲内で想定され、したがって、投影速度及び記録速度は、50又は360Hzの速度より低速であっても高速であってもよい。記録システム24の第1のカメラ及び第2のカメラを、記録システムのうちの一方の視野が、他方の記録システムの視野に完全に又は少なくとも部分的に重なるように向けることができる。装置10を、たとえば大人、子供、未熟児、非協力的な被験者、又はいかなる形態の接触方法も実際的でない場合、たとえば未熟児、火傷患者、救命救急患者のモニタリング及び診断に対して構成することができる。装置10を、図4に示すように、被験者を直立位でモニタリングすることができるように構成してもよい。
ここで図5aを参照すると、乳児用の保育器を組み込んだ本発明によるモニタリング装置10の一部の実施形態が示されている。モニタリング装置10は、投影システムから保育器60に置かれた乳児62上に放出される放射線を反射する反射光学装置64、たとえば鏡の上に放射線を投影するように配置された投影システム26と、記録システム24の2つのカメラとを備えている。モニタリング装置10は、図5aに示すように、封止されたハウジング66内に取り付けられると共に、保育器60の内部表面に取り付けられている。図5bに示すように、モニタリング装置10を、保育器60の外面に位置するように構成してもよいことが理解されよう。
図6は、さらなる実施形態による本発明の方法を実行するモニタリング装置の配置を示す。複数のパターンの放射線を対象物上に同時に投影することができ、それにより、モニタリングされている対象物のより広い有効範囲が達成される。したがって、図6に示すように、放射線の2つ以上のパターンが、対象物上に、3つのプロジェクタを用いて、対象物の2つの両側と2つの両側の間の表面とに投影される。3つのプロジェクタの間に配置された2つのカメラは、各々、差分データを導出するように処理されるように、異なる時点の各々において投影されたパターンの画像データを同時に記録する。
使用時、図3、図4、図5及び図6の装置を、環境及び/又はモニタリングされる対象物に対する特定の形態に対して設定することができる。装置を、許容可能な水準の精度で本発明の方法を実行するために較正することができる。本発明の方法は、本発明を実行する装置を較正することを含む。較正は、較正対象物上に放射線の較正パターンを投影することと、放射線の投影された較正パターンの少なくとも一部を表す較正画像データを記録することとを含み、較正画像データは、較正対象物の3次元形態を表す。ステップd)における第1の画像データ及び第2の画像データを、較正画像データを用いて処理することにより、較正に基づいて差分データを生成することができる。こうした較正に従って、本発明の実施形態では、2つのタイプの較正、すなわちプロジェクタ及び記録システムの較正と単位の較正とを行うことができる。
プロジェクタ及び記録システムの較正を、上述した対象物の形態の変化のモニタリング中に自動的に且つ連続的に行うことができる。これを、モニタリングのために対象物上に放射線パターンを投影することの一部として、モニタリングされている対象物上に1つ又は複数の較正パターンを投影することによって達成することができる。したがって、モニタリングされている対象物を、較正対象物であるとみなすことができる。較正パターンを、較正対象物上に投影し、較正画像データを、第1の時点及び第2の時点とは異なる1つ又は複数の時点において記録することができる。たとえば、較正パターンを、第1の時点の直前と第2の時点の直前とに投影してもよく、それにより、較正データは、対象物をモニタリングするための画像データの記録と同時に較正を行うことなく、第1の時点及び第2の時点におけるプロジェクタ及び記録システム特性を示す。このように、較正パターン(複数可)及び対象物モニタリングのためのパターンを、所定時間にわたって互いに交互に配置してもよい。そして、記録された第1の画像データ及び/又は第2の画像データを、プロジェクタシステム及び記録システムの一部、たとえばカメラの、相対位置及び光学的焦点等の特徴を、3次元空間で表す記録された較正画像データを用いて処理することができる。これにより、第1の画像データ及び/又は第2の画像データの精度が向上する。
較正パターン(複数可)及び対象物モニタリングのためのパターン(複数可)を投影する、且つそれらの画像データを記録するタイミングの適切な選択により、プロジェクタ及び記録システムの較正を、対象物モニタリングと略同時であり得るように迅速に行うことができる。したがって、プロジェクタシステム及び記録システムの一部の特徴、たとえば、プロジェクタ及びカメラの光学特性及び/又は相対位置を、対象物モニタリングを停止させる必要なく、対象物モニタリング中に繰返し確定することができる。このように、たとえばプロジェクタ及び/又は記録システムの焦点のドリフト、ズーム比及び/又は角度位置による、こうした特徴の所定時間にわたるわずかな変化を、プロジェクタ及び記録システム較正プロセスによって確定することができ、それにより、それを用いて、対象物のモニタリングから生成される画像データを補正することができる。モニタリングされている対象物の動きは、プロジェクタ及び記録システムの較正に影響を与えない。対象物の動きを、たとえば上述した追跡アルゴリズムを用いることによって処理することができる。
単位の較正は、好ましくは、図1に関して説明した本発明の方法による対象物のモニタリングが開始する前に行われる。単位の較正は、対象物をモニタリングしている時に対し絶対測定値を正確に確定するために用いられ、少なくとも1つの絶対距離を確定することを含み、それにより、較正中に、プロジェクタシステムと、記録システムの一部と、たとえば対象物が人である例でのベッド等、モニタリングされる対象物が配置される場所との間の距離すべてを、較正画像データ及び/又は較正中にそれから、たとえば異なる時点の較正画像データ間で生成された任意の差分データから、正確に確定することができる。装置がモニタリング手続きに対して設定されると、投影システムによって生成される放射線の較正パターンを既知の寸法の較正対象物上に投影し、記録システムを用いて較正対象物の画像データを記録することにより、単位の較正が実行される。較正対象物の寸法が既知であるため、較正システム42は、記録及び投影システムの絶対位置を確定することができる。したがって、較正システム42は、寸法単位に対する単位尺度を確定することができ、それに対して、本発明の方法のモニタリング中に記録された画像データを比較することができ、それにより、モニタリングされている対象物の絶対寸法を正確に確定することができる。たとえば、モニタリングされている対象物の少なくとも一部のセンチメートルでの高さ及び/又は幅を、単位尺度で対象物の画像データから導出された対象物寸法を比較することにより正確に測定することができる。このことから、モニタリングされている対象物の一部のたとえばリットルでの体積測定値を計算することができる。モニタリング中に対象物の測定を正確に行うことができることにより、差分データを高水準の精度で生成することができる。
較正対象物は、記録システムの視野内で可視である既知の相対位置及び距離の3つの点を有することができる。較正対象物は、例として、モニタリングが開始する前の患者の上で振られた「ワンド」の形態であるか、又は患者の背中を固定するために用いられる、患者が位置している台、椅子又はベッド上の正確な寸法の既知の印刷又は投影されたパターンの形態であり得る。較正対象物は、当然ながら、他の実施形態では、既知の寸法の他の対象物であってもよい。
単位の較正を、モニタリング装置の物理的設定及び位置決めが変更されないものとして、一度だけ行うことができる。物理的設定が変更された場合、単位の較正を再び行う必要がある。
プロジェクタ及び記録システムの較正と単位の較正との一方又は両方に対し、較正パターンは、モニタリング方法に対して上述した放射線のパターンと同様であるか又は同じであってもよい。図7は、生理食塩水バッグ上に投影された例示的な較正パターンを示す。さらに、他の実施形態では、較正パターンは、較正対象物上に連続的に投影される連続する種々の較正パターンと、種々のパターンの各々に対する較正画像データを記録することとを含むことができる。たとえば、連続するパターンは、対象物上に立て続けに投影された、多数の、たとえば通常は約16の明確なパターンを含むことができる。パターンの形態を、パターン内により細かいピッチの特徴を連続的に提供するように配置することができる。放射線の投影パターンは、限定されないが、水平(X)方向及び垂直(Y)方向両方において繰り返される(モザイク式の)単純なパターンの汎用形態であってもよい。さらに、他の実施形態では、プロジェクタ及び記録システムの較正に対し、較正パターンを、モニタリング方法中に対象物上に投影されたパターンと交互に配置してもよい。他の実施形態では、プロジェクタ及び記録システムの較正の画像データを、第1の画像データ及び/又は第2の画像データから導出してもよく、すなわち、対象物モニタリングに対する投影パターンは、こうした較正で用いられるパターン特徴を含んでいてもよい。
図8及び図9に示すように、その後、単位の較正の後、対象物上に既知の構造(限定されないが線又は点等の規則的な構造を含む)の1つ又は複数のパターンを投影することにより、対象物のモニタリングを開始することができる。これらパターンは、システムのサイズ、精度及び視野に対する要件に応じて、細かいか粗いか又はそれらの組合せであってもよい。
そして、記録システム24は、先に説明したように対象物の部位(複数可)の画像と、対象物上に現れる構造化された放射線のパターンとを取り込み、対象物形態、たとえば表面形状、動き及び3次元形態形状を表す情報を取り込む。
上記実施形態は、本発明の例示的な例として理解されるべきである。本発明のさらなる実施形態が考えられる。
連続的な第3の時点及び第4の時点等、複数のさらなる時点で、対象物上の放射線の投影されたパターンの少なくとも一部を表すさらなる画像データを記録することを含む、本方法のさらなる実施形態が考えられる。さらなる画像データは、それぞれのさらなる時点における対象物の3次元形態を表す、第1の時点及び第2の時点の後の複数の時点において連続的に記録された複数の画像データを含むことができる。さらなる画像データは処理され、複数のさらなる時点のうちの少なくとも2つの間の対象物の形態の変化を表す差分データが生成される。さらなる画像データの特性は、上述した第1の画像データ及び第2の画像データの特性に類似していてもよい。したがって、さらなる画像データを、上述した第1の画像データ及び/又は第2の画像データの任意の記録、処理及び/又は使用と同様に、記録し、処理し、及び/又は使用することができる。このように、本発明の方法は、第1の時点、第2の時点及びさらなる時点に及ぶある期間にわたり対象物の体積等の形態の変化をモニタリングすることができる。したがって、対象物の形態変化を、連続的にモニタリングすることができる。
さらなる例示的な実施形態では、上述したモニタリング装置を、対象物の3次元形態のモニタリングが必要な他の応用に加えて、動物のモニタリング及び獣医医療、身体研究に対するデータ取込み、生物学的モデリング及びアバターアニメーションに用いることができる。
さらに、本発明の方法は、たとえば病院、医療センター又は地域診療所環境において、又は移動環境、たとえば救急医療/外来、野戦病院(民間、軍隊)又は災害復旧センターにおける呼吸及び他の生命兆候をモニタリングすることができる。
投影システムは、一組の光学パターンを照明する光源(たとえばコリメートLED源)を含むことができ、光学パターンは、物理的媒体、たとえばフィルム又はガラス上に生成され、そのパターンが取り付けられ光源の正面に配置される機械システム、たとえば回転ホイールを介して配列される。
視野角を、3つ以上の記録システム及び2つ以上の投影システムを用いることによって増大させることができ、それにより、対象物/被験者のより広い表面積を取り込むことができ、取り込まれる領域が、配置されるn個のカメラのうちの少なくとも2つを有することが確実になる。図6は、被験者/対象物のスキャン有効範囲を増大させる1つの配置を示す。
上述したように、対象物の少なくとも一部の3次元表現を、たとえば2つのカメラを用いて、対象物上の投影パターンの1つの時点に取り込まれた複数の画像を用いて導出することができる。1つの時点に複数の画像を取得することにより、対象物の有効範囲がより広い及び/又はある対象物の部分の閉鎖問題が軽減した画像データを得ることができる。本発明の他の有利な実施形態では、記録システムは、第1の時点及び第2の時点、並びに場合によってはさらなる時点に対象物上の投影パターンの少なくとも一部の1つの画像を記録する1つのカメラのみを有することができる。対象物の少なくとも一部の3次元表現を、それぞれの画像各々における記録されたパターンを解釈することによって、各時点に導出することができる。したがって、こうした実施形態では、複数のカメラは不要である。
本装置は、記録システム及び投影システムを備えることができ、記録システムによって取り込まれた画像データを、3次元形態を表す画像データと差分データとを生成するために、処理に適した形態で提供することができる。画像データのこうした処理を、記録システム及び投影システムから遠隔で処理することができ、したがって、処理システムを、別の部屋に配置することができ、又は別の国に配置し、コンピュータネットワークを介して記録及び投影システムに接続し、画像データを処理システムに提供するように構成される記録及び投影システムから画像データを受け取るように構成することができる。
任意の1つの実施形態に関連して説明した任意の特徴を、単独で用いても、説明した他の特徴と組み合わせて用いてもよく、実施形態の他の任意のものの1つ又は複数の特徴と組み合わせて、又は実施形態のうちの他の任意のものと任意の組合せで用いてもよいことが理解されるべきである。さらに、上述していない均等物及び変更形態も、添付の特許請求の範囲で定義される本発明の範囲から逸脱することなく採用してもよい。

Claims (38)

  1. 対象物をモニタリングする方法であって、
    a)モニタリングするために対象物に放射線のパターンを投影するステップと、
    b)第1の時点に、前記対象物上の前記放射線の投影パターンの少なくとも一部分を表す第1の画像データを記録するステップであり、前記第1の画像データが、前記第1の時点における前記対象物の3次元形態を表す、ステップと、
    c)第2の時点に、前記対象物上の前記放射線の投影パターンの少なくとも一部分を表す第2の画像データを記録するステップであり、前記第2の画像データが、前記第2の時点における前記対象物の3次元形態を表す、ステップと、
    d)前記第1の画像データ及び前記第2の画像データを処理して、前記第1の時点と前記第2の時点との間の前記対象物の前記形態の変化を表す差分データを生成するステップと
    を含む方法。
  2. 前記第1の画像データ及び前記第2の画像データを処理して、前記第1の時点と前記第2の時点との間の前記対象物の体積の変化を表す差分データを生成するステップを含む、請求項1に記載の方法。
  3. 前記ステップb)及び前記ステップc)における前記部分が、実質的に前記パターンの同じ部分である、請求項1又は2に記載の方法。
  4. 前記ステップb)及び前記ステップc)における前記部分が、前記パターンの異なる部分である、請求項1又は2に記載の方法。
  5. 前記第1の画像データ及び前記第2の画像データを処理して、前記第1の時点と前記第2の時点との間の前記対象物の全体的な動きを特定するステップを含む、請求項4に記載の方法。
  6. 前記放射線のパターンが、強度が空間的に変化するパターンである、請求項1〜5のいずれか一項に記載の方法。
  7. 前記放射線のパターンが、空間的に分散した交差点、角及び/又は円形パッチの組合せを含む、請求項6に記載の方法。
  8. 前記放射線のパターンが、非電離電磁放射線のパターンである、請求項1〜7のいずれか一項に記載の方法。
  9. 前記パターンが可視光線のパターンである、請求項8に記載の方法。
  10. 前記パターンが、赤外線のパターンである、請求項1〜8のいずれか一項に記載の方法。
  11. 前記ステップa)において、放射線からなる連続する種々のパターンが前記対象物上に投影され、前記種々のパターンの各々が、異なる時点に連続的に投影される、請求項1〜10のいずれか一項に記載の方法。
  12. 複数のさらなる時点に前記対象物上の前記放射線の投影パターンの少なくとも一部を表すさらなる画像データを記録するステップであり、前記さらなる画像データが、前記複数のさらなる時点の各々における前記対象物の3次元形態を表す、ステップと、
    前記さらなる画像データを処理して、前記複数のさらなる時点のうちの少なくとも2つの間の前記対象物の前記形態の変化を表す差分データを生成するステップと
    を含む、請求項1〜11のいずれか一項に記載の方法。
  13. 前記さらなる画像データが、1秒当たり50〜360の時点の速度で記録される、請求項12に記載の方法。
  14. 前記対象物のうちで前記放射線のパターンが投影されない部分の形態を近似するステップを含む、請求項1〜13のいずれか一項に記載の方法。
  15. 前記近似に対して前記第1の画像データ及び/又は前記第2の画像データを用いるステップを含む、請求項14に記載の方法。
  16. 前記対象物の前記部分の前記近似された形態を用いて前記差分データを生成するステップを含む、請求項14又は15に記載の方法。
  17. 前記対象物が人である、請求項1〜16のいずれか一項に記載の方法。
  18. 前記人を特徴付ける生物物理学的モデルデータを用いて前記第1の画像データ及び前記第2の画像データを処理するステップを含む、請求項17に記載の方法。
  19. 前記生物物理学的モデルデータが、前記人のサイズ、年齢、性別及び/又は体格を表すパラメータを含む、請求項18に記載の方法。
  20. 前記形態の変化が、前記人の肺機能を示す、請求項17、18又は19に記載の方法。
  21. 少なくとも前記ステップa)及び関ステップb)を実行するように構成された装置を較正するステップをさらに含み、較正する前記ステップが、
    較正対象物上に放射線の較正パターンを投影するサブステップと、
    前記放射線の投影された較正パターンの少なくとも一部を表す較正画像データを記録するサブステップであって、前記較正画像データが、前記較正対象物の3次元形態を表す、サブステップと、
    前記ステップd)において、前記第1の画像データ及び前記第2の画像データを、前記較正画像データを用いて処理して、前記差分データを生成するサブステップと
    を含む、請求項1〜20のいずれか一項に記載の方法。
  22. 前記較正対象物上に放射線からなる連続する種々の較正パターンを投影するステップと、前記放射線の種々の較正パターンの各々に対して前記較正画像データを記録するステップとを含む、請求項21に記載の方法。
  23. 前記ステップa)〜d)を実行する前に前記較正を実行して、前記第1の画像データ及び/又は前記第2の画像データから前記対象物の寸法を確定するために用いる単位尺度を確定するステップを含む、請求項21又は22に記載の方法。
  24. 前記ステップa)における前記投影が、前記較正パターンか又は前記較正パターンのうちの少なくとも1つをモニタリングのために前記対象物上に投影するサブステップをさらに含み、前記ステップb)及び/又は前記ステップc)で記録された前記第1の画像データ及び/又は前記第2の画像データが、当該方法を実行する装置の投影システム及び記録システムの特徴を表す較正画像データを含む、請求項21、22又は23に記載の方法。
  25. 前記放射線の投影パターンと前記投影較正パターン又は前記較正パターンのうちの少なくとも1つとが、互いに交互に配置されている、請求項24に記載の方法。
  26. 対象物をモニタリングする方法であって、
    a)モニタリングするために対象物上に放射線のパターンを投影するステップと、
    b)第1の時点に、前記対象物上の前記放射線の投影パターンの少なくとも一部を表す第1の画像データを記録するステップであり、前記第1の画像データが、前記第1の時点における前記対象物の3次元形態を表す、ステップと、
    c)第2の時点に、前記対象物上の前記放射線の投影パターンの少なくとも一部を表す第2の画像データを記録するステップであり、前記第2の画像データが、前記第2の時点における前記対象物の3次元形態を表す、ステップと、
    d)前記第1の画像データ及び前記第2の画像データを処理システムに提供して、前記第1の時点と前記第2の時点との間の前記対象物の前記形態の変化を表す差分データを生成するステップと
    を含む方法。
  27. 対象物をモニタリングする方法であって、
    a)i)モニタリングするために対象物上に放射線のパターンを投影するサブステップと、
    ii)第1の時点に、前記対象物上の前記放射線の投影パターンの少なくとも一部を表す第1の画像データを記録するサブステップであり、前記第1の画像データが、前記第1の時点における前記対象物の3次元形態を表す、サブステップと、
    iii)第2の時点に、前記対象物上の前記放射線の投影パターンの少なくとも一部を表す第2の画像データを記録するサブステップであり、前記第2の画像データが、前記第2の時点における前記対象物の3次元形態を表す、サブステップと
    によって記録された第1の画像データ及び第2の画像データを受け取るステップと、
    b)前記第1の画像データ及び前記第2の画像データを処理して、前記第1の時点と前記第2の時点との間の前記対象物の前記形態の変化を表す差分データを生成するステップと
    を含む方法。
  28. 請求項1〜27のいずれか一項に記載の方法を実行するように構成されたコンピュータソフトウェア。
  29. 請求項28に記載のソフトウェアを格納するデータキャリア。
  30. 対象物をモニタリングする装置であって、
    モニタリングするために対象物上に放射線のパターンを投影するように構成された投影システムと、
    第1の時点及び第2の時点それぞれにおいて、前記対象物上の前記投影パターンの少なくとも一部を表す第1の画像データ及び第2の画像データを記録するように構成された記録システムであり、前記第1の画像データ及び前記第2の画像データが、前記第1の時点及び前記第2の時点それぞれにおける前記対象物の3次元形態を表す、記録システムと、
    前記第1の画像データ及び前記第2の画像データを処理して、前記第1の時点と前記第2の時点との間の前記対象物の前記形態の変化を表す差分データを生成するように構成された処理システムと
    を具備する装置。
  31. 前記記録システムが、1つの時点に前記放射線の投影パターンの少なくとも一部の複数の画像を記録して、前記対象物の3次元形態を表す画像データを記録するように構成され、前記複数の画像の各々が前記対象物の異なる視点で記録される、請求項30に記載の装置。
  32. 前記投影システムによる投影のために前記放射線のパターンを生成するように構成されたパターン発生器を具備する、請求項30又は31に記載の装置。
  33. 前記パターン発生器が、モニタリング及び/又は較正対象物のために前記対象物上に投影する少なくとも1つの較正パターンを生成するように構成されている、請求項32に記載の装置。
  34. 前記放射線のパターンが、非電離電磁放射線のパターンである、請求項30〜33のいずれか一項に記載の装置。
  35. 前記投影システムが、可視光線として前記放射線のパターンを投影するように構成され、前記記録手段が可視光線を検出するように構成されている、請求項34に記載の装置。
  36. 前記投影システムが、赤外線として前記放射線のパターンを投影するように構成され、前記記録システムが赤外線を検出するように構成されている、請求項34に記載の装置。
  37. 前記放射線のパターンが、強度が空間的に変化するパターンである、請求項30〜36のいずれか一項に記載の装置。
  38. 前記放射線のパターンが、空間的に分散した交差点、角及び/又は円形パッチの組合せを含む、請求項37に記載の装置。
JP2011540093A 2008-12-11 2009-12-10 対象物をモニタリングする方法及び装置 Pending JP2012511707A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0822605.2 2008-12-11
GBGB0822605.2A GB0822605D0 (en) 2008-12-11 2008-12-11 Method and apparatus for monitoring an object
PCT/EP2009/066790 WO2010066824A2 (en) 2008-12-11 2009-12-10 Method and apparatus for monitoring an object

Publications (2)

Publication Number Publication Date
JP2012511707A true JP2012511707A (ja) 2012-05-24
JP2012511707A5 JP2012511707A5 (ja) 2013-01-31

Family

ID=40325936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011540093A Pending JP2012511707A (ja) 2008-12-11 2009-12-10 対象物をモニタリングする方法及び装置

Country Status (10)

Country Link
US (2) US9204824B2 (ja)
EP (1) EP2384420B1 (ja)
JP (1) JP2012511707A (ja)
KR (1) KR20110105789A (ja)
CN (1) CN102301202B (ja)
AU (1) AU2009324342A1 (ja)
CA (1) CA2746483A1 (ja)
DK (1) DK2384420T3 (ja)
GB (1) GB0822605D0 (ja)
WO (1) WO2010066824A2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013248387A (ja) * 2012-06-01 2013-12-12 Xerox Corp 呼吸速度推定のためのビデオプロセッシング
JP6002811B1 (ja) * 2015-05-20 2016-10-05 シャープ株式会社 計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム
JP2017505178A (ja) * 2014-02-05 2017-02-16 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 光線治療処理の間のバイタルサインのカメラベースのモニタリング
JP2020181400A (ja) * 2019-04-25 2020-11-05 キヤノン株式会社 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3117768B1 (en) 2006-05-19 2019-11-06 The Queen's Medical Center Motion tracking system and method for real time adaptive imaging and spectroscopy
KR101714050B1 (ko) * 2010-11-01 2017-03-08 삼성전자주식회사 휴대단말기의 데이터 표시장치 및 방법
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
US9595115B1 (en) 2011-09-19 2017-03-14 Amazon Technologies, Inc. Visualizing change in augmented reality environments
BR112014009334A2 (pt) 2011-10-20 2017-12-05 Koninklijke Philips Nv dispositivo e método de monitoramento do movimento e orientação de pessoas; processador para uso em dispositivos de monitoramento do movimento e orientação de pessoas; método de processamento para uso em dispositivos de monitoramento do movimento e orientação de pessoas; e programa de computador
DE102011121696A1 (de) * 2011-12-16 2013-06-20 Friedrich-Schiller-Universität Jena Verfahren zur 3D-Messung von tiefenlimitierten Objekten
WO2013174980A1 (en) 2012-05-25 2013-11-28 Danmarks Tekniske Universitet Apparatus and method for motion tracking in brain imaging
EP2873060B1 (en) * 2012-07-10 2016-01-13 Koninklijke Philips N.V. Embolization volume reconstruction in interventional radiography
WO2014059681A1 (zh) * 2012-10-20 2014-04-24 因美吉智能科技(济南)有限公司 非接触式儿科测量方法和测量设备
CN103750817B (zh) * 2012-10-20 2018-03-16 因美吉智能科技(济南)有限公司 非接触式儿科测量方法和测量设备
WO2014083337A1 (en) * 2012-11-27 2014-06-05 Pneumacare Limited Analysis of breathing data
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
EP2770296A1 (de) * 2013-02-25 2014-08-27 Siemens Aktiengesellschaft Verfahren zur Objektmarkierung mittels 3D-Oberflächeninspektionssystem mittels 2D-Aufnahmen und Verfahren
CN103278141B (zh) * 2013-03-06 2016-05-18 北京工业大学 婴幼儿睡眠监控系统及方法
US20140276104A1 (en) * 2013-03-14 2014-09-18 Nongjian Tao System and method for non-contact monitoring of physiological parameters
US10292623B2 (en) 2013-03-15 2019-05-21 Koninklijke Philips N.V. Apparatus and method for determining a respiration volume signal from image data
WO2014171418A1 (ja) * 2013-04-19 2014-10-23 凸版印刷株式会社 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
CN105744882A (zh) * 2013-11-13 2016-07-06 丹麦科技大学 在医学成像中进行表面扫描的方法和相关设备
GB2547357B (en) * 2013-11-27 2017-10-25 Pneumacare Ltd Analysis of breathing data
GB2522452B (en) 2014-01-24 2017-07-19 Chapelglade Ltd System for measuring body characteristics relevant for mattress selection
CN106134192B (zh) * 2014-03-25 2020-08-11 株式会社索思未来 图像解码装置、图像解码方法及集成电路
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
DE102014110536A1 (de) * 2014-07-25 2016-01-28 E. Zoller GmbH & Co. KG Einstell- und Messgeräte Lichtprojektor
US10091418B2 (en) * 2014-10-24 2018-10-02 Bounce Imaging, Inc. Imaging systems and methods
CN107110637B (zh) * 2014-12-22 2019-11-01 赛博光学公司 对三维测量系统的校准进行更新
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
EP3158502B1 (en) * 2015-08-10 2018-07-25 Koninklijke Philips N.V. Furniture occupancy monitoring
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10667723B2 (en) 2016-02-19 2020-06-02 Covidien Lp Systems and methods for video-based monitoring of vital signs
US10403037B1 (en) * 2016-03-21 2019-09-03 URC Ventures, Inc. Verifying object measurements determined from mobile device images
USD854074S1 (en) 2016-05-10 2019-07-16 Udisense Inc. Wall-assisted floor-mount for a monitoring camera
US10925496B2 (en) 2016-07-16 2021-02-23 Alexander Misharin Methods and systems for obtaining physiologic information
US11412943B2 (en) 2016-07-16 2022-08-16 Olesya Chornoguz Methods and systems for obtaining physiologic information
US11889979B2 (en) * 2016-12-30 2024-02-06 Barco Nv System and method for camera calibration
US10186049B1 (en) 2017-03-06 2019-01-22 URC Ventures, Inc. Determining changes in object structure over time using mobile device images
USD855684S1 (en) 2017-08-06 2019-08-06 Udisense Inc. Wall mount for a monitoring camera
US10939824B2 (en) 2017-11-13 2021-03-09 Covidien Lp Systems and methods for video-based monitoring of a patient
CN111372516A (zh) 2017-11-22 2020-07-03 乌迪森斯公司 呼吸监控器
CN111565638B (zh) 2018-01-08 2023-08-15 柯惠有限合伙公司 用于基于视频的非接触式潮气容积监测的系统和方法
KR102048364B1 (ko) * 2018-04-13 2019-11-25 엘지전자 주식회사 로봇 청소기
US10930001B2 (en) * 2018-05-29 2021-02-23 Zebra Technologies Corporation Data capture system and method for object dimensioning
US10650585B2 (en) 2018-06-08 2020-05-12 Data Integrity Advisors, Llc System and method for geometrically-resolved radiographic X-ray imaging
US11754712B2 (en) * 2018-07-16 2023-09-12 Cilag Gmbh International Combination emitter and camera assembly
CN109211143A (zh) * 2018-09-21 2019-01-15 苏州佳世达光电有限公司 三维扫描系统
US11617520B2 (en) * 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
USD900431S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle blanket with decorative pattern
USD900429S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle band with decorative pattern
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
USD900428S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle band
USD900430S1 (en) 2019-01-28 2020-11-03 Udisense Inc. Swaddle blanket
GB201914842D0 (en) * 2019-10-14 2019-11-27 Binatone Electronics Int Ltd Breathing detection apparatus and methods for detecting breathing
US11282291B1 (en) 2021-02-09 2022-03-22 URC Ventures, Inc. Determining object structure using fixed-location cameras with only partial view of object
US11989899B2 (en) 2021-02-09 2024-05-21 Everypoint, Inc. Determining object structure using physically mounted devices with only partial view of object
US11741618B2 (en) 2021-03-22 2023-08-29 Everypoint, Inc. Performing object modeling by combining visual data from images with motion data of the image acquisition device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175582A (ja) * 2000-12-07 2002-06-21 Keio Gijuku 監視装置
JP2005003366A (ja) * 2003-06-09 2005-01-06 Sumitomo Osaka Cement Co Ltd 状態解析装置
JP2005003367A (ja) * 2003-06-09 2005-01-06 Sumitomo Osaka Cement Co Ltd 三次元形状測定装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9107740D0 (en) 1991-04-11 1991-05-29 Atomic Energy Authority Uk Method of monitoring displacements
AT404638B (de) * 1993-01-28 1999-01-25 Oesterr Forsch Seibersdorf Verfahren und vorrichtung zur dreidimensionalen vermessung der oberfläche von gegenständen
JP3263035B2 (ja) 1997-11-21 2002-03-04 東芝エンジニアリング株式会社 呼吸モニタリングの関心領域設定装置および呼吸モニタリングシステム
US6352517B1 (en) 1998-06-02 2002-03-05 Stephen Thomas Flock Optical monitor of anatomical movement and uses thereof
WO2001082785A2 (en) 2000-05-03 2001-11-08 Flock Stephen T An optical monitor for sudden infant death syndrome
WO2002075245A1 (en) * 2001-03-13 2002-09-26 Solutionix Co., Ltd. Apparatus and method for measuring three dimensional shape with multi-stripe patterns
GB0404269D0 (en) * 2004-02-26 2004-03-31 Leuven K U Res & Dev Time-dependent three-dimensional musculo-skeletal modeling based on dynamic surface measurements of bodies
US7903849B2 (en) * 2005-04-15 2011-03-08 Kabushiki Kaisha Toshiba Medical image processing apparatus
US8504140B2 (en) * 2008-04-08 2013-08-06 Bruker Biospin Corporation Apparatus and method for fluorescence imaging and tomography using spatially structured illumination
US8199970B2 (en) 2006-06-06 2012-06-12 Nec Corporation Moving amount calculation system and obstacle detection system
WO2009083973A1 (en) * 2007-12-31 2009-07-09 Real Imaging Ltd. System and method for registration of imaging data
JP6818456B2 (ja) 2016-07-14 2021-01-20 株式会社竹中工務店 柱の接続構造

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175582A (ja) * 2000-12-07 2002-06-21 Keio Gijuku 監視装置
JP2005003366A (ja) * 2003-06-09 2005-01-06 Sumitomo Osaka Cement Co Ltd 状態解析装置
JP2005003367A (ja) * 2003-06-09 2005-01-06 Sumitomo Osaka Cement Co Ltd 三次元形状測定装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013248387A (ja) * 2012-06-01 2013-12-12 Xerox Corp 呼吸速度推定のためのビデオプロセッシング
JP2017505178A (ja) * 2014-02-05 2017-02-16 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 光線治療処理の間のバイタルサインのカメラベースのモニタリング
JP6002811B1 (ja) * 2015-05-20 2016-10-05 シャープ株式会社 計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム
WO2016186172A1 (ja) * 2015-05-20 2016-11-24 シャープ株式会社 計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム
JP2020181400A (ja) * 2019-04-25 2020-11-05 キヤノン株式会社 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
US20140140592A1 (en) 2014-05-22
CA2746483A1 (en) 2010-06-17
EP2384420A2 (en) 2011-11-09
WO2010066824A2 (en) 2010-06-17
US9204825B2 (en) 2015-12-08
CN102301202B (zh) 2017-04-26
GB0822605D0 (en) 2009-01-21
WO2010066824A3 (en) 2010-10-07
CN102301202A (zh) 2011-12-28
DK2384420T3 (en) 2016-06-27
AU2009324342A1 (en) 2011-07-07
KR20110105789A (ko) 2011-09-27
US9204824B2 (en) 2015-12-08
US20130002832A1 (en) 2013-01-03
EP2384420B1 (en) 2016-03-30

Similar Documents

Publication Publication Date Title
US9204825B2 (en) Method and apparatus for monitoring an object
US10506952B2 (en) Motion monitor
US8792969B2 (en) Respiratory function estimation from a 2D monocular video
Ma et al. Validation of a three-dimensional facial scanning system based on structured light techniques
CN111374675A (zh) 用于在医学成像会话中检测患者状态的系统和方法
US11850026B2 (en) Remote portable vital signs monitoring
EP2950714A1 (en) Motion tracking system for real time adaptive motion compensation in biomedical imaging
Rehouma et al. 3D imaging system for respiratory monitoring in pediatric intensive care environment
JP2005218507A (ja) バイタルサイン計測方法と装置
US20230005154A1 (en) Apparatus, method and computer program for monitoring a subject during a medical imaging procedure
Rehouma et al. Quantitative assessment of spontaneous breathing in children: evaluation of a depth camera system
Kaushik et al. Advanced 3D body scanning techniques and its clinical applications
US20220378321A1 (en) Methods and systems for assessing severity of respiratory distress of a patient
CA3084779A1 (en) Remote portable vital signs monitoring
Jawaid et al. Advancements in medical imaging through Kinect: A review
JP2022514167A (ja) 対象者をモニタリングするための装置、システム及び方法
RU2663387C1 (ru) Контактное устройство для измерения конфигурации и размеров объемного тела, система измерения конфигурации и размеров объемного тела, способ измерения конфигурации и размеров объемного тела
Munkelt et al. Irritation-free optical 3D-based measurement of tidal volume
Chu Remote Vital Signs Monitoring with Depth Cameras
KR20230163211A (ko) 의료영상 표시방법 및 그 장치
Tomaka et al. 3D Head surface scanning techniques for orthodontics
Verster A structured light solution for detecting scapular dyskinesis
Marques Measurement of imperceptible breathing movements from Kinect Skeleton Data
Noonan An Investigation Into Motion Correction Schemes For High Resolution 3D PET And PET/CT

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130903

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131203

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131210

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140203

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140715

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140929

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141006

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150310