JP2020537279A - 非侵襲的な血液学的測定のためのシステム、デバイス、および方法 - Google Patents

非侵襲的な血液学的測定のためのシステム、デバイス、および方法 Download PDF

Info

Publication number
JP2020537279A
JP2020537279A JP2020542060A JP2020542060A JP2020537279A JP 2020537279 A JP2020537279 A JP 2020537279A JP 2020542060 A JP2020542060 A JP 2020542060A JP 2020542060 A JP2020542060 A JP 2020542060A JP 2020537279 A JP2020537279 A JP 2020537279A
Authority
JP
Japan
Prior art keywords
capillary
capillaries
image
event
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020542060A
Other languages
English (en)
Inventor
カルロス カストロ−ゴンザレス
カルロス カストロ−ゴンザレス
イアン バターワース
イアン バターワース
オーレリエン ブカード
オーレリエン ブカード
アルヴァロ サンチェス−フェッロ
アルヴァロ サンチェス−フェッロ
ジェイソン タッカー−シュワルツ
ジェイソン タッカー−シュワルツ
アルベルト パブロ−トリニダート
アルベルト パブロ−トリニダート
マリア ジェイ. レドメスマ−カルバヨ
マリア ジェイ. レドメスマ−カルバヨ
トム ヴェッテンバーグ
トム ヴェッテンバーグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Massachusetts Institute of Technology
Original Assignee
Massachusetts Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Massachusetts Institute of Technology filed Critical Massachusetts Institute of Technology
Publication of JP2020537279A publication Critical patent/JP2020537279A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6825Hand
    • A61B5/6826Finger
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Cardiology (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Hematology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Databases & Information Systems (AREA)

Abstract

非侵襲的な血液学的測定のためのシステムは、ユーザの身体の一部分を受けるプラットフォームと、身体の一部分内の毛細血管床の画像セットを取得するための撮像デバイスとを含む。各画像について、コントローラは、各毛細血管の一つまたは複数の属性(例えば、構造的属性、流れの属性、撮像属性、またはそれらの組合せ)を推定することによって、指の身体の一部分内の一つまたは複数の毛細血管を検出して、第一の毛細血管セットを識別し、各毛細血管の少なくとも一つの属性は、所定の基準を満たす。コントローラはまた、第一の毛細血管セットから第二の毛細血管セットを識別し、その結果、第二の毛細血管セットの各毛細血管は、上記画像セットの所定の数の画像において可視である。【選択図】図23

Description

関連出願に対する相互参照
本出願は、その全体の開示が参照によりここに組み込まれる2017年10月16日出願の「DEVICE AND METHODS FOR NON−INVASIVE HEMATOLOGICAL MEASUREMENTS」と題する米国仮特許出願第62/572,738号の優先権を主張するものである。
支援の申告
本発明は、国立衛生研究所によって授与された助成番号U54EB015403の下、政府支援により行われた。政府は、本発明において特定の権利を有する。
本開示は、概して、血液細胞の動態および細胞集団の動態を分析するためのシステム、装置、および方法に関する。より具体的には、本開示は、非侵襲的な、in vivoの、および/または低速度撮影の画像から白血球細胞の情報を抽出するためのシステム、装置、および方法に関する。
白血球細胞(WBC、または白血球とも呼ばれる)は、感染性疾患および外来性侵入体の両方に対し身体を保護する際に関与する免疫系の細胞である。WBCは、血液中だけでなくリンパ系および組織内にも存在しうる。一部の状態は、免疫系内の応答を誘発し、WBCの数(WBC計数とも呼ばれる)の増加を引き起こしうる。他の状態は、骨髄によるWBCの産生、または循環系の既存のWBCの生存に影響を及ぼしうる。どちらにしても、これらの状態は、循環WBCの数の変化(増加または減少のどちらか)を引き起こしうる。したがって、WBC計数は、様々な状態の診断、モニタリング、および治療のための関連の生理学的パラメータとすることができ、その状態としては、以下に限定されないが、細菌感染およびウイルス感染(例えば肺炎または髄膜炎)、化学療法毒性に関連する骨髄機能性、および白血病などの血液学的増殖過程が挙げられる。
現在の臨床診療では、WBC計数を導出する検査の殆どが、中央の臨床検査所で大規模な機器を用いて実施される。一般に、これらのex vivo検査は、血液試料(通常、各検査についてバイアル1本を満たす血液が必要である)を患者から収集するために、依然として侵襲的である。次いで、これらの血液試料は、輸送され、並べられ、臨床検査で分析されるが、それにより、何らかの結果を受け取るには数日間かかる場合がある。この手順は、定期的なWBC計数を必要とする患者にとって、または状態の発現した患者ならびにその看護者にとっては、負担となりうる。さらに、従来の血液検査のex vivoの性質ゆえに、測定値と真の生理学的特性との間の固有の差に起因して、一部のパラメータのある特定のバイアスがあることがある。
システムは、使用中にユーザの身体の一部分を受けるプラットフォームと、プラットフォームに結合されており、かつ身体の一部分の少なくとも毛細血管床の画像セットを取得するための撮像デバイスとを含む。システムはまた、前記撮像デバイスに通信可能に結合されており、かつ上記画像セットの各画像において、上記身体の一部分の一つまたは複数の毛細血管を検出して、上記画像セットにわたって第一の毛細血管セットを識別するための、コントローラを含む。上記検出することは、第一の毛細血管セットの各毛細血管の一つまたは複数の属性を推定することを含み、この一つまたは複数の属性は、一つまたは複数の構造的属性、一つまたは複数の流れの属性、一つまたは複数の画像的属性、またはそれらの組合せを含む。第一の毛細血管セットの各毛細血管の一つまたは複数の属性のうちの第一の属性は、第一の属性の所定の基準を満たす。コントローラはまた、第一の毛細血管セットから第二の毛細血管セットを識別し、その結果、第二の毛細血管セットの各毛細血管は、上記画像セットの所定の数の画像において可視である。
ユーザの身体の一部分の少なくとも毛細血管床の画像セットを取得すること、および上記画像セットの各画像において、上記身体の一部分の一つまたは複数の毛細血管を検出して、上記画像セットにわたって第一の毛細血管セットを識別することを含む、方法。上記検出することは、第一の毛細血管セットの各毛細血管の一つまたは複数の属性を推定することを含み、この一つまたは複数の属性は、一つまたは複数の構造的属性、一つまたは複数の流れの属性、一つまたは複数の画像的属性、またはそれらの組合せを含む。第一の毛細血管セットの各毛細血管の一つまたは複数の属性のうちの第一の属性は、第一の属性の所定の基準を満たす。方法はまた、第一の毛細血管セットから第二の毛細血管セットを識別し、その結果、第二の毛細血管セットの各毛細血管は、上記画像セットの所定の数の画像において可視であるということを含む。
ユーザの身体の一部分の毛細血管床の画像セットを受信する、かつ上記画像セットの各画像において上記指の身体の一部分の毛細血管床の一つまたは複数の毛細血管を検出して、上記画像セットにわたって第一の毛細血管セットを識別する、コントローラを含む、装置。上記検出することは、第一の毛細血管セットの各毛細血管の一つまたは複数の属性を推定することを含み、この一つまたは複数の属性は、一つまたは複数の構造的属性、一つまたは複数の流れの属性、一つまたは複数の画像的属性、またはそれらの組合せを含む。第一の毛細血管セットの各毛細血管の一つまたは複数の属性のうちの第一の属性は、第一の属性の所定の基準を満たす。コントローラはまた、第一の毛細血管セットから第二の毛細血管セットを識別し、その結果、第二の毛細血管セットの各毛細血管は、上記画像セットの所定の数の画像において可視である。コントローラはまた、上記画像セットについて、および第二の毛細血管セットにおいて、細胞事象のセットを検出し、この細胞事象のセットの各細胞事象は、第二の毛細血管セットのある毛細血管における白血球細胞の通過に関連する。コントローラはまた、細胞事象のセットに基づいて、第二の毛細血管セットの事象計数を推定する。
前述の概念と以下にさらに詳細に議論される追加的な概念との全ての組合せは(このような概念は相互に矛盾していないという前提で)、本明細書に開示される本発明の主題の一部であるものと考えられることが理解されるべきである。特に、本開示の最後に現れる特許請求の範囲に記載される主題の全ての組合せは、本明細書に開示される発明の主題の一部であるものと考えられる。また、参照により組み込まれる任意の開示において明示的に利用される用語は、本明細書に開示される特定の概念と最も一致する意味が与えられるべきであることが理解されるべきである。
特許または出願ファイルは、彩色された少なくとも一つの図面を含む。彩色された図面を伴う本特許または特許出願公開の複製は、要請および必要な料金の支払いがあった際に庁により提供されるものとなる。
当業者は、図面が主として例示的な目的であること、そして本明細書に記載される本発明の主題の範囲を制限することを意図していないことを理解するものとなる。図面は必ずしも一定の比率ではなく、一部の例では、本明細書に開示される本発明の主題の様々な態様は、異なる特徴の理解を容易にするために、図面内で誇張または拡大されて示されうる。図面では、同様の参照文字は概して、同様の特徴(例えば、機能的に類似したおよび/または構造的に類似した要素)を意味する。
図1は、一部の実施形態による血液細胞の動態を解析する方法を図示するフローチャートである。 図2は、一部の実施形態による、空間時間的プロファイルおよびラドン変換を使用して血液細胞の動態を解析する方法を図示するフローチャートである。 図3は、一部の実施形態による、図1〜2に図示された方法で使用できる爪郭の画像の一例である。 図4A〜図4Bは、一部の実施形態による、毛細血管のユーザ指定の輪郭点をリサンプリングするための、図1〜図2に図示された方法で使用できるキュービックスプライン補間のプロットである。 図5は、一部の実施形態による、二つの毛細血管、ユーザ指定の輪郭点、およびリサンプリングされた輪郭曲線を含む、爪郭の画像である。 図6A〜図6Bは、一部の実施形態による、図5に示される二つの毛細血管から抽出された空間時間的プロファイルの表現である。 図7は、一部の実施形態による、空間時間的プロファイル上で実施されるラドン変換の表現である。 図8A〜図8Bは、一部の実施形態による、WBC事象を標示するように強調表示された局所最大値を有する、ラドンドメインにおける空間時間的プロファイルの表現である。 図9A〜図9Bは、一部の実施形態による、図5に示される二つの毛細血管内に発生したWBC事象の実験結果を表すプロットである。 図10は、一部の実施形態による図2に図示される方法から得られたWBC事象と、訓練されたヒト査定者によって識別されたWBC事象とを比較するプロットである。 図11A〜図11Cは、一部の実施形態による、指ホルダーおよび撮像器を使用して血液細胞の動態を分析するためのシステムの概略図である。 同上。 同上。 図12A〜図12Bは、一部の実施形態による、垂直の構成の撮像器を使用して血液細胞の動態を分析するためのシステムの概略図である。 同上。 図13は、一部の実施形態による、スマートフォンを使用した血液細胞の動態分析を解析するためのシステムの概略図である。 図14A〜図14Dは、一部の実施形態による、血液細胞の動態分析を解析するためのシステムおよび装置の画像である。 同上。 図15A〜図15Jは、一部の実施形態による、血液細胞の動態分析のためにスマートフォンカメラを用いて爪郭の画像を取り込むためのアダプタの図である。 同上。 図16は、一部の実施形態による、血液細胞の動態分析のために爪郭の画像を取り込むためのスマートフォンおよびアダプタを含むシステムの概略図である。 図17A〜図17Bは、一部の実施形態による、血液細胞の動態分析のために爪郭の画像を取り込むためのスマートフォンおよびアダプタを含むシステムの画像である。 図18は、一部の実施形態による、図17A〜図17Bに示されるシステムによって取り込まれた画像の一例である。 図19は、一部の実施形態による、爪郭の画像から血液細胞の動態分析を実施するためのクランプデバイスの概略図である。 図20は、爪郭の画像を取り込むために用い、血液細胞の動態を分析する、クランプデバイスの画像である。 図21A〜図21Fおよび図21G〜図21Oは、一部の実施形態による、毛細血管顕微鏡検査および血液学的分析のためにスマートフォンカメラを用いて爪郭の画像を取り込むための、スマートフォンアダプタのそれぞれ画像およびワイヤフレームである。 同上。 同上。 図22A〜図22Dは、一部の実施形態による、毛細血管顕微鏡検査および血液学的分析のためにスマートフォンカメラを用いて爪郭の画像を取り込むためのスマートフォンアダプタを使用する方法を図示する画像である。 図23は、実施形態による、非侵襲的な血液学的測定のためのシステムを図示する。 図24A〜図24Bは、適切な毛細血管を選択するための毛細血管の追跡の基準を図示する。各毛細血管は、動画の3600フレームの間に所与の識別子(id)を用いて追跡された。図24Aでは、黒いバー=細胞計数/白血球指数を計算するために使用される毛細血管セグメントである。idは、出現量が信頼性値¢=600を超える場合(緑色の場合)に選択されるか、または、3個を超える選択された毛細血管がある場合(赤色の場合)に廃棄される。3個未満の毛細血管を有する場合は、¢=1の値である。図24Bでは、白血球指数を計算するために使用される毛細血管セグメントを緑色で示し、それ以外を赤色で示す。 図25A〜図25Bは、本明細書に記載されるニューラルネットワークベースの方法/アプローチを使用した未加工の動画における毛細血管の検出と、ヒト専門ベースでの実績との比較を図示する。2名の評価者(緑色)vsニューラルネットワーク解析の結果(赤色、重なっている場合は黄色)を合わせて得られた結果である。 図26A〜図26Cは、平均時間信号を図示する。図26Aは、解析済みの毛細血管動画のうちの一つから生成される実際の平均時間信号の一例を図示しており、そこでは、検出された事象に関連する正の値のピークを含むその最初の20秒間(フレーム1〜1200;左を参照)について、単一事象の周辺の2秒間のズーム(フレーム650〜769;右を参照)と共に示されている。この例示的な事象の周辺のズームされた時間信号は、輝度ピークを表示し、その後の一部の持続時間のわずかな「下落」も表示する。図26Bは、単一事象の通過の周辺の平均時間信号の予想プロファイルを図示し、この事象は、毛細血管内の白血球の通過に関連付けられる(右を参照)。(a)のズームされた例によれば、白血球細胞の上流の赤血球細胞の蓄積がより高いために、強度の「下落」は、強度ピークの最大値の後に、常に右側に発生するものと考えられる。図26Cは、毛細血管中の血漿ギャップの通過の周辺の平均時間信号の予想プロファイルを図示し(右側を参照)、白血球細胞がなく、それゆえに上流に赤血球細胞の蓄積がない場合には、下落は発生しないものと考えられる。 図27A〜図27Bは、自動化されたアプローチvs手動評価者による細胞事象の検出を図示する。図27Aは、青色と白色の事象マークをそれぞれ有する1名のヒト評価者(上の列)vsニューラルネットワーク(下の列)によって毛細血管動画上で検出された事象の一例を示す。図27Bは、参照に関する事象の検出について真陽性(TP)、偽陽性(FP)、および偽陰性(FN)がどのように評価されたかを図示する。右側では、分析された26個の毛細血管動画にわたる3名の評価者(赤色)およびアルゴリズム(青色)について得られた平均F1スコアがあり、上記測定基準(黒色の破線で示されるF1等曲線)に従うニューラルネットワークの性能が同等であることを提示している。事象検出の閾値を調整する場合のニューラルネットワークの予想される動作が、赤色の破線で示されている。 図28A〜図28Dは、事象の検出の方法/アプローチの一例を図示する。図28A−毛細血管を通って流れる血漿ギャップを示す選択されたフレームを含む最初の毛細血管動画であり、流れの方向が矢印によって強調されている。図28B−別の方式による暗い背景において目立った特徴として現れた事象を含む前処理された動画である。参照ピクセルPrefは赤色で示され、毛細血管に属する追加のピクセルP1およびP2は青色で示されている。図28C−参照ピクセル位置、P1、およびP2における輝度時間信号であり、測定された輝度に及ぼされる事象の影響(緑色の強調表示)をピークとして明示している。図28D−Prefの参照時間信号と整列された後、個々のピクセル位置における時間信号間の平均値として得られた最終時間信号であり、計数に使用される閾値レベルは、垂直の青色の線として示されている。 図29A〜図29Bは、本明細書に開示される全自動化されたアプローチによって生成された分類結果を、116個のデータ点に図示する。図29Aは、ベースライン状態、すなわちANC>500に関連する未加工の動画(青色)vs重度の好中球減少状態(ANC<500)に関連する未加工の動画の分類を示すボックスプロットを図示する。図29Bは、分類に関連するROC曲線を示す(AUC=0.96)。 図30は、一部の実施形態による、非侵襲的な血液学的測定のための方法のフローチャートである。 図31A〜図31Fは、ピクセル強度値の分析に基づいて血液の容量を推定する方法を図示する。 図32A〜図32Cは、毛細血管プロファイルの容量リサンプリングの方法を図示する。 図33は、観察されたサイズに基づく毛細血管のサブ選択を図示する。 図34Aおよび図34Bは、観察されたギャップ間の到着時間の分布に基づく毛細血管のサブ選択を図示する。 図35A〜図35Cは、爪郭の毛細血管の画像に基づき重度の好中球減少を検出するための装置を図示する。 図36は、図35Aに示される装置を使用して、臨床試験の患者から画像を取得する二つの異なるタイミング点を図示する。 図37Aおよび図37Bは、図35Aに示される装置によって取得された未加工の画像の例を示す。 図38A〜図38Eは、毛細血管を流れる光学ギャップの一例を図示する。 図39A〜図39Eは、図35Aに示された装置によって取得された画像を使用した、盲検化された事象評価の結果を示す。 図40は、試験された全ての毛細血管ペアにおける1分あたりの確証された事象の数を示す。 図41は、臨床試験で観察されたベースラインと重度の好中球減少との間の区別を示す。 図42は、図35Aに示された装置によって取得された画像を処理するための臨床試験における前処理のワークフローを図示する。 図43は、臨床試験における1名の単一の評価者によりラベル付けされた事象の数を示す。 図44Aおよび図44Bは、毛細血管の集合を用いたベースラインと重度の好中球減少との間の区別を示す。 図45A〜図45Cは、毛細血管のセグメンテーションの例を示す。 図46は、ショットノイズ下の毛細血管1分あたりの予想事象量を示す。 図47は、事象位置における毛細血管直径の分布を示す。 図48Aおよび図48Bは、高比率vs低比率の確証された事象を有する毛細血管のSTマップを示す。 図49は、患者01、領域1についての未加工の動画のペアにおける両方の専門家から得られた毛細血管の選択を示す。 図50は、患者01、領域2についての未加工の動画のペアにおける両方の専門家から得られた毛細血管の選択を示す。 図51は、患者02、領域1についての未加工の動画のペアにおける両方の専門家から得られた毛細血管の選択を示す。 図52は、患者02、領域2についての未加工の動画のペアにおける両方の専門家から得られた毛細血管の選択を示す。 図53は、患者03についての未加工の動画のペアにおける両方の専門家から得られた毛細血管の選択を示す。 図54は、患者04についての未加工の動画のペアにおける両方の専門家から得られた毛細血管の選択を示す。 図55は、患者05についての未加工の動画のペアにおける両方の専門家から得られた毛細血管の選択を示す。 図56は、患者06についての未加工の動画のペアにおける両方の専門家から得られた毛細血管の選択を示す。 図57は、患者07についての未加工の動画のペアにおける両方の専門家から得られた毛細血管の選択を示す。 図58は、患者08についての未加工の動画のペアにおける両方の専門家から得られた毛細血管の選択を示す。 図59は、患者09についての未加工の動画のペアにおける両方の専門家から得られた毛細血管の選択を示す。 図60は、患者10についての未加工の動画のペアにおける両方の専門家から得られた毛細血管の選択を示す。 図61A〜図61Bは、特定の持続時間の動画セグメントの分類結果を図示する。図61Aは、動画セグメントが全動画のまさに最初で開始する、動画セグメント持続時間の関数としての分類の曲線下面積(AUC)である。分類性能は、少なくとも29秒間の持続時間、すなわち元の1分間の持続時間のほぼ半分にわたって、最適に留まり、かつ全1分間の動画に基づくものに等しいままであることがわかる。図61Bは、全1分間の動画における各動画セグメントの開始時間を変化させる場合に、異なる29秒間の動画セグメントを使用する際の分類AUCを図示しており、結果として得られるAUC値がほぼ一定であることが、分類結果の安定性を実証している。
下記に続いて示されるのは、非侵襲的な血液学的測定のためのシステム、デバイス、および方法に関連する様々な概念および実装のさらに詳細な記載である。上記に紹介され下記にさらに詳細に議論された様々な概念が、多数の方法で実装されうることが理解されるべきである。特定の実装および適用の例は、当業者にとって明らかである実装および代替を実践することが当業者に可能となるように、主に説明のために提供される。
下記に記載される図および実装例は、本願の実装の範囲を単一の実施形態に限定することを意味するものではない。記載または図示された要素の一部または全てを交換することによって、他の実施が可能である。さらに、開示された例示的な実装の特定の要素が、公知の構成要素を使用して部分的または完全に実装されうる場合、場合によっては、本願の実装の理解に必要なそのような公知の構成要素の一部のみが記載され、そのような公知の構成要素の他の部分の詳細な記載は、本願の実施を不明瞭にしないように省略される。
上記に議論されたような従来の血液検査に伴う課題を考慮して、本発明者らは、WBC計数を導出するための非侵襲的なin vivo手法の様々な利点を認識および理解してきた。これらの非侵襲的なin vivo手法により、モニタリングが頻回となり、診療所への訪問が少なくなり、適切な研究設備または試薬の供給を欠いている地域における検査へのアクセスが即時となる。
WBCの光学特性を活用する非侵襲的なWBC計数の手法は、WBCを爪郭毛細血管中、網膜毛細血管中のギャップとして、または口腔粘膜毛細血管中の動く粒子として、観察するために使用されうる。しかしながら、特殊なおよび/または非携帯のデバイス(例えば、補償光学系および共焦点顕微鏡)が、WBC計数を導出するために必要とされることがある。毛細血管顕微鏡と呼ばれる光学デバイスを使用して、爪郭毛細血管の形態の光学画像を取得し、リウマチ性疾患を診断することができるが、取得された画像は、訓練されたヒト査定者による時間のかかる解析を要する。
血液細胞の動態の非侵襲的なIn Vivo分析の概要
図1は、一部の実施形態による血液細胞の動態を分析する非侵襲的なin vivo の方法を図説するフローチャートであって、以下に限定されないが、ある期間にわたって所与の毛細血管を通過するWBCの数、上記毛細血管を通って流れるWBCのうちの一つまたは複数の速度、および1μLあたりのWBC事象の総数を検出することを含む。一部の実施形態では、方法100の一部または全ての態様は、本明細書に記載されるようなシステム、装置、およびデバイス、例えば、図23に関してより詳細に記載されるようなシステム2300および/またはデバイス2340などのうち、一つまたは複数によって実装することができる。
より具体的には、図1に図示された方法100は、毛細血管を含有する対象のソース画像を正規化および/または登録するステップ110を含む。ソース画像を正規化(コントラスト拡張、ヒストグラム拡張、またはダイナミックアレンジ拡大とも呼ばれる)することにより、例えば画像のコントラストが増加するように、ピクセル強度値の範囲が変更されうる。ソース画像を登録することにより、異なる画像上の同じピクセル位置が対象上の同じ物理的位置に対応するように、ソース画像が整列されうる。一部の実施形態では、ソース画像は、カメラ、対象、または両方が移動している可能性のある有限の時間範囲内で撮影される。画像の登録は、このような移動に対処しうる。画像の登録では、画像(例えば、シーケンスの最初の画像、シーケンスの最後の画像、または望ましい視野を含む可能性のある画像)のうちの一つを参照画像として使用してもよく、またシーケンス内の他の画像を参照画像と比較して修正してもよい。参照画像と他の画像との間の類似性を定量化する、特定の画像類似性の評価基準を最大にするように、修正を行ってもよい。画像類似性の評価基準の例としては、例えば、相互相関、相互情報量、強度の差分二乗和、および画像均一度比が挙げられる。
方法100のステップ120で、毛細血管のセグメンテーションおよび/またはプロファイルの抽出が実施される。毛細血管のセグメンテーションは、元の画像または登録画像のいずれかにおける毛細血管のセグメントを(例えば、毛細血管セグメントの境界を特定することによって)識別するために使用されうる。プロファイルの抽出は、さらなる分析のために毛細血管セグメント内のピクセル情報を抽出するために使用されうる。WBC情報は、通常は毛細血管のみに含まれるため、毛細血管セグメント内のピクセル情報を抽出し画像の他の領域の情報を除外するのに役立つ場合がある。抽出されるピクセル情報は、毛細血管セグメント内のピクセルの位置および値(強度とも呼ばれる)を含みうる。各画像のピクセルの位置は、2Dカーテシアン座標で表されてもよく、毛細血管は曲線状であってもよい。そのため、この位置は、2Dカーテシアン座標系から異なる座標系に画像を変換するのに役立ちうるが、その場合、同じ毛細血管中にはあるが画像シーケンス中の異なる画像上にある同じ点は、同じ座標を有する。このような座標系の一例は、曲線状の毛細血管内の1点を原点として使用する曲線座標系であり、他の任意の点は、その点と原点との間の距離である1次元(1D)座標を有する。
方法100のステップ130では、画像のシーケンスから抽出されたプロファイルは、WBC事象を分析するために、単一の画像(空間時間的プロファイルとも呼ばれる)にコンパイルされる。各画像から抽出されたプロファイルは、WBC事象または他の目的の事象の空間的分布(すなわち位置)に関する情報を含みうる。異なる時点で撮影された、画像シーケンス中の異なる画像から抽出されたプロファイルは、異なる時点でのWBC事象に関する情報が含まれる場合がある。そのため、画像シーケンス全体に由来するこれらの抽出されたプロファイルの全てからコンパイルされた空間時間的プロファイルは、WBC事象の空間的分布および時間的進化の両方に関連する豊富な情報を提供しうる。例えば、特定のWBCのトレースは、上記の空間時間的プロファイルから視覚化されうる。また、毛細血管を流れる特定のWBCのベロシティは、例えば、画像のシーケンス中の二つ以上の画像の間の時間差を考慮することによって、導出されうる。
方法100のステップ140では、空間時間的プロファイルは、WBC事象を検出および/または分析するために処理される。一部の実施形態では、処理は手動である。ユーザは、空間時間的プロファイルを精査し、例えば、空間時間的プロファイル内の視覚的なギャップ(例えば、周辺のピクセルと比較して高いかまたは低いピクセル値を有するピクセル)を検出することによって、WBC事象を識別しうる。ユーザはまた、空間時間的プロファイルから運動のトレースおよび流速を導出しうる。一部の実施形態では、処理は自動または半自動である。例えば、空間時間的プロファイルは、例えばラドンドメインに変換されてもよい。WBC事象は、次いで、ラドンドメインの極大値に基づいて検出されうる。検出されたWBC事象に基づいて、WBC計数およびWBC流速などの追加的な分析が導出されることがある。さらに、WBC計数、流速などは、疾患または状態の以降の診断、モニタリング、および/または治療に使用されうる。
一部の実施形態によれば、血液細胞の動態の分析のためのシステム、装置、および方法は、採血またはその他の対象の身体への侵襲を行うことなく、またWBCを対象の身体のその天然の環境から取り出すことなく、毛細血管のin vivo画像に基づく。さらに、これらのシステム、装置、および方法は、リアルタイムまたは実質的にリアルタイムの結果に使用されうる。例えば、画像の処理(ソース画像からWBC事象の検出およびWBC計数の計算まで)は、新しい画像を撮影している間に実行されうる。WBC事象は、医学的処置に対する対象の身体の応答を検査するためにモニタリングされてもよく、それによって治療の効率に関するフィードバックを提供する。さらに、ここでのシステム、装置、および方法は、比較的分解能の低い、フレームレートの低い、ノイズの多いソース画像からWBCを識別することができる。例えば、ソース画像を、既製のカメラ、携帯電話、または他の画像撮影デバイスによって撮影される動画クリップのフレームとすることができる。
血液細胞の動態の非侵襲的なin vivo分析の方法
図2は、一部の実施形態による、毛細血管画像の空間時間的プロファイルのラドン変換を用いた血液細胞の動態を分析する方法を図示するフローチャートである。方法200を使用して、対象に関連するin vivo毛細血管データからWBC事象を検出する。一部の実施形態では、方法200の一部または全ての態様は、本明細書に記載されるようなシステム、装置、およびデバイス、例えば、図23に関してより詳細に記載されるようなシステム2300および/またはデバイス2340などのうち、一つまたは複数によって実装することができる。
方法200のステップ210では、毛細血管データが非侵襲的に得られる。毛細血管データは、第一の期間にわたって取り込まれた一つまたは複数の毛細血管セグメントの複数の画像を含みうる。
方法200のステップ220では、画像内の一つまたは複数の毛細血管セグメントの輪郭が指定される。特に、複数の画像の各画像について、第一の2次元(2D)座標セットは、画像内で可視である毛細血管セグメントの内部輪郭点に対応するように指定されうる。ステップ220はまた、毛細血管セグメントの外部輪郭点に対応する2D座標の第二のセットを指定することを含みうる。各画像の2D座標のこれらのセットは、画像内の毛細血管セグメントの境界を画定しうる。
方法200のステップ230では、第一の2D座標セットと第二の2D座標セットのそれぞれは、第一のリサンプリングされた座標のセットと第二のリサンプリングされた座標のセットとをそれぞれ生成するように補間される。この補間は、ステップ220で指定された隣接する輪郭点間の潜在的なギャップを埋め、それゆえに、一つまたは複数の毛細血管セグメントのより滑らかな境界を画定しうる。
方法200のステップ240では、複数の中間曲線が、第一のリサンプリングされた座標のセットおよび第二のリサンプリングされた座標のセットに基づいて生成される。これらの中間曲線は、内部輪郭点および外部輪郭点によって画定される毛細血管セグメント内にあってもよい。複数の中間曲線は、中央曲線を含むことがあり、この中央曲線は、方法200のステップ250にあるように、複数の曲線距離を画定するために使用されうる。
方法200のステップ260では、複数の強度値が複数の画像から抽出される。抽出された各強度値は、複数の画像のうちの一つ、複数の中間曲線のうちの一つ、および複数の曲線距離のうちの一つに対応する。すなわち、抽出された各強度値は、(1)特定の画像、(2)特定の中間曲線、および(3)特定の曲線距離を表す三つの値を含むベクトルによって指標付けされ得る。
方法200のステップ270では、抽出された強度値はラドンドメインに変換される。方法200のステップ280では、ラドンドメイン中の複数の最大位置は、毛細血管内の流れの軌道に対応し、その結果、毛細血管内の流れの軌道における視覚的なギャップは、WBC事象を標示する。
毛細血管データの収集
一部の実施形態によれば、血液細胞の動態の分析のための毛細血管データ(例えばソース画像)は、ヒトおよび他の哺乳動物を含むがこれらに限定されない様々な対象から取得されうる。一部の実施形態では、毛細血管データは、対象の身体上または身体内の一つまたは複数の場所から収集されるかまたは取り込まれる。例えば、毛細血管データは、爪郭毛細血管、網膜毛細血管、および/または口腔粘膜毛細血管から収集されおよび/または取り込まれうる。
ソース画像は、様々な方法を使用して取り込まれてもよい。例えば、ソース画像は、動画クリップから抽出された画像のシーケンスを含みうる。画像のシーケンス中の各画像は、血液細胞の動態の分析が例えばWBCの流速を含みうるように、異なる時点で取り込まれうる。
一部の実施形態では、対象の身体上または身体内の位置は、パルス光源によって照明され、ソース画像が、パルス光源と同期されたカメラによって取り込まれる。例えば、結果として得られる画像のコントラストを改善するように、WBC(または他の目的の物体)が良好な反射率を有する特定の波長(例えば、約430nmでの青色光)のパルスレーザーによって、位置が照明されてもよい。
一部の実施形態では、ソース画像は、一つまたは複数の色画像を含み、その結果、ソース画像の各ピクセルは、例えば、赤、緑、青の構成要素の値にそれぞれ対応する三つの値を含む。一部の実施形態では、ソース画像の各ピクセルが、例えば4、16、64、128、256、および1024のグレーレベルにそれぞれ対応する2、4、6、7、8、または10のビット深度を有するように、ソース画像は、一つまたは複数のグレースケール画像を含む。
一部の実施形態では、毛細血管データ(例えば、図2のステップ210で得られた)は、所与の対象から24ビットRGB形式で取得された動画を含む。一般に、動画データは、N×N×Nとして表される画像フレームのシーケンスの3次元スタックIとして捉えられ、式中、NおよびNは、それぞれ各画像フレームの縦横サイズ(ピクセル数とも呼ばれる)であり、Nは、動画データの総フレーム数である。この動画データの各ピクセルは、I[k、l]として表されることがあり、それぞれRGBベクトル(R[k;l],G[k;l],B[k;l])に対応する。指標k=(k,k)は、特定のフレーム内のピクセルの位置を指し、lは、動画データに含まれる複数のフレーム内のフレームの指標を指す。R[k;l]、G[k;l]、およびB[k;l]は、それぞれピクセルI[k,l]の、赤、緑、および青の構成要素の値に対応する。例えば、I[(15,20),5]は、動画データの5番目のフレームの15番目の行かつ20番目の列に位置するピクセルを指す。
図3は、一つまたは複数の爪郭毛細血管における血液細胞の動態の分析のために上記に記載された方法で使用されうるヒトの爪郭の画像の一例である。画像は、爪郭毛細血管の動画から取られたフレームであり、1秒あたりのrフレームのフレームレートおよびSμmのカメラピクセルサイズを有する。図3では、理想的でない取得条件に関連する白い飽和領域310が存在するにもかかわらず、比較的暗いU字形状の毛細血管300のプロファイルが、画像内で容易に識別可能である。
毛細血管データの前処理
毛細血管データ内の画像の一部の前処理ステップを実施して、その後の処理および分析を促進しうる。これらの前処理ステップは、画像の正規化および/または画像の登録を含みうる。一部の実施形態では、これらの前処理ステップの一部または全ての態様は、本明細書に記載されるようなシステム、装置、およびデバイス、例えば、図23に関してさらに詳細に記載されるようなシステム2300および/またはデバイス2340などのうち、一つまたは複数によって実施することができる。
一部の実施形態では、毛細血管データは、一つまたは複数のグレースケール画像を含む。正規化は、グレーレベルを所望の範囲に圧縮および/または拡張するために使用されうる。一部の実施形態では、毛細血管データは、一つまたは複数の色画像を含む。正規化は、グレーレベルを圧縮および/または拡張する前に、色画像をグレースケール画像に変換するために使用されうる。色画像からグレースケール画像への変換は、様々な方法を介して達成されうる。一例では、結果として得られる色ピクセルのグレーレベルを、ピクセル内の赤色、緑色、および青色の値の合計とする。別の例では、結果として得られるグレーレベルを、赤色の構成要素と緑色の構成要素との値の差(R−G)とし、毛細血管の構造を強調するようにする。より高度な方法を採用してグレーレベルを計算し、目的の特定の物体(例えば、WBCまたは赤血球細胞)を強調するようにしてもよい。例えば、赤色、緑色、および青色の構成要素の特定の加重平均を計算してもよいし、または非線形の他のチャネル変換のタイプ(例えば、RGBからHSV(色相(Hue)、彩度(Saturation)、明度(Value))変換)としてもよい。
一部の実施形態では、画像の登録は、一つまたは複数の強度ベースの方法を含み、この方法は、画像の強度パターンを相関メトリックを介して比較するものである。強度ベースの方法は、画像全体またはサブ画像を登録することができる。サブ画像が登録されている場合、対応するサブ画像の中心は、対応する特徴点として扱われうる。
一部の実施形態では、画像の登録は、一つまたは複数の特徴ベースの方法を含み、この方法は、点、線、輪郭などの画像の特徴の間の対応を見出すものである。特徴ベースの方法は、画像の一つまたは複数の別個の点の間の対応を確立することができる。画像内のこれらの別個の点の間の対応を知ると、幾何学的変換を決定して標的画像を他の画像にマッピングし、それによって、参照画像と他の画像のと間の点ごとの対応を確立しうる。
一部の実施形態では、毛細血管データは、図3の画像のようなフレームを含む、24ビットRGBフォーマット動画を含む。これらの実施形態では、スタックIは、単一チャネルバージョンIに変換されてもよく、このバージョンは、さらなるプロファイルのセグメンテーションおよび分析のために適切に活用することができる。スカラー値スタックI[k;l]は、まず各ピクセル点について(「点別に」)IのRGBチャネルを平均化し、次いで結果として得られる強度を正規化することによって、取得されうる。この正規化は、所与のあらゆるフレームlにわたるIの強度値の平均および標準偏差が0および1となるように実施されてもよい。Iを構成するフレームは、例えば、カメラの移動を補正するために登録されうる。フレームの登録は、Iの各フレームl>1へのそれぞれの修正シフトを適用することによって、すなわち、参照として最初の画像(l=1)を使用して、達成されうる。
より具体的にはかつ第一に、点別のオペレーションを実施して一時的スタックを得る。
全てのkおよびlについて、すなわち、k=1、2、…、N;k=1、2、…、N;およびk=1、2、…、Nである。このオペレーションは、周囲のアーチファクトを廃棄するとともに、毛細血管様構造を強調する。
第二に、シーケンスの別々の各フレームについて指定されている閾値τを使用して、バイナリ閾値スタックI’が得られうるが、この値は、実験的に、または画像に存在する先験的な情報(例えば、合計輝度、コントラスト、グレースケールの分散、歪みなど)を使用して、またはトレーニングデータセットから得られた特徴学習を通じて、決定されうる。このステップでは、一時的スタックI’[k;l]の位置[k;l]のピクセル値は、I’[k;l]がτ未満であればゼロに設定され、I’[k;l]がτ以上であれば1に設定される。すなわち、
そして
第三に、適用された修正シフトが、l>1についてI’[k;1]とI’[k;1]との間の相関関係(すなわち、正規化されたスカラー積)を最大化できるように、2D登録スタックIが計算される。
毛細血管プロファイルのセグメンテーション
図2の方法200のステップ220は、一部の実施形態により、毛細血管プロファイルのセグメンテーションを達成するために、すなわち、画像内の毛細血管のセグメントを識別するために、実施される。一部の実施形態では、セグメンテーションは、(前処理を行うかまたは行わずに)ソース画像に関して実施される。一部の実施形態では、セグメンテーションは、正規化および/または登録された画像に関して実施される。一部の実施形態では、セグメンテーションは、毛細血管構造を強調することを意図されたノイズフィルタリングおよび/またはコントラスト改善など、いくつかの他の処理の後のソース画像に関して実施される。
一部の実施形態では、毛細血管のセグメンテーションは手動である。ユーザは、画像内で可視である毛細血管の境界に沿って線を描いてもよい。例えば、ステップ220はユーザによって実行されてもよい。ユーザは、画像上のいくつかの内部輪郭点および外部輪郭点をマークしてもよく、その後、コンピュータは、さらなる処理(例えば、ステップ230でのリサンプリング)のためのこれらのマークされた内部輪郭点および外部輪郭点の2D座標を呼び出しうる。
一部の実施形態では、毛細血管のセグメンテーションは、閾値処理および/またはエッジ検出などの方法を使用して、自動化または半自動化される。人工知能法を使用して、コンピュータベースのパターン認識モデルをトレーニングしてもよい。一例では、パターン認識モデルは、新しい画像が提供されたときにそのパターン認識モデルが類似の毛細血管構造を認識できるように、毛細血管の履歴画像に基づくことがある。別の例では、パターン認識モデルは、そのパターン認識モデルが画像の他の部分で類似の毛細血管構造を認識できるように、画像の一部分内の一つまたは複数の毛細血管構造に基づくことがある。
一部の実施形態では、毛細血管のセグメンテーションは、ハイブリッドのアプローチを伴うことがあり、そこでは、ユーザが、毛細血管の境界のいくつかの初期および目安の標示を作成し、コンピュータベースのプログラムが、補間(例えば、線形補間、多項式補間、またはスプライン補間)、曲線フィッティング(例えば、線形回帰または非線形回帰を使用)、および/または外挿(例えば、線形外挿、多項式外挿、または円錐外挿、またはフランス外挿)を用いて初期の標示を精緻化する。
一部の実施形態では、各毛細血管のセグメンテーションは、最小限のユーザ定義の2D座標を用いて半自動化される。例えば、ユーザは、スタックIの最初のフレームに関して定義された内部および外部の毛細血管境界に従う2セットの2D座標Pint[j]Pext[j]、j=1、2、…、Nを画定しうる。ここでjは、輪郭上のj番目の点の指標であり、Nは、(内部または外部の)各輪郭においてユーザによって指定された点の総数である。指定された点Nの総数は、毛細血管境界の複雑さおよび毛細血管の長さを含むがこれらに限定されない、いくつかの要因に依存しうる。まっすぐな毛細血管またはまっすぐな毛細血管の部分については、急カーブを有する毛細血管に比べて、より少ない点を指定することができる。一部の実施形態では、指定された点の数Nは、約3点から約20点までに及びうる。一部の実施形態では、指定された点の数Nは、約5点から約10点までに及びうる。
点Pint[j]またはPext[j]の値は、3DスタックIまたはI内のこの点の位置を示すベクトルを含む。例えば、Pint[5]は、毛細血管の内部輪郭上の5番目の点を指す。Pint[5]の値は、例えば(20、30)であってもよく、それは、画像上の点の2D位置、すなわち20番目の行かつ30番目の列を標示する。曲線上のこの点の2D位置を取得した後、ピクセルのピクセル値(または強度)を画像スタックIまたはIから読み出してもよい。このようにして、曲線(j)上の指標、ピクセル位置(k)、およびピクセル値は、互いと一対一に関連付けられる。
毛細血管の輪郭点のリサンプリング
指定された輪郭点は、例えば、方法200のステップ220では、通常はまばらであり、例えば、毛細血管の内部境界および外部境界上の特定の特性点(例えば、開始点、終点、または折れ曲がり点)をマークしうるにすぎない。したがって、方法200のステップ230では、一部の実施形態によるさらなる処理のために境界をさらに精緻化するように、指定された内部および外部の輪郭点がリサンプリングされる。
三つの方法のうち少なくとも一つおよび/またはそれらの組合せが、指定された輪郭点をリサンプリングするために使用されうる。一部の実施形態では、補間(例えば、線形補間、多項式補間、またはスプライン補間)が、ギャップを埋めるように二つの隣接する指定された点の間の新しいデータ点を生成するために使用される。一部の実施形態では、曲線フィッティング(例えば、線形回帰または非線形回帰を使用)が、指定された輪郭点を曲線にフィッティングするために使用されるが、この曲線は、一般的には解析式を有し、さらなる処理のための任意の数のデータ点を含みうる。一部の実施形態では、外挿(例えば、線形外挿、多項式外挿、円錐外挿、またはフランス外挿)が、指定された輪郭点によって画定される曲線区画を超えて投影点を生成するために採用される。さらなる実施形態では、二つ以上のこれらの方法の組合せが使用される。
一部の実施形態では、より稠密な点P’intおよびP’extのセットが、リサンプリング係数αを用いた元の点のキュービックスプライン補間を使用して生成される。そのため、リサンプリング後の輪郭点の総数は、α(N−1)+1であり、式中、Nは指定された輪郭点の数である。リサンプリング計数αは、リサンプリングされた輪郭の所望の解像度、すなわち、リサンプリングされた二つの隣接した輪郭点の間の距離(点間隔とも呼ばれる)に、少なくとも部分的に依存しうる。例えば、WBC事象が検出される場合、以降の処理において各WBCを解明するために、点間隔をWBCのサイズより小さく設定することが好適である。一部の実施形態では、点間隔は、毛細血管データのソース画像中のピクセルサイズと実質的に類似していることがある。
一部の実施形態では、ステップ220で指定された2D座標上で、リサンプリングが直接的に実施される。例えば、2Dスプライン(バイキュービック補間とも呼ばれる)を使用して、指定された輪郭点をリサンプリングしてもよい。一部の実施形態では、ステップ230での点リサンプリングのオペレーションは、対応する縦横の座標シーケンス(それぞれ行シーケンスおよび列シーケンスとも呼ばれる)の別々の1Dリサンプリングを含む。図4Aは、x−座標のキュービックスプライン補間のプロットであり、図4Bは、y−座標のキュービックスプライン補間のプロットである。図4A〜図4Bでは、ステップ220で指定された輪郭点は、バツ印(例えばバツ印400)としてマークされ、リサンプリングされた輪郭点がそのバツ印を接続する。リサンプリングされたデータ点は、数が多いために、連続的な曲線(例えば、見掛けの曲線410)のように見えることに留意されたい。
中間曲線および曲線距離の画定
方法200のステップ240では、一連の中間曲線が、一部の実施形態によって、識別された各毛細血管の内部輪郭と外部輪郭との間に画定される。一部の実施形態では、この一連の中間曲線は、内部輪郭および外部輪郭によって画定される空間に均等に分配される。一部の実施形態では、中間曲線の分布は不均一である。例えば、毛細血管の中央部分は、毛細血管のエッジ部分と比較して、さらに高い密度の中間曲線を有しうる。
一部の実施形態では、一連のN個の中間曲線P’[j]は、以下の形式の線形結合によって生成される:
式中、m=1、2、…、Nであって、Nは中間曲線の総数であり、j=1、2、…、α(N−1)+1であって、α(N−1)+1は各曲線のデータ点の総数であり、t=(m−1)/(N−1)は線形結合係数である。
中間曲線の総数Nは、中間曲線の収集の所望の解像度、すなわち、二つの隣接する中間曲線の間の距離(曲線間隔とも呼ばれる)に依存しうる。例えば、WBC事象が検出される場合、以降の処理において各WBCを解明するために、曲線間隔は、WBCのサイズより小さいことがある。一部の実施形態では、曲線間隔は、毛細血管データのソース画像中のピクセルサイズと実質的に類似していることがある。
ステップ230での輪郭点のリサンプリングは、ステップ220での指定された輪郭点から長手方向の解像度(すなわち、毛細血管の方向に沿った解像度)を改善するものと捉えられうる。一方、中間曲線の作成は、毛細血管の二つの境界(すなわち、内部輪郭および外部輪郭)に基づいて、横方向の解像度(すなわち、毛細血管の断面に沿った解像度)を改善するものと捉えられうる。
一部の実施形態では、ステップ230がステップ240の前に実施され、その結果、ステップ230で取得されたリサンプリングされた輪郭点に基づき、中間曲線を作成できるようになる。一部の実施形態では、ステップ240がステップ230の前に実施される。例えば、毛細血管の断面に沿ったギャップを埋めるように、一連の中間点が、内部輪郭上のユーザ指定された1点と、外部輪郭上のユーザ指定された1点との間に作成されうる。同じステップを、ユーザ指定された点の各ペアについて実施し、それによって、内部輪郭点と外部輪郭点との間の一連の中間輪郭点のセットを生成してもよい。次いで、ステップ230にあるようなリサンプリングのステップを、中間輪郭点の各セットについて実施し、中間輪郭点を繋ぎ合わせて、それによって一連の中間曲線を生成してもよい。
ステップ240では、中央曲線P’midは次のように定義されうる:
この中央曲線P’midは、曲線距離を画定するために使用されうる。曲線距離は、開始点P’mid[1]に関してP’mid[j]中の各地点間のユークリッドノルムとして画定されうる。一部の実施形態では、簡単にするために、異なる中間曲線P’[j]上のj番目のデータ点は、同じ曲線距離をP’mid[j]として割り当てられる。
図5は、毛細血管500および毛細血管510を含む動画クリップから得られる、正規化および登録された画像フレームIである。両方の毛細血管は、対応するユーザ定義の輪郭点(バツ印として示される)ならびに各プロファイルの内部曲線および外部曲線を辿る補間点(曲線として表示)に沿って、処理された画像中に強調表示される。曲線距離が計算される中央曲線P’midも示されている。ユーザは6点のみを指定しており、さらにリサンプリングされた曲線は、既に二つの毛細血管の実際の境界に十分に一致しているように見えることに留意されたい。
強度プロファイルの抽出
方法200のステップ260では、毛細血管セグメント内のピクセルの強度(すなわちピクセル値)は、空間時間的プロファイルf[j;m;l]を形成するように曲線距離の関数として抽出され、式中、jは曲線上指標(ある曲線上のj番目の点)であり、mは曲線指標(内部境界、外部境界、および間に生成される中間曲線を含めた複数の曲線のうちm番目の曲線)であり、lはフレーム指標(画像のシーケンス中のl番目の画像)である。より具体的には、I上の各P’[j]は、強度値と関連する。一部の実施形態では、バイリニア補間を使用して、所与の曲線指標j、曲線m、およびフレームlでのサブピクセル精度を用いて、結果としての強度f[j;m;l]を計算する。
一部の実施形態では、f[j;m;l]を考えると、空間時間的プロファイル平均f’[j;l](すなわち、1からNまでの全てのmにわたって平均化された)を生成するように、全ての曲線の毛細血管強度の平均を、あらゆるフレームおよび曲線距離について計算することができる。例として、この平均化ステップは、全ての毛細血管曲線(内部輪郭、外部輪郭、および中間曲線)を単一の曲線に折り畳むものと捉えることができる。
一部の実施形態では、空間時間的プロファイル平均f’[j;l]がリサンプリングされて、リサンプリングされた空間時間的プロファイルg[j;l]を生成し、この空間時間的プロファイルは、f’[j;l]と同じ数の試料を含むが等距離の曲線間隔を有する。このリサンプリングは、線形補間を用いて実施されうる。
空間時間的プロファイル解析
プロファイルg[j;l]は、各毛細血管の曲線距離に沿って各点jの時間の関数として進化する強度プロファイルを含みうる。このプロファイルは、空間および時間における相関関係を示すことができ、この関係は、比較的低いフレームレートでおよび/または低い分解能で撮影されたノイズのあるソース画像を分析する際の起こりうる課題を克服するために抽出されることがある。
一部の実施形態では、WBC事象によって作成される強度のバリエーションを強調するために、中央値により正規化されたgのバージョンが計算される。より具体的には、g[j;l]の時間変化する強度線の中央値は、あらゆる曲線座標jでまずゼロに設定されうる。次いで、同じオペレーションが、あらゆるフレームlで列ごとに実施されうる。ノイズを低減するために、コントラストにより正規化されたプロファイルg’は、サイズσの対称な単位和矩形関数を用いて時間軸に沿ってフィルタリングされ得、この関数はg”を生じる。フィルタリングのオペレーションは、前記矩形関数を用いた畳み込みを通じて実施されてもよい。
図6Aは、図5から得られた毛細血管500の空間時間的プロファイルg”の一例を示す。空間時間的プロファイルg”は、元の空間時間的プロファイルf[j;m;l]に基づき、1からNまでの全てのmにわたって平均化し(f’[j;l]を達成する)、等距離の曲線間隔を有するようにリサンプリングし(g[j;l]を達成する)、中央値により正規化し(g’[j;l]を達成するため)、フィルタリングした(g”[j;l]を達成する)後に、生成された。図6Aに示される空間時間的プロファイル上では、WBC事象に対応する空間的軌道を識別することができる。図6Bは、これらの軌道を、2D強度プロットに広がる破線によって図示する。各線の傾きは、毛細血管内の対応するWBC事象の平均速度と関連しうる。そのため、図6A〜図6Bに示されるもののような空間時間的プロファイルは、既に事象数および流速などの毛細血管のWBC事象に関する重要な情報を提供するものである。この情報は、上記に記載された方法を使用して、手動でも自動的でもまたは半自動でも抽出されうる。
ラドン変換
方法200のステップ270では、一部の実施形態により、ステップ260で生成された空間時間的プロファイル上で、ラドン変換が実施される。ラドン変換は、事象およびそれらの関連パラメータを識別するように、特定の配置に位置するピークへと2D線を変換する。ラドン変換を用いる事象検出は、ノイズに対して便利であるだけでなく堅牢である。
特定の理論またはオペレーションモードに縛られるものではないが、連続的な2D画像f(x)を考えると、式中、xは、画像f(x)の中心に関連して定義された2Dカーテシアン座標であり、
とよばれるラドン変換は、以下のように定義される。
式中、動径座標x’は、x’=[xcosθ+xsinθ、−xsinθ+xcosθ]と定義される。
一部の実施形態では、f(x)は別個の画像であり、この場合では、[0;π]における有限量の動径座標値および角度を含む、別個のドメインのラドン変換Rを使用してもよい。最大の動径座標値は、画像対角線の長さの半分に対応しうる。それゆえ、ラドンドメインでのプロファイル
は、以下のように表される。
角度の数は、Nθによって示され、動径座標の数Nは、(N +Np,i 1/2に比例し、式中、Np,i=α(N−1)+1は、補間された曲線の点の数である。
図7は、一部の実施形態による、図6A〜図6Bに示される空間時間的プロファイル上でのラドン変換の適用を図示する。投影角θおよび動径座標Rが図7に示されている。実線矢印は、軌道線検出の方向を図示する。角度θと動径座標Rとの所定のセットを考慮して、ラドン変換は、空間時間的プロファイル強度(すなわち、図7に示されるような非変換ドメインの強度)の射影を計算する。より具体的には、所与の角度θおよび動径座標Rについてのラドン変換ドメイン値(図8Aを参照)は、横軸に関して反時計回りの角度傾斜がθでありかつ動径座標がRである線上に見出される、全ての値(すなわち、図7に示されるような非変換ドメインの強度値)の積分に相当する。
図8Aは、一部の実施形態による、図7のマップのラドン変換
を示す。横軸および縦軸はそれぞれ、投影角および関連の正規化された動径座標に対応する。図8Aでは、いくつかのピークが容易に識別されうる。各ピークは、空間的ドメインに観察される線形軌道(例えば図6B)に対応しうる。これらのピークは、例えば、奇数のピクセルサイズのウィンドウS×S内の極大値の検出に基づいて識別され位置しうる。一部の実施形態では、極大値は、閾値τより大きな値に限られる。一部の実施形態では、最大位置は、範囲[0;π/2]内の角度値を有する位置に限られ、それによって、毛細血管内に一つの単一の流れの方向を与える。
図8Bは、円内に強調表示された識別ピークを有するラドンドメインにおける空間時間的プロファイルを示す。毛細血管内のWBC事象の元の物理的時間および速度パラメータは、初等三角関数の関係式を介して、公知のフレームレートおよびピクセルサイズに基づき、最大位置から分析的に推定されうる。より具体的には、速度は、ラドンドメインにおける投影角θのタンジェントに関連しており、それゆえ前述の空間時間的プロファイルg”における対応の軌道線の縦断勾配に比例する。元の物理的時間は、前記軌道線と前記空間時間的プロファイルの時間軸との間の交点に関連している。一部の実施形態では、各WBC事象の時間は、毛細血管に視覚的ギャップが現れる第一のフレームに対応する。
図9Aは、一部の実施形態による、図5に示される毛細血管500内に発生しているWBC事象の実験結果を示し、図9Bは、毛細血管510内に発生している事象の実験結果を示す。実験結果は、4名の訓練されたヒト査定者によって実施された手動カウントと比較される。図9A〜図9Bでは、上記に記載された方法によって検出されたWBC事象が、バツ印によりマークされているのに対し、訓練されたヒト査定者によって推定された事象時間は、破線の縦線によって示されている。横線は、最大血流と最小血流に関連する限界を表す。
ソース画像は、ヒトの爪郭の動画クリップから取り上げられる。取得パラメータは、N=1280、N=960、N=450、r=15、およびS=0.65μmであり、動画クリップの持続時間は30秒である。閾値τは、I’における各フレームlについて最大強度値の3/4に発見的に設定される。ユーザ指定された曲線点の量はN=6に設定され、この量は正確なセグメンテーションを生じることができる。補間された曲線の数は、リサンプリングのためにα=100を使用して、N=10に設定される。ノイズ低減に使用されるフィルターのサイズは、σ=3に設定される。最後に、ラドンドメインの最大値の検出に使用されるウィンドウサイズおよび閾値は、S=11およびτ=7として選択され、ラドン角の数はNθ=400に設定される。
図9A〜図9Bでは、上記に記載された方法によって検出されたWBC事象の80%超は、訓練されたヒト査定者のものと一致する。見逃した事象は、一時的に隣接した視覚的なギャップに相当する可能性があるが、これらは、乏しいフレームレートゆえに、解明のための自動的な方法を行うには難度が高い可能性がある。
図10は、一部の実施形態による上記に記載された方法から得られた総WBC事象計数と、4名の訓練されたヒト査定者から得られたものとの間のさらなる比較を示す。図10はまた、観察者間の手動による計数の変動性が有意であることを示している。各毛細血管は、中央マークが中央値であるボックスに関連付けられている。ボックスのエッジは25パーセンタイルおよび75パーセンタイルであり、ひげはデータ端点まで延びている。バツ印および円は、4名の訓練された各ヒト査定者によって、および本明細書に記載されたアプローチによって、完遂された計数をそれぞれ示す。記載された方法から得られた結果は、これらのボックスプロットにおいて、ヒトの評価者間の変動性の範囲にあることが示されている。
図6A〜図7Bの視覚的ギャップの軌道の傾きが、毛細血管500および毛細血管510の両方についてのWBC事象に関連する速度を計算するために採用されうる。図9A〜図9Bに表された結果は、以前に文献に報告されたヒト爪郭毛細血管の血流値の範囲内、すなわち約450μm/秒から約1200μm/秒にある。
補間された内側および外側の毛細血管曲線Pint[j]、Pext[j]は、血管半径rを引き出すために採用されうるが、この半径は、毛細血管500および毛細血管510の両方についてのおよそ7.5μmに相当し、以前に公開されたデータと一致する値である。
特定のいかなる理論またはオペレーションモードに縛られる訳ではないが、毛細血管は円形の断面を有するものと仮定されうる。上記で導出される平均速度vがおよそ約600μm/秒であるものと考えると、1秒あたりのサンプリングされる総血液量Vは、以下のように決定されうる。
健康なWBCの範囲が、1μLあたりWBC約3500個から1μLあたりWBC約9000個であるものと考えると、動画クリップの持続時間が30秒であるとすれば、WBC計数の数cは、以下のように決定されうる。
これは、毛細血管500および毛細血管510についてそれぞれ得られた、10個のWBC事象および1l個のWBC事象の計数の中央値と一致する。
血液細胞の動態の非侵襲的なin vivo分析のための装置およびシステム
図11A〜図11Bは、一部の実施形態による、in vivoの非侵襲的な方式で白血球細胞(WBC)事象を検出するためのシステムの概略図である。一部の実施形態では、図11A〜11Bのシステムの一部または全ての態様は、本明細書に記載されるようなシステム、装置、およびデバイス、例えば、図23に関してさらに詳細に記載されるようなシステム2300および/またはデバイス2340などのうち、一つまたは複数に構造的におよび/または機能的に類似するものとすることができる。
図11Aは本システムの側面図であり、図11Bは本システムの上面図である。説明の目的で、本明細書に記載される実施形態は、ヒトの爪郭におけるWBC事象を分析するが、これらの実施形態は、他の対象および/または対象の身体内もしくはその上にある他の場所における分析のために改変されてもよい。図11A〜図11Bでは、システム1100は、ヒトの指の少なくとも一部分(例えば、指の爪郭の一部分)を受けるための指穴1112を有する、指ホルダー1110を含む。指ホルダー1110はまた、撮像器1120を受け取るように構成され、この撮像器は、指の画像または動画を取り込むように、指穴1112によって受け取られた指に透明窓1114を通して光通信する。撮像器は、指の画像を形成するように、指および検出器1124から反射または散乱された光を収集して反射光または散乱光を受信するための、光学装置1122をさらに含む。システム1100は、プロセッサ1120と動作可能に連結されたプロセッサ1130と、プロセッサ1130に動作可能に連結されたメモリ1140とをさらに含む。メモリ1140は、プロセッサ実行可能命令を用いてコードされ、この命令は、プロセッサ1130によって実行されると、上記に記載された方法を実施して、撮像器1120から受信された画像を分析しうる。システム1100はまた、ディスプレイ1150を含み、このディスプレイは、撮像器1120によって撮影された画像もしくは動画および/またはプロセッサ1130によって検出されたWBC事象に関連するデータを表示することができる。
一部の実施形態では、指ホルダー1110は、(図11A〜図11Bに示されるように)イグルー形状を有し、それゆえに、手の指が撮像のために指穴1112に受け取られる間、手を指ホルダーのドームの上に置くことができる。指ホルダー1110は、平坦な上部などの他の構成、ハンドル構成(指が撮像できる間に手はそのハンドルを握ることができる)、または当技術分野で公知の任意の他の構成を有していてもよい。
一部の実施形態では、システム1100はまた、指を照明して撮像器120により画像を撮影し易くする照明源1160(図11Bに示される)も含む。一部の実施形態では、照明源1160は、一対の発光ダイオード(LED)を含み、そのそれぞれは、指穴1112の一方の側に設けられる。一部の実施形態では、照明源1160は、単色光を発するように構成される。指の毛細血管構造は、単色光の波長で高い反射率を有することができる。
図11Cは、一部の実施形態による、図11A〜図11Bに示されるシステムと実質的に類似したシステム1100の概略図を示す。システム1100は、指穴1112と撮像器1120との間に設けられた調節可能な透明窓1115を含む。窓1115の高さを調節することにより、異なるサイズを有する撮像器1120を使用して指の画像を取り込んでもよい。
図12A〜図12Bは、一部の実施形態による、WBC事象の非侵襲的な分析に用いるin vivo画像を取り込むためのシステムの概略図である。一部の実施形態では、図12A〜12Bのシステムの一部または全ての態様は、本明細書に記載されるようなシステム、装置、およびデバイス、例えば、図23に関してさらに詳細に記載されるようなシステム2300および/またはデバイス2340などのうち、一つまたは複数に構造的におよび/または機能的に類似するものとすることができる。
図12Aは、システム1200の側面図であり、図12Bはシステム1200の上面図である。システム1200は、ヒトの指の少なくとも一部分(例えば、指の爪郭の一部分)を受け取るための指穴1212を有する、指ホルダー1210を含む。指ホルダー1210はまた、撮像器1220を受け取るように構成され、この撮像器は、指の画像または動画を撮影するように、指の穴1212によって受け取られた指に透明窓1214およびミラー1226を通して光通信する。撮像器は、指の画像を形成するように、指および検出器1224から反射または散乱された光を収集して反射光または散乱光を受信するための、光学装置1222をさらに含む。システム1200では、撮像器1220は、垂直の構成に設けられる。ミラー1226は、撮像器1220に向かって指の画像を反射するように構成される。一部の実施形態では、ミラー1226は、アクチュエータ(図示せず)に連結され、このアクチュエータは、2方向にミラー1226をチルトすることができる。このチルトは、撮像のために指の所望の一部分に撮像器1220を向けるために役立つことがある。システム1100と同様に、システム1200はまた、撮像器1220により画像を取り込み易くするための照明源1260も有することがある。
図13は、一部の実施形態による、カメラを取り付けたデバイス(例えばスマートフォン)を使用した血液細胞の動態のin vivoの非侵襲的な分析を実施するためのシステムの概略図である。一部の実施形態では、図13のシステムの一部または全ての態様は、本明細書に記載されるようなシステム、装置、およびデバイス、例えば、図23に関してさらに詳細に記載されるようなシステム2300および/またはデバイス2340などのうち、一つまたは複数に構造的におよび/または機能的に類似するものとすることができる。
システム1300は、撮像のために指の少なくとも一部分を受け取るための指穴1312を有する、指ホルダー1310を含む。指ホルダー1310はまた、スマートフォン1320を受け取るように構成され、それゆえにスマートフォン1320内のカメラは、透明窓1315およびミラー1326を介して指穴1312の指と光通信する。システム1300はまた、修正光学系1322も含みうるが、この修正光学系は、スマートフォン1320をより良い画像取り込みに適応させるために、スマートフォン1320のカメラの前に設けられる。例えば、修正光学系1322は、スマートフォン1322内のカメラの焦点距離(光学ズーム)を調整するためのレンズを含みうる。多くのスマートフォンのカメラは光学ズームを持たないため、レンズ1322はカメラの光学的な融通性を高める可能性がある。カメラの焦点距離は、カメラによって取り込まれた画像の解像度にも関連する。そのため、また、レンズ1322の使用により、さらなる処理のために画像の解像度を調整しうる。
スマートフォン1320は、一般に、独自のメモリおよびプロセッサを含む。本出願の初めの項に記載された方法は、プロセッサ実行可能命令として、スマートフォン1320のメモリ内にコードすることができる。オペレーション中、カメラによって撮影された画像は、血液細胞の動態の分析のためにプロセッサに送信されうる。一部の実施形態では、カメラによって撮影された画像は、処理用の別のプロセッサに無線(例えば、Bluetooth、WiFi、3Gネットワーク、4Gネットワーク、または当技術分野で公知の任意の他の無線通信プロトコル)で送信される。一部の実施形態では、カメラによって撮影された画像は、スマートフォン1320のメモリ内に局所的にセーブされる。
図14A〜14Dは、一部の実施形態による、血液細胞の動態のin vivoの非侵襲的な分析のためのシステムおよび装置の画像である。一部の実施形態では、図14A〜図14Dのシステムおよび装置の一部または全ての態様は、本明細書に記載されるようなシステム、装置、およびデバイス、例えば、図23に関してさらに詳細に記載されるようなシステム2300および/またはデバイス2340などのうち、一つまたは複数に構造的におよび/または機能的に類似するものとすることができる。
図14Aは、撮像器に連結された指ホルダーを示す。撮像器は、市販の毛細血管顕微鏡(例えば、Dino−Liteデジタル顕微鏡(BigC.com(トーランス、カリフォルニア州)から入手可能)を使用してもよい。指が指穴に置かれると撮像のために指が十分に照明されるように、撮像器は独自の照明源を含んでいてもよい。図14Bは、撮像器および指ホルダーを非連結で示す。図14Cは、指が指穴に置かれた際の指ホルダーを示す。図14Dは、指ホルダーと、撮像器と、その撮像器に例えばUSB接続を介して接続されたコンピュータとを含むシステムを示す。コンピュータは、リアルタイムで、撮像器によって取り込まれた画像または動画を表示してもよい。本出願の初めの項に記載された方法は、プロセッサ実行可能命令として、コンピュータのメモリ内にセーブされてもよく、そのプロセッサは、次いで、WBC事象を検出するために画像の分析を実施してもよい。
図15A〜図15Gは、一部の実施形態による、血液細胞の動態分析のためのカメラに取り付けられたデバイスを用いて爪郭の画像を取り込むためのスマートフォンに取り付けることができる、アダプタの図である。図15Aは、窓区画1510および複数の吸引カップ1520を含む、アダプタ1500の斜視図である。窓区画1510は、スマートフォンで典型的に利用可能なカメラと整列されうる。吸引カップ1520は、アダプタ1500を、例えばスマートフォンに固定しうる。四つの吸引カップが図15Aに示されているが、吸引カップの数は適用可能な任意の数とすることができる。代替的にまたは追加的に、アダプタは、クリップ、接着剤などを使用して、スマートフォンまたは他のデバイスに取り付けまたは固定されうる。
図15Bは、窓区画1510の構造を図示するための斜視角からのアダプタ1500を示し、この窓区画は、窓部1512および指レセプタ1514をさらに含む。窓部1512は、カメラが指の画像を撮影できるように、実質的に透明であるか、または特定の波長で少なくとも透明である。指レセプタ1514は、アダプタ1500により指をしっかりと固定するように指の一般的な形状に適合する内部輪郭を有し、それによって以降の処理における画像登録の負荷(例えば、移動に起因する)を減少させる。
図15Cは、アダプタ1500の上面図であり、図15Dは、アダプタ1500の第一の側面図であり、図15Fは、アダプタ1500の第二の側面図である。図15Eは、照明チャネル1516および窓1512を図示するアダプタ1500の背面図である。図15Gは、アダプタ1500の正面図(指を受け取る側)である。図15Eおよび図15Gに示されるように、照明チャネル1516は、一般にアダプタ1500の深さ全体を通じてはいない。代わりに、照明チャネル1516は、スマートフォンにおいて一般に利用可能なフラッシュライトと、カメラレンズ以外のカメラに取り付けられた他のデバイスに、光通信しうる。照明チャネル1516は、フラッシュライトによって発された光を受信し、撮像される指の少なくとも一部分を照明するように窓1512に向かって反射しうる。
図15H〜図15Jは、照明チャネル1516を図示する。図15Hは、アダプタ1500の斜視図である。図15Iは、窓1512および照明チャネル1516を図示するためのアダプタ1500の一部の斜視断面図である。図15Jは、照明チャネル1516の構造を図示するためのアダプタ1500の断面図である。特に、照明チャネル1516は、撮像のために窓部1512の前に典型的に配置された指を照明するように、受け取った光を窓部1512に向かって反射する曲面1517を含みうる。
図16は、一部の実施形態による、血液細胞の動態解析用の爪郭の画像を取り込むためのスマートフォンおよびアダプタを含むシステムの概略図である。一部の実施形態では、図16のシステムの一部または全ての態様は、本明細書に記載されるようなシステム、装置、およびデバイス、例えば、図23に関してさらに詳細に記載されるようなシステム2300および/またはデバイス2340などのうち、一つまたは複数に構造的におよび/または機能的に類似するものとすることができる。
アダプタ1600は、スマートフォン1630のカメラ1632と光通信する窓1612を含む。アダプタ1600はまた、スマートフォン1630のLEDライト1636と光通信する照明チャネル1616を含む。照明チャネル1616は、LEDライト1636によって発された光を受け取り、照明チャネル1616内の曲面1617は、窓1612と密接に接触する指1640(より具体的には爪郭1642)を照明するように、受け取った光を窓部1612に向かって反射する。
一部の実施形態では、窓1612は、スマートフォン1630においてカメラ1632の焦点距離を変更するために、二つのレンズを含みうる。焦点距離を変更することによって、カメラ1632により撮影された画像の解像度も変更することができる。一部の例では、屈折率整合流体1618は、窓1612と爪郭1642との間に配置されてもよい。屈折率整合流体1618は、窓1612の表面または爪郭1642の表面における正反射を低減するために、爪郭または窓1612の材料に類似した屈折率を有しうる。一部の実施形態では、屈折率整合流体1618は、高い粘性を有する。一部の実施形態では、屈折率整合流体1618は、適合する再利用可能な透明プラスチックによって置き換えられてもよい。
図17Aは、一部の実施形態による、爪郭の画像撮影を可能にするようにスマートフォンに取り付けられたアダプタを有する、スマートフォンを示す。図17Bは、撮像のために指がアダプタの前に配された時のスマートフォンおよびアダプタを示す。図18は、図17A〜図17Bに示されたアダプタを使用してスマートフォンによって取り込まれた画像である。複数の毛細血管構造が、一部の実施形態による血液細胞の動態のさらなる分析のための画像内で可視である。
図19は、一部の実施形態による、画像を取り込んで血液細胞の動態分析を実施するためのクランプデバイスの概略図である。クランプ装置1900は、指1950をしっかりと受け取るためのばね式ケーシング1910を含む。指1950がクランプデバイス1900内に配されると、一対のLEDライト1940aおよび1940bによって指1950が照明されて、カメラ1930は指1950の画像を撮影することができる。一部の実施形態では、LEDライト1940aおよび1940bは、広域スペクトルの白色光を発する。一部の実施形態では、LEDライト1940aおよび1940bは、WBCによって効果的に反射することのできる緑色光を発する。クランプデバイスはまた、上記に記載された方法によりカメラ1930によって撮影された画像を処理するための電池および/または処理ユニット1920も含みうる。図20は、血液細胞の動態分析のために指に連結されたクランプ装置を示す。図20から分かる通り、ばね式ケーシングは、指とカメラとの間の相対的な動きを低減または除去するように、指をクランプデバイスに固定するのに役立つ。
図21A〜図21Oは、一部の実施形態による、毛細血管顕微鏡検査および血液学的分析のためのスマートフォンカメラを有する爪郭の画像を取り込むためのアダプタの図である。具体的に、図21A〜図21Fは、スマートフォンアダプタの斜視図の画像である。図21A〜図21Eでは、アダプタは、スマートフォンカメラが利用されるように、スマートフォンに取り付けられる。図21Fでは、アダプタが取り付けられずに示されている。図21G〜図21Oは、アダプタの側面図および斜視図を示すワイヤフレームである。図22A〜図22Dは、一部の実施形態による、スマートフォンカメラが毛細血管顕微鏡検査および血液学的分析のために使用されるようにスマートフォンに取り付けられた、スマートフォンアダプタを使用する方法を図示する。図22Aでは、屈折率整合流体は、ユーザの爪郭の表面に配置される。図22B〜図22Dでは、スマートフォンが指の上に配置され、それゆえにアダプタが指の上に置かれて、スマートフォンカメラが爪郭と整列される。
図23は、非侵襲的な血液学的測定を実装および/または実行できる環境/システム2300の概略図である。一部の実施形態では、システム2300の態様は、図1〜図22および図31〜図60に関して本明細書に記載されたシステム、装置、および/もしくはデバイスと構造的および/もしくは機能的に類似したものとすることができる、ならびに/または図1〜2に記載された方法を実施することができる。
システム2300は、プラットフォーム2310、照明源2330、撮像デバイス2320、および計算デバイス2340を含む。一部の実施形態では、システム2300の全てのコンポーネントを、例えば、ユーザ用の統合された一体型デバイスとしてシステム2300を与える単一のハウジングなど、一般的なケーシングに含めることができる。他の実施形態では、システム2300の少なくともいくつかのコンポーネントを、別々の位置、筐体、および/またはデバイス内とすることができる。例えば、一部の実施形態では、計算デバイス2340は、一つまたは複数のネットワークを介して照明源2320および/または撮像デバイス2330と通信するスマートフォンとすることができ、ネットワークのそれぞれは、有線ネットワークおよび/またはワイヤレスネットワークとして実装される任意のタイプのネットワーク、例えば、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、バーチャルネットワーク、電気通信ネットワーク、および/またはインターネットなどとすることができる。当技術分野で公知であるように、任意のまたは全ての通信を厳重に保護(例えば暗号化)することも無保護とすることもできる。システム2300および/または計算デバイス2340は、パーソナルコンピュータ、サーバ、ワークステーション、タブレット、モバイルデバイス、クラウドコンピューティング環境、アプリケーション、またはこれらのプラットフォーム上で実行されるモジュールなどとしうるかそれらを包含しうる。
説明を簡単にするために、爪郭における血液学的測定のためのシステムとして本明細書に記載される一方で、本明細書に開示されるシステム、デバイス、および方法の態様は、本明細書に記載されるように撮像することのできる毛細血管構造(例えば、毛細血管床、表在毛細血管、末梢毛細血管、ユーザの指の他の部分の毛細血管など)を有する任意の組織における血液学的測定のために役立つことが理解される。非限定的な例としては、網膜、耳朶、唇、歯肉などの毛細血管が挙げられる。一例として、プラットフォーム2310は、歯肉線の毛細血管床内の血液学的測定に使用する間、ユーザの歯肉線に押し付けるように適用することができる。別の例として、プラットフォーム2310は、網膜の毛細血管における血液学的測定に使用する間に網膜に押し付けるための、眼圧計様の器具を包含しうる。
一部の実施形態では、プラットフォーム2310は、使用中にユーザの指を受け取る。一部の実施形態では、プラットフォーム2310は、図11〜図14、図19に記載された指ホルダーに構造的および/または機能的に類似するものとすることができる。一部の実施形態では、プラットフォーム2310は、プラットフォーム内の所定の位置に指の爪郭の一部分を位置付けるようにユーザの指の配置を導くための形状を有する。
照明源は、実質的に単色の光の任意の適切な供給源とすることができ、そのような光としては、以下に限定されないが、発光ダイオード(LED)、レーザー光、フィルタリング光などが挙げられる。照明源は、使用中にユーザの指の爪郭の一部分を照明するように、プラットフォーム2310に対して位置付けることができる。
撮像デバイス2330は、スマートフォンカメラ、毛細血管顕微鏡などを含めて、本明細書に開示される任意の適切な撮像器を含みうる。一部の実施形態では、撮像デバイス2330は、例えば、デバイス2340からの同期/タイミング信号に基づくなどして、照明源2330による爪郭の一部分の照明に応答して、使用中に、使用者の指の爪郭の一部分の画像を取り込む。一部の実施形態では、撮像デバイス2330は、取得毎に画像セット、例えば一連の低速度撮影像などを取り込む。一部の実施形態では、撮像デバイス2330は、例えば60フレーム/秒の取り込み速度で60秒間の動画/動画ファイルとして画像セットを取り込む。
一部の実施形態では、プラットフォーム2310は、例えば、ビーム成形および/またはビームステアリング光学系、光ファイバなどの一つまたは複数の光導管、直接的/光学系不含の連結など、任意の適切な独立した手段を介して、照明源2330および撮像デバイス2330に光学的に連結される。
計算デバイス2340は、少なくともコントローラ2350およびメモリ2360を含む。図23は、データベース2370も図示するが、一部の実施形態では、データベース2370およびメモリ2360を共通のデータストアとしうることが理解されよう。一部の実施形態では、データベース2370は、一つまたは複数のデータベースを構成する。さらに、他の実施形態(図示せず)では、少なくとも一つのデータベースは、デバイス2340および/またはシステム2300の外部にあるものとすることができる。計算デバイス2340はまた、システム2300の他のコンポーネントについてソフトウェアおよび/もしくはハードウェアに実装された、ならびに/またはデバイス2340と相互作用するためにシステム2300の外部に、一つまたは複数の入力/出力(I/O)インターフェース(図示せず)を含むことができる。
メモリ2360および/またはデータベース2370は、独立して、例えば、ランダムアクセスメモリ(RAM)、メモリバッファ、ハードドライブ、データベース、消去可能かつプログラム可能なリードオンリメモリ(EPROM)、電気的に消去可能なリードオンリメモリ(EEPROM)、リードオンリメモリ(ROM)、フラッシュメモリなどとすることができる。メモリ2360および/またはデータベース2370は、命令を記憶して、システム2300に関連付けられた処理および/または機能をコントローラ2350に実行させることができる。
コントローラ2350は、デバイス2340に関連付けられた命令セットまたはコードをランおよび/または実行するように構成された、任意の適切な処理デバイスとすることができる。コントローラ2350は、例えば、汎用プロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などとすることができる。
コントローラ2350は、撮像デバイス2330から画像/動画データのセットを受信する。コントローラ2350は、コンピュータ実行可能命令(例えば、メモリ2360および/またはデータベース2370に格納されたもの)を実行して、その画像セットを任意の適切な方式で処理することができる。一部の実施形態では、例えば、1280×1024ピクセルの解像度および1秒あたり60フレーム/画像のフレームレートを有する未加工の入力動画/画像セットを所与とすると、ならびに入力の初期のフレーム指標を所与とすると、コントローラ2350は、その初期のフレーム指標から開始する1分間(3600フレーム)の持続時間に制限された、二つの非圧縮動画を抽出することができる。一部の実施形態では、本来のピクセル解像度での第一の動画は、本明細書に記載されるように、登録および毛細血管検出の間の処理を加速するために、例えば、ピクセル解像度(640×512)の半分でダウンサンプリングされる。また、非圧縮画像は、第二の動画の第一のフレーム/画像として抽出される。
一部の実施形態では、コントローラ2350は、フレーム/画像間で発生する動きを除去するために、画像セットに対してグローバルな登録処理を実行する。例えば、一部の実施形態では、コントローラ2350は、画像セットの第一の画像に関して全ての画像を整列させる。一部の実施形態では、整列は、画像セットの取込み像(view capture)の水平並進および/または垂直並進について修正することを含む。一部の実施形態では、コントローラ2350は、各画像について水平並進および/または垂直並進を、第一の画像とのその相互関係を最大化する方式で修正する。
一部の実施形態では、このような整列プロセスの前に、コントローラ2350は、所定の特性(例えば、サイズ75×75ピクセルの正方形フィルター)および/または任意の他の適切な画像平坦化手法に基づき、例えば、空間ハイパスフィルタによって、画像セットの各画像の強度を正規化する。このようにして、結果として得られた処理画像セット(時に単純に「画像セット」とも呼ばれる)は、画像セット全体にわたって視野に留まる表示領域にトリミングされる。
コントローラ2350は、コンピュータ実行可能命令(例えば、メモリ2360および/またはデータベース2370内に格納されたもの)を実行して、処理画像セットの各画像において爪郭の一部分の一つまたは複数の毛細血管を検出し、画像セットにわたって第一の毛細血管セットを識別することができる。一部の実施形態では、第一の毛細血管セットを検出することは、画像セットの少なくとも一つの画像上の第一の毛細血管セットの各毛細血管を検出することを含む。
一部の実施形態では、コントローラ2350は、以下のように、第一の毛細血管セットの各毛細血管を検出する。コントローラ2350は、識別された毛細血管の一つまたは複数の属性について(例えば、一つまたは複数の属性のうち少なくとも第一の属性について)、一つまたは複数の所定の基準を満たす毛細血管の画像を含むトレーニングデータを受信する。一部の実施形態では、一つまたは複数の属性は、毛細血管自体の構造的属性を含み、そのような属性としては、例えば、以下に限定されないが、毛細血管長(例えば、撮像器/撮像デバイスのフレームレートを所与とすると、典型的なまたは最大の血流速度で移動する細胞事象が一つを超えるフレームに現れるものとなるのに十分な長さ)、毛細血管幅(例えば、約10μmから約20μmまでであって、その間にある全ての値およびサブ範囲を含む毛細血管幅)、毛細血管深度(例えば、約10μmから約350μmまでであって、その間にある全ての値およびサブ範囲を含む毛細血管深度)、平均毛細血管直径、毛細血管横直径、毛細血管縦直径、毛細血管形状(例えば、毛細血管は鮮明な動脈肢および静脈肢を呈していなければならない)などがある。
平均毛細血管直径は、一般に、単一の断面で、または毛細血管の長さに沿った複数の断面で、毛細血管の複数の直径測定値の任意の平均として特徴付けることができる。一部の実施形態では、構造的属性は、平均毛細血管直径であり、所定の基準は、平均毛細血管直径が約10μmから約20μmの間でなければならないということである。
一部の実施形態では、一つまたは複数の属性は、流れの属性を含み、そのような属性としては、例えば、以下に限定されないが、毛細血管の血流速度、毛細血管の可視部分内の細胞の移行時間、体積流量、質量流量、流れの方向性、血流速度安定性などがある。
一部の実施形態では、一つまたは複数の属性は、毛細血管の画像の撮像属性をふくみ、そのような属性としては、例えば、以下に限定されないが、コントラスト(例えば、輝度コントラスト、二乗平均平方根(RMS)コントラスト、ウェーバーコントラスト、マイケルソンコントラスト、ヒストグラムベース手法など)、焦点/詳細(例えば、勾配ベースの作用素、ラプラス作用素、ウェーブレット作用素、離散コサイン変換(DCT)、周波数ドメイン解析、位相干渉性、輝度マップ、特異値分解、学習アルゴリズムなどにより測定されるような)、信号対ノイズ比、画像安定性(例えば、画像登録手法、オプティカルフローなどによって測定されるような)などがある。一部の実施形態では、構造的属性と撮像特性との組合せを採用することができる。一部の実施形態では、トレーニングデータは、ヒト専門家により生成されたデータであり、このデータはまた、毛細血管が一般に明瞭であり(例えば、毛細血管を塞ぐ気泡がない)明瞭な形態を有する(例えば、明瞭な動脈肢および静脈肢を有する)という要件の作因となるものである。コントローラ2350は、画像セットの第一の毛細血管セットを認識するためのトレーニングデータに基づき、深層学習ニューラルネットワーク(例えば、その全体の開示を参照により本明細書に組み込まれる、Joseph Redmon et al.2016,The IEEE Conference on Computer Vision and Pattern Recognitionに概ね開示されているような深層学習YOLO方法/手法などの完全畳み込みニューラルネットワーク)をトレーニングする。
一部の実施形態では、コントローラ2350は、画像セットの各画像中の検出された各毛細血管についてその毛細血管の周りに境界ボックスを生成し、また、検出が毛細血管に対応し別の構造/アーチファクトには対応しない可能性に関連する信頼性値を生成する。一部の実施形態では、第一の毛細血管セットは、所定の信頼性閾値を満たすかまたは超える対応の信頼性閾値を有する、それらの検出された毛細血管を含む。
一部の実施形態では、コントローラ2350は、第一の毛細血管セットから第二の毛細血管セットを識別する。一部の実施形態では、第二の毛細血管セットは、画像セットのうち閾値数の画像内で検出可能な毛細血管を含む。例えば、画像セットが60個の画像を含む場合、第二の毛細血管セットは、60個の画像のうち少なくとも40個において可視である毛細血管を含みうる。一部の実施形態では、第二の毛細血管セットは、閾値数の画像において検出可能であり、かつ最小数または全てのそれらの画像において信頼性閾値を超える信頼性値を伴う、毛細血管を含む。一部の実施形態では、コントローラ2350は、トレーニングデータに基づいて閾値数の画像の標示を生成する。
例示的な実施形態では、コントローラ2350は、手動で作成された795個の対応する境界ボックス(毛細血管周辺の)を有する130個のトレーニング画像を用いて、本明細書に記載されるように、ニューラルネットワークを供給する。トレーニング画像は、43名の別個の患者に由来する130個の別個の毛細血管動画/画像セットの第一のフレーム/画像として抽出され、それゆえ十分なデータ多様性を確保する。境界ボックスを、本明細書に記載される基準のセットを満たす各毛細血管の周辺で、1名のヒト専門家により手動で画定した。画像データセットを、取得の時間的順序に基づいて第一のセットおよび第二のセットに分割し、また不適切な毛細血管またはアーチファクトの検出を避けるために、信頼性閾値を¢=0.45に設定した。この条件は、第一の毛細血管として、第一のセットでは、識別された毛細血管の周囲の計416個の注釈付きの境界ボックスを用いて23名の患者から66個の画像を検出し、第二のセットでは、識別された毛細血管の周囲の計379個の注釈付きの注釈付きの境界ボックスを用いて19名の患者からの64個の画像を検出した。ニューラルネットワークに、第一のセットおよび第二のセットを毎回計900反復で供給し、そのようにして、対応の学習された重みWs1およびWs2を作成した。例示的なYOLO手法を参照して説明したが、一部の実施形態では、これらの学習された重みWs1およびWs2は、畳み込みニューラルネットワーク構造の自由パラメータとして決定され、トレーニングセットからの画像に対して実行される際にニューラルネットワークによって検出された毛細血管が、参照としてこれらの同じ画像上でヒト評価者により予めラベル付けされたものと最も良く一致するように最適化される。
第一の毛細血管セットの上記の単一フレーム検出ステップ/識別の後、各毛細血管を所与の識別子により追跡した。毛細血管の追跡は、フレーム間で検出の見逃しの発生した事象において、重複およびカルマンフィルタリングに基づくが、尤も、限定されないものの、数学的形態、相互相関、相互情報量、オプティカルフロー、機械学習などを含めた任意の適切な手法が、毛細血管の追跡に使用されうることが理解される。毛細血管は、図24A〜図24Bに示されるように、少なくともt個の画像(閾値数の画像)にある場合に、すなわち、t個の画像において信頼パラメータ¢を超える境界ボックスに関連付けられている場合に、第二の毛細血管セットについて選択される。3個未満が毛細血管を選択された場合を除いて、パラメータtを経験的に600に設定した。後者の場合、可能であれば3個の毛細血管が検出されるように(すなわち、少なくとも3個の別個の毛細血管が単一画像で検出されるという条件で)、tを設定した。
第一の毛細血管セットの選択をテストするために、本明細書に記述された(第一の毛細血管セットを検出するための)ステップが、重みWs2を有する第一のセット、および重みWs1を有する第二のセットに関して実行される。第一の毛細血管セットの検出を検証するために、参照画像/参照動画の別個の24セットから得られる24個の最初の画像の参照に対する比較を行うが、ここで、毛細血管ボックスは、以下の基準のセットに従って毛細血管を選択した2名のヒト専門家によって注釈付けされたものである。(A)照明。毛細血管は、観察者にとって十分なコントラストで可視でなければならない;(B)焦点。詳細な毛細血管の構造/動態は、不鮮明ではなく可視でなければならない;(C)流れ。血流は、潜在的な事象を識別し計数することを可能にするように存在していなければならない;(D)安定性毛細血管は、全てのフレームの動画FOV内に完全に留まっていなければならない;(E)可視性毛細血管を塞ぎうる物体(例えば気泡)はない。(F)形態。毛細血管は、明瞭な動脈肢および静脈肢を呈していなければならない。テスト動画/画像セットでは、例えば、95%の動画が、3個以上の検出された毛細血管を有し、分類結果の改善に関連する。本明細書に詳述されるように実施される毛細血管の検出の一例を、図25に図示する。
再び図23を参照すると、一部の実施形態では、コントローラ23は、第二の毛細血管セットにおいて細胞事象セット(すなわち一つまたは複数)を検出する。一部の実施形態では、細胞事象セットの各細胞事象は、第二の毛細血管セットの毛細血管における白血球細胞の通過に関連する。本明細書にさらに詳しく記載されるように、赤血球細胞は、本明細書に記載される波長で白血球細胞よりも大きな光吸収を呈するため、毛細血管における白血球細胞の通過は、白血球細胞の存在に起因する「吸収ギャップ」をもたらす。
したがって、本明細書に使用される際の、および時として「間隙」または単に「事象」ともよばれる、用語「細胞事象」は、以下:a)毛細血管内の第一の範囲に比べて比較的吸収の低い範囲(一つまたは複数の白血球細胞が存在する可能性を標示する)に隣接する比較的吸収の大きな範囲(赤血球細胞が存在する可能性を標示する)の検出;b)第一の範囲に比べて比較的吸収の低い第二の範囲(第一の範囲の下流に一つまたは複数の白血球細胞が存在する可能性を標示する)に隣接する比較的吸収の大きな第一の範囲(赤血球細胞が存在する可能性を標示)の検出、のうち一つまたは複数を指しうるが、その場合、第二の範囲は、毛細血管内の第二の範囲とは吸収の異なる第三の範囲(第二の範囲の下流に赤血球細胞が存在する可能性かまたは実質的に何も細胞を含まない範囲のどちらかを標示する)に隣接する。
毛細血管における白血球細胞の検出のために本明細書に開示される一方で、本開示の態様は、任意の他の適切な細胞が赤血球細胞に対し吸収の対比を呈する限り、それらの細胞を検出するのに有用であることが理解されよう。一例として、循環腫瘍細胞(CTC)は、CTCに類似した直径を有する毛細血管を選択することによって(すなわち、第一の毛細血管セットまたは第二の毛細血管セットを選択することによって)検出可能となりうる。別の例として、一つまたは複数の白血球細胞のタイプ(例えば、好中球、リンパ球、単球、好酸球、および/または好塩基球)は、本明細書に記載される適切な毛細血管の選択によって検出可能となりうる。
一部の実施形態では、第二の毛細血管セットのあらゆる毛細血管について、コントローラ2350は、以下のように、その毛細血管を通って流れる一つまたは複数の細胞事象を検出する。一部の実施形態では、コントローラ2350は、3D行列として毛細血管を示す全ての画像を、xピクセル位置、yピクセル位置、および画像に関連付けられた行列の次元と共に、メモリ2360および/またはデータベース2370にロードする。各行列値は、そのピクセルの輝度レベルに対応する。一部の実施形態では、コントローラは、a)毛細血管を示す第一の画像に関して空間的に輝度レベルを正規化して、照明源2320に関連する潜在的な輝度のバリエーションについて補正することによって、3D行列の輝度レベルを正規化する。一部の実施形態では、これは、a)25ピクセルの標準偏差を有するガウシアンフィルタにより推定された局所輝度平均によってピクセル輝度を(各ピクセルについて)割り当てることによって、およびb)(平均平方誤差の観点から)輝度値が第一の画像のものに最も近いままとなるように、上記毛細血管を示すあらゆる画像の平均輝度を調整することによって、達成される。
前処理されたこの正規化3D行列の各ピクセルは、同じ細胞事象が通過する全てのピクセルにわたって同様となるそれに関連する時間信号を有するが、これらのピクセル間の主な違いはピクセル固有の時間シフトとなる。別の違いは、全ての時間信号が均等に強い/正確な振幅であるとは限らないことである。第一の近似として、コントローラ2350は、参照ピクセルとなる「最強」の時間信号を有する画像のエッジから離れたピクセルを選定する。一般に、強い/望ましい信号は、明るいギャップ(白血球細胞が存在する可能性を標示する)と暗い赤血球細胞との間の大きなコントラスト、例えば、所定の閾値による信号内のノイズレベルを超えるコントラストなどを有するものである。この信号は、時間的整列の参照信号の候補とすることができる。一部の実施形態では、コントローラは、その二乗値の和とその絶対値の和との比に基づき、この参照信号の候補の強度を推定する。そして、この比は、その公称変動に対するそのピークの強度の推定として解釈することができる。一部の実施形態では、参照信号の推定は、以下の正規化前および正規化後のステップを採用することができる:(a)局所時間平均を、平均化窓(例えば窓サイズ200ms)に基づく時間信号から減算する、(b)堅牢性のために、前述の比を、同じサイズの10個の連続的な時間のまとまりに由来する10個の推定値の中央値として推定する、(c)毛細血管を示す画像セットの2Dマップを形成する、結果として得られた上記比の推定値を、1ピクセルの標準偏差を有するガウシアンフィルタにより空間的にさらにフィルタリングする。一部の実施形態では、重み付け係数を導入してフレームの境界に近い参照ピクセルの候補を不利にすることによる、不完全な登録に起因する強度の変動がありうることから、コントローラ2350は、目的とする領域のエッジに近い他の毛細血管を無視するおよび/またはその他考慮しない。次いで、コントローラ2350は、前処理された時間信号のピーク強度と目的の領域のエッジからのその距離とを最大化するピクセルを選定する。
一部の実施形態では、コントローラ2350は、あらゆる別々のフレームの空間的フィルタリングを通して、細胞の事象ではなさそうな他の構造をさらにふるい分ける。一部の実施形態では、これは、あらゆるフレームについて、別個のフーリエドメイン中でバンドパスフィルタを適用して不適切なサイズの全ての特徴を除去することによって達成され、低周波および高周波のバンドパスのパラメータは、予想される細胞事象サイズ/予想される白血球細胞サイズの範囲に適合するように調整される。
一部の実施形態では、コントローラ2350はさらに、赤血球細胞で充填された毛細血管の強度をゼロに設定する。このステップの目的は、事象を含まない流れが事象の通過に関して適正なコントラストを確実に表示するものとすることであるが、後者は次いで、バイアスの除去後に(有意な)ゼロ以外の輝度値に理想的に関連付けられる。一部の実施形態では、コントローラは、その毛細血管を示す全ての画像における全ての対応するピクセルから一時的な(フレームワイズの)中央値を減算することによって、これを達成する。ピクセルワイズのオペレーションは、全てのピクセル上で別々にかつ無差別に実施され、すなわち、ピクセルが毛細血管の内側または外側のどちらにあるかとは独立して実施される。このステップの想定は、毛細血管がその長さの殆どについて、および殆どの時間にわたって、赤血球細胞により充填されていることである。
次いで、コントローラ2350は、第二の毛細血管セットの毛細血管を示す画像のあらゆるピクセル位置に関連付けられた時間信号を、本明細書に開示されたように推定された参照ピクセルにおける参照時間信号に比較する。まず、コントローラ2350は、時間次元に沿ってあらゆる別々の時間信号にハイパスフィルタを適用することによって、長期の強度の変動を抑制する。次いで、コントローラ2350は、あらゆる時間信号と参照の時間信号との間の相関関係を推定し、その結果、各ピクセルの振幅および位相値を生じる。大きな正の振幅は、強い相関を標示し、位相は、参照ピクセルにおける信号に関する時間シフトを標示する。このピクセルあたりの振幅および位相の情報は、ノイズに対するより堅牢な平均信号を推定するために、下記に記載されるように使用される。コントローラ2350は、最初と最後のフレームを複製して、毛細血管を示す画像シーケンスの開始時または終了時での偽検出を回避することによって、全てのオペレーションを実行する。
参照時間信号に、および関連する位相と振幅との相関情報を有する他の時間信号に基づいて、コントローラ2350は、ノイズに対する比較的より堅牢な平均時間信号を生成する。この平均時間信号は、毛細血管の一部と捉えられる全ての時間信号を組み合わせるものである。一部の実施形態では、a)任意の時間信号と参照信号との相関関係が、参照信号の自己相関時間の閾値を超えており、かつb)参照信号に関する時間信号の(正または負の)時間遅延(すなわち位相)が、毛細血管をギャップ/細胞事象が通って流れるのにかかる最大時間という比較的固定されたパラメータ程度の大きさである場合に、コントローラ2350は、上記任意の時間信号を保持する。
次いで、コントローラ2350は、以下のように上位参照時間信号を計算する:(a)全ての時間信号を、位相情報に基づき、参照時間信号に関して時間内に整列する、(b)整列された時間信号を平均化する、(c)結果として得られた平均信号を、固定された最小周波数パラメータに基づき、時間内にハイパスフィルタリングする。細胞事象が検出される時間が参照ピクセル位置に関連付けられることに留意すると、結果として得られたフィルタリングされた1次元の信号は、細胞事象の検出に有用である。図26A〜図26Cは、一つの毛細血管について画像セットを分析することによって生じるリアルタイム信号の一例を図示し、また、単一の細胞事象vs血漿ギャップの周囲に予想されうる時間信号プロファイルのタイプも示す。白血球細胞を含むギャップは、図26Bに最も良く図示されるように、上流に、暗い範囲に対応する高濃度の赤血球細胞を有するものと仮定される。
各ギャップ/細胞事象は、毛細血管における空間的な平均正規化輝度を反映する平均時間信号が閾値を超える、非連続的な値の流れに関連付けられる。ゼロ以外の全ての値は、通過事象を反映するべきものであるのに対し、ノイズがあるために、閾値は、ゼロ以外の正の値として設定することができる。一部の実施形態では、信号とノイズとの間で起こりうる最良の分離を達成するように、閾値が最適化される。例えば、一部の実施形態では、閾値は、(上記閾値を下回る値に関連する)殆どのノイズアーティファクトを退けつつ、(上記閾値を超える値に関連する)殆どのピーク信号情報を取り込むように設定される。一部の実施形態では、コントローラ2350は、この閾値をノイズの標準偏差の倍数として設定し、その場合、ノイズは、正の指数モデル(すなわち、減衰する指数関数は信号分布の正の部分に適合する)に従って推定される。一部の実施形態では、信号自体の標準偏差は、ノイズの推定値としての役割を果たすことがある。一部の実施形態では、閾値処理の前に、コントローラは、平均時間信号をチェックするが、具体的には、その信号の中央値フィルタリングされたバージョン(例えば240フレームのフィルタサイズを有する)とその第一四分位数との比が1を超える場合、コントローラは、この比によって信号を局所的に分割する。検出された各ギャップ/細胞事象について、関連する時間情報が、参照ピクセルに関して定義される。そして、信号が、その毛細血管を示す2個以上の画像の閾値を超える場合、コントローラは、その毛細血管を示す一連の画像中の中心画像を選定する。
一部の実施形態では、コントローラは、細胞事象を、その毛細血管の画像あたりの最大である3D行列の一連のx、y、およびtに戻してマッピングする。各細胞事象は、複数の画像において、流速、毛細血管長、および取得のフレームレートに依存する回数で発生しうる。細胞事象を検出する能力は、参照フレームの周囲のギャップの最大交差時間によって限定され、そのフレームでは、ギャップが参照ピクセルを通過する。各画像について、コントローラ2350は、毛細血管の内側にあるものとされる最も輝くピクセルをマークする。
第二の毛細血管セットの各毛細血管について、コントローラ2350は、次いで、関連する事象計数を生成する。本明細書にさらに詳細に記載されるように、一部の実施形態では、第二の毛細血管セットの全ての毛細血管にわたって事象計数を平均化した後、各画像セットをユーザの分類に使用することができる。
図27A〜図27Bは、ヒト評価者と比較した場合の、26個の未加工の動画/画像セットに関する細胞事象の検出から得られた結果を図示する。個々の評価者のうちの1名と比べて、F1スコアは、検出された事象の一貫性を測定する指標(精度Pおよび再現率Rの調和平均として定義され、P=TP/(TP+FP)およびR=TP/(TP+FN))として使用される。個々の専門家(計3名)について、F1スコアを、残りの専門家(すなわち2名の群)によって一貫して検出された細胞事象に対して評価した。本明細書に開示される実施形態については、F1スコアを、これら2名の専門家の三つの群に関する結果間の平均として評価し、それにより偏りのない比較を確保した。F1スコアは、真陽性、偽陽性、および偽陰性を考慮するものである。
図28A〜図28Dは、コントローラ2350に関して本明細書に記載される細胞事象の検出に対する全体的なアプローチの一例を示す。
再び図23を参照すると、一部の実施形態では、コントローラ2350は、第二の毛細血管セットにおいて検出された細胞事象の数に基づいて、ユーザをユーザタイプセット中のユーザタイプに分類する。一部の実施形態では、少なくとも一つのユーザタイプは、好中球減少(絶対好中球計数<500細胞個/uL)の診断に関連付けられ、少なくとも一つの他のユーザタイプは、好中球減少性ではないユーザに関連付けられる。一部の実施形態では、コントローラ2350は、分類の質を改善するために、重み付けアプローチ(すなわち全ての毛細血管にわたる事象カウントの加重平均を採用すること)を実行する。一部の実施形態では、重み付けアプローチは、画像セットの推定品質に基づきうる。
一部の実施形態では、コントローラ2350は、全ての事象計数を要約する単一の事象指標値(「白血球指標値」ともよばれることがある)を生成する。一部の実施形態では、コントローラは、事象指標値を事象閾値μに対し比較するが、(一部の実施形態では)この閾値は、本明細書にさらに詳細に記載されるように、学習パラメータとすることができる。重度の好中球減少に関連付けられたユーザタイプ(例えば、第一のユーザタイプ)へのユーザの分類は、事象指数値<μである場合、および別のユーザタイプ(例えば第二のユーザタイプ)である。二つのユーザタイプについて本明細書に記載されたが、コントローラ2350は、閾値パラメータに応じて、三つ、四つ、またはそれ以上のユーザタイプにユーザを分類できることを理解されたい。
本明細書に記述されるように、コントローラ2350は、その毛細血管の推定品質に基づいて、第二の毛細血管セットの各毛細血管に重みを割り当てることができる。一例として、一部の実施形態では、事象の検出に使用される閾値が、信号の標準偏差(より低い質であることを標示する)に対して、およびそうでなければ1に対して、固定されたレベルよりも大きかった場合に、毛細血管の重みを1/10に設定することができる。
上述のように、一部の実施形態では、事象閾値を学習パラメータとしうる。例えば、一部の実施形態では、事象閾値を、計116個の未加工の動画/画像セットに基づき決定した。具体的には、42名の患者由来の計116個の撮像セッション(殆どは一つの未加工動画/動画セットにそれぞれ関連付けられる)を採用した。これらのセッションから、60個が参照の採血値ANC<500に、56個がANC>500(そのうち15個は500<ANC<1,500)に対応した。連続した毎日の採血がANC<500からANC>500への移行を示したケースでは、最初の採血の8時間以内に撮像セッションを行った。
図29A〜図29Bは、本明細書に開示されるシステム、デバイス、および方法を使用した前述のデータの分類から得られた結果を示す。96%の重度の好中球減少の検出率(AUC=0.96)の下、9%の誤警報(すなわち、9%のケースが誤って重度に好中球減少性であるとされた)の実績を得た。これらの結果では、分析中にセッションの20%を不適切であるものとし、それゆえ廃棄した。対応する条件は、(a)検出された毛細血管<3個であるセッションがないこと、(b)白血球指数がゼロであるセッションがないこと、であって、個々の毛細血管(すなわち、検出された事象のない個々の毛細血管)も(b)の一部として廃棄される。図61A〜図61Bは、採用された画像セット中の動画の長さ/画像の数によって分類がどのように影響を受けうるかを図示する。
図30は、一部の実施形態による、非侵襲的な血液学的測定のための方法3000を図示する。方法3000は、システム2300によって、またはその構造的および/もしくは機能的に類似した変形によって実行することができる。方法3000は、3100で、ユーザの指の少なくとも爪郭の一部分の画像セットを取得することを含む。一部の実施形態では、ステップ3100は、画像セットを動画のフレームのセットとして取得することをさらに含む。一部の実施形態では、方法3000は、爪郭の一部分を照明することをさらに含み、上記画像セットを取得することは、爪郭の一部分の照明に応答するものである。
方法3000は、3200で、画像セットの各画像において指の爪郭の一部分内の一つまたは複数の毛細血管を検出して、その画像セットにわたって第一の毛細血管セットを識別することをさらに含む。上記検出することは、第一の毛細血管セットの各毛細血管の一つまたは複数の属性を推定することを含みうる。一つまたは複数の属性は、一つもしくは複数の構造的属性、一つもしくは複数の流れの属性、一つもしくは複数の撮像属性、またはそれらの組合せを含み、それゆえに、第一の毛細血管セットの各毛細血管の一つまたは複数の属性のうちの第一の属性は、第一の属性についての所定の基準を満たす。一部の実施形態では、一つまたは複数の構造的属性は、平均毛細血管直径、毛細血管横直径、毛細血管縦直径、毛細血管長、毛細血管形状などからなる群から選択される。一部の実施形態では、一つまたは複数の流れの属性は、毛細血管内の血流速度、毛細血管の可視部分内の細胞の移行時間、体積流量、質量流量などからなる群から選択される。一部の実施形態では、コントラスト、焦点、信号対ノイズ比、画像安定性などからなる群から選択される一つまたは複数の撮像属性である。一部の実施形態では、第一の属性は平均毛細血管直径であり、第二の毛細血管セットの各毛細血管は、約10μmから約20μmまでの推定平均毛細血管直径を有する。
一部の実施形態では、方法3000は、画像セットにおいて第一の毛細血管セットの各毛細血管の画像に関連する信頼性値を生成することを、さらに含みうる。第一の毛細血管セットは、毛細血管が検出される各画像について信頼性値が信頼性閾値を超える、毛細血管を含みうる。
一部の実施形態では、方法3000は、トレーニング画像セットの各画像内で可視である一つまたは複数の毛細血管の仕様を含む、トレーニング画像セットを受信することをさらに含みうる。方法3000は、トレーニング画像セットに関してニューラルネットワークをトレーニングすること、および画像セットをニューラルネットワークに適用して第一の毛細血管セットを検出することをさらに含みうる。
一部の実施形態では、第一の毛細血管セットを検出することは、画像セットをニューラルネットワークに適用することをさらに含み、ニューラルネットワークは、トレーニング画像セットの各画像内に可視である一つまたは複数の毛細血管の仕様を含むトレーニング画像セットについてトレーニングされている。
方法3000はさらに、3300で、第一の毛細血管セットから第二の毛細血管セットを識別し、その結果、第二の毛細血管セットの各毛細血管が画像セットの所定の数の画像で可視となることをさらに含む。
一部の実施形態では、方法3000は、画像セットについて、および第二の毛細血管セットにおいて、細胞事象セットを検出することをさらに含む。細胞事象セットの各細胞事象は、第二の毛細血管セットの毛細血管における白血球細胞の通過に関連する。方法3000は、細胞事象セットに基づき、第二の毛細血管セットの事象計数を推定することをさらに含みうる。
一部の実施形態では、方法3000は、第二の毛細血管セットの各毛細血管について、品質係数を推定することをさらに含む。方法3000は、細胞事象セット、および第二の毛細血管セットの各毛細血管に関連する品質係数に基づいて、事象計数を推定することをさらに含みうる。
一部の実施形態では、方法3000は、トレーニングユーザのセットの爪郭の一部分に関連するトレーニング画像セットを受信することをさらに含む。方法3000は、教師あり学習を介して、トレーニング画像セットに基づく事象計数の閾値を生成することをさらに含みうる。方法3000は、事象計数および事象計数の閾値に基づいて、ユーザタイプセットの第一のユーザタイプにユーザを分類することをさらに含むことができ、ユーザタイプのセットのうち少なくとも一つのユーザタイプは、好中球減少の診断に関連付けられる。方法3000はさらに、第一のユーザタイプの標示を(例えば、デバイス2340のシステム2300のインタフェースを介して)ユーザに送信することを含みうる。
本明細書に記載されるシステム、デバイス、および方法の様々な実施形態に関する追加的な詳細が下記に示される。
計数の正確性を向上させるための容積推定および毛細血管のサブ選択
上記に記載されたように(例えば、式(8)を参照すると)、WBC濃度は、WBC細胞の数の推定値(例えば、細胞事象の数によって推定される)、および総動画取得時間の間に目的の毛細血管を通過する血液の容積とに基づき、推定することができる。所与の毛細血管区画を通過する総血液容積は、通常、毛細血管区画の局所直径および血液の平均局所速度に依存する。さらに、容積の保存(または血液の質量の保存)は、目的の総血液容積を毛細血管内で伝搬中に一定の値で維持できることを示す。言い換えれば、総血液容積を、考慮される毛細血管区画とは独立して一定とすることができる。したがって、毛細血管区画の容積の推定値を、目的の血液容積の推定値として採用することができる。
この観察に基づき、堅牢な容積推定の方法は、相互相関またはオプティカルフロー手法に基づく。
少なくとも二つのアプローチを使用して、毛細血管区画の容積を推定することができる。一方のアプローチでは、問題の毛細血管区画は完全な円筒形状を有するものと仮定することができる。この場合、動画または画像から取得される毛細血管の幅を、毛細血管の深度として使用することもできる。
別のアプローチでは、毛細血管区画の容積を推定する方法は、ピクセル強度値の分析に基づいて実施される。具体的には、画像平面内の所与の位置での毛細血管の深度は、光吸収があるために、測定された光強度に逆相関することが予想される。毛細血管の縦直径および横直径は等しくない場合があり、可視の射影の直径は縦直径を表すものではない場合がある。言い換えれば、ピクセル値が低いことは、毛細血管の深度の値が大きいことを標示し、その逆もまた同様である。したがって、この解明された深度の推定値は、毛細血管区画の断面積をより正確に計算するために使用することができる。
図31A〜図31Fは、ピクセル強度の分析に基づいて毛細血管区画の容積を推定する方法を図示する。一部の実施形態では、図31A〜図31Fの方法の一部または全ての態様は、本明細書に記載されるようなシステム、装置、およびデバイス、例えば、システム2300および/またはデバイス2340などのうちの一つまたは複数によって実行することができる。
図31Aおよび図31Bは、毛細血管区画の二つの画像を示し、これらの画像では、図31Aのピクセル値が図31Bのピクセル値よりも大きい(すなわち、図31の方が明るい)。二つの毛細血管区画は、図31Aおよび図31Bに標示された所与の位置で約15μmの同一の幅を有する。従来の方法では、この幅はまた、毛細血管区画の深度として使用され、再構成された毛細血管の断面は、図31Cおよび図31Dに示されるように完全に円形である。これに対し、ピクセル強度が考慮される場合、異なるピクセル値は、二つの毛細血管区画の深度が異なることを標示する。図31Eおよび図31Fは、ピクセル強度解析に基づく方法を使用して、図31Aおよび図31Bにそれぞれ示される毛細血管区画に対応する再構成断面を示す。図31Eおよび図31Fから分かるように、図31Aでピクセル値が大きいことは、深度が小さいことを標示するのに対し、図31Bでよりピクセル値が低いことは深度が大きいことを標示する。二つの毛細血管区画の断面形状は、円形の代わりに楕円形である。
図31Aおよび図31Bに示される毛細血管全体に沿って同じ分析を実施することができ、曲線座標(例えば長さl)の関数として断面積Aを取得することができる。毛細血管の総容積Vは、lに関してA(l)の積分を、すなわち、以下を行うことによって、計算することができる。
上記の方法から計算される容積は、毛細血管プロファイルの容積のリサンプリングにも使用することができる。この方法は、1次元曲線座標系を使用して、所与の一つの毛細血管中の流速を解析することができる。一例では、1次元曲線座標系の座標は、通常、毛細血管に沿った長さの関数である(例えば、図6Aおよび図6Bおよび上記の説明を参照)。別の例では、1次元曲線座標系の座標は、累積毛細血管容積の関数とすることができる。累積毛細血管容積によって座標をリサンプリングすることの利点の一つは、粒子/事象速度が特定の座標系内で一定となってゆくことができ、それによって相互関係または類似の手法を使用した正確な推定が容易になることである。
図32A〜32Cは、毛細血管プロファイルの体積のリサンプリングを図示する。図32Aは、血流速度が一定であるが毛細血管長に沿って直径が変化する、毛細血管の表現を示す。光吸収のために、赤血球細胞が黒色で表されるのに対して、毛細血管を押し分けて進む単一の白血球細胞は白色で表される。図32Bは、時間(x軸)にわたって線形毛細血管長(y軸)に沿ったグレースケール値を表す空間時間的マップ(青色−暗い−から赤色−明るい−までの彩色マップ)を示す。図32Cは、容積のリサンプリングを使用して取得された空間時間的マップを示し、このマップは、図32Aの各断面における累積毛細血管容積の関数として毛細血管長の座標(y軸)で示されている。この場合、一定速度での白血球細胞の軌道(赤色−明るい−線)は直線となってゆき、それゆえに相互関係または類似の手法を使用して推定することがより簡単にかつ正確になる。
毛細血管事象のサブ選択
WBCの検出および推定のさらなる改善(例えば、図23〜図30に関して概ね記載されたような)は、事象が最も簡単に検出可能でありかつWBCの存在に相関する可能性が最も高い毛細血管のサブ選択を介して、達成することができる。毛細血管事象のサブ選択は、いくつかの基準に従って実行することができる。
一例では、サブ選択は、観察されたサイズ、すなわち、平均直径および/または直径プロファイルに従ってもよい。サイズは、通常、例えば約10μmと約20μmとの間の範囲などの所与の範囲についての、明瞭でコントラストの高い全毛細血管直径の事象の存在に相関する。図33は、明瞭な隙間が存在する毛細血管直径の範囲を示す。それらの直径に基づき毛細血管をサブ選択することで、WBCとの相関関係を改善することができる。
別の例では、サブ選択は、明瞭でコントラストの高い全毛細血管直径の事象の到着の時間分布に従ってもよく、これらの事象は、白血球細胞の存在/非存在下で異なることが示されている。図34Aは、WBC5,500個/μLを含む試料におけるギャップ間の到着の時間(TOA)の分布を示す。この高濃度のWBCの場合、TOAは実質的にポアソン分布に従う。これに対して、図26Bは、図34Aに示される濃度よりもずっと低いWBC100個WBC/μLを含む試料における、ギャップ間のTOAの分布を示す。
さらに別の例では、サブ選択は、毛細血管の動的挙動に従って実施することができる。このアプローチでは、方法は、長さ、コントラスト対ノイズ比、および速度を含めた事象特徴に基づき、毛細血管を直接的にサブ選択することができる。例えば、いくつかの直径の小さな毛細血管において赤血球細胞に起因するものとして、閉塞作用を識別することができる。
複数の爪郭毛細血管の高速かつ高コントラストの安定した動画の取得
図35A〜図35Cは、爪郭の毛細血管の画像に基づき重度の好中球減少を検出するための装置を図示する。一部の実施形態では、図35A〜図35Cの装置の一部または全ての態様は、本明細書に記載されるようなシステム、装置、およびデバイス、例えば、システム2300および/またはデバイス2340などのうち、一つまたは複数に構造的におよび/または機能的に類似するものとすることができる。
図35Aは、その各種コンポーネントと併せて、患者の爪郭毛細血管における微小循環の顕微鏡動画を記録するために採用された装置の、描画された3Dモデルを示す。図35Bは、患者が薬指を3Dプリント製ホルダー内に置くことを図示しており、このホルダーは、1分間の記録時間を通して安定性を達成し、かつ光学的結合に利用される油を保持するという、二つの役割を果たす。図35Cは、照明および撮像が爪郭領域(図中に標示された紫色の円で囲んだ領域)に向けられるように、指が置かれることを示す。
図35Aに示される装置は、ヒトの爪郭毛細血管における微小循環の高品質顕微鏡動画を記録するために使用され、それをASCT患者に利用することができる(図36を参照)。患者の指は、3D印刷製の半球状の簡単に消毒されたハンドレストの孔へと挿入されるが(図35B)、このハンドレストは、1分間の動画を記録するのに十分な安定性で患者の手を人間工学的に保持するように設計されている。毛細血管動画は、対象の指の爪郭領域から取得される(図35C)。
図37Aおよび図37Bは、図35Aに示される装置によって取得された未加工の画像の例を示す。広視野の動画のペアを、装置により、1名のASCT患者から、同一の毛細血管を観察できる二つの時点で取得した(三つの付番されたペアを示す)。図37Aは、ベースラインの好中球濃度(すなわち1,500/μL超)で撮影された画像を示し、図37Bは、患者が重度の好中球減少(500/μL未満の好中球濃度)を有していたときに撮影された画像を示す。画像のスケールバーは100μmである。
適切なコントラスト、解像度、安定性、および焦点の深度を有する毛細血管−爪郭の動画を装置が光学的に取り込むことができることを、図37Aおよび37Bから見ることができる。装置により取得された未加工動画は、視野内に複数の毛細血管を含む。複数の毛細血管の取得は、同一の視野で一度に複数の毛細血管を撮像することを可能にするこの単純な光学アプローチにより、特に簡便に行った。これに対し、多くの既存の手法、例えば符号化共焦点顕微鏡(SECM)などは、一度に単一の毛細血管のみを撮像することができる。
図38A〜図38Eは、毛細血管を流れる光学ギャップの一例を図示する。画像のシーケンスは、ベースラインにある患者1名に対し装置により取得された1個の毛細血管を中心とした動画の、いくつかの未加工フレームを示す。暗いループは、照明波長で光を吸収するRBCで充填された毛細血管に相当する。微小循環中の光吸収ギャップは、毛細血管の幅(約15μm)とほぼ同じサイズであり、毛細血管の動脈肢を通って流れているところを観察することができる(黒色の矢印として標示される)。フレーム番号は右上隅にラベル付けされている。フレームレートは1秒あたり60フレームであり、露出時間は16.7ミリ秒であった。示された目的の領域について、コントラストを調整した。
取得された画像内のこれらの毛細血管は、非常に狭く、典型的な幅は約10μmから約20μmである。この場合、WBCは、典型的には一つずつ毛細血管を押し分けて進むよりほかはない。単一の毛細血管に焦点を当てると、フレームは、微小循環中の事象の通過を明らかにし、この通過は、毛細血管直径(約15μm)とほぼ同じサイズの移動中の「明るい」物体として知覚されうる。明るい物体(または暗い背景にあるギャップ)は、周囲のRBCよりも著しく高い輝度を有し、したがって簡単に観察およびモニタリングすることができる。
事象の移動は、連続的なフレームにわたって明瞭に追跡され、それゆえにヒト観察者によって視覚的に識別可能である。したがって、毛細血管動画の全ての事象は、特定の視覚的な基準に従い、3名の盲検化されたヒト評価者によってマークされラベル付けされた(以下のさらに詳細な記載を参照)。空間時間(ST)マップは、1分間の毛細血管動画においてこれらの評価者から得られたマークを有する全ての事象の軌道を示すための、便利な代替表現を提供する。
図39A〜図39Eは、図35Aに示された装置によって取得された画像を使用した、盲検化された事象評価の結果を示す。3名のヒト評価者が、試験で採用された98個の毛細血管のうちの1個に観察された一つの事象をラベル付けした。図39A〜図39Cは、評価者1(青色)、2(緑色)および3(黄色)から得られたバツ形状の事象マークを有する毛細血管動画フレーム(右上にインデックス付けされている)を示す。図31Dは、3名全ての評価者から得られた全ての事象マークの集合された位置を示す。図39Eは、目的の事象の周辺の1.7秒間隔の間の時間の関数(横軸)として、セグメンテーションされた毛細血管長(縦軸)に沿って、記録された輝度レベルを表示するSTマップを示す。事象の通過によって生成される明るい軌道は、STマップの中央に明確に識別することができる。青色、緑色、および黄色のバツ印は、3名の各評価者が事象をラベル付けした空間時間的座標に対応する。STマップ上で可視である事象軌道は、動画から評価者によって識別された事象と十分に対応する。
特定の特徴を有する微小循環事象を、WBCの代用として使用することができる
図36は、臨床試験の患者から画像を取得するための二つの異なるタイミング点を図示する。試験に登録された患者はASCTを受けているが、ASCTとは、結果として、化学療法の管理投与に起因する彼らの好中球計数の進展を、非常に予測可能なものとするプロセスである。これにより、各患者について二つの異なる時点で毛細血管動画を記録する機会が提供される:(1)ベースライン(好中球>1,500個/μL)および(2)重度の好中球減少(好中球<500個/μL)。
取得された動画の画像を、化学療法を受けた10名のASCT患者の図36に示される二つの異なる時点で解析した:化学療法前(1μLあたりの好中球>1,500個、ベースライン)および重度の好中球減少の間(1μLあたりの好中球<500個)。潜在的な交絡要因ならびに選択バイアスを最小限にするため、同じ毛細血管セットを、患者ごとにベースライン時および重度の好中球減少の間に取得した(以下の詳細を参照)。1分間の動画を取得することによって、事象の個々の性質に付随するショットノイズを克服することができる。
これらの動画では、毛細血管の微小循環において事象が3人の評価者によって識別された際の一貫性は、毛細血管動画がベースライン時または重度の好中球減少の間に取得されたかどうかに依存していた。ベースラインの間に取得された毛細血管動画における事象を評価者が識別および計数した場合、それらの事象のうち67%が確証された(すなわち、2人以上の評価者が同じ事象を識別した)。重度の好中球減少の間に取得された毛細血管動画の場合には、22%の事象が確証されたに過ぎなかった。評価された事象の視覚的特徴は、ベースライン事象ではさらに一貫する傾向にあった(図48Aおよび図48Bを参照)。
これらの結果は、一貫して検出可能な視覚的特徴を有する事象がWBCよび好中球の存在と相関することを示唆した。したがって、確証された事象の計数を、WBC計数の代用として扱った。WBCのサイズに匹敵する毛細血管区画で殆どの確証された事象が発生したという事実(図47を参照)は、以前の文献から得られた知見を裏付けるものでもあるが、これらの文献の知見は、観察されたギャップを、毛細血管を通って流れるWBCと血漿との組合せに関連付けるものである。
重度の好中球減少の非侵襲的な検出
白血球細胞(WBC)の計数は、がん、感染症、敗血症、自己免疫障害を含む複数の医学的状態の診断および治療の免疫学的状態の指標の一つとして使用することができる。WBC計数は免疫抑制剤でも使用される。しかし、現在のWBC計数の方法は、通常、訓練された臨床担当者によって実施される静脈採血のために、指先穿刺手法の場合でさえ医療機関への個人訪問を伴う。この制約により、モニタリングの時間と頻度との両方が制限される。さらに、従来の血液検査は、典型的には特定の試薬および滅菌条件を使用するが、それにより、資源の限定された環境では適用可能性が排除されることがある。これに対し、WBC測定への非侵襲的なアプローチは、これらの要件の多くを回避し、血液酸素飽和度のモニタリングのための既存の非侵襲的手法に匹敵するものである。
非侵襲的なWBC分析に向けたステップの一つには、重度の好中球減少の非侵襲的なスクリーニングが含まれるが、それは、低レベルの好中球(例えば、1μLあたり500個未満)というよくみられるWBCの型として定義することができる。この状態は、共通の化学療法レジメンを受けている患者における主な毒性の一つである。それに関連して感染のリスクが増加することから、それは有意な罹患率および有意な死亡リスクに関与する。しかし、重度の好中球減少のモニタリングは、現在、前述の理由から不十分である。迅速な臨床ケアへのこの障壁は、長期にわたって重度の好中球減少症に罹っている無熱性の患者において、予防的な抗生物質または成長コロニー刺激因子のタイムリーな救命介入の妨げとなる。その点で、非侵襲的な方法は、重度の好中球減少に関連する免疫抑制のリスクの高い患者の外来診療および管理に、実質的に影響を与えうる。
本明細書に記載されるシステム、装置、および方法は、毛細血管を非侵襲的にかつ携帯可能に、光学的に視覚化することに基づく、重度の好中球減少のスクリーニングツールを提供することができる。毛細血管直径がWBC直径に近い(例えば、約10μmから約20μmである)場合、白血球は毛細血管腔を完全に充填しうる。これにより、典型的には、微小循環においてWBCの下流に赤血球細胞(RBC)の枯渇が生じ、その場合、WBCはRBCの方向速度よりも低い方向速度で流れる。この状況では、適切な照明(例えば特定の波長の)は、WBCを透明とし、RBCを暗くすることができ、WBCの通過は、毛細血管を通って移動する連続的なRBCの流れにおける光吸収ギャップとして現れうる。
白色光透過顕微鏡を用いて、この「ギャップ」現象をウサギの耳窓モデルで観察することができる。結果では、毛細血管とWBCとが同等の直径である場合に、RBCがWBCの上流に蓄積しており、下流にRBCの激減した範囲があることが明示的に示された。同じ現象がラットの精巣挙筋およびコウモリの翼の微小循環でも観察されたが、この観察では、青色光の透過を使用してRBC−すなわちオキシヘモグロビンおよびデオキシヘモグロビンのピーク吸収が420nmで青色である−とRBCのない低吸収性領域との間のコントラストを最大化した。経時的にRBCの流れを観察することにより、毛細血管の形態が明らかになり、そこでは、より明るい領域は、毛細血管腔の内部の光吸収ギャップに関連付けられた。蛍光標識を使用して、ギャップがWBCに関連付けられたことを確認することもできる。
このような吸収ギャップがWBCに関連するというアイデアを、青色内視現象を利用することによってヒトで検討したが、この現象では、WBCが網膜の前方で流れるときに青色光を伝送し、ゆえに対象が見ることのできる明るい斑点を作出する。例えば、対象は、眼に青色光を照明することができ、知覚した明るい斑点の数を尋ねられた。ベースライン、白血球減少性の対象、および白血球増多性の対象の間における−すなわち、それぞれ正常、異常に低い、および異常に高い範囲にあるWBC計数を比べて−知覚された斑点の量の群間の差異が報告された。ただし、これらの方法の制約の一つは、対象の自己評価を拠り所にしていることである。そのため、それらは個人的なバイアスと不十分な再現性とを生じやすく、ゆえに臨床的スクリーニングに適するものとならない。
全体的に、これらの知見は、WBC計数を非侵襲的に測定するための新しい方法の基盤が、毛細血管中の流れるギャップによってもたらされることを示唆する。本明細書に記載されるシステム、装置、および方法は、爪郭毛細血管を使用するが、爪郭毛細血管は、表在性(例えば、約50μmから約100μmの深度)であり、WBCサイズと同等の直径を有し、皮膚表面に実質的に平行に走っており、それゆえに簡単で手頃な光学機器を用いて非侵襲的に視覚化することができる。
この手法では、光学撮像を使用して、爪郭の微小循環における光吸収ギャップの移動の実例として定義される事象を計数することによって、ヒト対象での重度の好中球減少をスクリーニングする。そのようにするために、携帯用装置は、毛細血管の光学顕微鏡動画を生じるように構成される(例えば、図35A〜図35Cを参照)。この手法は、正確な解像度、焦点深度、安定性、およびフレームレートを確保しつつ、一つの視野内の複数の毛細血管にわたってRBCと非RBCとのコントラストを最大化することができる。この装置に基づき、好中球の最下点および回復のカイネティクスの予測可能性を考慮して、高用量化学療法および自己幹細胞移植(ASCT)を受けている10名の患者を含む臨床研究を実施した(例えば図34を参照)。各患者について、同じ毛細血管セットの1分間の動画を、装置により二つの時点:化学療法前のベースライン(1μLあたり約1,500個の好中球)および重度の好中球減少(1μLあたり約500個の好中球)で取得した(例えば、図29Aおよび図29Bを参照)。これらのデータに基づいて、事象計数をタグ付けするための(図38A〜図39Dを参照)および全ての患者にわたってベースラインと重度の好中球減少とを区別するための(例えば、図40および図41を参照)方法を、開発および検証することができる。
ベースライン状態を重度の好中球状態から非侵襲的に分類することができる
図40は、試験された全ての毛細血管ペアにおける1分あたりの確証された事象の数を示す。ベースライン(青色の点)の値は、重度の好中球減少(赤色の正方形)での対応する値と比較すると、統計的に有意な差を示した。事象選択の客観性を最大化しノイズを廃棄するために、確証された事象のみを考慮する。全ての毛細血管を、ベースラインおよび重度の好中球減少の両方(計98ペア、黒色の点線)で分析した。
重度の好中球減少の間に撮像された毛細血管中の確証された事象の計数の数は、図40にみられるように、ベースラインの間に撮像された同じ毛細血管の計数よりも一貫して少なかった。具体的には、ペアの毛細血管の計数は、ベースラインと重度の好中球減少との間で統計的に有意性の高い差(P<10−8、ウィルコクソン符号順位検定)を示した。別個の毛細血管由来の計数は、同じ患者を通して変化する傾向があり、ベースラインでさえも低い値に達することがあった。そのようなバリエーションは、複数の要因と関連付けられる可能性があり、このことは、あらゆる患者について複数の毛細血管由来の計数を集計することの動機となった(以下の詳細を参照)。
図41は、ベースラインと重度の好中球減少との間の区別を示す。1分毎に観察される確証事象の数の中央値の数によって、患者毎に全ての利用可能な毛細血管を集約する際に、20個の取得動画および10名の試験患者について、ベースライン(青色の点)と重度の好中球減少(赤色の点)との区別が可能になる。対応の毛細血管間の変動性も各患者について示されている(青色および赤色のバー)。重度の好中球減少からベースラインを切り分ける最適閾値は、毛細血管1分(黒色の点線)あたり7事象である。X軸は、分析された毛細血管の量(括弧)と併せて患者IDによりラベル付けされる。患者あたりの使用される毛細血管の量の中央値は4であった。
所与の時間に所与の患者から全ての毛細血管にわたってデータを集計する際に、好中球減少状態とベースライン状態との区別は明らかであり(図41)、その結果では、ベースラインと重度の好中球減少との間で統計的に有意な差(P=0.002、ウィルコクソンの符号付き順位検定)が示された。さらに、この毛細血管を集計したケースでは、ベースラインでの確証された事象の計数の分布は、重度の好中球減少の際に分布を重複させない。実際に、7つの計数の閾値では、所与の患者の毛細血管についての計数の中央値は、10例の好中球減少のケースのうち9例を正しく分類することができた。最初に追加された2個または3個の毛細血管は、分類性能の殆どの増加を説明するものであった(図44Aおよび図44Bを参照)。
上記の研究は、光学的な撮像に基づいて、重度の好中球減少がヒトにおいて非侵襲的に検出されうることを実証した。それはまた、光学装置、実験プロトコル、およびデータ分析手法を含む原理を証明するものとして、全体的な分類戦略を確証するものである。
意図的に、臨床試験には、同じ患者におけるベースラインの絶対好中球計数(ANC)(好中球>1,500個/μL)と重度の好中球減少(好中球<500個/μL)とを含めた。分類アプローチを、軽度(グレードII、好中球<1,500個/μL)および中等度(グレードIII、好中球<1,000個/μL)の好中球減少のケースで評価しなかったものの、平均事象計数が相応に変化するものと仮定して、現在の結果をこれらの追加の範囲に対して外挿することができる。これは、異なるグレードの好中球減少を通じたさらに代表的なデータによる追加的な臨床研究を含む場合がある。一方、試験(図41に示される)において各患者について得られた事象計数は、下記の表1に示される対応の参照の細胞濃度に一致する。
表1 病院の臨床検査所から得られた参照値。
具体的には、平均血流速度800μm/秒および平均毛細血管直径15μmを仮定すると、ベースラインおよび重度の好中球減少について集計された患者の計数の中央値、すなわち31.73および1.96は、WBC濃度の推定値約3,700および200細胞個/μLを生じる。どちらの推定値も、標準基準の検査室アッセイから得られる対応の参照の範囲内にある(表1)。
事象の評価は、入力の毛細血管動画上で自動的に実行することができる。このようなアルゴリズムは、毛細血管を通って移動する物体を検出するために使用されるアプローチ、またはより高度な戦略、例えば機械学習手法などに従うことができる。コントラスト、サイズ、または持続性などのいくつかの事象特徴を採用することができる。単なる計数以外に、毛細血管の血流のアルゴリズム推定は、WBC濃度と物理的に一致する推定を与えることによって、結果の精度および正確性を向上させうる。
装置をさらに改良することにより、さらなる分析に必要な品質および一貫性の基準を満たす患者あたりの毛細血管の量を増加させることができる。このことは、この技術を将来的に臨床診療に転用するのに有用である可能性がある。同じ患者について同じ毛細血管を追うという制約が緩和されて、方法を臨床的に適用することが容易になる。
この研究への拡張の一つは、特定のWBC範囲を重度の好中球減少のスクリーニングを超えて識別できるか否かを検討することでありうる。このことは、化学療法の状況内に留まらず、感染疾患などの新しい設定においても、類似の概念的アプローチになおも従いながら、本明細書に記載される手法の適用可能性を広げることができる。また、別個のWBCタイプが別個の光学特性および画像特徴に繋がること、例えば、非顆粒状および顆粒状のWBCが毛細血管内での別個の事象の長さおよび後方散乱特性に対応することを知れば、非侵襲的な差動式のWBC計数も、類似の手法/データに基づき達成されうる。
総じて、この研究では、化学療法誘発性の重度の好中球減少を、臨時に開発された試作型機により爪郭を通して非侵襲的に検出できることが証明された。この研究は、光学的手段によって化学療法の重要な毒性を測定することができる技術についての概念の最初の証明を表している。これらの結果の自動化、反復、および精緻化は、重度の好中球減少のリスクにあるがん患者のモニタリングにおける新しいパラダイムにつながりうる。さらに、より一般的な観点からは、提案された撮像手法および概念的アプローチは、非侵襲的なin vivoのWBC計数に向けた最初のステップの一つを構成することができた。
非侵襲的な手法が患者における重度の好中球減少(好中球<500個/μL)とベースライン状態(好中球>1,500個/μL)との分類を可能にするという先験的な仮説をテストするために、パイロット診断検証試験を実施した。高用量化学療法とそれに続いてASCTを受けた患者のコホートを登録した。移植前に適用される化学療法が強烈であるために、重度の好中球減少の段階とそれに続く回復という経過が確実になることから、これらの患者における好中球の計数のカイネティクスは予測可能である。この試験の枠組みでは、検定力分析を実施せず、10名の対象(初期患者プールから選択される)の簡便な試料を、試験仮説をテストするのに十分であるものと考えた。ノンパラメトリック検定をROC曲線解析と並んで使用した。データを分析した全てのヒト評価者を、下記に詳述されるように盲検化した。
合計で23名の患者をリクルートし、16名および7名の患者は、それぞれ米国マサチューセッツ州ボストンのマサチューセッツ総合病院から、およびスペインのマドリードのラパス大学病院からであった。リクルートされた各患者は、インフォームドコンセントに署名した。得られた情報を全て匿名化し、参加者を識別できないものとした。
リクルートに用いられる患者の組み入れ基準を以下の通りとした:(a)患者は、造血前駆細胞のASCTがスケジュールされていなければならない;(b)患者は、18歳以上でなければならない;(c)患者は、同意文書の書面を理解する能力とそれに署名する意志とを有していなければならない;(d)患者は、ベースラインで、3,000細胞個/μL以上の白血球計数と1,500細胞/μL以上の好中球計数とを有していなければならない。骨髄形成異常症に罹患している場合に、または臨床デバイスにおける光学的結合に使用される油に類似した化学組成物の構成成分に対するアレルギー反応の履歴から、またはそれらの光皮膚タイプがフィッツパトリック尺度で4より大きい場合に、患者を除外した。
MGH臨床試験は、ダナ・ファーバー/ハーバードがんセンター(DFHCC)施設内治験審査委員会によって、および実験対象としてのヒトの使用に関するMIT委員会(COUHES)によって、COUHESプロトコル#1610717680として承認された。この研究をClinicaltrials.govにも登録した。ラパス臨床試験は、文書HULP PI−2353にてラパス倫理委員会によって承認された。これらのパイロット試験から得られた匿名化データの解析も、マドリード工科大学の倫理委員会によって承認された。
光学装置
ASCT患者における動画の取得に使用される装置の構成の一例(図35Aに示される)は、以下の要素を含む。この構成は、例示のみを目的としており、当業者によって変形が行われることがある。
1.撮像用対物レンズ。エドモンド・オプティクスTECHSPEC 5X。この対物レンズの光学的特徴は、倍率5×であり、直径2.5mmの3D印刷製の虹彩の使用を介して低減された最大開口数0.15であり、上記の虹彩は、焦点深度を最大化し、複数の毛細血管を同時に撮像する。作動距離は16.2mmであり、最大視野(FOV)1.8×1.32 mmである。その寸法は、50mmの固定筒長および93.81mmの全長に対応する。その高さ、アジマス、および焦点位置は、手動で調節可能である。
2.CMOSカメラ。ソーラボDCC3240N。このCMOSカメラは、USB接続を介して対物レンズおよびコンピュータ電源に取り付けられる。これはグローバル/ローリングシャッターを備える。その視野(FOV)は、1280×1024ピクセルであるか、または倍率5×で1360×1088umであり、1.0625×1.0625umのピクセルサイズに対応する。フレームレートは、フレーム全体で1秒あたり約60フレーム(FPS)であり、そのため、爪郭毛細血管の血流速度の範囲が100〜1,000μm/秒であることを考えると、事象を検出および追跡するのに十分な時間分解能を確保する。フレームレートは、FOV320×240ピクセルに制限される場合に229FPSに達しうる。そのビット深度は、1ピクセルあたり10ビットのモノクロームである。
3.照明装置。検出軸から約70度の角度でヒートシンクにケージにより取り付けられた、急造の試作型LEDホルダーを使用した。これらは、深青色のすなわち420nmで光を発する高出力Luxeon LEDを含む。この照明波長により、RBC−動画において暗く現れる−と光吸収ギャップとの間のコントラストを最大化することが可能になる。各LEDは、F=20.1mm、NA=0.6、および調節可能な視準スリットのソーラボVA100Cを有する非球面集光レンズを用いて、700mAで161ルーメンを発する。
4.電源ドライバ。両方のLED照明器を一定のDC電力レベルで連続的に駆動するために使用される。
5.使い捨てのハンドレスト。少なくとも1分間の撮像用に安定した位置に指を保持するために使用される3D印刷製の剛直に取り付けられたプラットフォーム。このプラットフォームは、フリーサイズの指孔を備える。光学結合油(ジョンソン・アンド・ジョンソン、屈折率=1.51)は指孔に留まる。
6.ラップトップとソフトウェア。CMOSカメラに接続されたラップトップを、電力と画像の取得に使用した。具体的には、誂えのLabViewソフトウェアを動画の取得および保存に使用した。このソフトウェアにより各患者および取得セッションについて収集された出力データは、非圧縮の動画セットと、各動画について各フレームに関連付けられた正確な取得時間に関する情報を与えるタイムスタンプとから構成される。
臨床試験の一環として、この装置の二つのユニットを、米国マサチューセッツ州ボストンのマサチューセッツ総合病院およびスペインのマドリードのラパスにそれぞれ設置し利用した。患者に装置を使用する度に、その後、消毒ワイプをシステムコンポーネントに利用した。このデバイスの使用は、DF/HCCプロトコル#15−070として臨床試験について承認された。
データ収集
この試験では、動画を、所与の患者ごとに、ベースラインで、および重度の好中球減少の間に、同じ毛細血管セットから取得した。両方の時点で同じ毛細血管を追跡することにより、毛細血管選択の潜在的なバイアスを回避し、交絡因子を最小限にすることができる。例えば、このことは、ベースラインと重度の好中球減少の時点との間で毛細血管の幾何学的配置の変化を最小限とし、それゆえに、確実に、ある所与の毛細血管ペア内での計数値の変化が、WBC濃度の根元的な変化を最も正確に反映するものとすることが期待された。
所与の患者における共通の毛細血管を含む動画を得るために、光学試作型機のユーザは、重度の好中球減少の間に、ベースラインと類似した少なくとも一つの毛細血管範囲を探り当てた。このプロセスは、生データの取得中に手動で実施されたが、ロジスティクス上の理由から、ある特定のケースでは困難であることが分かった。一方、種々の毛細血管の分布および形態があることで、ベースライン取得の際に、以前に取得された領域の正確な識別が可能になった可能性がある。さらに、この毛細血管範囲を識別する過程は、目的の爪郭毛細血管が爪郭境界の近傍から選択されるという事実によって簡略化され、それゆえに、目的の毛細血管領域は相応に限定された。
リクルートされた23名の患者のうち、10名が質的基準に適合しておりさらなる処理に適格であるものとした(毛細血管の選択を参照)。具体的には、撮像の質が不十分であったために六つの患者データセット全体を除外し、ベースラインおよび重度の好中球減少の時点で試験された毛細血管間に対応がなかったために四つを除外した。10名の適格な患者のそれぞれについて、両方の臨床状態で同じ毛細血管領域の取得に相当する少なくとも1対の動画を選択した。これは、患者01および02について取得された二つの別個の毛細血管領域を有する、20個の未加工の動画データセットに及ぶ。計49個の別個の毛細血管を選択し、ベースライン時および重度の好中球減少の間に追跡し分析した。
参照情報を提供する対応の血液検査の8時間以内に、動画を取得した。具体的には、選択された動画および毛細血管に加えて、最新式の血液細胞分析によるWBC濃度およびANC濃度を、患者ごとにその臨床状態と併せて取得した(表1を参照)。この表からの参照血液分析値は、ベースラインと重度の好中球減少との間にWBC濃度およびANC濃度の減少があることを明らかにしている。
前処理ワークフロー
図42は、臨床試験における前処理ワークフローを図示する。患者の未加工の動画が取得されると(左上)、適切な品質の毛細血管セットが、2名のヒト専門家によって選択される(右上、緑の長方形)。選択された各毛細血管(右上、例を矢印により識別)について、次いで、対応する目的の領域の動き補正動画が作成される(右下)。以下のステップ(左下)は、3名の盲検化されたヒト評価者による事象ラベル付けを含み、このラベル付けにより、以降の分析と事象の計数、集計、および可視化が可能になる。
目的の未加工の入力動画のそれぞれを、図42に示される前処理ワークフローに従って処理した。毛細血管を選択した後、試験に含まれる各毛細血管動画を、対応する目的の領域にトリミングし、シーケンス中の参照フレームに関して登録して取得中の動きを補正した。動きの補正された動画を匿名化/シャッフルし、次いで、盲検化された専門家がそれを使用して事象を識別し、これに応じて事象計数を導出した。次いで、ラベル付けされた事象を有するデータを、事後に可視化することができた。これらのステップに関する詳細を下記に示す。
毛細血管の選択
1名の所与の患者から未加工の動画が取得されると、2名のヒト専門家が、下記に定義される定性的かつ経験的かつ演繹的な基準に基づいて、適切な毛細血管セットをに別々に画定した。潜在的なバイアスを避けるために、盲検化された両方の評価者によって選択された毛細血管のみを試験に含めた。各専門家は、個別に、以下の基準に従って、未加工の動画の中の最も良い毛細血管を選択した。
A.照明。毛細血管は、観察者にとって十分なコントラストで可視である。
B.焦点。詳細な毛細血管構造/動態が可視であり、かつぼやけていない。
C.流れ。潜在的な事象を識別し計数することが可能になるように、血流が存在する。
D.安定性。毛細血管は、全てのフレームで動画の視野内に完全に留まる。
E.可視性。毛細血管を塞ぎうる物体(例えば気泡)はない。
F.形態。毛細血管は、明瞭な動脈肢および静脈肢を呈する。
G.ベースラインの取得および重度の好中球減少の取得の両方で条件A〜Fを満たすこと。
全ての患者について、各専門家はまず、ベースライン状態の動画について、この手順に従った。目標は、全ての患者について毛細血管動画のペアを取得することであり、重度の好中球減少の毛細血管の候補のセットは、ベースラインの間に既に選定が行われることにより限定されている。結果として得られた毛細血管動画のペア−患者あたり少なくとも一つ−は、ベースラインと重度の好中球減少との両方で、かつ両方の専門家により、上記基準を満たすものである(図49〜図60を参照)。
毛細血管動画の作成
未加工の動画データおよび上記の毛細血管選択の手順に基づき、個々の毛細血管動画を以下に基づいて作成した:(a)目的の毛細血管のそれぞれを囲む目的の矩形領域の、最初の動画フレーム上での画定と、それに続く(b)カメラの移動を局所的に補正し、各毛細血管の位置を動画の期間全体にわたって対応する目的の領域内で確実に安定したままとなるようにする、動画の動き補償のソフトウェア。全ての未加工の動画をまず平坦化したこと、すなわち、ガウスフィルタリングを通してそれらの局所的な輝度を正規化して、不均一な照明の潜在的な影響を除去したことに留意されたい。
ステップ(a)を、単純なグラフィカルユーザインターフェースに基づいて実行し、ステップ(b)を、特別に誂えた動き補償アルゴリズムに基づいて実施した。両方の実装をMATLABで行った。未処理の動画および所定の目的の矩形領域に基づいて、アルゴリズムは、剛体位置合わせ手法を適用して動き補正された毛細血管動画を出力するが、具体的には、この手法は、目的の領域における潜在的なカメラの移動が回転を除いてXおよびYの変換の単なる組合せであるものと仮定し、全ての動画フレームを最初のものと整列する。
未加工の動画におけるフレームの移動は、変形を伴う可能性があるが、上記位置合わせの結果の視覚的検査は、各毛細血管の視野に別々に適用した際に成功した。類似性の測定基準と最適化の基準として、アルゴリズムは相互情報を使用するが、相互情報とは、僅かなコントラストの変化に対処して正確なサブピクセル整列を保証する、情報理論に基づく尺度である。この位置合わせ工程の前に、確実に適切な初期化を行うために、予備的な大雑把な位置合わせステップを実施する。この初期化ステップは、ピクセル値および空間的勾配の相互相関分析に基づいて、フレームの事前整列を実施する。
事象の評価
グラフィカルユーザインターフェースに基づき、3名のヒト評価者は、毛細血管動画の全ての事象を識別するために特定の視覚的基準に従った。この視覚的基準下では、ほぼ同じ直径の毛細血管を通るWBCの通過の帰結として、RBCの枯渇した領域の生成が含まれる。具体的には、移動する光吸収ギャップは、以下の特性を有する事象を指す。
一例では、その事象は、周囲の毛細血管の流れよりも著しく明るい。別の例では、その事象は、毛細血管の流れに沿って移動する明瞭な物体として識別することができる。さらに別の例では、その事象は、毛細血管直径の全体を占め、流れの方向に沿って延びている。
評価者を、他者、ならびに対応する血液分析、生理学的状態、患者、および時間情報に関して盲検化した。各評価者は、これらの事象が発生した毛細血管内に、対応するフレームおよび空間的位置をラベル付けした。
事象の識別および計数のために評価者に利用可能とする動画のインデックス付けは、元の動画の名前を無作為にシャッフリングすることによって得られ、そのため、対応する内容が類似していても、元のインデックス付けにアクセスすることが評価者には不可能となった。さらに、フレームの量を、同じ患者から取得された全ての動画について常に同じとした。対応するファイルには、そのような識別を可能にする副情報が含まれていなかった。全ての動画−非シャッフルのおよびシャッフル済みのインデックスバージョンの−は、患者または好中球減少状態を識別するのに使用することのできる動画コンテンツ中の情報および名前付けがなかったという意味で、匿名化された。盲検評価の後、具体的に開発された方法に基づいて、全てのマークされた事象を視覚化することができた。
統計解析
3名全ての独立した評価者から得られた計数は、共同評価の特性の決定、すなわち、1人の単一の専門家、または2人以上の専門家が、同じ事象を観察していることに同意した否かを判定することを可能にする。慣例によって、少なくともR名の評価者からの平均マーク時間が互いから最大で10フレーム(1/6秒間)内にあるとしても、少なくともR名の評価者は共同で所与の事象をマークしているものと仮定されるが、この時間は、毛細血管動画における予想事象レートよりも実質的に小さい(下記図46を参照)。ラベルの正確な空間的重ね合わせを必要としない。目的の特定の事例は、大部分の評価者の同意であり、確証された事象を生じるこの設定ではRは2以上である。次いで、相応に計数を実施した、すなわち、各毛細血管動画からの事象を相応に合計した。
複数の毛細血管について確証された計数を、各患者について組み合わせた(図41および図44Aおよび図44Bを参照)。なぜなら、単一の毛細血管における個別の計数の精度が、(a)計数の量の平方根に比例するショットノイズによって制限され、(b)事象の基準に適合せず一部の毛細血管では発生していない、例えば辺縁趨向などの潜在的なWBC現象によって制限され、(c)特定の毛細血管の幾何学的配置および流速に依存し、(d)根本的な毛細血管ネットワークの動態における毛細血管の特定の位置取りに依存するためである。患者あたりの一定量の毛細血管の計数の組合せを考慮して(図44Aおよび図44B)、対応する毛細血管セットを無作為に拾い、10,000試行に基づいて結果を計算した。これはモンテカルロ積分に類するものであり、そうしなければ扱い難い指数関数的な増加量の患者間の組合せを、効果的に扱うことを可能にする。
毛細血管またはその組合せセットの間の計数を比較する際に、使用した分析ツールは、ペアデータに対するウィルコクソン符号順位検定であり、これは、同じ毛細血管についてベースラインおよび重度の好中球減少に観察される計数の間で差がないという仮説Hをテスト/否定する間は、計数が正常に分配されるという、統計的仮定を回避するものである。さらに、この試験は、受信者操作特性(ROC)カーブおよび対応する曲線下面積(AUC)値を生成し、後者は、ベースラインと重度の好中球減少との間の二項分類の性能を、変化する計数の閾値の関数としてテストする。
マークされた事象の視覚化
毛細血管におけるマークされた事象を視覚化するために、動画持続時間全体にわたっておよび所与のフレームの周辺の両方で、目的の毛細血管動画のフレームとその毛細血管の対応するST強度プロファイルとを同時に視覚化する方法を開発した。これは、明示的に、対応する動画フレームを通した動く目標物として、およびSTマップ表現での固定プロファイルとしての両方で、事象を視覚化することを可能にする。臨床試験の状況下では、この視覚化手法によって、動画におけるラベル付き事象の分布の後ろ向き解析だけでなく、大部分の評価者の同意をも可能になった。
毛細血管流の視覚化のSTマップの概念を上記に説明した。事象を上記の表象で簡便に観察できるという事実によって動機付けられるのは、WBCに関連する事象が濃密で高いコントラストのまばらな一方向性の軌道として現れるものと予想されることである。これらの特性は、評価者のために定義された視覚的な基準、例えば事象の輝度にも関連する。STマップは、評価者によりマークされた事象を、暗い背景によって囲まれる明瞭に画定された一際目立つ軌道として現れるようにする(上記の図39Eを参照)。
STマップを作成するために、本方法は、毛細血管の輝度を−断面にわたる平均として−、セグメンテーションされた毛細血管の境界に基づき、時間の関数として、および累積毛細血管長の関数として、抽出する。事象軌道の視覚化を向上させるために、マップ値を、各時点の前後の50フレームの間に取得される際に局所的な時間的平均を減算することによって、正規化した。最初の毛細血管のセグメンテーションの手順を、対応する登録動画から抽出された画像に基づいて実施した。
毛細血管プロファイルは、流れにおける吸収ギャップの存在に起因して単一の動画フレーム内で不完全である場合があるため、時間的に統合された画像を爪郭毛細血管について抽出したが、その画像では、毛細血管の流れに伴う時間的に変わりやすい特徴も増強されて、毛細血管とその周囲との間のコントラストを最大化する。このアプローチは、動きのコントラストの増強の概念にも関連する。具体的には、セグメンテーションに用いる画像を、[0.25、1.5]秒間隔となるように期間を経験的に選定した時間周波数構成成分の統合を通じて得た。
毛細血管の境界を、第一のステップでまず手動でセグメンテーションし、次いで、動的輪郭手法を活用して精緻化した。次いで、両方の毛細血管境界のセグメンテーションを、それぞれ1,000個の点を含むように、ならびに両境界の同一のインデックスにおける全ての点ペアの中心が毛細血管の中間軸上となるように、自動的にリサンプリングしたが、この場合、中間軸は毛細血管に内接する全ての円の軌跡である。最後に、このセグメンテーションに基づき、毛細血管の動脈肢、静脈肢、およびループの間の分離を、視覚化のためにケースバイケース基準で画定した(図45A〜図45Cを参照)。
ショットノイズ下の取得時間
動画取得時間tを1分間に設定したが、なぜなら、それが臨床設定に依然として適しているとともに、重度の好中球減少のケースと比較して有意に高い量のベースラインケースの事象Nのサンプリングを可能とするのに十分な長さであるためである。事象の量子化された性質に由来するショットノイズの下であっても、両方のケースに関連付けられた計数の分布は、下記に詳述する計算から予想される通りに、それらのそれぞれの平均NおよびNのうち少なくとも一つの標準偏差内で継ぎ目が離れることが予想される。
この結果を決定するために、ベースラインについての下限のケース(C=好中球1,500個/μL)および重度の好中球減少についての上限のケース(C=好中球500個/μL)を用いて、最悪のケースのシナリオを考慮したが、このシナリオは、両方のカテゴリー由来の細胞濃度Cの差が最小化されているために、区別が最も困難である。次いで、文献からの典型値を、毛細血管直径(D=15μm)および流速(v=800μm/秒)について仮定し、それにより濃度から予想事象量を推定することが可能となった。具体的には、
であり、これはN=4.24およびN=12.72を生じる。最後に、ショットノイズ統計は、標準偏差N 1/2=2.06およびN 1/2=3.57をそれぞれ有するこれらの平均の辺りで計数が変化することを含意する。可能性として、この結果は、明確な区別を可能にする計数の範囲をもたらす(図46を参照)。
図35は、1名の単一の評価者によってラベル付けされた事象の数を示す。この試験の98個の毛細血管において得られたように、2名以上の専門家(青色の点)の間で合意に達しないベースラインの計数は、重度の好中球減少(赤色の正方形)の対応する計数に関して統計的に有意な差(P=0.12;ウィルコクソン符号順位)を示していない。この結果は、単一の評価者によるラベル付き事象が、複数の評価者の同意によるものよりも、客観性に劣り、含む情報が少ないことを標示している。毛細血管ペアは、患者IDによってグループ化される。
図44Aおよび図44Bは、毛細血管の集合を使用したベースラインと重度の好中球減少との間の区別を示す。図44Aは、患者あたりN=1、2、3、4、5個の毛細血管を集約する結果生じる事象計数の数を示す。図44Bは、患者あたりN=1、2、3、4、5個の毛細血管を集約することに基づく、ベースラインvs重度の好中球減少の分類のためのROC曲線を示す。結果として得られる計数値の患者レベルの分布では、患者あたりの組み合わされた毛細血管の量に伴ってそれらの識別力が増加することが示されている。具体的には、それぞれ1、2、3、4、および5個の毛細血管を含む場合に、曲線下面積(AUC)の最小値は、組み合わされた毛細血管の量に伴って、0.61から0.84、0.92、0.96、および1.00まで一貫して増加する。
図45A〜図45Cは、毛細血管のセグメンテーションの例を示す。図45Aは、患者02から得られた毛細血管を示す。図45Bは、教師ありセグメンテーション(赤色)による同じ毛細血管を示す。スケールバーは20μmである。図45Cは、毛細血管の動脈肢(緑色)、静脈肢(青色)、およびループ(赤色)の間の分離を、視覚化のためのケースバイケース基準で画定できることを示す。
図46は、ショットノイズ下での毛細血管1分あたりの予想事象量を示す。文献から得られた典型的な毛細血管直径および速度値を想定すると、ベースラインの予想事象量(青色、好中球1,500個/μL)は、ショットノイズ下でさえも、単一分の取得では重度の好中球減少の対応の量(赤色;好中球500個/μL)を超える。示されているのは、最大で標準偏差(バー)までのショットノイズから生じた予想変動と併せた予想計数平均(中央点)である。
図47は、事象位置での毛細血管直径の分布を示す。3名の盲検化された評価者が事象をラベル付けした位置における毛細血管直径値の分布が示されている。検出された事象は、WBCとほぼ同じサイズ範囲、すなわち[10〜20]μmの毛細血管セグメントに現れる傾向があり、それゆえ、先行文献で行われた観察とWBCの代用としての事象の有用性とが確認される。
図48Aおよび図48Bは、高比率vs低比率の確証された事象を有する毛細血管のSTマップを示す。各事象について、3名のヒト評価者のそれぞれからの最初のクリックが、赤色、青色、および緑色の点でそれぞれ表示されている。評価者間の合意は、重度の好中球減少(下部マップ)のケースに比較してベースラインの毛細血管(上部マップ)で高かったが、このことは、ベースラインの事象がより多くの目標の物理的現象に対応することを示している。
図49は、患者01、領域1由来の未加工の動画ペアにおける両方の専門家からの毛細血管の選択を示す。ベースライン状態および重度の好中球減少状態で取得された動画が表示される。緑色のボックスは、ベースラインでの取得と重度の好中球減少での取得の両方について、2名の各専門家により質的基準を満たした、選択された毛細血管ペアの輪郭を描く。赤色の領域/毛細血管は、質的基準に適合しないために、すなわち、この場合(b)焦点の欠如、(c)血流の欠如、および(d)視野外の移動があるために、廃棄される。ベースラインの動画における赤色の線/角は、有効視野の輪郭を描き、その外側では、取得中のカメラの移動のゆえにいくつかのフレームの間で毛細血管が消えた際に、その毛細血管を廃棄しなければならない。黄色のボックスは、ベースラインでは最初に選択されたが、重度の好中球減少の取得(g)の際に適合性がなかったために後で廃棄された、毛細血管の輪郭を描く。両専門家は独立して上記選定プロセスを行い、その後、両専門家の合意した毛細血管(黒色の番号)のみとし、残り(赤色の番号)を廃棄した。
図50は、患者01、領域2由来の未加工の動画ペアにおける両方の専門家からの毛細血管の選択を示す。ベースライン状態および重度の好中球減少状態で取得された動画が表示される。緑色のボックスは、ベースラインでの取得と重度の好中球減少での取得の両方について、2名の各専門家により質的基準を満たした、選択された毛細血管ペアの輪郭を描く。赤色の領域/毛細血管は、質的基準に適合しないために、すなわち、この場合(b)焦点の欠如、(d)視野外の移動、および(e)閉塞があるために、廃棄される。ベースラインの動画における赤色の線/角は、有効視野の輪郭を描き、その外側では、取得中のカメラの移動のゆえにいくつかのフレームの間で毛細血管が消えた際に、その毛細血管を廃棄しなければならない。黄色のボックスは、ベースラインでは最初に選択されたが、重度の好中球減少の取得(g)の際に適合性がなかったために後で廃棄された、毛細血管の輪郭を描く。両専門家は独立して上記選定プロセスを行い、その後、両専門家の合意した毛細血管(黒色の番号)のみとし、残り(赤色の番号)を廃棄した。
図52は、患者02、領域1由来の未加工の動画ペアにおける両方の専門家からの毛細血管の選択を示す。ベースライン状態および重度の好中球減少状態で取得された動画が表示される。緑色のボックスは、ベースラインでの取得と重度の好中球減少での取得の両方について、2名の各専門家により質的基準を満たした、選択された毛細血管ペアの輪郭を描く。赤色の領域/毛細血管は、質的基準に適合しないために、すなわち、この場合(a)不十分な照明、(b)焦点の欠如、(c)血流の欠如、および(e)閉塞があるために、廃棄される。ベースラインの動画における赤色の線/角は、有効視野の輪郭を描き、その外側では、取得中のカメラの移動のゆえにいくつかのフレームの間で毛細血管が消えた際に、その毛細血管を廃棄しなければならない。黄色のボックスは、ベースラインでは最初に選択されたが、重度の好中球減少の取得(g)の際に適合性がなかったために後で廃棄された、毛細血管の輪郭を描く。両専門家は独立して上記選定プロセスを行い、その後、両専門家の合意した毛細血管(黒色の番号)のみとし、残りを(赤色の番号)廃棄した。
図52は、患者02、領域2由来の未加工の動画ペアにおける両方の専門家からの毛細血管の選択を示す。ベースライン状態および重度の好中球減少状態で取得された動画が表示される。緑色のボックスは、ベースラインでの取得と重度の好中球減少での取得の両方について、2名の各専門家により質的基準を満たした、選択された毛細血管ペアの輪郭を描く。赤色の領域/毛細血管は、質的基準に適合しないために、すなわち、この場合(b)焦点の欠如、(c)血流の欠如、(e)閉塞、および(f)明瞭な形態の欠如があるために、廃棄される。ベースラインの動画における赤色の線/角は、有効視野の輪郭を描き、その外側では、取得中のカメラの移動のゆえにいくつかのフレームの間で毛細血管が消えた際に、その毛細血管を廃棄しなければならない。黄色のボックスは、ベースラインでは最初に選択されたが、重度の好中球減少の取得(g)の際に適合性がなかったために後で廃棄された、毛細血管の輪郭を描く。両専門家は独立して上記選定プロセスを行い、その後、両専門家の合意した毛細血管(黒色の番号)のみとし、残り(赤色の番号)を廃棄した。
図53は、患者03由来の未加工の動画ペアにおける両方の専門家からの毛細血管の選択を示す。ベースライン状態および重度の好中球減少状態で取得された動画が表示される。緑色のボックスは、ベースラインでの取得と重度の好中球減少での取得の両方について、2名の各専門家により質的基準を満たした、選択された毛細血管ペアの輪郭を描く。赤色の領域/毛細血管は、質的基準に適合しないために、すなわち、この場合(a)不十分な照明、(b)焦点の欠如、(c)血流の欠如、(d)視野外の移動、および(e)閉塞があるために、廃棄される。ベースラインの動画における赤色の線/角は、有効視野の輪郭を描き、その外側では、取得中のカメラの移動のゆえにいくつかのフレームの間で毛細血管が消えた際に、その毛細血管を廃棄しなければならない。黄色のボックスは、ベースラインでは最初に選択されたが、重度の好中球減少の取得(g)の際に適合性がなかったために後で廃棄された、毛細血管の輪郭を描く。両専門家は独立して上記選定プロセスを行い、その後、両専門家の合意した毛細血管(黒色の番号)のみとし、残り(赤色の番号)を廃棄した。
図54は、患者04由来の未加工の動画ペアにおける両専門家から得られた毛細血管の選択を示す。ベースライン状態および重度の好中球減少状態で取得された動画が表示される。緑色のボックスは、ベースラインでの取得と重度の好中球減少での取得の両方について、2名の各専門家により質的基準を満たした、選択された毛細血管ペアの輪郭を描く。赤色の領域/毛細血管は、質的基準に適合しないために、すなわち、この場合(b)焦点の欠如があるために、廃棄される。ベースラインの動画における赤色の線/角は、有効視野の輪郭を描き、その外側では、取得中のカメラの移動のゆえにいくつかのフレームの間で毛細血管が消えた際に、その毛細血管を廃棄しなければならない。黄色のボックスは、ベースラインでは最初に選択されたが、重度の好中球減少の取得(g)の際に適合性がなかったために後で廃棄された、毛細血管の輪郭を描く。両専門家は独立して上記選定プロセスを行い、その後、両専門家の合意した毛細血管(黒色の番号)のみとし、残り(赤色の番号)を廃棄した。
図55は、患者05由来の未加工の動画ペアにおける両専門家から得られた毛細血管の選択を示す。ベースライン状態および重度の好中球減少状態で取得された動画が表示される。緑色のボックスは、ベースラインでの取得と重度の好中球減少での取得の両方について、2名の各専門家により質的基準を満たした、選択された毛細血管ペアの輪郭を描く。赤色の領域/毛細血管は、質的基準に適合しないために、すなわち、この場合(b)焦点の欠如、(c)血流の欠如、(d)視野外の移動、および(e)閉塞があるために、廃棄される。ベースラインの動画における赤色の線/角は、有効視野の輪郭を描き、その外側では、取得中のカメラの移動のゆえにいくつかのフレームの間で毛細血管が消えた際に、その毛細血管を廃棄しなければならない。黄色のボックスは、ベースラインでは最初に選択されたが、重度の好中球減少の取得(g)の際に適合性がなかったために後で廃棄された、毛細血管の輪郭を描く。両専門家は独立して上記選定プロセスを行い、その後、両専門家の合意した毛細血管(黒色の番号)のみとし、残り(赤色の番号)を廃棄した。
図56は、患者06由来の未加工の動画ペアにおける両専門家から得られた毛細血管の選択を示す。ベースライン状態および重度の好中球減少状態で取得された動画が表示される。緑色のボックスは、ベースラインでの取得と重度の好中球減少での取得の両方について、2名の各専門家により質的基準を満たした、選択された毛細血管ペアの輪郭を描く。赤色の領域/毛細血管は、質的基準に適合しないために、すなわち、この場合(b)焦点の欠如、(c)血流の欠如、(d)視野外の移動、および(f)明瞭な形態の欠如があるために、廃棄される。ベースラインの動画における赤色の線/角は、有効視野の輪郭を描き、その外側では、取得中のカメラの移動のゆえにいくつかのフレームの間で毛細血管が消えた際に、その毛細血管を廃棄しなければならない。黄色のボックスは、ベースラインでは最初に選択されたが、重度の好中球減少の取得(g)の際に適合性がなかったために後で廃棄された、毛細血管の輪郭を描く。両専門家は独立して上記選定プロセスを行い、その後、両専門家の合意した毛細血管(黒色の番号)のみとし、残り(赤色の番号)を廃棄した。
図57は、患者07由来の未加工の動画ペアにおける両専門家から得られた毛細血管の選択を示す。ベースライン状態および重度の好中球減少状態で取得された動画が表示される。緑色のボックスは、ベースラインでの取得と重度の好中球減少での取得の両方について、2名の各専門家により質的基準を満たした、選択された毛細血管ペアの輪郭を描く。赤色の領域/毛細血管は、質的基準に適合しないために、すなわち、この場合(a)不十分な照明、(b)焦点の欠如、(d)視野外の移動、および(e)閉塞があるために、廃棄される。ベースラインの動画における赤色の線/角は、有効視野の輪郭を描き、その外側では、取得中のカメラの移動のゆえにいくつかのフレームの間で毛細血管が消えた際に、その毛細血管を廃棄しなければならない。黄色のボックスは、ベースラインでは最初に選択されたが、重度の好中球減少の取得(g)の際に適合性がなかったために後で廃棄された、毛細血管の輪郭を描く。両専門家は独立して上記選定プロセスを行い、その後、両専門家の合意した毛細血管(黒色の番号)のみとし、残り(赤色の番号)を廃棄した。
図58は、患者08由来の未加工の動画ペアにおける両専門家から得られた毛細血管の選択を示す。ベースライン状態および重度の好中球減少状態で取得された動画が表示される。緑色のボックスは、ベースラインでの取得と重度の好中球減少での取得の両方について、2名の各専門家により質的基準を満たした、選択された毛細血管ペアの輪郭を描く。赤色の領域/毛細血管は、質的基準に適合しないために、すなわち、この場合(b)焦点の欠如、(d)視野外の移動、(e)閉塞、および(f)明瞭な形態の欠如があるために、廃棄される。ベースラインの動画における赤色の線/角は、有効視野の輪郭を描き、その外側では、取得中のカメラの移動のゆえにいくつかのフレームの間で毛細血管が消えた際に、その毛細血管を廃棄しなければならない。黄色のボックスは、ベースラインでは最初に選択されたが、重度の好中球減少の取得(g)の際に適合性がなかったために後で廃棄された、毛細血管の輪郭を描く。両専門家は独立して上記選定プロセスを行い、その後、両専門家の合意した毛細血管(黒色の番号)のみとし、残り(赤色の番号)を廃棄した。
図59は、患者09由来の未加工の動画ペアにおける両専門家から得られた毛細血管の選択を示す。ベースライン状態および重度の好中球減少状態で取得された動画が表示される。緑色のボックスは、ベースラインでの取得と重度の好中球減少での取得の両方について、2名の各専門家により質的基準を満たした、選択された毛細血管ペアの輪郭を描く。赤色の領域/毛細血管は、質的基準に適合しないために、すなわち、この場合(a)不十分な照明、(b)焦点の欠如、(c)血流の欠如、および(e)閉塞があるために、廃棄される。ベースラインの動画における赤色の線/角は、有効視野の輪郭を描き、その外側では、取得中のカメラの移動のゆえにいくつかのフレームの間で毛細血管が消えた際に、その毛細血管を廃棄しなければならない。黄色のボックスは、ベースラインでは最初に選択されたが、重度の好中球減少の取得(g)の際に適合性がなかったために後で廃棄された、毛細血管の輪郭を描く。両専門家は独立して上記選定プロセスを行い、その後、両専門家の合意した毛細血管(黒色の番号)のみとし、残り(赤色の番号)を廃棄した。
図60は、患者10由来の未加工の動画ペアにおける両専門家から得られた毛細血管の選択を示す。ベースライン状態および重度の好中球減少状態で取得された動画が表示される。緑色のボックスは、ベースラインでの取得と重度の好中球減少での取得の両方について、2名の各専門家により質的基準を満たした、選択された毛細血管ペアの輪郭を描く。赤色の領域/毛細血管は、質的基準に適合しないために、すなわち、この場合(b)焦点の欠如、(d)視野外の移動、および(f)明瞭な形態の欠如があるために、廃棄される。ベースラインの動画における赤色の線/角は、有効視野の輪郭を描き、その外側では、取得中のカメラの移動のゆえにいくつかのフレームの間で毛細血管が消えた際に、その毛細血管を廃棄しなければならない。黄色のボックスは、ベースラインでは最初に選択されたが、重度の好中球減少の取得(g)の際に適合性がなかったために後で廃棄された、毛細血管の輪郭を描く。両専門家は独立して上記選定プロセスを行い、その後、両専門家の合意した毛細血管(黒色の番号)のみとし、残り(赤色の番号)を廃棄した。
以下の参考文献のそれぞれは、参照によりその全体が本明細書に組み込まれる。
Tsukada,Kosuke,et al."Image correlation method for measuring blood flow velocity in microcirculation:correlationwindow’simulation and in vivo image analysis." Physiological measurement 21.4(2000):459.
Langeder,Florian,and Bernhard G.Zagar."Image processing strategies to accurately measure red blood cell motion in superficial capillaries." Systems,Signals and Devices,2009.SSD’09.6th International Multi−Conference on.IEEE,2009.
Wu,Chih−Chieh,et al."Red blood cell velocity measurements of complete capillary in finger nail−fold using optical flow estimation." Microvascular research 78.3(2009):319−324.
Huang,Tzung−Chi,et al."Experimental estimation of blood flow velocity through simulation of intravital microscopic imaging in micro−vessels by different image processing methods." Microvascular research 80.3(2010):477−483.
Wu,Chih−Chieh,et al."Accuracy evaluation of RBC velocity measurement in nail−fold capillaries." Microvascular research 81.3(2011):252−260.
Lo,Lun−Chien,et al."Pseudo three−dimensional vision−based nail−fold morphological and hemodynamic analysis." Computers in biology and medicine 42.9(2012):873−884.
Wang,Mingyi,et al."Full−field velocity imaging of red blood cells in capillaries with spatiotemporal demodulation autocorrelation." Journal of biomedical optics 21.3(2016):036007−036007.
J.Crawford,D.C.Dale,and G.H.Lyman(2004).Chemotherapy‐induced neutropenia:risks,consequences,and new directions for its management.Cancer,100(2),228−237.
M.E.van Wolfswinkel,K.Vliegenthart−Jongbloed,M.de Mendonca Melo,P.C.Wever,M.B.McCall,R.Koelewijn,J.J.van Hellemond,and P.J.van Genderen(2013).Predictive value of lymphocytopenia and the neutrophil−lymphocyte count ratio for severe imported malaria.Malar.J.,12(1),101.
T.Honda,T.Uehara,G.Matsumoto,S.Arai,and M.Sugano(2016).Neutrophil left shift and white blood cell count as markers of bacterial infection.Clin.Chim.Acta,457,46−53.
T.B.Newman,D.Draper,K.M.Puopolo,S.Wi,and G.J.Escobar(2014).Combining immature and total neutrophil counts to predict early onset sepsis in term and late preterm newborns:use of the I/T2.Pediat.Infect.Dis.J.,33(8),798.
A.Velo−Garcia,S.G.Castro,and D.A.Isenberg(2016).The diagnosis and management of the haematologic manifestations of lupus.J.Autoimmun.,74,139−160.
D.C.Dale(2014).Understanding neutropenia.Curr.Opin.Hematol.,21(1),1−2.
V.S.Hollis,J.A.Holloway,S.Harris,D.Spencer,C.van Berkel,and H.Morgan(2012).Comparison of venous and capillary differential leukocyte counts using a standard hematology analyzer and a novel microfluidic impedance cytometer.PloS one,7(9),e43702.
C.L.Ghai(2012).A textbook of practical physiology.JP Medical Ltd.
S.Sharma,J.Zapatero−Rodriguez,P.Estrela,and R.O’Kennedy(2015).Point−of−care diagnostics in low resource settings:present status and future role of microfluidics.Biosensors,5(3),577−601.
Y.Mendelson(1992).Pulse oximetry:theory and applications for noninvasive monitoring.Clin.Chem.,38(9),1601−1607.
A.Trotti,A.D.Colevas,A.Setser,V.Rusch,D.Jaques,V.Budach,C.Langer,B.Murphy,R.Cumberlin,C.N.Coleman,and P.Rubin(2003,July).CTCAE v3.0:development of a comprehensive grading system for the adverse effects of cancer treatment.In Semin.Radiat.Oncol.(Vol.13,No.3,pp.176−181).WB Saunders.
G.H.Lyman,M.S.Poniewierski,J.Crawford,D.C.Dale,and E.Culakova(2015).Cost of Hospitalization in Patients with Cancer and Febrile Neutropenia and Impact of Comorbid Conditions.Blood,126(23),2089−2089.
G.H.Lyman、C.H.Lyman、O.Agboola、and Anc Study Group.(2005).Risk models for predicting chemotherapy−induced neutropenia.Oncologist,10(6),427−437.
J.De Naurois,I.Novitzky−Basso,M.J.Gill,F.M.Marti,M.H.Cullen,F.Roila,and ESMO Guidelines Working Group.(2010).Management of febrile neutropenia:ESMO clinical practice guidelines.Ann.Oncol.,21(suppl 5),v252−v256.
G.W.Schmid−Schonbein,S.Usami,R.Skalak,and S.Chien(1980).The interaction of leukocytes and erythrocytes in capillary and postcapillary vessels.Microvasc.Res.,19(1),45−70.
S.H.Sinclair,M.Azar−Cavanagh,K.A.Soper,R.F.Tuma,and H.N.Mayrovitz(1989).Investigation of the source of the blue field entoptic phenomenon.Invest.Ophthalmol.Vis.Sci.,30(4),668−673.
A.Roggan,M.Friebel,K.Dorschel,A.Hahn,and G.Muller(1999).Optical properties of circulating human blood in the wavelength range 400−2500 nm.J.Biomed.Opt.,4(1),36−46.
A.Uji,M.Hangai,S.Ooto,K.Takayama,N.Arakawa,H.Imamura,K.Nozato,and N.Yoshimura(2012).The source of moving particles in parafoveal capillaries detected by adaptive optics scanning laser ophthalmoscopy.Invest.Ophthalmol.Vis.Sci.,53(1),171−178.
U.Schmidt−Gross(1954).Entoptische Beurteilung der Leukocytenzahl.Klin.Wochenschr.,32(33−34),817−819.
T.Rimmer,E.M.,Kohner,and J.M.Goldman(1988).Retinal blood velocity in patients with leukocyte disorders.Arch.Ophthalmol.,106(11),1548−1552.
G.Fuchsjager−Mayrl,M.Malec,E.Polska,B.Jilma,M.Wolzt,and L.Schmetterer(2002).Effects of granulocyte colony stimulating factor on retinal leukocyte and erythrocyte flux in the human retina.Invest.Ophthalmol.Vis.Sci.,43(5),1520−1524.
C.E.Curtis,W.G.Iacono,and M.Beiser(1999).Relationship between nailfold plexus visibility and clinical,neuropsychological,and brain structural measures in schizophrenia.Biol.Psychiatry,46(1),102−109.
F.Lefford and J.C.Edwards(1986).Nailfold capillary microscopy in connective tissue disease:a quantitative morphological analysis.Ann.Rheum.Dis.,45(9),741−749.
Z.Nagy and L.Czirjak(2004).Nailfold digital capillaroscopy in 447 patients with connective tissue disease and Raynaud’s disease.J.Eur.Acad.Dermatol.Venereol.,18(1),62−68.
L.K.Mercer,T.L.Moore,H.Chinoy,A.K.Murray,A.Vail,R.G.Cooper,and A.L.Herrick(2010).Quantitative nailfold video capillaroscopy in patients with idiopathic inflammatory myopathy.Rheumatology,49(9),1699−1705.
A.K.Murray,A.Vail,T.L.Moore,J.B.Manning,C.J.Taylor,and A.L.Herrick(2012).The influence of measurement location on reliability of quantitative nailfold videocapillaroscopy in patients with SSc.Rheumatology,kes007.
H.M.Hofstee,E.H.Serne,C.Roberts,R.Hesselstrand,A.Scheja,T.L.Moore,M.Wildt,J.B.Manning,A.V.Noordegraaf,A.E.Voskuyl,and A.L.Herrick(2011).A multicentre study on the reliability of qualitative and quantitative nail−fold videocapillaroscopy assessment.Rheumatology,ker403.
S.J.Simnett,L.A.Stewart,J.Sweetenham,G.Morgan,and P.W.Johnson(2000).Autologous stem cell transplantation for malignancy:a systematic review of the literature.Clin.Lab.Haematol.,22(2),61−72.
L.Golan,D.Yeheskely−Hayon,L.Minai,E.J.Dann,and D.Yelin(2012).Noninvasive imaging of flowing blood cells using label−free spectrally encoded flow cytometry.Biomed.Opt.Express,3(6),1455−1464.
N.Mugii,M.Hasegawa,Y.Hamaguchi,C.Tanaka,K.Kaji,K.Komura,I.Ueda−Hayakawa,S.Horie,M.Ikuta,K.Tachino,F.Ogawa,S.Sato,M.Fujimoto,and K.Takehara(2009).Reduced red blood cell velocity in nail−fold capillaries as a sensitive and specific indicator of microcirculation injury in systemic sclerosis.Rheumatology,48(6),696−703.
A.Bourquard,I.Butterworth,A.Sanchez−Ferro,L.Giancardo,L.Soenksen,C.Cerrato,R.Flores,and C.Castro−Gonzalez(2015,August).Analysis of white blood cell dynamics in nailfold capillaries.In Conf.Proc.IEEE Eng.Med.Biol.Soc.,2015 37th Annual International Conference of the IEEE(pp.7470−7473).
C.Castro−Gonzalez,I.Butterworth,A.Bourquard,and A.Sanchez−Ferro(2015).Systems,apparatus,and methods for analyzing blood cell dynamics.U.S.Patent Application No.14/951,260.
C.C.Wu,G.Zhang,T.C.Huang,and K.P.Lin(2009).Red blood cell velocity measurements of complete capillary in finger nail−fold using optical flow estimation.Microvasc.Res.,78(3),319−324.
T.C.Huang,W.C.Lin,C.C.Wu,G.Zhang,and K.P.Lin(2010).Experimental estimation of blood flow velocity through simulation of intravital microscopic imaging in micro−vessels by different image processing methods.Microvasc.Res.,80(3),477−483.
C.C.Wu,W.C.Lin,G.Zhang,C.W.Chang,R.S.Liu,K.P.Lin,and T.C.Huang(2011).Accuracy evaluation of RBC velocity measurement in nail−fold capillaries.Microvasc.Res.,81(3),252−260.
C.H.Wu,T.D.Wang,C.H.Hsieh,S.H.Huang,J.W.Lin,S.C.Hsu,H.T.Wu,Y.M.Wu,and T.M.Liu(2016).Imaging Cytometry of Human Leukocytes with Third Harmonic Generation Microscopy.Sci.Rep.,6.
T.C.Shih,G.Zhang,C.C.Wu,H.D.Hsiao,T.H.Wu,K.P.Lin,and T.C.Huang(2011,January).Hemodynamic analysis of capillary in finger nail−fold using computational fluid dynamics and image estimation.Microvasc.Res.81(1),68−72.
D.Mattes,D.R.Haynor,H.Vesselle,T.K.Lewellyn,and W.Eubank(2001,July).Nonrigid multimodality image registration.In Med.Imaging(pp.1609−1620).International Society for Optics and Photonics.
G.W.Schmid−Schonbein,R.Skalak,S.Usami,and S.Chien(1980).Cell distribution in capillary networks.Microvasc.Res.,19(1),18−44.
J.H.Lee,J.Jimenez,I.R.Butterworth,C.Castro−Gonzalez,S.K.Shukla,B.Marti−Fuster,L.Elvira,D.S.Boning,and B.W.Anthony(2015,October).Measurement of very low concentration of microparticles in fluid by single particle detection using acoustic radiation force induced particle motion.In 2015 IEEE Int.Ultrason.Symp.(pp.1−4).
J.Tam,P.Tiruveedhula,and A.Roorda(2011).Characterization of single−file flow through human retinal parafoveal capillaries using an adaptive optics scanning laser ophthalmoscope.Biomed.Opt.Express,2(4),781−793.
P.D.Allen,C.J.Taylor,A.L.Herrick,and T.Moore(1998,September).Enhancement of Temporally Variable Features in Nailfold Capillary Patterns.In BMVC(pp.1−10).
M.Kass,A.Witkin,and D.Terzopoulos(1988).Snakes:Active contour models.Int.J.Comput.Vision,1(4),321−331.
結論
発明に関する様々な実施形態を本明細書に記載し例示してきたが、当業者は、本明細書に記載の機能を実施するための、ならびに/または結果および/もしくは一つもしくは複数の利点を得るための、様々な他の手段および/または構造を容易に想定し、そのような変形および/または変更のそれぞれは、本明細書に記載される発明に関する実施形態の範囲内であるものとされる。より一般的には、当業者は、本明細書に記載される全てのパラメータ、寸法、材料、および構成が例示であることを意味すること、ならびに実際のパラメータ、寸法、材料、および/または構成が、本発明の教示の使用される特定の一つまたは複数の用途に依存するものとなることを、容易に理解するものとなろう。当業者は、本明細書に記載される特定の発明に関する実施形態の数多くの等価物を、認識するか、または単に定型的な実験を用いて確認することができる。したがって、前述の実施形態は、例としてのみ提示されており、添付の特許請求の範囲およびその等価物の範囲内では、発明に関する実施形態は、具体的に記載および請求される以外の形で実践されうることを理解されたい。本開示の発明に関する実施形態は、本明細書に記載される個々の特徴、システム、物品、材料、キット、および/または方法を対象とする。加えて、二つ以上のこのような特徴、システム、物品、材料、キット、および/または方法の任意の組合せは、このような特徴、システム、物品、材料、キット、および/または方法が相互に矛盾しない場合、本開示の本発明の範囲内に含まれる。
上記の実施形態は、多数の手段のいずれかで実施することができる。例えば、本明細書に開示される実施形態は、ハードウェア、ソフトウェア、またはそれらの組合せを使用して実施されてもよい。ソフトウェアに実装される場合、ソフトウェアコードは、単一のコンピュータに提供されるか、複数のコンピュータ間に分散されるかにかかわらず、任意の適切なプロセッサまたはプロセッサの集合で実行され得る。
さらに、コンピュータが、ラック搭載型コンピュータ、デスクトップ型コンピュータ、ラップトップ型コンピュータ、またはタブレット型コンピュータなど、多数の形態のいずれかで具現化されうることは理解されるべきである。加えて、コンピュータは、概してコンピュータとみなされるデバイスではなく、パーソナルデジタルアシスタント(PDA)、スマートフォン、または任意の他の適切な携帯型もしくは固定型の電子デバイスを含む、適切な処理能力を有するデバイスの中に埋め込まれうる。
また、コンピュータは一つまたは複数の入力デバイスおよび出力デバイスを有しうる。これらのデバイスは、とりわけ、ユーザインターフェースを提示するために使用できる。ユーザインターフェースを提供するために使用できる出力デバイスの例には、プリンタまたは出力の視覚的表現のためのディスプレイ画面、およびスピーカーまたは出力の可聴表現のための他の音声発生デバイスが挙げられる。ユーザインターフェースに使用できる入力デバイスの例には、キーボード、ならびにマウス、タッチパッド、およびデジタイザタブレットなどのポインティングデバイスが含まれる。別の例として、コンピュータは、音声認識によってまたは他の可聴フォーマットで、入力情報を受信してもよい。
このようなコンピュータは、ローカルエリアネットワーク、またはエンタープライズネットワークなどの広域ネットワーク、およびインテリジェントネットワーク(IN)またはインターネットを含む、任意の適切な形態の一つまたは複数のネットワークによって相互接続されてもよい。このようなネットワークは、任意の適切な技術に基づいてもよく、任意の適切なプロトコルに従って動作してもよく、無線ネットワーク、有線ネットワーク、または光ファイバーネットワークを含んでもよい。
本明細書に概説する様々な方法またはプロセスは、様々なオペレーティングシステムまたはプラットフォームのうちのいずれか一つを用いる、一つまたは複数のプロセッサ上で実行可能なソフトウェアとしてコード化されてもよい。加えて、このようなソフトウェアは、多数の適切なプログラミング言語および/またはプログラミングもしくはスクリプトツールのいずれかを使用して記述されてもよく、またフレームワークもしくは仮想マシン上で実行される、実行可能なマシン語コードまたは中間コードとしてコンパイルされてもよい。
また、発明に関する様々な概念が、一つまたは複数の方法として具現化されてもよく、その例が提供されてきた。方法の一部として行われる行為は、任意の適切な手段で順序付けられうる。したがって、行為が例示とは異なる順序で行われる実施形態を構築してもよく、それは、例示的な実施形態における連続する行為として示される場合であっても、一部の行為を同時に行うことを含みうる。
本明細書で言及される全ての出版物、特許出願、特許、および他の参考文献は、参照によりそれらの全体が組み込まれる。
本明細書で定義および使用される全ての定義は、辞書による定義、参照により組み込まれる文書での定義、および/または定義された用語の通常の意味に対し支配するものと理解されるべきである。
本明細書および特許請求の範囲で使用される場合、不定冠詞「a」および「an」は、明確にそうでないと示されない限り、「少なくとも一つ」を意味するものと理解されるべきである。
本明細書および特許請求の範囲で使用される場合、「および/または」という語句は、そのように等位接続された要素の「いずれかまたは両方」、すなわち、一部の場合には接続的に存在し他の場合には離接的に存在する要素を意味するものと理解されるべきである。「および/または」により挙げられる複数の要素は、同じ形式で、すなわち、そのように等位接続される要素のうちの「一つまたは複数」と解釈されるべきである。他の要素は、具体的に識別される要素に関連するかまたは関連しないかにかかわらず、「および/または」節によって具体的に識別される要素以外に、随意に存在してもよい。したがって、非限定的な例として、「Aおよび/またはB」への言及は、「備える」などのオープンエンドの語法と連動して使われるときに、一実施形態では、Aのみ(任意選択的にB以外の要素を含む)、別の実施形態では、Bのみ(任意選択的にA以外の要素を含む)、さらに別の実施形態では、AとBとの両方(任意選択的に他の要素を含む)などを指すことができる。
本明細書および特許請求の範囲において使用される場合、「または」は、上に定義された「および/または」と同じ意味を有するものと理解されるべきである。例えば、リスト内の項目を分離するとき、「または」または「および/または」は包括的である、すなわち、多数のまたは列挙された要素、および任意選択的に列挙に無い追加の項目のうちの少なくとも一つを含むが、二つ以上も含むと解釈されるものとする。それとは反対であると明確に指示される用語のみ、例えば、「のうちの一つのみ」もしくは「のうちのまさに一つ」、または特許請求の範囲において使用されるときの「からなる」は、多数のまたは列挙された要素のうちのまさに一つの要素を包含することを指す。概して、本明細書で使用される場合、「または」という用語は、「いずれか」、「のうちの一つ」、「のうちの一つのみ」、または「のうちのまさに一つ」など、排他的な用語が先行するときには、排他的な選択肢(すなわち「両方ではなく一方または他方」)を示すとのみ解釈されるものとする。「から本質的になる」は、特許請求の範囲で使用される場合、特許法の分野において使用される通常の意味を有するものとする。
本明細書および特許請求の範囲で使用される場合、一つまたは複数の要素の列挙に関連する「少なくとも一つ」という語句は、要素の列挙の中のいずれか一つまたは複数の要素から選択される、少なくとも一つの要素を意味するが、要素の列挙内で具体的に挙げられるありとあらゆる要素のうちの少なくとも一つを必ずしも含むわけではなく、要素の列挙のいかなる要素の組み合せも除外するものではないものと理解されるべきである。この定義はまた、「少なくとも一つ」という語句が指す、要素の列挙内で具体的に識別される以外の要素が、具体的に識別される要素に関連するかまたは関連しないかにかかわらず、任意選択的に存在しうることを許容する。したがって、非限定的な例として、「AおよびBのうち少なくとも一つ」(または、等価的に「AまたはBのうちの少なくとも一つ」、もしくは等価的に「Aおよび/またはBのうちの少なくとも一つ」)は、一実施形態では、Bの存在しない少なくとも一つのAであって任意選択的に一つを超えることを含めたA(任意選択的にB以外の要素を含む)を;別の実施形態では、Aの存在しない少なくとも一つのBであって任意選択的に一つを超えることを含めたB(任意選択的にA以外の要素を含む)を;また別の実施形態では、少なくとも一つのAであって任意選択的に一つを超えることを含めたA、および少なくとも一つのBであって任意選択的に一つを超えることを含めたB(任意選択的に他の要素を含む);などを指しうる。
特許請求の範囲、ならびに上記の明細書では、全ての移行句、例えば、「備える(comprising)」、「含む(including)」、「担持する(carrying)」、「有する(having)」、「含有する(containing)」、「伴う(involving)」、「保つ(holding)」、「から構成される(composed of)」などは、オープンエンドである、すなわち、含むがそれに限定はされないことを意味するものと理解される。「からなる(consisting of)」および「から本質的になる(consisting essentially of)」という移行句のみが、米国特許庁の特許審査手続便覧、セクション2111.03に記載されているように、それぞれクローズドまたはセミクローズドな移行句であるものとする。

Claims (31)

  1. 使用中にユーザの身体の一部分を受けるプラットフォームと、
    前記プラットフォームに結合されており、かつ前記身体の一部分の少なくとも毛細血管床の画像セットを取得するための撮像デバイスと、
    前記撮像デバイスに通信可能に結合されているコントローラであって、
    前記画像セットの各画像において前記身体の一部分の前記毛細血管床の一つまたは複数の毛細血管を検出して、第一の毛細血管セットの各毛細血管の一つまたは複数の属性を推定することにより、前記画像セットにわたって前記第一の毛細血管セットを識別し、前記一つまたは複数の属性は、一つもしくは複数の構造的属性、一つもしくは複数の流れの属性、一つもしくは複数の撮像属性、またはそれらの組合せを含み、その結果、前記第一の毛細血管セットの各毛細血管の前記一つまたは複数の属性のうちの第一の属性が、前記第一の属性の所定の基準を満たすものとなり;および
    前記第一の毛細血管セットから第二の毛細血管セットを識別し、その結果、前記第二の毛細血管セットの各毛細血管が、前記画像セットの所定の数の画像で可視となる、コントローラとを含む、システム。
  2. 前記撮像デバイスが、前記画像セットを動画のフレームのセットとして取得する、請求項1に記載のシステム。
  3. 前記プラットフォームに連結結合されており、かつ前記身体の一部分を照明する照明源をさらに備え、前記撮像デバイスが、前記身体の一部分の照明に応答して前記画像セットを取得する、請求項1に記載のシステム。
  4. 前記一つまたは複数の構造的属性が、平均毛細血管直径、毛細血管横直径、毛細血管縦直径、毛細血管長、および毛細血管形状からなる群から選択される、請求項1に記載のシステム。
  5. 前記一つまたは複数の撮像属性が、コントラスト、焦点、信号対ノイズ比、および画像安定性からなる群から選択される、請求項1に記載のシステム。
  6. 前記第一の属性が平均毛細血管直径であり、前記第二の毛細血管セットの各毛細血管が、約10μmから約20μmまでの推定平均毛細血管直径を有する、請求項1に記載のシステム。
  7. 前記コントローラは、さらに
    前記画像セットについて、および前記第二の毛細血管セットにおいて、細胞事象のセットを検出し、前記細胞事象セットの各細胞事象が、前記第二の毛細血管セットの毛細血管中の白血球細胞の通過に関連しており;ならびに
    前記細胞事象のセットに基づき、前記第二の毛細血管セットについて事象計数を推定する、請求項1に記載のシステム。
  8. 前記コントローラは、さらに
    前記第二の毛細血管セットの各毛細血管について、品質係数を推定し;
    前記細胞事象のセット、および前記第二の毛細血管セットの各毛細血管に関連する前記品質係数に基づいて、事象計数を推定する、請求項7に記載のシステム。
  9. 前記コントローラは、さらに
    トレーニングユーザのセットの身体の一部分の毛細血管床に関連するトレーニング画像のセットを受信し;
    前記トレーニング画像のセットに基づき、教師あり学習を介して事象計数の閾値を生成し;
    前記事象計数および前記事象計数の閾値に基づき、ユーザタイプのセットの第一のユーザタイプに前記ユーザを分類し、前記ユーザタイプのセットのうち少なくとも一つのユーザタイプが好中球減少の診断に関連し;ならびに
    前記第一のユーザタイプの標示を前記ユーザに送信する、請求項8に記載のシステム。
  10. 前記コントローラがさらに、前記画像セットにおける前記第一の毛細血管セットの各毛細血管の画像に関連する信頼性値を生成し、前記第一の毛細血管セットは、前記毛細血管が検出される各画像について前記信頼性値が信頼性閾値を超える毛細血管を含む、請求項1に記載のシステム。
  11. 前記コントローラが、
    トレーニング画像のセットの各画像内で可視である一つまたは複数の毛細血管の仕様を含む、前記トレーニング画像セットを受信すること;
    前記トレーニング画像のセットに関してニューラルネットワークをトレーニングすること;および
    前記画像セットを前記ニューラルネットワークに適用して、前記第一の毛細血管セットを検出することによって、前記第一の毛細血管セットを検出する、請求項1に記載のシステム。
  12. 前記コントローラが、前記画像セットをニューラルネットワークに適用することによって前記第一の毛細血管セットを検出し、前記ニューラルネットワークが、トレーニング画像のセットの各画像内で可視である一つまたは複数の毛細血管の仕様を含む前記トレーニング画像のセットに関してトレーニングされる、請求項1に記載のシステム。
  13. ユーザの身体の一部分の毛細血管床の画像セットを取得すること;
    前記画像セットの各画像において前記身体の一部分の一つまたは複数の毛細血管を検出して、第一の毛細血管セットの各毛細血管の一つまたは複数の属性を推定することにより、前記画像セットにわたって前記第一の毛細血管セットを識別し、前記一つまたは複数の属性は、一つもしくは複数の構造的属性、一つもしくは複数の流れの属性、一つもしくは複数の撮像属性、またはそれらの組合せを含み、その結果、前記第一の毛細血管セットの各毛細血管の前記一つまたは複数の属性のうちの第一の属性が、前記第一の属性の所定の基準を満たすものとなること;および
    前記第一の毛細血管セットから第二の毛細血管セットを識別し、その結果、前記第二の毛細血管セットの各毛細血管が、前記画像セットの所定の数の画像で可視となること、を含む方法。
  14. 前記取得することが、前記画像セットを動画のフレームのセットとして取得することを含む、請求項13に記載の方法。
  15. 前記身体の一部分を照明することをさらに含み、前記画像セットを取得することが、前記身体の一部分の前記照明に応答するものである、請求項13に記載の方法。
  16. 前記一つまたは複数の構造的属性が、平均毛細血管直径、毛細血管横直径、毛細血管縦直径、毛細血管長、および毛細血管形状からなる群から選択される、請求項13に記載の方法。
  17. 前記一つまたは複数の撮像属性が、コントラスト、焦点、信号対ノイズ比、および画像安定性からなる群から選択される、請求項13に記載の方法。
  18. 前記第一の属性が平均毛細血管直径であり、前記第二の毛細血管セットの各毛細血管が、約10μmから約20μmまでの推定平均毛細血管直径を有する、請求項13に記載の方法。
  19. 前記画像セットについて、および前記第二の毛細血管セットにおいて、細胞事象セットを検出することであって、前記細胞事象セットの各細胞事象が、前記第二の毛細血管セットの毛細血管中の白血球細胞の通過に関連すること;ならびに
    前記細胞事象のセットに基づき、第二の毛細血管セットについて事象計数を推定することをさらに含む、請求項13に記載の方法。
  20. 前記第二の毛細血管セットの各毛細血管について、品質計数を推定することと;
    前記細胞事象のセット、および前記第二の毛細血管セットの各毛細血管に関連する品質係数に基づいて、前記事象計数を推定することと、をさらに含む、請求項19に記載の方法。
  21. トレーニングユーザのセット身体の一部分の毛細血管床に関連するトレーニング画像のセットを受信すること;
    前記トレーニング画像のセットに基づき、教師あり学習を介して事象計数の閾値を生成すること;および
    前記事象計数および前記事象計数の閾値に基づき、ユーザタイプのセットの第一のユーザタイプに前記ユーザを分類することであって、前記ユーザタイプのセットのうち少なくとも一つのユーザタイプが好中球減少の診断に関連すること;ならびに
    前記第一のユーザタイプの標示を前記ユーザに送信することをさらに含む、請求項20に記載の方法。
  22. 前記画像セットにおける前記第一の毛細血管セットの各毛細血管の画像に関連する信頼性値を生成することをさらに含み、前記第一の毛細血管セットは、前記毛細血管が検出される各画像について信頼性値が信頼性閾値を超える毛細血管を含む、請求項13に記載の方法。
  23. 前記第一の毛細血管セットを検出することが、
    トレーニング画像のセットの各画像内で可視である一つまたは複数の毛細血管の仕様を含む、前記トレーニング画像セットを受信すること;
    前記トレーニング画像のセットに関してニューラルネットワークをトレーニングすること;および
    前記画像セットを前記ニューラルネットワークに適用して、前記第一の毛細血管セットを検出することをさらに含む、請求項13に記載の方法。
  24. 前記第一の毛細血管セットを検出することが、前記画像セットをニューラルネットワークに適用することをさらに含み、前記ニューラルネットワークが、トレーニング画像のセットの各画像内で可視である一つまたは複数の毛細血管の仕様を含むトレーニング画像のセットに関してトレーニングされる、請求項13に記載の方法。
  25. 前記身体の一部分が、前記ユーザの指の爪郭の一部分である、請求項13に記載の方法。
  26. ユーザの身体の一部分の毛細血管床の画像セットを受信し、
    前記画像セットの各画像において前記身体の一部分の一つまたは複数の毛細血管を検出して、第一の毛細血管セットの各毛細血管の一つまたは複数の属性を推定することにより、前記画像セットにわたって前記第一の毛細血管セットを識別し、前記一つまたは複数の属性は、一つもしくは複数の構造的属性、一つもしくは複数の流れの属性、一つもしくは複数の撮像属性、またはそれらの組合せを含み、その結果、前記第一の毛細血管セットの各毛細血管の前記一つまたは複数の属性のうちの第一の属性が、前記第一の属性の所定の基準を満たすものとなり;および
    前記第一の毛細血管セットから第二の毛細血管セットを識別し、その結果、前記第二の毛細血管セットの各毛細血管が、前記画像セットの所定の数の画像で可視となり;
    前記画像セットについて、および前記第二の毛細血管セットにおいて、細胞事象のセットを検出し、前記細胞事象セットの各細胞事象が、前記第二の毛細血管セットの毛細血管中の白血球細胞の通過に関連し;ならびに
    前記細胞事象のセットに基づき、前記第二の毛細血管セットについて事象計数を推定する、コントローラを備えるデバイス。
  27. 前記コントローラが、さらに
    前記第二の毛細血管セットの各毛細血管について、品質係数を推定し;
    前記細胞事象のセット、および前記第二の毛細血管セットの各毛細血管に関連する品質係数に基づいて、事象計数を推定する、請求項26に記載のデバイス。
  28. 前記コントローラが、さらに
    トレーニングユーザのセットの身体の一部分の毛細血管床に関連するトレーニング画像のセットを受信し;
    前記トレーニング画像のセットに基づき、教師あり学習を介して事象計数の閾値を生成し;
    前記事象計数および前記事象計数の閾値に基づき、ユーザタイプのセットの第一のユーザタイプに前記ユーザを分類し、前記ユーザタイプのセットのうち少なくとも一つのユーザタイプが好中球減少の診断に関連し;ならびに
    前記第一のユーザタイプの標示を前記ユーザに送信する、請求項26に記載のデバイス。
  29. 前記コントローラがさらに、前記画像セットにおける前記第一の毛細血管セットの各毛細血管の画像に関連する信頼性値を生成し、前記第一の毛細血管セットは、前記毛細血管が検出される各画像について前記信頼性値が信頼性閾値を超える毛細血管を含む、請求項26に記載のデバイス。
  30. 前記コントローラが、
    トレーニング画像のセットの各画像内で可視である一つまたは複数の毛細血管の仕様を含む、前記トレーニング画像セットを受信すること;
    前記トレーニング画像のセットに関してニューラルネットワークをトレーニングすること;および
    前記画像セットを前記ニューラルネットワークに適用して、前記第一の毛細血管セットを検出することによって、前記第一の毛細血管セットを検出する、請求項26に記載のデバイス。
  31. 前記コントローラが、前記画像セットをニューラルネットワークに適用することによって前記第一の毛細血管セットを検出し、前記ニューラルネットワークが、トレーニング画像のセットの各画像内で可視である一つまたは複数の毛細血管の仕様を含むトレーニング画像のセットに関してトレーニングされる、請求項26に記載のデバイス。
JP2020542060A 2017-10-16 2018-10-16 非侵襲的な血液学的測定のためのシステム、デバイス、および方法 Pending JP2020537279A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762572738P 2017-10-16 2017-10-16
US62/572,738 2017-10-16
PCT/US2018/056100 WO2019079310A1 (en) 2017-10-16 2018-10-16 SYSTEMS, DEVICES AND METHODS FOR NON-INVASIVE HEMATOLOGICAL MEASUREMENTS

Publications (1)

Publication Number Publication Date
JP2020537279A true JP2020537279A (ja) 2020-12-17

Family

ID=66173433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020542060A Pending JP2020537279A (ja) 2017-10-16 2018-10-16 非侵襲的な血液学的測定のためのシステム、デバイス、および方法

Country Status (7)

Country Link
US (2) US11244452B2 (ja)
EP (1) EP3697294B1 (ja)
JP (1) JP2020537279A (ja)
CN (1) CN111491555B (ja)
AU (2) AU2018352526B2 (ja)
CA (1) CA3079209A1 (ja)
WO (1) WO2019079310A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022138090A1 (ja) * 2020-12-21 2022-06-30 国立研究開発法人理化学研究所 血液異常予測装置、血液異常予測方法、及びプログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10789710B2 (en) * 2015-05-15 2020-09-29 Gauss Surgical, Inc. Methods and systems for characterizing fluids from a patient
CN111491555B (zh) 2017-10-16 2024-06-21 麻省理工学院 用于非侵入性血液测量的系统、装置和方法
US10799182B2 (en) * 2018-10-19 2020-10-13 Microsoft Technology Licensing, Llc Video-based physiological measurement using neural networks
CN109602401B (zh) * 2019-01-28 2021-08-27 徐州市心血管病研究所 一种微血管血流动力学参数分析仪及分析方法
JP2020154828A (ja) * 2019-03-20 2020-09-24 富士通株式会社 データ補完プログラム、データ補完方法及びデータ補完装置
US11754824B2 (en) * 2019-03-26 2023-09-12 Active Medical, BV Method and apparatus for diagnostic analysis of the function and morphology of microcirculation alterations
CN114401669B (zh) * 2019-07-24 2023-01-17 麻省理工学院 用于甲襞成像装置的手指插入件
CN111145201B (zh) * 2019-12-26 2021-10-08 中南大学 一种稳健快速的无人机摄影测量标志检测与定位方法
HUP2000138A1 (hu) * 2020-04-22 2021-10-28 Mediner Gyogyszerkereskedelmi Eljárás köröm optikai vizsgálatára és rendszer az eljárás foganatosítására
US11860154B2 (en) 2020-05-28 2024-01-02 Leuko Labs, Inc Method to detect white blood cells and/or white blood cell subtypes from non-invasive capillary videos
US11270438B2 (en) * 2020-06-12 2022-03-08 Samasource Impact Sourcing, Inc. System and method for triggering machine learning (ML) annotation model retraining
CN114073494A (zh) * 2020-08-19 2022-02-22 京东方科技集团股份有限公司 白细胞检测方法、系统、电子设备和计算机可读介质
KR20230062570A (ko) * 2020-08-23 2023-05-09 마이-오어 다이에그노스틱스 엘티디. 헤모글로빈 수준을 결정하기 위한 장치 및 방법
WO2022182603A1 (en) * 2021-02-23 2022-09-01 West Virginia University Board of Governors on behalf of West Virginia University Radon transform and persistent homology patient barcodes
US20230032932A1 (en) * 2021-08-02 2023-02-02 Leuko Labs, Inc. Automated system for acquiring images of one or more capillaries in a capillary bed
CN115054209B (zh) * 2022-04-14 2023-09-26 杭州华视诺维医疗科技有限公司 一种基于智能移动设备的多参数生理信息检测系统和方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4425924A (en) * 1981-09-29 1984-01-17 Riva Charles E Blood velocity measurement in retinal capillaries utilizing the blue field entoptic phenomenon
US20100324407A1 (en) * 2009-06-22 2010-12-23 General Electric Company System and method to process an acquired image of a subject anatomy to differentiate a portion of subject anatomy to protect relative to a portion to receive treatment
US20110081056A1 (en) * 2009-10-05 2011-04-07 Salafia Carolyn M Automated placental measurement
JP2012110373A (ja) * 2010-11-19 2012-06-14 Canon Inc 画像処理装置及び画像処理方法
JP2013169296A (ja) * 2012-02-20 2013-09-02 Canon Inc 画像処理装置及び画像処理方法
JP2013545516A (ja) * 2010-10-25 2013-12-26 バードナー,スティーブン アルツハイマー病、外傷性脳損傷、黄斑変性症、複数の神経変性障害および眼疾患の診断、進行および病気経過予想における網膜内のアミロイドの検出装置および方法
JP2014045868A (ja) * 2012-08-30 2014-03-17 Canon Inc インタラクティブ制御装置
JP2015515894A (ja) * 2012-05-10 2015-06-04 カール ツアイス メディテック アクチエンゲゼルシャフト Oct血管造影データの解析および可視化
JP2016509505A (ja) * 2013-01-28 2016-03-31 オスロ ユニヴェルジテットサイケフス ホーエフ 循環不全の評価
JP2016086842A (ja) * 2014-10-29 2016-05-23 キヤノン株式会社 画像処理装置及び画像処理方法
US20160148038A1 (en) * 2014-11-24 2016-05-26 Massachusetts Institute Of Technology Systems, apparatus, and methods for analyzing blood cell dynamics
JP2016202442A (ja) * 2015-04-20 2016-12-08 あっと株式会社 毛細血管の画像処理方法および画像処理プログラム、並びに毛細血管分析診断装置
US20170039714A1 (en) * 2014-04-17 2017-02-09 The Trustees Of Columbia University In The City Of New York Technologies for diagnosing neurological or psychiatric illnesses
CN106803247A (zh) * 2016-12-13 2017-06-06 上海交通大学 一种基于多级筛选卷积神经网络的微血管瘤自动检测方法

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US534211A (en) 1895-02-12 Charles h
US2588528A (en) 1948-07-27 1952-03-11 California Thimble Corp Finger shaped thimble
US2548378A (en) 1949-12-06 1951-04-10 Ewald H Kleinfeld Finger splint
US4998533A (en) 1986-07-15 1991-03-12 Winkelman James W Apparatus and method for in vivo analysis of red and white blood cell indices
US5596987A (en) 1988-11-02 1997-01-28 Noninvasive Technology, Inc. Optical coupler for in vivo examination of biological tissue
US5068536A (en) 1989-01-19 1991-11-26 Futrex, Inc. Method for providing custom calibration for near infrared instruments for measurement of blood glucose
US5365066A (en) 1989-01-19 1994-11-15 Futrex, Inc. Low cost means for increasing measurement sensitivity in LED/IRED near-infrared instruments
US5204532A (en) 1989-01-19 1993-04-20 Futrex, Inc. Method for providing general calibration for near infrared instruments for measurement of blood glucose
US5086229A (en) 1989-01-19 1992-02-04 Futrex, Inc. Non-invasive measurement of blood glucose
US5237178A (en) 1990-06-27 1993-08-17 Rosenthal Robert D Non-invasive near-infrared quantitative measurement instrument
US5218207A (en) 1989-01-19 1993-06-08 Futrex, Inc. Using led harmonic wavelengths for near-infrared quantitative
US5077476A (en) 1990-06-27 1991-12-31 Futrex, Inc. Instrument for non-invasive measurement of blood glucose
US5362966A (en) 1990-06-27 1994-11-08 Rosenthal Robert D Measurement of finger temperature in near-infrared quantitative measurement instrument
US5436455A (en) 1990-06-27 1995-07-25 Futrex Inc. Non-invasive near-infrared quantitative measurement instrument
US5638818A (en) 1991-03-21 1997-06-17 Masimo Corporation Low noise optical probe
IL107396A (en) 1992-11-09 1997-02-18 Boehringer Mannheim Gmbh Method and apparatus for analytical determination of glucose in a biological matrix
US5452717A (en) 1993-07-14 1995-09-26 Masimo Corporation Finger-cot probe
US5598842A (en) 1993-09-03 1997-02-04 Toa Medical Electronics Co., Ltd. Non-invasive blood analyzer and method using the same
US5791345A (en) * 1993-09-03 1998-08-11 Toa Medical Electronics Co., Ltd. Non-invasive blood analyzer
JP3364323B2 (ja) * 1994-05-17 2003-01-08 謙 石原 非侵襲血液分析装置
US5582705A (en) 1995-05-19 1996-12-10 Iowa State University Research Foundation, Inc. Multiplexed capillary electrophoresis system
EP0957750A1 (en) 1995-10-23 1999-11-24 Cytometrics, Inc. Method and apparatus for reflected imaging analysis
US6041247A (en) 1995-11-29 2000-03-21 Instrumentarium Corp Non-invasive optical measuring sensor and measuring method
IL120881A (en) 1996-07-30 2002-09-12 It M R Medic L Cm 1997 Ltd Method and device for continuous and non-invasive monitoring of peripheral arterial tone
JP4136017B2 (ja) 1996-09-19 2008-08-20 シスメックス株式会社 粒子分析装置
MY117121A (en) 1997-01-09 2004-05-31 Nec Corp Finger fixing apparatus.
US5855212A (en) 1997-10-23 1999-01-05 Walker; Alvin Miller Thumb and finger nail polish remover device
US6179159B1 (en) 1998-01-26 2001-01-30 Mariruth D. Gurley Communicable disease barrier digit cover and dispensing package therefor
US6424851B1 (en) 1998-10-13 2002-07-23 Medoptix, Inc. Infrared ATR glucose measurement system (II)
US6438396B1 (en) 1998-11-05 2002-08-20 Cytometrics, Inc. Method and apparatus for providing high contrast imaging
US6358208B1 (en) * 1998-11-21 2002-03-19 Philipp Lang Assessment of cardiovascular performance using ultrasound methods and devices that interrogate interstitial fluid
JP2003510112A (ja) 1999-09-23 2003-03-18 ジー.ナドウ リチャード 直交偏光スペクトルイメージングの医学的応用
US6213952B1 (en) 1999-09-28 2001-04-10 Orsense Ltd. Optical device for non-invasive measurement of blood related signals utilizing a finger holder
US6687521B2 (en) 2000-02-03 2004-02-03 Hamamatsu Photonics K.K. Noninvasion biological optical measuring instrument, measured portion holding device, and method for manufacturing the same
US20090018417A1 (en) 2001-01-19 2009-01-15 Wei-Kung Wang Apparatus monitoring signal in situ
AU2001271072A1 (en) 2000-07-19 2002-01-30 Hamamatsu Photonics K.K. Light-emitting device drive circuit
CN1166951C (zh) 2002-08-28 2004-09-15 彭黎明 无创性血细胞参数定量测定方法
GB0225791D0 (en) 2002-11-05 2002-12-11 Kratos Analytical Ltd Charged particle spectrometer and detector therefor
CN1882279B (zh) 2003-11-18 2011-01-26 索尼株式会社 输入装置及输入方法以及电子设备
US7333186B2 (en) 2004-03-17 2008-02-19 Matsushita Electric Industrial Co., Ltd. Method and device for measuring biological information
US7251836B2 (en) 2004-06-08 2007-08-07 Wanda Santiago Finger cover
JP2008525126A (ja) * 2004-12-22 2008-07-17 バイオ−ツリー システムズ, インコーポレイテッド 病気の診断およびモニタリングのための医療画像化方法および装置ならびにその用途
US20060161063A1 (en) 2005-01-19 2006-07-20 Yio-Wha Shau System and method for real-time microcirculation diagnosis
US20070092115A1 (en) * 2005-10-26 2007-04-26 Usher David B Method and system for detecting biometric liveness
US7991210B2 (en) * 2005-11-23 2011-08-02 Vital Images, Inc. Automatic aortic detection and segmentation in three-dimensional image data
JP5095986B2 (ja) 2005-11-30 2012-12-12 学校法人慶應義塾 経爪無侵襲血中物質測定装置及び爪甲蒸散装置
JP2007215951A (ja) 2006-02-20 2007-08-30 Sony Ericsson Mobilecommunications Japan Inc 静脈認証補助パネル
WO2007105198A2 (en) 2006-03-10 2007-09-20 Hadas Lewy Automated sampling and analysis using a pesonal sampler device
US7477924B2 (en) 2006-05-02 2009-01-13 Nellcor Puritan Bennett Llc Medical sensor and technique for using the same
US9646415B2 (en) 2006-05-16 2017-05-09 Underground Imaging Technologies, Inc. System and method for visualizing multiple-sensor subsurface imaging data
US8366652B2 (en) * 2007-08-17 2013-02-05 The Invention Science Fund I, Llc Systems, devices, and methods including infection-fighting and monitoring shunts
US20090204044A1 (en) 2008-02-07 2009-08-13 Catherine Benison Finger splint assembly and method of treating mallet finger
US8842900B2 (en) 2008-10-28 2014-09-23 Sysmex Corporation Specimen processing system and blood cell image classifying apparatus
WO2010058872A1 (en) 2008-11-24 2010-05-27 Young-Tae Lee Thimble and gloves for working
US10489673B2 (en) * 2009-04-03 2019-11-26 Siemens Healthcare Gmbh System and method for detecting landmarks in a three-dimensional image volume
US8805051B2 (en) 2009-04-07 2014-08-12 Virginia Commonwealth University Image processing and machine learning for diagnostic analysis of microcirculation
JP5767775B2 (ja) * 2009-07-06 2015-08-19 富士フイルム株式会社 内視鏡装置
EP2507639B1 (en) * 2009-12-04 2020-04-01 Life Technologies Corporation Apparatuses, systems, methods, and computer readable media for acoustic flow cytometry
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
EP2385474A1 (en) 2010-05-07 2011-11-09 TomTec Imaging Systems GmbH Method for analysing medical data
CN103477203B (zh) 2011-02-15 2019-11-22 麦克罗毕克斯生物系统公司 用来进行流动式细胞量测术的方法、系统及仪器
US9202127B2 (en) 2011-07-08 2015-12-01 Qualcomm Incorporated Parallel processing method and apparatus for determining text information from an image
KR101273692B1 (ko) 2011-09-09 2013-06-17 스타링포스 주식회사 조갑주름모세혈관 영상분석방법
US8848996B2 (en) * 2012-02-17 2014-09-30 Siemens Medical Solutions Usa, Inc. System for suppressing vascular structure in medical images
US8908797B2 (en) 2012-03-07 2014-12-09 Samsung Electronics Co., Ltd. Apparatus and method for time alignment of an envelope tracking power amplifier
WO2013173446A1 (en) 2012-05-15 2013-11-21 1087 Systems, Inc. Cytometry system with interferometric measurement
US8855430B1 (en) * 2012-05-30 2014-10-07 Google Inc. Refining image annotations
KR101452576B1 (ko) 2012-07-03 2014-10-21 곽명수 인체 접사촬영 보조장치 및 핸드폰을 이용한 건강을 검진하는 방법
US9855009B2 (en) 2012-07-15 2018-01-02 Cnoga Medical Ltd. Apparatus for measuring blood characteristics for deployment on a host device having a digital sensor
BR112015001592B1 (pt) 2012-07-25 2022-07-26 Labrador Diagnostics Llc Método para analisar uma amostra
US8957374B2 (en) 2012-09-28 2015-02-17 Corning Incorporated Systems and methods for measuring birefringence in glass and glass-ceramics
US9217714B2 (en) 2012-12-06 2015-12-22 Seagate Technology Llc Reflective surfaces for surface features of an article
US9445057B2 (en) 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
JP6200168B2 (ja) 2013-02-28 2017-09-20 キヤノン株式会社 画像処理装置及び画像処理方法
US9424395B2 (en) * 2013-03-04 2016-08-23 Heartflow, Inc. Method and system for sensitivity analysis in modeling blood flow characteristics
CN109142195B (zh) 2013-03-15 2021-10-01 艾瑞思国际股份有限公司 用于体液样品中的粒子分析的自聚焦系统和方法
US10284486B2 (en) 2014-07-10 2019-05-07 Oracle International Corporation System and method for resource isolation and consumption in a multitenant application server environment
CN117179708A (zh) * 2014-12-15 2023-12-08 皇家飞利浦有限公司 用于测量毛细血管再充盈时间的方法
US10729307B2 (en) * 2015-06-05 2020-08-04 Sony Corporation Image processing device, image processing method, and surgical system
US9772282B2 (en) 2015-11-12 2017-09-26 Massachusetts Institute Of Technology System for wide field-of-view, highly oblique illumination microscopy for scatter-based discrimination of cells
KR20180102170A (ko) 2016-01-21 2018-09-14 인디애나 유니버시티 리서치 앤드 테크놀로지 코포레이션 광응고에 의한 망막 혈관 질환의 치료 및 예방
CA3022798A1 (en) 2016-05-04 2017-11-09 LabThroughput LLC System and method for distinguishing blood components
US20170367924A1 (en) 2016-06-28 2017-12-28 Nanma Manufacturing Co., Ltd. Systems and methods for a male massage apparatus
JP6938863B2 (ja) 2016-06-28 2021-09-22 カシオ計算機株式会社 描画装置
US20180012359A1 (en) * 2016-07-06 2018-01-11 Marinko Venci Sarunic Systems and Methods for Automated Image Classification and Segmentation
US20180211380A1 (en) * 2017-01-25 2018-07-26 Athelas Inc. Classifying biological samples using automated image analysis
CN107115099A (zh) 2017-03-29 2017-09-01 广州医软智能科技有限公司 一种甲襞微循环成像装置
CN111491555B (zh) 2017-10-16 2024-06-21 麻省理工学院 用于非侵入性血液测量的系统、装置和方法
CN114401669B (zh) 2019-07-24 2023-01-17 麻省理工学院 用于甲襞成像装置的手指插入件
US11860154B2 (en) 2020-05-28 2024-01-02 Leuko Labs, Inc Method to detect white blood cells and/or white blood cell subtypes from non-invasive capillary videos

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4425924A (en) * 1981-09-29 1984-01-17 Riva Charles E Blood velocity measurement in retinal capillaries utilizing the blue field entoptic phenomenon
US20100324407A1 (en) * 2009-06-22 2010-12-23 General Electric Company System and method to process an acquired image of a subject anatomy to differentiate a portion of subject anatomy to protect relative to a portion to receive treatment
US20110081056A1 (en) * 2009-10-05 2011-04-07 Salafia Carolyn M Automated placental measurement
JP2013545516A (ja) * 2010-10-25 2013-12-26 バードナー,スティーブン アルツハイマー病、外傷性脳損傷、黄斑変性症、複数の神経変性障害および眼疾患の診断、進行および病気経過予想における網膜内のアミロイドの検出装置および方法
JP2012110373A (ja) * 2010-11-19 2012-06-14 Canon Inc 画像処理装置及び画像処理方法
JP2013169296A (ja) * 2012-02-20 2013-09-02 Canon Inc 画像処理装置及び画像処理方法
JP2015515894A (ja) * 2012-05-10 2015-06-04 カール ツアイス メディテック アクチエンゲゼルシャフト Oct血管造影データの解析および可視化
JP2014045868A (ja) * 2012-08-30 2014-03-17 Canon Inc インタラクティブ制御装置
JP2016509505A (ja) * 2013-01-28 2016-03-31 オスロ ユニヴェルジテットサイケフス ホーエフ 循環不全の評価
US20170039714A1 (en) * 2014-04-17 2017-02-09 The Trustees Of Columbia University In The City Of New York Technologies for diagnosing neurological or psychiatric illnesses
JP2016086842A (ja) * 2014-10-29 2016-05-23 キヤノン株式会社 画像処理装置及び画像処理方法
US20160148038A1 (en) * 2014-11-24 2016-05-26 Massachusetts Institute Of Technology Systems, apparatus, and methods for analyzing blood cell dynamics
JP2016202442A (ja) * 2015-04-20 2016-12-08 あっと株式会社 毛細血管の画像処理方法および画像処理プログラム、並びに毛細血管分析診断装置
CN106803247A (zh) * 2016-12-13 2017-06-06 上海交通大学 一种基于多级筛选卷积神经网络的微血管瘤自动检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022138090A1 (ja) * 2020-12-21 2022-06-30 国立研究開発法人理化学研究所 血液異常予測装置、血液異常予測方法、及びプログラム

Also Published As

Publication number Publication date
AU2018352526B2 (en) 2022-12-01
EP4292520A2 (en) 2023-12-20
EP3697294B1 (en) 2023-12-06
EP3697294A1 (en) 2020-08-26
CN111491555A (zh) 2020-08-04
AU2023200739A1 (en) 2023-03-09
CA3079209A1 (en) 2019-04-25
US11244452B2 (en) 2022-02-08
US20220254024A1 (en) 2022-08-11
AU2018352526A1 (en) 2020-05-07
CN111491555B (zh) 2024-06-21
EP3697294A4 (en) 2021-06-16
WO2019079310A1 (en) 2019-04-25
US20190139221A1 (en) 2019-05-09
US11963750B2 (en) 2024-04-23

Similar Documents

Publication Publication Date Title
JP2020537279A (ja) 非侵襲的な血液学的測定のためのシステム、デバイス、および方法
US9984277B2 (en) Systems, apparatus, and methods for analyzing blood cell dynamics
US9913588B2 (en) Method and system for screening of atrial fibrillation
JP6521845B2 (ja) 心拍に連動する周期的変動の計測装置及び計測方法
Dimauro et al. An intelligent non-invasive system for automated diagnosis of anemia exploiting a novel dataset
Ooi et al. Attention behavior evaluation during daily living based on egocentric vision
WO2014146168A1 (en) Automatic detection of task transition
Ibrahim et al. Non-contact heart rate monitoring analysis from various distances with different face regions
CN106096544A (zh) 基于二阶盲辨识的非接触式眨眼与心率联合检测系统及方法
Jayawardena et al. Automated filtering of eye gaze metrics from dynamic areas of interest
Karmuse et al. A robust rPPG approach for continuous heart rate measurement based on face
De Leon et al. Detection of Sickle Cell Anemia in Blood Smear using YOLOv3
Hassan et al. Towards health monitoring in visual surveillance
Ahmed et al. Automatic Region of Interest Extraction from Finger Nail Images for Measuring Blood Hemoglobin Level
Kraft et al. Reliability factor for accurate remote PPG systems
Sturekova et al. Non-Contact Detection of Vital Parameters with Optoelectronic Measurements under Stress in Education Process
Vadde et al. An innovative wireless digital microscope for enhanced malaria detection and telepathology in remote villages
Vega Self-calibrating eye tracker using imagesaliency: Självkalibrerande ögonspårare medhjälp av image saliency
Sarkar et al. Video magnification to detect heart rate for drivers
Elhajjar A Confidence Framework for Heart Rate Estimation in Video Magnification
Masumi et al. Utilizing Long Short-Term Memory for Detecting Multiple Sclerosis Based on Vessel Analysis
Fesharakinia Performing Red Blood Cell Count Using Video Capillaroscopy and Analyzing the Data Using MATLAB Software
Mathupriya Malaria Disease Prediction using Faster RCNN
Jonatán et al. Analysis of macroscopic characteristics and Microscopic by Digital Image Processing in MATLAB.
Jenifer et al. YOLO-ECG: multi-stage ECG arrhythmia classification using deep learning based YOLO network for portable monitoring

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230724

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240401