JP2022512732A - 流体サンプル中の運動性オブジェクトの運動性ベースのラベルフリー検出のための装置および方法 - Google Patents

流体サンプル中の運動性オブジェクトの運動性ベースのラベルフリー検出のための装置および方法 Download PDF

Info

Publication number
JP2022512732A
JP2022512732A JP2021521119A JP2021521119A JP2022512732A JP 2022512732 A JP2022512732 A JP 2022512732A JP 2021521119 A JP2021521119 A JP 2021521119A JP 2021521119 A JP2021521119 A JP 2021521119A JP 2022512732 A JP2022512732 A JP 2022512732A
Authority
JP
Japan
Prior art keywords
sample
imaging platform
image sensor
objects
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021521119A
Other languages
English (en)
Inventor
オズキャン,アイドガン
チャン,イボ
ケイラン コイデミール,ハティス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of California
Original Assignee
University of California
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of California filed Critical University of California
Publication of JP2022512732A publication Critical patent/JP2022512732A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/487Physical analysis of biological material of liquid biological material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/487Physical analysis of biological material of liquid biological material
    • G01N33/49Blood
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173Classification techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486Counting the particles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4788Diffraction
    • G01N2021/479Speckle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G01N21/453Holographic interferometry
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0033Adaptation of holography to specific applications in hologrammetry for measuring or analysing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/40Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/42Synthetic representation, i.e. digital or optical object decomposition from real object, e.g. using 3D scanner
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/40Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/46Synthetic representation, i.e. digital or optical object decomposition for subsequent optical processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Evolutionary Computation (AREA)
  • Hematology (AREA)
  • Biophysics (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Dispersion Chemistry (AREA)
  • Urology & Nephrology (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Ecology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Optical Measuring Cells (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

特定のバイオマーカーおよび内因性コントラストメカニズムとして寄生虫の移動を利用することにより、流体サンプル中の運動性オブジェクト(例えば、寄生虫)を検出するためのシステムおよび方法である。画像化プラットフォームは、1つまたは複数の実質的に光学的に透明なサンプルホルダを含む。画像化プラットフォームは、光源と、光源に関連付けられた対応するイメージセンサを含む可動の走査ヘッドを含む。光源は、サンプルを含むそれぞれのサンプルホルダに向けられ、各イメージセンサは各サンプルホルダの下に配置されて、サンプルホルダに含まれるサンプルの時変ホログラフィックスペックルパターンをキャプチャする。コンピューティングデバイスは、イメージセンサによって取得された時変ホログラフィックスペックルパターン画像シーケンスを受信するように構成される。コンピューティングデバイスは、サンプル内の運動性オブジェクトの3Dコントラストマップを生成し、深層学習ベースの分類ソフトウェアを使用して運動性オブジェクトを識別する。【選択図】図1A

Description

関連出願
[0001]この出願は、2018年10月18日に出願された米国暫定特許出願番号62/747,285の優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。35U.S.C.§119およびその他の該当する法令に従って優先権が主張される。
技術分野
[0002]技術分野は一般に、体液中の動く物体を検出するために使用される装置および方法に関する。1つの特定の実施形態は、体液中の寄生虫を検出およびカウントすることを含む。このデバイスと方法は、ホログラフィックスペックル分析と深層学習を利用して、体液中の寄生虫などの移動物体を検出する。
[0003]寄生虫感染症は世界中の何十億もの人々に影響を及ぼし、多大な社会経済的負担をもたらすものである。通常、低所得国で問題となっているが、寄生虫感染症は先進国でも健康上の懸念になりつつある。米国だけでも、何百万人もの人々が様々な寄生虫の影響を受けており、深刻な病気や死に至る場合がある。運動性(Motility)は、単細胞の病原性細菌や寄生原虫から多細胞の寄生虫や外部寄生虫まで、病気の原因となる生物に共通している。運動性とは、細胞または生物が独自のエネルギーを使用して独自に動く能力である。ある場所から別の場所に移動する生物の能力は、感染と伝染を成功させるための明らかな利点があり、運動性はしばしば病原性の中核となる。寄生虫のライフスタイルにおける運動性の重要性にも拘わらず、寄生虫の運動性は十分に研究されていない領域であり、運動性に基づく診断は大きく未発展である。
[0004]睡眠病としても知られるヒトアフリカトリパノソーマ症(HAT)、およびシャーガス病(すなわち、アメリカトリパノソーマ症)は、運動性原生寄生虫によって引き起こされる「顧みられない熱帯病(NTD)」の例である。NTDとして、これまであまり注目されておらず、世界で最貧層の人々に偏って影響を及ぼし、診断と治療のための適切な医学的介入が不足している。ワクチンはなく、既存の化学療法剤は高い毒性と薬剤耐性を持っている。これらの2つの壊滅的な病気、HATとシャーガス病は、関連するトリパノソーマ寄生虫によって引き起こされる。ブルーストリパノソーマ(T.brucei gambienseおよびT.brucei rhodesiense亜種)はHATの原因であり、近縁種は動物の病気を引き起こし、世界の最貧地域でかなりの経済的負担をもたらす。この寄生虫はツェツェバエによって人間に感染し、血液や組織の細胞外で生き延び、中枢神経系(CNS)に劇的な影響を与える。HATは、サハラ以南のアフリカの約30か国で流行しており、感染のリスクがあるのは約6,500万人である。報告された症例数は過去最低にまで減少しているが、過去には症例数の減少の後に大流行が発生している。したがって、HATは依然として重要な人間の健康リスクである。一方、シャーガス病は、クルーズトリパノソーマ(T.cruzi)によって引き起こされる。クルーズトリパノソーマは、宿主細胞内に侵入して複製し、宿主組織内に重篤な病状を引き起こす。シャーガス病は主にオオサシガメの咬傷によって感染するが、他の感染経路には輸血や汚染された食料や飲料の摂取が含まれる。この病気はラテンアメリカの風土病であり、600万人以上が罹患している。米国では30万人以上が感染していると推定されており、グローバリゼーションと気候変動が病気を媒介する媒介生物の分布に影響を与えるため、さらに増加すると予想される。
[0005]両方のトリパノソーマ症は、トリパノソーマが血流を循環し、治療が最も効果的である初期段階(I期HATおよび急性シャーガス病)と、治癒が不可能ではないにしても非常に困難な後期段階(II期HATおよび慢性シャーガス病)に分類される。したがって、早期発見は両方の病気にとって非常に重要である。しかしながら、特にリソースが限られている場合は、迅速で高感度の診断が依然として困難である。HATの診断では、適切な治療戦略を決定するために、病気の段階を評価することも不可欠である。I期HATではトリパノソーマが血液とリンパ液に留まっているのに対し、II期HATでは、トリパノソーマが血液脳関門を通過して中枢神経系(CNS)に侵入し、神経症状を引き起こし、治療しないと最終的に死に至ることが特徴である。I期とII期のHATの治療に使用される薬剤は互換性がなく、II期の薬剤は毒性が高いことがあるため、治療レジメンの選択のために疾患の病期を特定することが非常に重要である。病期の判定は現在、腰椎穿刺によって脳脊髄液(CSF)を収集し、白血球(WBC)とトリパノソーマの存在について顕微鏡下でCSFを検査することによって行われている。
[0006]両方のトリパノソーマ種は、通常、長さが約20μm、幅が約3μmであり、寄生虫の推進力にべん毛を介した運動性を使用する。血液やCSFなどの大量の体液中のこれらの運動性寄生虫の検出は重要な臨床的課題である。何十年もの間、T.B.gambienseHATの標準的なスクリーニングテストは、特定の寄生虫抗原に対する抗体の存在を検出するトリパノソーマ症のカード凝集テスト(CATT)であった。しかしながら、CATTには、一部の領域での低い特異性や感度が低いなど、実際的な制限がある。さらに、CATT検査がポジティブの場合、通常、血液サンプルを直接目視で確認する必要がある。ポリメラーゼ連鎖反応(PCR)や迅速診断検査(RDT)など、いくつかの分子的および免疫学的検出方法が開発されているが、これらの方法は、特異性または感度が不十分、高度な機器と高度な訓練を受けた要員が必要、または製造コストが高いなどの制限がある。そのため、依然として一次または二次診断に顕微鏡評価が広く使用されており、HATのステージ判定にはCSFの直接観察が依然として唯一の方法となっている。全血1ミリリットルには、通常、数十億の赤血球(RBC)、数百万の白血球(WBC)、および数億の血小板が含まれている。対照的に、血液中の寄生虫量は感染の過程で変動し、100個/mL未満となることも多いため、トリパノソーマの顕微鏡による同定は針の穴を通すような問題となる。また、直接観察法では感度が低いため、遠心分離やイオン交換精製などの分析分離装置が必要であり、リソースが限られた環境での分析が部分的に制限されてしまう。したがって、コストを削減し、診断を簡素化するために、高感度でスループットの高い新しい方法の開発に対する大きなニーズが依然としてある。
[0007]この重要な課題に対処するために、本発明は、例えば体液中の寄生虫を検出する際に利用可能な、サンプル中の運動性オブジェクトを検出するためのシステムおよび方法に関する。本システムおよび方法は、様々な体液および濁った媒体中の運動性寄生虫をラベルフリーで高スループットかつ高感度に検出するために、レンズレスの時間分解ホログラフィックスペックルイメージングに基づいた、コスト効率が高く現場で持ち運び可能な光学デバイスを利用する。この技術では、対象となる分析物を染色したり、分子バイオマーカーを使用するのではなく、自己推進する寄生虫(または他の運動性微生物や細胞)の運動を、バイオマーカーおよび内因性のコントラストメカニズムとして利用する。その結果、サンプルの前処理は非常にシンプルかつ迅速となり、ベンチトップスケールのサンプル処理装置/機器を必要とせず、冷蔵、遠心、精製も必要なくなる。
[0008]したがって、本発明の一実施形態は、サンプル中の運動性オブジェクトのラベルフリー検出のための画像化プラットフォームに関する。例えば、運動性オブジェクトは、寄生虫などの生物または他の適切な運動性オブジェクトであり得る。画像化プラットフォームは、キャピラリーチューブまたは他の適切なサンプルホルダなどの1つまたは複数の実質的に光学的に透明なサンプルホルダを含む。画像化プラットフォームはまた、1つまたは複数のコヒーレント光源と、当該1つまたは複数のコヒーレント光源に関連付けられた対応するイメージセンサとを含む可動の走査ヘッドを有する。例えば、走査ヘッドは、単一のコヒーレント光源(例えば、レーザダイオード)および単一のイメージセンサ(例えば、相補型金属酸化物半導体(CMOS))のみであり得るか、または走査ヘッドは、コヒーレント光源および各サンプルホルダに1つのイメージセンサを有してもよい。コヒーレント光源は、それぞれのサンプルホルダに向けられ、それぞれのイメージセンサは、それぞれのサンプルホルダの下に配置されて、サンプルホルダに含まれるサンプルの画像シーケンスを取得する。一例として、イメージセンサは、サンプルホルダに含まれるサンプルの時変ホログラフィックスペックルパターン(例えば、「動画」)を記録することができる。
[0009]画像化プラットフォームは、イメージセンサによって取得された時変ホログラフィックスペックルパターン画像シーケンスを受信するように構成されたコンピューティングデバイスを有する。このコンピューティングデバイスは、1つまたは複数のサンプルホルダ内の運動性オブジェクトの三次元(3D)コントラストマップを生成するように構成された計算機運動分析ソフトウェアを有する。コンピューティングデバイスは、三次元(3D)コントラストマップ内の運動性オブジェクトを識別するための深層学習ベースの分類ソフトウェアも有する。
[0010]別の態様では、画像化プラットフォームはまた、1つまたは複数のサンプルホルダに沿って可動走査ヘッドを並進させるように構成された並進ステージを含み得る。例えば、並進ステージは、走査ヘッドを1つまたは複数の光学的に透明なサンプルホルダに沿って直線的に移動させて、走査ヘッドがサンプルホルダの異なる複数のセクション、例えばサンプルホルダの長さに沿った異なるセクションで画像シーケンスを取得できるように構成され得る。
[0011]画像化プラットフォームの別の態様では、サンプルは、血液などの生物学的流体を含む。さらに別の態様では、生物学的流体は、血液または脳脊髄液を含む。
[0012]さらに別の態様では、サンプルホルダは、1つまたは複数のキャピラリーチューブである。例えば、キャピラリーチューブは、細長い長方形の管(すなわち、長方形の断面を有する)であり得る。
[0013]画像化プラットフォームの別の態様では、1つまたは複数のコヒーレント光源は、1つ以上のサンプルホルダに光を投射するレーザダイオード、発光ダイオード、および/またはレーザ、または前述の任意の組み合わせであり得る。
[0014]さらに別の態様では、並進ステージは、可動走査ヘッドを保持する1つまたは複数の線形運動シャフトと、ベルトを介して可動走査ヘッドに結合されたステッピングモータとを含み得る。並進ステージは、走査ヘッドを動かして、サンプルホルダの異なる領域または範囲に沿って時変ホログラフィックスペックルパターンをキャプチャするように構成することができる。
[0015]画像化プラットフォームの別の構成において、可動走査ヘッドは、イメージセンサのための1つまたは複数のヒートシンクをさらに含み得る。例えば、ヒートシンクは、イメージセンサに機能的に接続された回路基板で生成された熱を放散するように配置され得る。ヒートシンクは、カスタマイズされた金属(例えば、アルミニウム)要素とすることができ、回路基板と各イメージセンサとの間に配置されて、過熱によるイメージセンサの損傷または誤動作を防止し得る。
[0016]別の態様では、計算機運動分析ソフトウェアは、オブジェクト関数正規化(OFN)を実行して、サンプル内の強く散乱するオブジェクトを抑制するように構成される。
[0017]本発明の別の実施形態は、例えば、流体サンプル中の運動性オブジェクトを検出するために、画像化プラットフォームを使用する方法に関する。この方法は、流体サンプルを1つまたは複数の実質的に光学的に透明なサンプルホルダに装填するステップを含む。可動の走査ヘッドが、1つまたは複数のサンプルホルダの様々な領域に移動される。イメージセンサは、流体サンプルの時変ホログラフィックスペックルパターン画像シーケンスを取得する。次に、コンピューティングデバイスが、深層学習ベースの分類ソフトウェアを使用して、サンプル内の1つ以上の運動性オブジェクトを識別する。
[0018]この方法の別の態様では、コンピューティングデバイスは、計算機運動分析ソフトウェアを使用して画像シーケンス内の運動性オブジェクトの三次元(3D)コントラストマップを生成し、次に深層学習ベースの分類ソフトウェアを使用して、運動性オブジェクトの三次元(3D)コントラストマップ内で運動性オブジェクトを識別することによって、画像シーケンス内の運動性オブジェクトを識別する。
[0019]画像化プラットフォームを使用する方法の別の態様では、流体サンプルをサンプルホルダに装填する前に、流体サンプルを最初に溶解緩衝液に曝露する。
[0020]この方法のさらに別の態様では、可動走査ヘッドおよびイメージセンサを並進させる前に流体サンプルを沈降させてから、流体サンプルの時変ホログラフィックスペックルパターン画像シーケンスを取得する。
[0021]この方法のさらに別の態様では、深層学習ベースの分類ソフトウェアは、サンプル内の運動性オブジェクトの数を特定および/または出力する。さらに別の態様では、深層学習ベースの分類ソフトウェアは、サンプル内の運動性オブジェクトの濃度を特定および/または出力する。
[0022]この方法の別の態様では、深層学習ベースの分類ソフトウェアは、サンプルのポジティブまたはネガティブの分類を出力する。これは、サンプル内の運動性オブジェクトのカウントおよび/または濃度の取得とは別に、またはそれに加えて行うことができる。例えば、深層学習ベースの分類ソフトウェアを使用して、サンプル内の運動性種の数をカウントし、それを使用して、サンプル(所与の既知の量のサンプル)内の運動性オブジェクトの濃度を計算し、運動性オブジェクトの数または濃度に基づいて、特定のサンプルをターゲットの運動性オブジェクトのポジティブ(+)またはネガティブ(-)に分類する。例えば、しきい値カットオフ値を使用して、ポジティブのサンプルとネガティブのサンプルを区別することができる。
[0023]この方法の別の態様では、サンプルは生物学的サンプルを含む。さらに別の態様では、サンプルは環境サンプルを含む。別の態様では、運動性オブジェクトは寄生虫を含む。
[0024]本発明の別の実施形態は、サンプル中の運動性オブジェクトを検出する方法に関する。この方法は、1つまたは複数のコヒーレント光源および当該1つまたは複数のコヒーレント光源に関連付けられた対応するイメージセンサを含む可動走査ヘッドを使用して、サンプルの複数の時変ホログラフィックスペックルパターン画像シーケンスを取得するステップを含む。複数の時変ホログラフィックスペックルパターン画像シーケンスは、イメージセンサによって取得された時変ホログラフィックスペックルパターン画像シーケンスを受信するように構成されたコンピューティングデバイスで処理される。コンピューティングデバイスは、1つまたは複数のサンプルホルダ内の運動性オブジェクトの三次元(3D)コントラストマップを生成するように構成された計算モーション分析ソフトウェアと、三次元(3D)コントラストマップの運動性オブジェクトを識別する深層学習ベースの分類ソフトウェアとを有する。
[0025]別の態様では、この方法は、コンピューティングデバイスが計算機運動分析ソフトウェアを使用して、1つまたは複数のサンプルホルダ内の運動性オブジェクトの三次元(3D)コントラストマップを生成するステップをさらに含む。次に、コンピューティングデバイスが、深層学習ベースの分類ソフトウェアを使用して、三次元(3D)コントラストマップ内の運動性オブジェクトを識別する。
[0026]別の態様では、この方法は、コンピューティングデバイスが運動性オブジェクトのカウントを特定および/または出力するステップも含む。さらに別の態様では、この方法は、コンピューティングデバイスがサンプル内の運動性オブジェクトの濃度を特定および/または出力するステップを含む。
[0027]画像化プラットフォームの一例では、スクリーニングされる流体サンプルは、コヒーレント光源(例えば、レーザダイオード)によって照射され、相補型金属酸化物半導体(CMOS)イメージセンサがサンプルの下に配置されて、サンプルの時変ホログラフィックスペックルパターン(例えば「動画」)を記録する。時変ホログラフィックスペックルパターンは、分析されるサンプルを含む三次元ボリュームの異なる領域に移動する走査ヘッドを使用して取得することができる。走査ヘッドは、複数のサンプルを並行して(または単一のサンプルを複数のテストボリュームに分割して)画像化することができる複数の光源およびイメージセンサを含んでもよい。もちろん、他の実施形態では、単一の光源とイメージセンサのみを使用してもよい。
[0028]次に、イメージセンサによって取得された画像シーケンスは、ホログラフィーに基づくカスタムメイドの計算機運動分析(CMA)アルゴリズムによって分析され、サンプルボリューム内の寄生虫の運動に固有の三次元(3D)コントラストマップが生成される。最後に、深層学習ベースの分類器を使用して、再構成された3D運動マップを使用して、寄生虫(または他の運動種)の信号パターンを自動的に検出しカウントする(図3A~3Mを参照)。
[0029]本発明による例示的な画像化プラットフォームは、スループットを増加させ、大量の流体(約3.2mL以上)の迅速なスクリーニングのための検出限界(LoD)を低減するように構築および構成された。この例では、画像化プラットフォームには、並進ステージに取り付けられた3つの同一のレンズレススペックルイ画像化モジュールが含まれており、3つの個別のサンプルチューブを並行してスクリーニングする。各画像化モジュールは、液体サンプルを含んでいるキャピラリーチューブの様々なセクションへと並進され、ここでCMOSイメージセンサが高フレームレートの映像シーケンスをキャプチャしてから、次のセクションに進む。このアプローチを使用すると、例示的な画像化プラットフォームを使用して、約3.2mL以上の流体サンプルを、すべて約20分以内に準備、スクリーニング、および分析することができる。標準的なベンチトップ光学顕微鏡と比較して、この画像化プラットフォームの設計では、スクリーニングされるサンプル量が桁違いに増加する(これは低濃度の寄生虫の検出にとって非常に重要である)。さらに、画像化プラットフォームは、大幅にコンパクトで軽量となり得る(例えば、重量約1.69kg以下)。さらに、比較的大量のサンプルが軸方向に計算でスクリーニングされるため、画像化デバイスはオプトメカニカル設計で高精度を必要とせず、プラットフォームの費用対効果も高く、部品のコストは非常に少量の製造でも合計約1,850ドル以下になり得る。
[0030]例示的な画像化プラットフォームは、モバイルプラットフォームをテストするためにトリパノソーマを使用してテストされ、HATの診断とステージ判定、および急性シャーガス病の診断に重要な、添加された全血およびCSFサンプル中の寄生虫を検出する能力を示した。添加実験を、T.b.gambiense、T.B.rhodesiense、t.cruziのモデル寄生虫としてT.brucei(トリパノソーマの非ヒト感染性亜種)を使用して一連の濃度で実施した。深層学習ベースの分類により、画像化プラットフォームを使用して、全血1mLあたり10個の寄生虫とCSF1mLあたり3個の寄生虫を確実に検出できることが示された。さらに、米国で370万人、世界で2億7500万人が罹患している最も一般的な非ウイルス性性感染症(STD)であるトリコモナス症の原因となる原生動物の寄生虫である膣トリコモナス(T.vaginalis)を画像化することにより、体液中の他の運動性寄生虫を検出するプラットフォームの成功が実証された。このように、運動性を利用したラベルフリーの寄生虫検出プラットフォームは、リソースが限られた環境でトリパノソームなどの運動性寄生虫を迅速かつ高感度にスクリーニングするための費用対効果の高いポータブルなアプローチを提供することができ、また、運動性生物を3Dで研究するための高スループット分析研究ツールとしても利用することができる。本書に記載の例示的な画像化プラットフォームは、寄生虫を検出するために使用しているが、このプラットフォームは寄生虫ではない他の運動性種の検出に使用され得ることを理解されたい。例えば、これには精子やその他の運動性のある多細胞または単一細胞種が含まれる。
[0031]前述および他の実施形態の態様が、添付の図面を参照してさらに詳細に説明され、ここで同じ参照番号は同じ要素を指し、同じ要素の説明は、関連する場合はいつでも、説明されたすべての実施形態に適用され得る。同じ番号で異なる文字を有する参照番号(例えば、l04a、l04b、l04c)は、同様の要素を指し、詳細な説明における文字のない番号の使用は、それぞれの同様の要素を指す。
図1Aは、本発明の一実施形態による、サンプル中の運動性オブジェクトを検出するための画像化プラットフォームの概略図である。このデバイスは、レンズレスホログラフィック時間分解スペックルイメージングに基づいている。寸法は説明のためのみであり、図1Aに具体的に示されているものを超えて変化してもよい。図示のデバイスは、約20分以内に約3.2mLの体液サンプルをスクリーニングおよび分析する高スループット体液スクリーニングデバイスである。 図1Bは、図1Aの概略図に従って作製された画像化プラットフォームの例示的な実施形態の写真である。図1Bの画像化プラットフォームは、取得されたデータの処理にも使用されるコンピューティングデバイス(例えば、ラップトップ)によって制御される。 図1Cは、図1A~1Bの画像化プラットフォーム用のプリント回路基板の電子概略図であり、選択された電子部品およびコンピューティングデバイス(例えば、ラップトップコンピュータ)とのインターフェースを示す。 図2は、本発明の一実施形態による、図1Aの画像化プラットフォームを使用して全血および脳脊髄液(CSF)をテストするために使用されるサンプル調製および画像化プロセスの図である。 図3A~3Mは、本発明の一実施形態による、溶解血液中のトリパノソーマの高感度でラベルフリーの検出のための、深層学習ベースの識別と組み合わされたOFNを用いたCMAアルゴリズムを示す。これらのステップは、リスト通りの順序(ステップa~k)で実行され、オプションのステップ(1)および(m)がある。 図4A~4Eは、本発明の一実施形態による、約14.7mmの視野(FOV)にわたって運動性トリパノソーマ寄生虫を添加した溶解血液サンプルにCMAアルゴリズムおよびOFNを適用した実験的実証結果を示す画像である。図4Aは、本発明の一実施形態による、図1Aに示すイメージセンサまたは画像化プラットフォームによってキャプチャされたサンプルの回折またはスペックルパターンの時系列である。図4A~4Cは、イメージセンサによってキャプチャされた、溶解され、トリパノソーマが添加された全血サンプルの生のスペックルパターンを示している。図4Bおよび4Cは、生の画像シーケンス内のフレームの1つの拡大図を示す。図4Dおよび4Eは、本発明の一実施形態による、CMAアルゴリズムによって処理された後に検出された運動性寄生虫を示す。図4Eは、本発明の一実施形態による、逆伝播回折パターンの振幅および位相チャネルの焦点の合った動画を作成するために利用可能なホットスポットの計算された3D位置の例を示す。 図5A~5Dは、溶解された全血および人工CSFサンプル中のトリパノソーマを検出するために構築および試験された例示的な画像化プラットフォームのLoDの定量化を示すグラフである。図5Aは、溶解した全血中のトリパノソーマ検出の検量線(対数目盛)である。破線は期待値を示す(y=x)。測定値は、データポイントを示すドットで示す。エラーバーは、データポイントを示すドットで示す3つの独立した測定値の標準偏差を示す。図5Bは、図5Aの拡大図であり、ネガティブ対照(トリパノソーマなし)を含む低濃度測定(線形スケール)を示す。3つのネガティブ対照サンプルではフォルスポジティブは見つからなかった。図5Cおよび5Dは、図5Aおよび5Bと同様に、人工CSFにおけるトリパノソーマ検出の検量線である。図5Dの破線は、ネガティブ対照結果の平均+3×SDに対応する。 図6Aおよび6Bは、例示的な画像化プラットフォームを使用して、WBCを添加された人工CSF内のトリパノソーマの画像化結果を示す画像である。図6Aは、画像シーケンスにおける生のホログラムの1つである。図6Bは、OFNを用いたCMAアルゴリズムによって処理される画像の例である。図6Bは、5つの信号スポットを示している。 図7Aおよび7Bは、例示的な画像化プラットフォームを使用したリン酸緩衝生理食塩水(PBS)内の膣トリコモナス(T.vaginalis)の画像化結果を示す画像である。図7Aは、画像シーケンスにおける生のホログラムの1つである。図7Bは、CMAアルゴリズムで処理された画像の例である。トリコモナスは強い光学位相を有するため、ここではOFNは適用されない。図7Bは、3つの信号スポットを示している。 図8Aおよび8Bは、例示的な画像化プラットフォームを使用した、培養培地内の膣トリコモナスの画像化結果を示す画像である。図8Aは、画像シーケンスにおける生のホログラムの1つである。図8Bは、OFNなしでCMAアルゴリズムで処理された画像の例である。図8Bは、3つの信号スポットを示している。 図9A~9Dは、差分分析のための減算フレーム間隔δおよび合計分析フレームNの最適化を示すグラフである。信号対雑音比(SNR)を、最適化の基準として使用している。図9Aおよび9Bは、溶解血液中のトリパノソーマ検出の最適化を示し、ここでδ=4およびN=61であり、35.29dBの最適なSNRをもたらす。図9Cおよび9Dは、CSFでのトリパノソーマ検出の最適化を示している。ここでδ=4およびN=41であり、45.00dBの最適なSNRをもたらす。 図10A~10Cは、イメージセンサによって加熱された後の対流によるガラス管内の速度場のシミュレーションを示している。図10Aは、高さ1mmのガラス管が7秒間加熱された後の速度の大きさの分布を示す図である(側面図)。ガラス管の中央の断面が図示されている。図10Bは、加熱されている時間の関数としての、ガラス管内の最大流体速度の大きさを示すグラフである。異なる曲線は、ガラス管の異なる内部高さに対応する。図10Cは、チャネル高さの関数として7秒間加熱された後の最大流体速度の大きさを示すグラフである。 図11A~11Fは、溶解した血液中に現れる、粒子の強い散乱による潜在的な「フォルスポジティブ」をOFNがどのように抑制するかを示す画像である。TPは、トリパノソーマに対応する「トゥルーポジティブ」スポットを示す。FPは「フォルスポジティブ」を示す。ネガティブ対照サンプル図11Cにおけるフォルスポジティブは、OFNを適用した後に図11Dに示すように抑制され、一方でトゥルーポジティブシグナルは維持される(図11Aおよび11Bの「TP」)。ポジティブサンプルでは、気泡(図11Aの左下の「FP」)のために強いフォルスポジティブが生成され、そのホログラムおよび逆伝播された振幅画像が図11Eおよび図11Fにそれぞれ示されている。図11Bに示すように、強いフォルスポジティブは、OFNによって効果的に排除されている。 図12A~12Dは、人工CSFで実証された、強く散乱する粒子による潜在的な「フォルスポジティブ」をOFNがどのように抑制するかを示す画像である。TPは、トリパノソーマに対応する「トゥルーポジティブ」スポットを示す。FPは「フォルスポジティブ」を示す。図12Cに示すネガティブ対照サンプルにおいて明らかである添加されたWBCによるフォルスポジティブは、図12Dに示すように、OFNを適用した後に抑制され、一方でトゥルーポジティブは、図12Aおよび図12Bに示すポジティブサンプルに維持されている。 図13は、トリパノソーマによって生成された信号を自動的に検出するための畳み込みニューラルネットワーク(CNN)の構造を示す図である。図13において、Cはチャネルの数、Kは畳み込みフィルタのサイズ、Sはストライド、Pはドロップアウトの確率である。 図14は、様々な既存の検出方法を今般開示した方法と比較した表である。 図15は、図1A~1Cの画像化プラットフォームと共に使用するための例示的なニューラルネットワークの概略図である。
[0049]本発明は、サンプル中の運動性オブジェクト200のラベルフリー検出のための画像化プラットフォームに関する。(図2を参照)。図1A~1Cは、本発明の一実施形態による、サンプル101のレンズレスホログラフィック時間分解スペックルイメージングを実行するための画像化プラットフォーム100を示す。画像化プラットフォーム100は、5つの主要モジュールから構成される:(1)1つまたは複数のレンズレスホログラフィックスペックルイメージャ104を有する走査ヘッド102(図1Aおよび1Bに示され、本書で説明される画像化プラットフォーム100の図示された実施形態は、3つのイメージャl04a、l04b、l04cを有する);(2)並進ステージ106;(3)画像化プラットフォーム100のコンポーネントを保持するメインハウジング108;(4)画像化プラットフォーム100の様々な機能を制御および自動化するように構成された電子回路110;(5)グラフィカルユーザインターフェース(GUI)115を提供する制御プログラム114を有するコンピューティングデバイス112である。GUI115は、画像取得パラメータのカスタマイズ、回折パターンのライブビューの実行、スナップショットの取得、結果の照会、サンプル追跡、レポート生成および出力、撮像停止などの他の様々な機能に加えて、ユーザが現在のサンプルのスクリーニングを開始できるように構成される。
[0050]走査ヘッド102は、走査ヘッドハウジング190(例えば、3D印刷されたプラスチック、成形プラスチック、成形金属など)内に収容された1つまたは複数のレンズレスイメージャ104a、104b、104cを具える。各レンズレスイメージャ104a、104b、104cは、照明源116を具える。照明源116は、出力電力が約1mWの650nmレーザダイオード(製品番号AML-N056-650001-01、Arima Lasers Corp.、台湾桃園)といったレーザダイオード、またはその他の適切な照明装置であり得る。例えば、レーザダイオード以外の照明源116としては、発光ダイオード(LED)や別のレーザ光源などを含む。
[0051]照明源116から放出された光117は、オプションのアパーチャ118を通過する。アパーチャ118は、3D印刷されたアパーチャあるいは他の適切に構築されたアパーチャ(例えば、成形、機械加工など)であり得る。アパーチャ118は、放出光の放出角度を制限し、隣接するイメージャ104への光漏れを回避するように機能する。このアパーチャ118はオプションであり、すべての実施形態に存在し得るわけではない。アパーチャ118は、近くのイメージセンサ124への光漏れを防ぐのに役立つ。光漏れが問題にならない(例えば、レンズレスイメージャ104の間隔または構成が光漏れの影響を受けない)実施形態では、アパーチャは省略することができる。
[0052]サンプル101は、実質的に光学的に透明な流体ホルダ120a、l20b、l20c(「サンプルホルダ」とも呼ばれる)に装填される。「実質的に光学的に透明」の語は、この要素が、サンプル101内の運動性オブジェクト200を識別するのに十分な品質で、この要素を通してサンプル101の画像168を取得するのに十分に透明であることを意味する。一実施形態では、各流体ホルダ120a、120b、120cは、ガラスのキャピラリーチューブである。このキャピラリーチューブは、断面プロファイルが長方形であり得るが、円形、楕円形などの他の適切な断面プロファイルであってもよい。流体ホルダ120は、サンプル101(例えば、スクリーニングされる体液)で満たされ、照明源116の下にz距離122で配置される。図示の実施形態では、z距離122は、照明源116の下約7cmである。この場合も、アパーチャ118はオプションであり、すべての実施形態に存在しなくてもよい。アパーチャ118は、隣接するイメージャ104の近くのイメージセンサ124への光漏れを防ぐのに役立つ。光漏れが問題にならない(例えば、レンズレスイメージャ104の間隔または構成が光漏れの影響を受けない)実施形態では、アパーチャ118を省略してもよい。
[0053]イメージャ104a、104b、104cのそれぞれは、それぞれの照明源116からそれぞれの流体ホルダ120の反対側に配置されたイメージセンサ124を有し、それにより、走査ヘッド102の位置に基づくサンプル101の区画でサンプル101を通る照明源116から放出された光117の回折またはスペックルパターンを画像化することができる。例えば図示の実施形態では、イメージセンサ124は、流体ホルダ120の下に配置され、照明源116は流体ホルダ120の上に配置されている。イメージセンサ124は、1.67μmのピクセルサイズおよび6.4mm×4.6mm(29.4mm)の活性領域を有する10メガピクセルのCMOSイメージセンサ(製品番号acA3800-14um、Basler、アーレンスバーグ、ドイツ)といった任意の適切なイメージセンサであり得る。イメージセンサ124は、照明源116からz距離126だけ下に配置される。z距離122は、通常、z距離よりはるかに大きい。図示の実施形態では、イメージセンサ124と流体ホルダ120の底面との間のz距離126(すなわち、エアギャップ)は、イメージセンサ124からサンプル101への熱伝達を低減するために、約1~1.5mm、または1~3mm、または0.5~5mmである。図1は、いくつかの実施形態においてz距離126が約3mmであり得ることを示す。
[0054]各イメージセンサ124は、発熱する1つまたは複数の回路基板125を有するので、オプションでヒートシンク128が回路基板125の間に挿入され走査ヘッド102の側に配置されて、熱を放散してイメージセンサ124の誤動作および/または損傷を防止する。ヒートシンク128は、カスタムメイドのアルミニウムヒートシンク、または他の材料および構造を含む他の適切なヒートシンクであり得る。
[0055]本書記載の実施例で使用される実施形態は、3つの異なるキャピラリーチューブ120a、120b、120cを画像化する3つの同一のレンズレスイメージャ104a、104b、104cを具える走査ヘッド102を使用する。これらのキャピラリーチューブl20a、l20b、l20cには、異なる患者または同じ患者からのサンプルを装填することができる。より多くの(または少ない)レンズレスイメージャ104を使用してもよいことを理解されたい。
[0056]並進ステージ106は、イメージャ104を流体ホルダ120に対して移動させるために走査ヘッド102を移動するように構成され、イメージャ104は、それぞれの流体ホルダ120に含まれるサンプル101の異なる領域の画像168を取得できる。図示の実施形態では、並進ステージ106は、走査ヘッド102を流体ホルダ120の長さに沿って直線方向に移動させるため、線形並進ステージ106と呼ばれる。図示の実施形態では、線形並進ステージ106は、流体ホルダ120の長手方向軸に平行に整列して取り付けられた2つの線形運動シャフト130a、130bを具える。これらの運動シャフトl30a、l30bは、製品番号85421,Makeblock Co.,Ltd.、深セン、中国、またはその他の適切な運動シャフトであり得る。線形並進ステージはまた、運動シャフト130a、130bに対して結合され、制御可能に移動可能な2つの線形運動スライダ132を有する。線形運動スライダ132は、製品番号86050、Makeblock Co.,Ltd.、深セン、中国であり得る。線形並進ステージ106はまた、2つのタイミングプーリーl36a、l36b(例えば、製品番号615418、ServoCity、Winfield、KS、またはその他の適切なタイミングプーリー)およびステッピングモータ138(例えば、製品番号324、Adafruit Industries LLC.、ニューヨーク州ニューヨーク市、または他の適切なモータ)に機能的に連結されたタイミングベルト134(例えば、製品番号B375-210XL、ServoCity、Winfield、KS、または他の適切なタイミングベルト)を具えてもよい。
[0057]走査ヘッド102は、ねじや他の適切な留め具を使用して運動スライダ132に取り付けられる。運動スライダ132が取り付けられた走査ヘッド102は、静止した線形運動シャフト130a、130bに沿って移動する。ステッピングモータ138は、連結されたタイミングベルト134とタイミングプーリー136を駆動して、走査ヘッド102を線形運動シャフト130a、130bに沿って前後に動かすための動力を提供する。本書で利用および開示す特定の線形並進ステージ106は、画像化プラットフォーム100に使用することができるが、流体ホルダ120に対して直線方向に走査ヘッド102を移動させるように構成される他の並進機構およびデバイスも利用できることを理解されたい。これらは、直線運動を与えるために走査ヘッド102に機械的に連結またはリンクされたモータまたはサーボベースのデバイスを具え得る。同様に、並進ステージ106は、走査されるサンプル量に応じて、異なる方向に並進されてもよい。例えば、三次元ボリュームを直交(または他の方向)に走査して、サンプルボリュームをカバーすることができる。したがって、様々な異なる並進動作を並進ステージ106と組み合わせて使用することができる。
[0058]コンピューティングデバイス112は、画像化プラットフォーム100の動作を制御するように構成される。図示の実施形態では、コンピューティングデバイス112はラップトップコンピュータであるが、コンピューティングデバイス112は、他のコンピュータベースのデバイス(例えば、パーソナルコンピュータまたは場合によってはタブレットコンピュータまたは他のポータブルコンピューティングデバイス)を含み得る。コンピューティングデバイス112は、1つまたは複数のマイクロプロセッサ111、記憶デバイス160、グラフィックス処理ユニット(GPU)161、およびディスプレイ163を含み得る。
[0059]図1Cの概略図を参照すると、電子回路110は、画像化プラットフォーム100を自動化するように構成されたプリント回路基板(PCB)142を含む。PCB142は、USB2.0インターフェース(または他の適切なインターフェース)を介してコンピューティングデバイス112に機能的に接続されたマイクロコントローラ144(例えば、Tenesy LC,PJRC)を含む。マイクロコントローラ144はまた、照明ドライバ回路146(例えば、レーザダイオードドライバ回路または他の適切なドライバ回路)、およびステッピングモータドライバ回路148を含む。照明ドライバ回路146は、定電流回路から構築され得る。例えば、レーザダイオードドライバ回路の場合、照明ドライバ回路146は、製品番号LM317DCYR、テキサスインスツルメンツから構築され得る。ステッピングモータ駆動回路148は、製品番号TB6612、Adafruit、またはその他の適切なステッピングモータドライバー回路であり得る。
[0060]図示の実施形態では、照明源116(例えば、レーザダイオード)およびステッピングモータ138は、12V電源アダプタ150を使用して電力供給される。金属酸化膜半導体電界効果トランジスタ(MOSFET)から構築された様々なデジタルスイッチ156a、l56b、l56cが、マイクロコントローラ144からのデジタル出力によって制御され、レーザダイオード116およびイメージセンサ124が使用されていないときにそれらへの電力を遮断する。具体的には、イメージセンサ124への電力の切断を含む、イメージセンサ124への電力を制御するために、イメージセンサ124のUSB3.0ケーブルの電力線が遮断され、MOSFETベースのデジタルスイッチ156aが電力線に挿入される。
[0061]コンピューティングデバイス112は、画像化プラットフォーム100から取得されたデータを制御および相互作用するために使用される制御プログラム114を含む。例えば、本明細書に開示す特定の実施形態では、制御プログラム114は、CSharpプログラミング言語(C#)で書かれたウィンドウズ(登録商標)ベースのアプリケーションである。制御プログラム114は、ユーザが現在のサンプル101のスクリーニングを開始できるようにすることに加えて、画像取得パラメータのカスタマイズ、回折パターンのライブビューの実行、スナップショットの取得、および取得の停止などの他の様々な機能を実現するGUI115を含む。他のプログラミング言語またはスクリプトも使用できることを理解されたい。
[0062]したがって、制御プログラム114は、画像化プラットフォーム100を制御して、時変ホログラフィックスペックルパターン画像シーケンスを取得する。サンプル101を画像化プラットフォーム100上の流体ホルダ120a、l20b、l20cに装填した後、所定の待機時間(例えば、3~4分の待機時間、例えば溶解した全血の場合は4分、人工CSFの場合は3分、詳細は図2を参照)の間サンプル101を沈降させ、ユーザーはGUI115の「記録」ボタンを押して取得を開始する。制御プログラム114は、画像化プラットフォーム100をプログラムして、流体ホルダ120a、l20b、l20cを所定数の離散位置でスキャンして、流体ホルダ120a、l20b、l20c内のサンプル101の異なる領域を画像化するように構成される。例えば、図示の実施形態では、画像化プラットフォーム100は、互いに約4.7mm離れた36の別個の位置で流体ホルダ120a、120b、l20cをスキャンするようにプログラムされ得る。これにより、合計スクリーニング量は36(個別のスキャン位置)×29.4mm(イメージセンサ124のFOV)×1mm(キャピラリーチューブ120のチャネル高さ)≒レンズレススペックルイメージャ104あたり1.06mL、3つの並列イメージャを組み合わせたものでは約3.18mLとなる。36の位置のそれぞれで、高フレームレート(約26.6fps)を達成するために、イメージセンサ124のFOVは、2つの半部(すなわち、ピクセルの上部1374行および下部1374行)に分割され、それぞれが61フレーム(溶解血液の場合)または41フレーム(CSFの場合)を順次半分キャプチャする(図9A~9Dを参照)。
[0063]イメージセンサ124は電力を供給されると温度が上昇し、液体サンプル101の温度勾配によって対流が誘発される。例示的な画像化プラットフォーム100の温度勾配によって誘発される対流の例を図10A~10Cに示す。これらの問題を軽減するために、2つの対策を講じることができる。第1に、36の位置を一方向にスキャンする代わりに、画像化プラットフォーム100を前後にスキャンするように構成することができる。例えば、36の位置が、空間的に順序付けられた位置#1、#2、...、#36で表されるとする。#1、#2、…、#36の順序で走査する代わりに、制御プログラム114は、位置9個分のより大きなステップサイズで走査するように画像化プラットフォーム100をプログラムし、走査ヘッド102がこのステップサイズで進めなくなったら(位置9個分のステップが端部位置#1または#36を超えて移動するため)、走査ヘッド102は、走査していない最も小さい番号の位置に移動される。言い換えれば、この例では、画像化プラットフォーム100は、最初に位置#1、#10、#19、および#28をスキャンする。次に、走査ヘッド102が位置#2に戻され、続いて#11、#20、および#29というように移動される。この走査パターンは、走査ヘッド102がその近くに戻る前に冷却するのに十分な時間を有するキャピラリーチューブ120の所与のセクションでの熱の蓄積を殆ど防止する。第2の手段として、所定の「ダウンタイム」(例えば、6秒の「ダウンタイム」、または5~10秒の「ダウンタイム」)を走査位置の間に追加して、イメージセンサ124を冷却することができる。所与の位置で取得を完了した後、イメージセンサ124への電力は、USB3.0ケーブルに追加されたMOSFETベースのデジタルスイッチ156aによって遮断される。所定の待機時間(例えば、6秒)の後、ステッピングモータ138は、走査ヘッド102を次の位置に移動させ、そこで、イメージセンサ124への電力が復旧されて、次の画像のセット168がキャプチャされる。
[0064]取得された一連の画像168(例えば、動画またはクリップ)は、処理のために記憶装置160(例えば、ハードドライブ)に保存される。非圧縮の8ビット画像168をキャプチャした3つのイメージセンサ124はすべて、約421MB/秒の合計データレートを生成し、これはハードドライブ(例えばソリッドステートハードドライブ(SSD))といった典型的な記憶装置160(図1Cを参照)の平均書き込み速度をわずかに超える。したがって、取得した画像データを一時的にバッファするために、各イメージセンサ124のランダムアクセスメモリ158(RAM)にキューが作成され、画像データをバッファからストレージデバイス160(例えば、SSD)に絶えず移動させるために別のスレッドが作成される。しかしながら、残りのすべての画像データは、上記の位置間のダウンタイム中にストレージデバイス160(例えば、SSD)に完全に保存できるので、テストあたりの総画像取得時間は書き込み速度の制限のためには増加しない。時間効率の良い代替案として、取得画像168は、各画像シーケンスに対応するバッチで処理するために常にGPUに移動されている間、一時的にRAMに格納され得る。このようにして、画像処理を画像取得と同時に実行できるため、テストごとの合計時間が短縮される。
[0065]CMAアルゴリズム162(例えば、CMAソフトウェア162にプログラムされている)は、ノイズの多いホログラムにおける粒子移動およびスペックル干渉パターンから3Dコントラストデータを生成するのに利用され、また、関心のある寄生虫に対応する信号を識別するために深層学習ベースの分類を適用する。一例として、図3A~3Mは、溶解した全血からトリパノソーマを検出するために使用される例示的なプロセス(すなわち、CMAアルゴリズムおよび深層学習ベースの分類方法)を示すが、他のアプリケーション設定(例えば、CSFにおけるトリパノソーマ検出)では、後述するように僅かな変更が手順に加えられる。CMAアルゴリズム162は、入力として、各走査位置で各イメージセンサ124によって取得された生のホログラフィック回折パターンを取得するように構成される。CMAソフトウェア162を使用して、サンプル101内の運動性種の数をカウントし、これを使用してサンプル101の種の濃度を計算することができる(サンプルの既知の量が与えられる)。CMAソフトウェア162はまた、運動性種の数または濃度に基づいて、特定のサンプルをポジティブ(+)またはネガティブ(-)として分類することができる。例えば、しきい値カットオフ値を使用して、ポジティブサンプルとネガティブサンプルを区別することができる。分析結果は、GUI115上でユーザに提示され得る。さらに、運動性オブジェクト200の動きの動画を、GUI115を使用して見ることができる。本明細書に記載されるように、画像化プラットフォーム100は、寄生虫の検出に特に適しているが、他の運動性種(例えば、精子または他の生物学的運動性種)にも使用することができる。サンプル101は生物学的サンプルを含み得るが、他の実施形態では環境サンプルも含み得る。
[0067]ホログラフィックスペックル分析を使用した3Dでの寄生虫の移動の検出
[0068]寄生虫検出技術に不可欠な高フレームレート(約26.6fps)を維持するために、各イメージセンサ124の全視野(FOV)をそれぞれ約14.7mmの2つの半部に分割した。図4A~4Cは、イメージセンサ124によってキャプチャされた、溶解されトリパノソーマを添加した全血サンプルの生のスペックルパターンを示す。この単純な溶解プロセスによって血液サンプルの密度が大幅に低下した場合でも、溶解した血液中の細胞破片に起因するランダムな光散乱のために、干渉パターン(例えば、図4B~4Cを参照)は依然として非常に高密度である。結果として、光学的に透明で弱く散乱するトリパノソーマの回折パターン(図4Cに矢印で示す)は、スペックルパターンの下に埋もれ、それらの直接検出は非常に困難である。
[0069]この課題に対処するために、血液中の運動性トリパノソーマの急速移動に起因する、検出されたスペックルパターンの時空間変動を利用することができる。これを利用したCMAアルゴリズム162(またはCMAソフトウェア162)が開発され、これには、ホログラフィック逆伝播、差分イメージング(トリパノソーム移動用に最適に調整されたフレーム間隔を使用)、および時間平均が含まれ、サンプルボリューム内の水平断面ごとに行われる。オブジェクト関数の正規化(OFN)が各差分イメージングステップに導入され、サンプル内の望まない強く散乱するオブジェクトによる潜在的な誤検出(false positive)を抑制した。このアルゴリズムの後に、画像後処理と深層学習ベースの分類が行われ、トリパノソーマによる信号を識別した(詳細は後述する)。図4D~4Eは、この計算プロセスの結果を例示しており、処理された画像168の「ホットスポット」は運動性トリパノソーマに対応している。これをよりよく示すために、図4Eの(白い矢印で示されている)3つのホットスポットの計算された3D位置に基づいて、逆伝播された回折パターンの振幅チャネルと位相チャネルの焦点の合った動画を作成した。これらのトリパノソーマの急速な移動がこの映像で観察できるが、サンプル内の他の非運動性オブジェクト(細胞破片など)によって生じる干渉パターンによって部分的に隠れている。
[0070]同様に、WBCを添加した人工CSFサンプル内のトリパノソーマを画像化した結果を図6A~6Bに示す。CSFは殆どが透明な媒体であるため、媒体内の準静的散乱体によって生じるバックグラウンドノイズレベルは、運動性トリパノソーマの信号レベル(すなわち図6Bのホットスポット)と比較して大幅に低くなる。デジタルフォーカスされた振幅と位相の動画は、これらの運動性トリパノソーマの低ノイズの再構成も示している。
[0071]以下の表1に詳述されるように、これらのトリパノソームを画像化し検出するための総画像処理時間の80%超は、記録された画像シーケンスごとに約6メガピクセル画像168の数千の高速フーリエ変換を含むCMAアルゴリズム162に費やされる(詳細は以下の「方法」セクション参照)。したがって、グラフィックスプロセッシングユニット(GPU)164ベースの並列演算が、CMAアルゴリズム162の高速化に役立つ。単一のGPU164を使用する場合、1つの実験の画像処理タスク全体(3つの並列イメージセンサ124で合計216の画像シーケンス)は、血液サンプルとCSFサンプルでそれぞれ約26分と約21分かかる。2つのGPU164を用いると、各GPU164には、特定の時間に処理すべき画像シーケンスが個別に与えられるため、GPU164間の干渉が最小限に抑えられ、最大の並列処理を実現できる。したがって、2つのGPU164を使用すると約2倍の速度向上が観察され、血液実験とCSF実験の合計画像処理時間はそれぞれ約13分と約11分になる。他のすべてのサンプル準備ステップと組み合わせると、テストあたりの合計検出時間は、血液サンプルとCSFサンプルでそれぞれ約20分と約17分になる(詳細は図2参照)。
Figure 2022512732000002
[0072]トリパノソーマのLoDの定量化
[0073]例示的な画像化プラットフォーム100のLoDが、連続希釈実験を実施することによって溶解された全血中のトリパノソーマを検出するために判定され、その結果が図5A~5Bに示されている。これらの実験では、トリパノソーマに感染したマウスの血液を非感染の血液に感染させて、0mL-1(ネガティブ対照)、10mL-1、100mL-1、1000mL-1、10,000mL-1、100,000mL-1を含む一連の寄生虫濃度を生成した。ここで、各濃度でN=3回の反復実験が実施された。図5Aに示すように、3つのネガティブ対照サンプルではフォルスポジティブは見られなかったが、3つの10mL-1実験では、検出された濃度は7.55±3.70mL-1であった。したがって、LoDは全血1mLあたり約10トリパノソーマであり、現在利用可能な最良の寄生虫学的検出方法(すなわち、ミニ陰イオン交換遠心分離技術、mAECT、図14の表を参照)よりも5倍優れていると結論付けることができる。図5A~5Bはまた、この技術の収率(検出されたトリパノソーマ濃度を添加された濃度で割ったもの)が(試験された濃度の下限で)約68%~76%~(上限で)38%~39%であったことを示す。この濃度に依存する収率は、高濃度ではトリパノソーマ同士が近接しているため、64×64ピクセルのトリミング画像に複数のトリパノソーマが存在し、深層学習ベースの分類器によってネガティブとして誤分類される可能性があり(詳細は後述する)、サンプル中の真のトリパノソーマ数の過小評価されることに関連すると考えられる。高濃度で観察された収率のこの低下は、キャリブレーションによって潜在的に補償することができる。
[0074]T.bruceiの場合、最も適切な治療法を決定するには、病期の決定が重要である。これは現在、腰椎穿刺によってCSFを収集し、顕微鏡でCSFを検査することによって行われている。WBCが5μL-1未満で、CSFにトリパノソーマがない患者はステージIに分類される。それ以外の場合、WBCが5μL-1を超える場合、またはCSFにトリパノソームが見つかった場合はステージIIとして分類される。高スループットのCSFスクリーニングでこの必要性に対処するために、CSF中のトリパノソーマを検出するための例示的な画像化プラットフォーム100のLoDも定量化された。この目的のために、ヒトWBCを添加した人工CSFサンプルを使用し、ネガティブ対照に加えて、培養したトリパノソーマを3mL-1、10mL-1、100mL-1、および1000mL-1の濃度で人工CSF溶液に添加した(各濃度でN=3)。添加されたヒトWBCの濃度は20WBC/μLとし、WBC濃度がステージ判定で使用される5μL-1しきい値より4倍高いシナリオでトリパノソーマを検出するデバイスのパフォーマンスを評価した。血液サンプルとは異なり、CSF溶液は光学的に透明であり、溶解が不要であったため、LoDをさらに改善することができた。図5C~5Dに示すように、例示的な画像化プラットフォーム100は、1mLあたり3トリパノソーマという非常に低いLoDで、CSFに添加されたトリパノソーマを検出することができた。
[0075]膣トリコモナス(T.vaginalis)の検出
[0076]画像化プラットフォーム100の運動性ベースの検出アプローチを検証するために寄生虫T.bruceiを選択したが、このアプローチは、様々な運動性微生物の検出に広く適用できることが理解される。完全に異なる運動性寄生虫に対する例示的な画像化プラットフォーム100の性能の予備試験として、膣トリコモナスを選択した。膣トリコモナスは、トリコモナス症の原因となる原生動物の寄生虫であり、これは米国および世界中で最も一般的な非ウイルス性性感染症である。膣トリコモナスは、女性と男性の両方の泌尿生殖器に感染する。多くの場合無症候性であるが、膣トリコモナス感染は、ヒト免疫不全ウイルス(HIV)感染、早期陣痛、骨盤内炎症性疾患、前立腺癌などの他の健康状態に関連するリスクの増加と関連している。トリコモナス症の診断では、細胞培養とそれに続く顕微鏡検査が依然として最良で最も信頼性の高い方法であり、これは感度が高く、1mLあたりわずか3つの寄生虫を含む接種材料から膣トリコモナスを検出できるからである。しかしながら、コストが高く、不便で、検査時間が長く、サンプルの汚染を受けやすいという制限がある。最も一般的な診断方法であるウェットマウント顕微鏡法は、感度が低い(5l%~65%)という問題がある。したがって、高感度のレンズレス時間分解ホログラフィックスペックルイメージング法が、実質的な利益となり得る。
[0077]CMAアルゴリズム162にわずかな調整を加えるだけで(以下の説明を参照)、例示的な画像化プラットフォーム100がリン酸緩衝生理食塩水(PBS)溶液および培養培地中の膣トリコモナスを検出できることが実証された(図7A~7B、8A~8B参照)。これらの実験に基づいて、膣トリコモナスは、CSF中のトリパノソームと比較して有意に強い信号強度を生成することがわかり(図6A~6Bを参照)、これは膣トリコモナスの激しい移動と強い光散乱に関連づけられる。これは、このプラットフォームを用いて膣トリコモナスで同程度以上の感度レベル、例えば、1mLあたり3未満の寄生虫を達成できる可能性があることを示唆している。希釈された膣分泌物から、または尿から直接膣トリコモナスを検出するなど、様々な臨床ニーズに対応して、培地や尿などの様々な環境から膣トリコモナスのLoDを確立するためにさらにテストが必要になる場合がある。
[0078]実施例についての議論
[0079]レンズレス時間分解ホログラフィックスペックルイメージングに基づいて、新規な画像化プラットフォーム100および運動性ベースの寄生虫検出のための方法が提示された。新規な画像化プラットフォーム100は、溶解した血液およびCSF内のトリパノソーマの迅速な検出に効果的であり、現在の寄生虫学的方法よりも優れたLoDを達成することが実証された(図5A~5Dおよび図14を参照)。この自動化された技術は、PCRベースまたは顕微鏡による検出方法に不可欠な高度に専門化された高価な機器や専門知識の必要性を減らしながら、寄生虫のスクリーニング効率を向上させることができる。ラップトップ112を除く、実施例で使用される例示的な画像化プラットフォーム100のすべての部分の総コストは、1850ドル未満である。そして、このコストは大量生産の下で簡単に500~1000ドルに削減できる。すべてのサンプル準備ステップを含む総分析時間はわずか約20分であり、これはほとんどの既存の方法に匹敵するか、それよりも高速である(図14を参照)。この運動性ベースの方法は、特殊な検出試薬、冷蔵、遠心分離、または精製を必要とせずに高感度を実現し、様々なタイプのサンプル(血液、CSFなど)の分析にさらに汎用性を高め、寄生虫亜種間の違いや、世界の領域間の隔たりの影響を受けにくい。したがって、提示されたプロトタイプは、電気またはバッテリ電源にアクセスできる確立されたクリニックまたはモバイルクリニックに容易に適合させることができ、既存の診断方法への有用な追加となる可能性のある進歩を表している。
[0080]この診断方法は、CSFの寄生虫症が従来の方法のLoD以下であり、CSFのWBCがまだ少ない場合に、血流HATまたはシャーガス感染症の診断を改善したり、ステージIIのHAT症例の早期発見を容易にするために有益である。画像化プラットフォーム100はまた、疾患治療後のフォローアップにも有用であり、患者をスクリーニングして再発を早期かつ高感度に検出することができる。これらの進歩は、患者の治療結果を改善し、病気の治癒率を高めることにつながる。HATに加えて、動物のトリパノソーマ症は経済発展を著しく制限する。そのため、運動性に基づく検出を適用して、感染した家畜のスクリーニングと媒介生物制御オプションの開発を支援することで、流行地域を貧困から引き上げるのに役立つ可能性がある。シャーガス病の場合、この技術を献血者や血液製剤、サトウキビジュース、アサイージュース製品のスクリーニングに適用して、様々な感染経路を減らすことができる。リスクのある人口が多いことを考えると、様々な種類のサンプル/液体を簡単かつ自動化された方法で迅速に分析する能力は、撲滅活動によって病気の発生率が低下した地域でサンプルをスクリーニングする実行可能な戦略を開発するために特に重要である。
[0081]画像化プラットフォーム100およびラベルフリー検出方法は、寄生虫の移動パターンを利用して、検出信号対雑音比(SNR)を最大化する。トリパノソーマは絶え間なく動くことで知られており、運動性は宿主における病原性だけでなく、その生存にも重要である。トリパノソーマの遊泳行動は非常に複雑である。べん毛は細胞体の側方に付着しているため、寄生虫の移動は細胞体の回転を伴い、「コークスクリュ」水泳パターンとなる。さらに、細胞の移動に加えて、べん毛は高速で三次元の拍動パターンを生成する。T.bruceiの平均拍動周波数は、前進する細胞で18.3±2.5Hz、後退する細胞で13.1±0.8Hzと推定されるが、前進する細胞の回転周波数は2.8±0.4Hzである。ナイキストのサンプリングレートによると、平均拍動周波数(前進)に一致するフレームレートは36.6fpsに相当する。言い換えると、少なくとも36.6fpsのフレームレートで、各べん毛ストロークに対応するスペックル変化を記録することができ、さらに高いフレームレートであれば、べん毛ストローク中の様々な時点に対応するスペックル変化を、より細かい時間分解能で記録することができる。最適な減算時間間隔(Δt)と時間窓(T)が使用されると仮定すると(図9A-9Bを参照して後述)、フレームレートが高いほど、運動性寄生虫によって誘発されるスペックル変化の時間分解情報が豊富になるとともに、平均化に使用できるフレーム数も多くなり、全体としてSNRを向上させることができる。ただし、目標は拍動パターンの忠実な記録ではなく、運動に基づいてコントラストを生成することであるため、検出目的であれば36.6fps未満のフレームレートでも問題ない。走査時間および取得データ量を考慮すると、約26.6fpsのフレームレートを画像化プラットフォーム100にうまく利用することができる。画像化プラットフォーム100の性能は、より高速のイメージセンサ100およびデータインターフェースを使用してより高いフレームレートを達成することによって改善され、それにより、データ取得時間を増加させることなくSNRを向上させることができる。
[0082]T.b.bruceiトリパノソーマは、ヒトに対して非病原性であり、実験を安全に行うことができるため、トリパノソーマの研究のモデル微生物として広く使用されている。本書に開示す画像化プラットフォーム100および方法は、T.b.gambiense、T.b.rhodesiense、T.cruziにも容易に適用することができ、これらは基本的に動きが似ているためである。安全上の懸念からマウスの血液と人工的なCSF溶液をテスト全体で使用したが、溶解バッファはヒトの血液でも機能する。今後は、流行地域の患者サンプルをテストして、様々なトリパノソーマ症の診断における今回の技術の感度と特異性を確立する予定である。
[0083]多くの運動性生物が人間に感染を引き起こす可能性がある。画像化プラットフォーム100および開示された方法はまた、異なる寄生虫を自動的に区別するように構成することができる。例えば、検出された信号ごとに生成される振幅および位相の動画(図3Mを参照)により、訓練を受けた臨床医は、形態、サイズ、および運動パターンに基づいて異なる運動性寄生虫を区別することができ、これは、明視野および位相コントラスト顕微鏡下で生きた寄生虫をそれぞれ観察することに類似している。これらは、任意でGUI115上でユーザに提示することができる。地域における特定の病原体の蔓延も、この点で役立つ可能性がある。さらに、例えば畳み込みニューラルネットワーク(CNN)または再帰的ニューラルネットワーク(RNN)に基づくトレーニングされた映像分類器を用いて、十分なトレーニングデータを使用して、様々な寄生虫を識別し自動的に識別することができる。画像化プラットフォーム100を使用して運動性寄生虫の特性を特定するための例示的なニューラルネットワーク166の概略図が図15に示されている。トレーニングされたニューラルネットワーク166は、画像168のシーケンスを分析し、サンプル101内の運動性寄生虫の特性、例えば検出された寄生虫の種類、流体ホルダ120中のサンプル101の3Dボリューム内の寄生虫の3D位置、および寄生虫オブジェクトの数を特定する。
[0084]実施例では、トリパノソーマを利用して、寄生虫感染の検出に使用されるレンズレス時間分解ホログラフィックスペックルイメージングの実現可能性を実証している。このアプローチではトリパノソーマの運動性を利用したが、このプラットフォームは、膣トリコモナスなどの他の真核生物の寄生虫(図7A、7B、8A、8Bを参照)や、ここでテストしたもの以外の他の流体サンプルを含む他の運動性寄生虫に広く適用することができる。原理的には、このプラットフォームは血液サンプル中のロア糸状虫(L.loa)ミクロフィラリアの検出にも使用できるが、このミクロフィラリアは今回調査した寄生虫と比較して大幅に大きい(長さ約0.2~0.3mm)である。このような大きな運動性寄生虫については、D’Ambrosioらは代替アプローチとして、イメージングチャンバ内のL.loaミクロフィラリアとの衝突によって生じるRBCの変位を利用して、携帯電話を利用した検出方法を用いた。(参照:D'Ambrosio, M. V. et al. Point-of-care quantification of blood-borne filar parasites with a mobile phone microscope. Sci. Transl. Med. 7, 286re4-286re4 (2015))。この設計は非常にコンパクトで費用対効果に優れるが、約0.8mLの全血または約3.2mLのCSFをスクリーニングして自動的に処理する本方法と比較して、検出量がはるかに少ない(約0.01mL)という問題があり、L.loaと比較して大きさと質量が1桁以上小さく、寄生虫症が少なく、光散乱がはるかに弱いトリパノソーマなどの寄生原虫の検出に使用することは非常に困難である。
[0085]運動性細菌はまた、多くの人間の病気の原因となる。細菌は通常、トリパノソーマよりもはるかに小さいが、光学倍率と組み合わせた運動性ベースの検出の概念は、細菌性病原体のラベルフリー検出にも利用することができる。尿や希釈された粘膜分泌物や糞便サンプルなどの他の体液をスクリーニングするための運動性ベースの検出の潜在的な用途が考えられる。したがって、本明細書に開示す画像化プラットフォーム100および方法は、様々な世界的な健康上の課題に対処する大きな可能性を有する。最後に、運動性をバイオマーカーおよび内因性コントラストとして使用すると、臨床診断を超えた新しい可能性を生み出すことができる。光散乱および光学的に高密度の媒体に対して強いラベルフリーの3Dイメージングモダリティとして、様々な流体環境における運動性微生物を高スループットで研究するためにも利用することができる。
[0086]実施例の材料と方法
[0087]サンプル調製
[0088]溶解緩衝液の調製:44mM塩化ナトリウム(製品番号71379,Sigma Aldrich)、57mMリン酸二ナトリウム(製品番号30412,Sigma Aldrich)、3mMリン酸一カリウム(製品番号60220,Sigma Aldrich)、55mMグルコース(製品番号G8270、Sigma Aldrich)、および0.24%(w/v)ドデシル硫酸ナトリウム(製品番号L4390,Sigma Aldrich)を、試薬グレードの水(製品番号23-249-581、Fisher Scientific)に入れ、マグネチックミキサーでマグネチックステアバーを使用して2時間混合した。その後、使い捨て濾過ユニット(製品番号09-740-65B、Fisher Scientific)を用いて濾過して滅菌し、室温で保存した。この緩衝液は、RBCおよびWBCを含む全血の全成分を溶解するが、トリパノソーマは溶解しない。
[0089]人工CSFの調製:従来方法に従い、1.25M塩化ナトリウム、260mM重炭酸ナトリウム(製品番号SX0320-1、EMD Millipore)、12.5mM塩基性リン酸ナトリウム(製品番号S6566、Sigma Aldrich)、および25mM塩化カリウム(製品番号P5405、Sigma Aldrich)をよく混合し、10mM塩化マグネシウム(製品番号208337、Sigma Aldrich)を加えて10倍の人工CSFを作成した。その後、使い捨て濾過ユニットを使用して溶液を濾過し減菌した。10倍の原液を試薬グレードの水で10倍に希釈して、1倍の人工CSFを作成した。
[0090]トリパノソーマの培養:427由来の血流単一マーカートリパノソーマ(T.b.brucei)を、Oberholzer, M., Lopez, M. A., Ralston, K. S. & Hill, K. L. Approaches for Functional Analysis of Flagellar Proteins in African Trypanosomes. in Methods in Cell Biology 93, 21-57 (Elsevier, 2009)に記載のように、10%の熱不活化ウシ胎児血清(製品番号10438026,Gibco)を含むHMI-9培地で5%COで37℃で培養した。
[0091]トリパノソーム感染マウスの血液採取:マウスを用いるすべての実験は、UCLA Institutional Animal Care and Use Committee(IACUC)のガイドラインと規制、NIH Public Health Service Policy on Humane Care and Use of Animals、USDA Animal Welfareの認定基準、およびAAALAC国際認定基準に従い、IACUC承認プロトコルARC#2001-065に基づいて実施された。マウス感染は、Kisalu, N. K., Langousis, G., Bentolila, L. A., Ralston, K. S. & Hill, K. L. Mouse infection and pathogenesis by Trypanosoma brucei motility mutants. Cell. Microbiol. 16, 912-924 (2014)の記載の方法を、以下のように変更して用いた:雌のBALB/cJマウス(製品番号000651,Jackson Laboratory、11~24週齢)に、1%グルコースを含む0.1~0.2mLの氷冷リン酸緩衝生理食塩水(PBS-G)中の5×10~1×10個の寄生虫を腹腔内に注射した。血球計数器でカウントすることにより寄生虫症をモニタし、寄生虫症が約10~10寄生虫/mLに達したときに感染血液サンプルを採取した。感染血液は、伏在静脈または安楽死後の心臓穿刺によってヘパリン処理されたキャピラリーチューブ(製品番号22-260950、Fisher Scientific)またはヘパリン処理されたコレクションチューブ(製品番号8881320256、Covidien)に採取した。
[0092]ヒト血液からのWBCの分離:Ficoll-Paque PREMIUM(製品番号45-001-751、Fisher Scientific)を、製造元の指示に従って密度勾配分離を用いて血液からの単核細胞のインビトロ分離に利用した。ヒトの血液サンプルは、患者と関連情報を匿名化した上でUCLA血液および血小板センターから取得され、血液からのWBCの分離に使用した。2mLのエチレンジアミン四酢酸(EDTA)で処理した血液を、2mLの滅菌PBS(製品番号10-010-049、Fisher Scientific)と5mL遠心チューブ(製品番号14-282-300、Fisher Scientific)内でピペット混合し、混合物を引き出した。3mLのFicoll-Paque PREMIUMを15mLのコニカル遠心チューブ(製品番号14-959-53A、Fisher Scientific)に入れ、希釈した血液サンプルをFicoll-Paque PREMIUMに注意深く重ねた。この懸濁液を、スイングアウトローター付き遠心分離機(AllegraX-22R、Beckman-Coulter)を使用して、19℃で40分間400×gで遠心分離した。遠心分離後、血漿と血小板を含む上層を除去し、単核細胞を滅菌した遠心分離管に移した。分離した細胞を洗浄するために、6mLのPBSと混合し、400×g、19℃で13分間遠心分離した。この洗浄ステップを2回繰り返し、ペレットを1mLのPBSに懸濁した。WBCの濃度を血球計数器でカウントすることによって特定し、PBS中の8×10WBC/mLのストック溶液に適宜希釈した。
[0093]血液サンプルの検量線分析のプロトコル:新たに収集したトリパノソーマ感染マウスの血液を、感染していないマウスの血液(Balb/C、雌、プール、ヘパリンナトリウム、Charles River Inc.)で約10寄生虫/mLの濃度に希釈した。このトリパノソーマ感染血液のサンプルを3倍量の溶解緩衝液で溶解し、血球計数器でカウントすることによりトリパノソーマ濃度を測定した。その後、トリパノソーマ感染血液を感染していない血液で希釈して、検量線分析に必要な濃度を得た。
[0094]CSFサンプルの検量線分析のプロトコル:一貫した寄生虫の運動性を確保するために、各測定で培養トリパノソーマを新たに採取した。トリパノソーマを約1×10~1.5×10細胞/mLの濃度まで増殖させ、1200×gで5分間遠心分離して回収した。細胞ペレットを1mLのPBS-Gに再懸濁し、PBS-Gで約10倍に希釈して10細胞/mLにした。血球計数器でカウントすることによりトリパノソーマ濃度を測定し、その後サンプルをそれに応じて1×人工CSFに希釈して、検量線分析に必要な濃度を得た。
[0095]イメージングのためのサンプル準備:血液および人工CSFサンプルを使用して実験を行った。ホウケイ酸キャピラリーチューブ(内寸:高さ1mm×幅10mm×長さ約30cm、製品番号LRT-1-10-67、Friedrich&Dimmock,Inc.)を、キャピラリーチューブの一端(流体ホルダ120)をワセリンゼリーに浸して端を塞ぐことによって準備した。ガラスの代わりに、アクリル製などの樹脂製キャピラリーを使用してもよい。キムワイプ(製品番号06-666、Fisher Scientific)を使用して余分なゼリーを除去し、チューブの端をパラフィルム(製品番号13-374-12、Fisher Scientific)で密封した。各チューブに4mLのサンプルを準備した。血液サンプルは、3mLの溶解バッファーと1mLの未感染または感染した全血とを遠心分離管で混合した。CSFサンプルは、100μLのWBCストック溶液をトリパノソーマに感染させた人工CSFに入れて、最終的に2×10WBC/mL(すなわち20WBC/μL)になるように混合した。キャピラリーチューブに装填する前に、混合物をピペットに出し入れすることにより、各サンプルを十分に混合した。その後、キャピラリーチューブの開放端をゼリーとパラフィルムを使用して密封した。その後、メタノールで湿らせたキムワイプ(製品番号A452SK-4、Fisher Scientific)を使用してガラスキャピラリーを洗浄し、デバイスに装着した。
[0096]膣トリコモナス(T.vaginalis)の培養:膣トリコモナスG3株(Beckenham、UK1973、ATCC-PRA-98)を、10%馬血清(Sigma)、10U/mlペニシリン-10μg/mlストレプトマイシン(Invitrogen)、180μM硫酸第一鉄アンモニウム、および28μMスルホサリチル酸を添加した改変TYM培地で37℃52培養した。培養物を毎日継代し、約1×10細胞/mLの濃度に維持した。
[0097]高スループットのレンズレス時間分解スペックル画像化プラットフォームの設計
[0098]図1A~1Bに示すように、画像化プラットフォーム100は、5つの主要モジュールから構成される:(1)3つのレンズレスホログラフィックスペックルイメージャ104を有する走査ヘッド102、(2)線形並進ステージ106、(3)走査ヘッドハウジング109、(4)電子回路110、および(5)制御プログラム114を有するコンピューティングデバイス112。これらはそれぞれ、実施例で用いられる例示的な画像化プラットフォーム100に関して以下に詳述される。
[0099](1)走査ヘッド102:3つの同一のレンズレスイメージャ104が互いに隣接して構築され、3Dプリンタ(Objet30Pro、Stratasys)を使用して3D印刷された樹脂でなる走査ヘッドハウジング109に収容される。図1Aに示すように、各レンズレスイメージャ104は、650nmレーザダイオード(製品番号AML-N056-650001-01、Arima Lasers Corp.、台湾桃園)を照明源116として使用し、出力電力は約1mWである。放出光117は、3D印刷されたアパーチャ118を通ってその照射角度が制限され、隣接するイメージャ104への光漏れが回避される。流体ホルダ120a、120b、120cはそれぞれ、スクリーニングされるサンプル101(体液)が充填されたガラスキャピラリーチューブを含み、レーザダイオードの下約7cm(z距離122)に配置される。イメージセンサ124は、1.67μmピクセルサイズと6.4mm×4.6mm(29.4mm)の活性領域を有する10メガピクセルのCMOSイメージセンサ(製品番号acA3800-14um、Basler、アーレンスバーグ、ドイツ)であり、キャピラリーチューブの下に配置される。イメージセンサ124とガラスキャピラリーチューブの底面との間の空隙は、イメージセンサ124からサンプル101への熱伝達を低減するために約1~1.5mmである。各イメージセンサ124は、発熱する複数の回路基板125を有するので、カスタムメイドのアルミニウムヒートシンク128が回路基板125の間に挿入され、熱を放散し、イメージセンサの誤動作および/または損傷を防ぐために走査ヘッド102の側面に配置される。
[00100](2)線形並進ステージ106:線形並進ステージ106は、2つの線形運動シャフトl30a、l30b(製品番号85421、Makeblock Co.,Ltd.、深セン、中国)、2つの線形運動スライダl32a、l32b(製品番号86050,Makeblock Co.,Ltd.、深セン、中国)、タイミングベルト134(製品番号B375-210XL、ServoCity、Winfield、KS)、2つのタイミングプーリl36a、l36b(製品番号615418、ServoCity、Winfield、KS)およびステッピングモータ138(製品番号324,Adafruit Industries LLC.、ニューヨーク市、ニューヨーク)から構築される。走査ヘッド102は、ねじを使用して運動スライダl32a、l32bに取り付けられる。
[00101](3)走査ヘッドハウジング109:走査ヘッド102のハウジング108は、3D印刷樹脂から作られる。画像化プラットフォームの外側シェル(画像化プラットフォーム100のメインハウジング108)は、レーザカットされた1/4インチのアクリルシートから作られる。
[00102](4)電子回路110:プリント回路基板(PCB)142は、画像化プラットフォーム100を自動化するようにカスタム構成されており、USB2.0を介してラップトップコンピュータ112に接続されたマイクロコントローラ144(TenesyLC、PJRC)、定電流回路で構築されたレーザダイオードドライバ回路146(製品番号LM317DCYR、Texas Instruments)、およびステッピングモータドライバ回路148(製品番号TB6612、Adafruit)を具える。レーザダイオード116およびステッピングモータ138は、12V電源アダプタ150を使用して電力供給される。金属酸化膜半導体電界効果トランジスタ(MOSFET)で構築された様々なデジタルスイッチ156a、l56b、l56cが、マイクロコントローラ144からのデジタル出力によって制御され、使用しないときにはレーザダイオード116およびイメージセンサ124への電力をカットする。具体的には、イメージセンサ124への電力を遮断するために、イメージセンサのUSB3.0ケーブルの電源線が遮断され、MOSFETベースのデジタルスイッチが電力線に挿入される。
[00103](5)制御プログラム114:グラフィカルユーザインターフェース115を備えたC#で書かれたウィンドウズアプリケーションは、ユーザが、現在のサンプルのスクリーニングを開始することに加えて、画像取得パラメータのカスタマイズ、回折パターンのライブビューの実行、スナップショット取得、取得の停止といった他の様々な機能を実現する。
[00104]画像取得サンプルが画像化プラットフォーム100に装填され、3~4分の待機時間(溶解された全血については4分、人工CSFについては3分、詳細は図2を参照)の間沈降させた後、ユーザはGUI115の「記録」ボタンを押して、取得を開始する。スクリーニング中、デバイスは、空間的に隣接するものの間の距離が約4.7mmである、36の別個の位置でキャピラリーチューブl20a、l20b、l20cをスキャンするようにプログラムされている。これにより、合計スクリーニング量は36(個別のスキャン位置)×29.4mm(イメージセンサのFOV)×1mm(キャピラリーチューブのチャネル高さ)≒レンズレススペックルイメージャあたり1.06mL、3つの並列イメージャの組み合わせで約3.18mLとなる。36の位置のそれぞれで高フレームレート(約26.6fps)を実現するために、イメージセンサのFOVは2つの半部(すなわちピクセルの上部1374行と下部1374行)に分割され、それぞれの半部が61フレーム(溶解血液の場合)または41フレーム(CSFの場合)を順次(図9A~9Dを参照)キャプチャする。
[00106]電力が供給されるとイメージセンサ124の温度が上昇し、液体サンプル101の温度勾配によって対流が誘発される(図10A~10Cを参照)。これらの問題を軽減するために、本明細書で説明するように、走査位置のステッピング法と走査位置間のダウンタイム法が利用される。上記のように、36の位置を一方向に走査するのではなく、画像化プラットフォーム100は前後に走査する。36の位置を、空間的に並んだ位置#1、#2、...、#36で表すとする。制御プログラム114が#1、#2、…、#36の順序で走査する代わりに、位置9個分の大きなステップサイズで走査するように画像化プラットフォーム100をプログラムし、走査ヘッド102がこのステップサイズで前進できなくなったら、位置番号が最も小さい未走査の位置に戻るようにする。すなわち、画像化プラットフォーム100は、最初に位置#1、#10、#19、および#28を走査する。次に、走査ヘッド102は位置#2に戻り、続いて#11、#20、および#29というように位置を変える。この走査パターンによって、走査ヘッド102がその近くに戻ってくる前に冷却するための十分な時間があり、キャピラリーチューブ120の所与のセクションでの熱の蓄積が大部分防止される。第2の手段として、走査位置ごとに6秒の「ダウンタイム」を加えて、イメージセンサ124が冷却できるようにする。所与の位置で取得を完了した後、イメージセンサ124への電力が、USB3.0ケーブルに追加されたMOSFETベースのデジタルスイッチ156aによって遮断される。6秒の待機時間の後、ステッピングモータ138が走査ヘッド102を次の位置へと移動させ、そこでイメージセンサ124への電力が回復されて、次の画像のセット168が取り込まれる。
[00107]実施例のテスト中に、取得された画像168は、処理のためにSSD160に保存される。非圧縮8ビット画像168をキャプチャする3つのイメージセンサ124はすべて、約421MB/秒の合計データレートを生成し、これはソリッドステートドライブ(SSD)の平均書き込み速度をわずかに超える。そこで、イメージセンサ124ごとにラップトップコンピュータ112のRAM158にキューを作成して、受信画像データを一時的にバッファリングし、別のスレッドを作成して、バッファからSSDに画像データを常時移動させる。ただし、前述の位置間のダウンタイムで残りのすべての画像データをSSDに完全に保存することができるため、書き込み速度の制限によるテストごとの合計画像取得時間は増加しない。より時間効率の良い代替案として、取得された画像168をRAM158に一時的に保存する一方で、各画像シーケンスに対応するバッチで処理するためにGPU164に常時移動してもよい。このようにして、画像処理を画像取得と同時に実行することができ、テストあたりの合計時間を短縮することができる(上記の結果、図2、および表1を参照)。
[00108]CMAと深層学習ベースの識別を使用した画像処理
[00109]CMAアルゴリズム162は、ノイズの多いホログラムおよびスペックル干渉パターンにおける粒子移動から3Dコントラストを生成するために使用され、関心のある寄生虫に対応する信号を識別するために深層学習ベースの分類を適用する。一例として、図3は、溶解した全血からトリパノソーマを検出するために使用される手順を示しているが、他の用途設定(例えば、CSFにおけるトリパノソーマ検出)では、以下に詳述するように、手順に僅かな変更が加えられる。CMAアルゴリズム162は、入力として、各走査位置で各イメージセンサによって取得された生のホログラフィック回折パターンを取得する。A(i=1,...,N)は生のフレームとして表され、Nは各シーケンスで記録されるフレームの総数である。本実施例の実験では、アルゴリズムには次の手順が含まれる。
[00110]1.照明の変動と不均一性を軽減するためのホログラム前処理
[00111]各イメージセンサによって取得されたすべての8ビット生画像(図3Aを参照)が、レーザダイオード照明源の不均一性を表す「背景」強度パターンによって分割される。このパターンは、ネガティブ対照実験においてガウス平滑化され、平均化された生画像168から予め計算さたものであり、他の実験で使用するために保存されている。その後、ホログラムはそれ自体の平均値によってさらに正規化(分割)され、照明補正されたホログラム
Figure 2022512732000003
(i=1,...,N)が生成される(図3Bを参照)。
[00112]2.試験中の流体サンプルの軸方向距離の範囲の特定
[00113]溶解血液の場合、ほとんどの細胞破片は4分の待機時間で完全に沈降する傾向があるため(図2を参照)、「勾配のタムラ係数」(ToG)オートフォーカス基準を適用して流体サンプルの底部のz距離を自動的に特定し(図3Cを参照)、これをzとする。次に、デジタルz走査の範囲を[z-200μm、z+1200μm]として、50μmのステップサイズで定義する。これは、1mmのチャネル高さに加えて、チャネル高さの誤差、チャネルの傾斜、オートフォーカスの誤差などを考慮して、±200μmの走査範囲を追加したものである。これにより、走査ヘッド102の設計および流体ホルダ120の配置において厳しい公差を必要としないため、ハードウェアの複雑さが大幅に低減され、安価なものとなる。
[00114]オブジェクト/粒子がまばらであるCSFなどの透明媒体の場合、チャネルの底部へのオートフォーカスは困難な場合がある。したがって、各キャピラリーチューブのz距離を事前に較正し(以下を参照)、実験全体で使用する。z距離が事前に較正されるため、つまりサンプルごとに適応的に計算されないため、50μmのステップサイズで、デジタルz走査の範囲をより広く[z-500μm、z+1500μm]と指定する。なお、zはデバイスの3つのチャネルごとに微妙に異なり、それぞれ較正される。
[00115]3.移動からコントラストを生成するCMAアルゴリズム
[00116]前のステップで決定された走査されるz距離はz=1,...,N)として表され、
Figure 2022512732000004
の各要素は、ハイパスフィルタ処理されたコヒーレント伝達関数(図3D参照、詳細は後述)を用いてzのそれぞれにデジタル伝播され、以下を得る。
[0117]
(式1)
Figure 2022512732000005
[00118]ここで、Pは角度スペクトルベースの逆伝播を表し、HPはハイパスフィルタリングを表し、i=1、...、N、j=1、...、Nである。
[00119]次に、OFNを用いた時間平均微分解析を適用し(図3E参照)、以下を得る:
[00120]
(式2)
Figure 2022512732000006
[00121]ここで、δは減算フレーム間隔、
Figure 2022512732000007
はOFN係数、γはOFNに関連するパラメータで、溶解血液(γ=2)とCSF(γ=3)の実験にそれぞれ調整されている。時間平均は、運動性微生物の真の信号を維持しながら、ランダムな画像ノイズや不要な粒子/オブジェクトのランダムな動きを平滑化することにより、SNRを大幅に改善する。OFNはさらに、例えば、細胞破片などの強く散乱する不要な粒子/物体に起因する潜在的なフォルスポジティブ信号を抑制する(以下および図11A~11F、12A~12Dを参照)。このステップの結果Cは、三次元画像スタックである。
[00122]4.ポストイメージ処理とセグメンテーション
[00123]zスタックC(j=1,...,N)は、主にハイパスフィルタ処理された逆伝播やフレーム減算を実行するときに残る生画像168の高周波ノイズに起因する低空間周波数バックグラウンドに悩まされている。したがって、図3F~3Hでは、3DのzスタックCを、最初に平均減算ガウスカーネル(σ=250μm)でz方向にハイパスフィルタ処理し、ネガティブピクセルをゼロにクリップし、Dj(j=1,...,N)を得る。次に、これが最大強度投影(MIP)で2D画像Eに投影される。ハイパスフィルタリングが2D(平均減算ガウスカーネル、σ=σ=25μm)で再度適用され、残りの背景が削除され、ネガティブのピクセルを再びゼロにクリップしFを得る。
[00124]F内の候補信号点のセグメンテーションは、2Dメディアンフィルタリング(3×3ピクセルウィンドウ、ピクセルサイズ=1.67μm)、しきい値処理(溶解血液中のトリパノソームを検出するためのしきい値=0.01、CSF中のトリパノソームを検出するためのは0.02)に続いて、拡張(円盤形状の構造化要素、半径=2ピクセル、ピクセルサイズ=1.67μm)を行い、連結されたピクセル領域を検索する。5ピクセル未満の連結領域は破棄される。これらの連結領域のピクセル値で重み付けされた重心を中心とする64×64ピクセルの画像パッチをFから切り出し(2Dメディアンフィルタリングなし)、深層学習ベースの分類器による下流での識別に使用する。
[00125]5.運動性トリパノソーマを検出するための深層学習ベースの分類器
[00126]3つの畳み込みブロックとそれに続く2つの完全連結層で構成されるCNNが構築され、運動性トリパノソーマによって作成された真の信号スポットを識別するようにトレーニングされる。詳細なネットワーク構造が図13に示され、溶解血液とCSFサンプルからトリパノソーマを検出するために個別にトレーニングされる(詳細は、以下の「トリパノソーマの識別のための畳み込みニューラルネットワーク(CNN)の構築とトレーニング」参照)。
[00127]6.テスト結果の生成
[00128]画像処理ステップ(図3A~3Jを参照)は、各キャプチャ画像シーケンスおよび各イメージセンサ124について繰り返される。すべての位置から検出されたトリパノソーマの総数を合計し、スクリーニングされた総量(約3.18mL)で割って、検出された寄生虫症を計算する。溶解血液の場合は、さらに溶解によって導入された希釈係数である4倍を掛けて、元の全血サンプルの寄生虫症を計算する。
[00129]7.運動性微生物の3D位置特定と動画生成
[00130]この技術は、以下のステップを用いて運動性微生物を3Dで位置特定し、それらの焦点の合った振幅および位相の動画を生成して、拡大観察する機能も提供する。対応するzスタックD(j=1,...,N)を使用して、CNN分類器によってポジティブと分類された各信号スポットについて、このスポットを中心としたx-y方向に30×30ピクセル、かつz範囲全体(N層)にまたがっている「列」のみを切り出す。次に、オートフォーカスメトリックを使用して各N層を評価し、オートフォーカスメトリックの最大値に対応する層がその焦点位置に対応する。ToGとタムラ係数に基づく基準の両方を試したが、どちらもこの目的に非常に適している。現在のz位置特定の精度は、選択したzステップサイズ(Δ=50μm)により制限されるが、zセクションをより細かくすることによりさらに改善できる。現在検出されているz位置特定距離を初期推定として使用して、ハイパスフィルタ処理された逆伝播および差分分析(詳細は上記ステップ3.CMAアルゴリズム)を、より細かいzステップサイズ5μmで初期推定の周囲±100μmのz範囲で実行する。ただし、今回はOFNを無効とする。すなわち、微生物のオブジェクト機能が最も強い最適な焦点距離では、OFNによって信号がわずかに弱まるという副作用があるため、式(2)の指数正規化係数を削除する。オートフォーカスは、以前と同様に、異なるz層上の同じ30×30ピクセル領域で再度実行される。新たに求めたz距離に加えて、先に求めたx-yの中心を、この運動性微生物の3D位置として用いる。追加のハイパスフィルタ処理された逆伝播および差分分析は、指定された各スポットの周囲の小さな関心領域(ROI)でのみ実行すればよいため(例えば、ここで説明する実験では、512×512ピクセルのROIが使用される)、この3D位置特定は計算上効率的である。この3D位置特定機能は、動画の生成や(以下に詳述)、生物学的または生物医学的研究環境で微生物の挙動の研究に利用することができる。
[00131]得られた各運動性微生物の3D位置を使用して、記録された生の画像シーケンスAi(i=1,...,N)またはその照明補正バージョン
Figure 2022512732000008
の各フレームを、対応するz座標へデジタル逆伝播(ハイパスフィルタリングなし)することにより、検出された各微生物の動画を生成することができる。逆伝播された画像168の振幅および位相チャネルは、並べて表示す。生成された動画は、訓練を受けた医療関係者が利用可能な場合に、このプラットフォームの検出結果を確認するための追加の方法として利用することができる。
[00132]画像処理アルゴリズムのタイミング
[00133]ここでは、Intel Core i7-6700K中央処理装置(CPU)111@4.00GHz、64GBのRAMと、画像処理用の2つのNvidiaGTX1080GPU164を搭載したラップトップ112を使用した。表1は、単一のGPU164を使用した場合と、2つのGPU164を同時に使用した場合の、画像処理ワークフローに必要な時間をまとめたものである。ここでは、画像取得時に、画像化デバイス124でキャプチャされた画像168は、CPU RAM158に一時的に格納され、走査位置に対応するバッチでGPUメモリに常時移動され、そこでGPU164(または2つのGPU)で処理されることを想定している。このようにして、画像取得中に画像処理を同時に実行できるため、テストごとの所要時間を短縮することができる。この状況は、タイマーを開始する前に、ハードドライブ160からコンピュータ112のRAM158に既存のデータをプリロードすることで擬する(mimicked)ことができ、これは、処理の時間コストの合理的な推定が可能となる。溶解血液とCSFでは取得した画像168の数と画像処理のワークフローが異なるため(前のサブセクションと方法を参照)、それらのタイミング結果が個別に計算される。表1では、溶解血液とCSFのタイミング結果を「/」で分けている。
[00134]z距離範囲の事前較正
[00135]画像化プラットフォーム100の3つのチャネルのそれぞれのz距離範囲を事前に較正するために、底部外面を意図的に汚したキャピラリーチューブを1本取り付けた。次に、走査ヘッドがその走査範囲の両端と中央にあるときに3つのホログラムを撮影し、3つのホログラムをそれぞれ使用して汚れた表面にオートフォーカスした53、54。この場合の予想されるzは、平均オートフォーカス距離から、ガラスキャピラリーチューブの壁の厚さを加算して算出された。この較正ステップは1回だけ実行する必要がある。
[00136]ハイパスフィルタ処理された計算逆伝播
[00137]回折パターンは、2D高速フーリエ変換(FFT)、自由空間伝達関数使用した空間周波数領域での行列乗算、および逆FFTを含む角度スペクトル法を使用して、与えられたz距離に逆伝播される。ただし、トリパノソーマのおおよそのサイズが既知であるため、空間周波数領域の伝達関数にハイパスフィルタを追加して、他のノイズやアーティファクトを抑制する。
[00138]自由空間伝搬のコヒーレント伝達関数は以下の通りである。
Figure 2022512732000009
[00140]ここで、zは伝搬距離、λは光波長、fとfはそれぞれxとyの空間周波数である。
[00141]Hの上に、不要な干渉パターンを抑制するために、HとHの2つのハイパスフィルタが追加されている。Hは2Dガウスハイパスフィルタで、イメージセンサの保護ガラスや流体を充填したキャピラリーチューブの様々な界面など、光路の様々な表面からの反射による低周波干渉パターンを抑制するために使用される。Hは次の式で与えられる。
[00142]
Figure 2022512732000010
[00143]ここで、σ=25.05μmである。Hは、製造されたガラスキャピラリーチューブの望まない溝に起因する干渉パターンを抑制するために用いられる。これらの溝は、キャピラリーチューブの軸方向に沿って配向されており、キャプチャ画像のy方向に対応するため、それらのエネルギーは、空間周波数領域のf軸の近くにほとんど集中している。そのため、Hでは、次式で与えられるfへのハイパスフィルタリングを実行する。
[00145]
Figure 2022512732000011
[00145]ここで、σi=116.9μmである。
[00146]H、H、Hを組み合わせた最終的なコヒーレント伝達関数は以下となる。
[00147]
Figure 2022512732000012
[00148]ここで、min{H,H)は、HまたはHから小さい方のフィルタ値を選択する。
[00149]オブジェクト関数正規化(ogject function normalization:OFN)を用いた計算機運動分析(computational motion analysis:CMA)アルゴリズムでの減算フレーム間隔δと合計分析フレームNの最適化
[00150]減算フレーム間隔δおよび合計分析フレームNは、検出される寄生虫(または微生物)に対して最適化する必要があるパラメータである。δとNは、以下を通じて減算時間間隔Δtと合計分析時間Tに関連する。
[00151]
Figure 2022512732000013
[00152]
Figure 2022512732000014
[00153]ここで、Rは記録されたシーケンスのフレームレートである(すなわち本システムでは26.6fps)。δ(またはΔt)を最適に選択することにより、対象の微生物の特徴的な移動による信号を、イメージセンサのノイズに加えて、サンプル内の背景オブジェクト/粒子の不要なランダムな動きを含むノイズに対して増幅することができる。一方、N(またはT)は、時間平均のウィンドウを決定する。一般に、Nが大きいほど、平均化によってランダムなバックグラウンドノイズが減少する。しかし同時に、微生物が方向性のある動きのためにTの間に元の場所から離れて泳いだ場合、有用な信号が弱くなる可能性もある。
[00154]δおよびNは、血液および脳脊髄液(CSF)について、OFNを使用したCMAによって処理された画像の平均信号対雑音比(SNR)を評価することにより、トリパノソーマ検出用に最適化される(図3Hに対応)。信号はセグメント化されたホットスポットの最大値として定義され、一方でノイズは信号領域を除いた背景の平均値として定義される。SNRは、20・log10(信号/ノイズ)(dB)として計算される。10mLトリパノソーマ添加血液実験では1つの画像視野(FOV)から20個のホットスポットをランダムに選択し、10mLトリパノソーマ添加人工CSF実験では40個のホットスポットがランダムに選択した。SNRは、血液とCSFでそれぞれ平均化した。δおよびNを変化させて、平均SNRに対するそれらの効果を観察した(図9A~9Dを参照)。血液とCSFのいずれかでδおよびNをそれぞれ変化させても、平均SNRの計算には同じホットスポットのセットが一貫して使用された。
[00155]図9A~9Bに示すように、溶解血液の場合、δ=4(Δt=0.15s)およびN=61フレーム(T=2.29s)が、35.29dBという最高のSNRをもたらす。図9Bは、より大きなN(T)を使用した場合、平均SNRはまだ増加する可能性があることを示唆する。しかしながら、診断ツールとしての本プラットフォームの実用的な時間的制約と、時間経過に伴うサンプルの加熱のため、画像シーケンスごとに61フレームしか記録されない。
[00156]CSF(図9C~9Dを参照)の場合、δに関して同様の効果が観察され、δ=4でSNRが最大になる。しかしながら、図9Dは、N>41の場合、SNRがNの関数として低下することを示しており、したがって、最適なNはN=41として選択される。さらに、CSFの最適なSNR(δ=4、N=41)は45.00dBであり、血液中の最適SNRよりも約10dB高くなっている。これらの観察結果から、CSFは(溶解血液と比較して)透明な媒体であるため、低ノイズと高SNRを達成するために必要な平均化が少ない(つまり、Nが小さい)と結論付けることができる。したがって、Nが41を超えると、平均化によるSNRの向上は少なくなり、主に微生物が元の場所から徐々に移動するため、SNRを低下させる他の要因が支配的になる。
[00157]潜在的フォルスポジティブを排除するためのオブジェクト関数正規化(OFN)
[00158]OFNは、サンプル内で粒子/オブジェクトが強く散乱するために発生する可能性のあるフォルスポジティブ(誤検出)を減らすために不可欠である(OFNを使用した場合と使用しない場合の結果の比較については、図11および12を参照)。照明がわずかに時間変化し、流体が漂っている状態では、溶解していない細胞、細胞破片の塊、CSFサンプル中の添加された白血球(WBC)、さらには気泡などの強い散乱性の粒子/オブジェクトが、CMAで処理されたときに強いコントラスト(ホットスポット)を生成する場合がある。これらのホットスポットは、トリパノソーマが作るものと似ており、誤検出の原因となる。したがって、散乱が弱く運動が強い目的の寄生虫(特にトリパノソーマ)を、散乱が強く運動が弱い他の不要なオブジェクトと区別するために、オブジェクト関数自体を使用して、式(2)に対応するフレーム減算を正規化する。適切に選択されたγの指数関数は、散乱の強いオブジェクトをさらに選択的に抑制する。溶解血液中のトリパノソーマ検出の場合、「トゥルーポジティブ」信号と潜在的な「フォルスポジティブ」信号の区別の視覚的判断に基づいてγ=2を選択し、CSF中のトリパノソーマ検出ではγ=3を選択した。
[00159]トリパノソーマ識別のための畳み込みニューラルネットワーク(CNN)の構築とトレーニング
[00160]トレーニング/検証のためのポジティブ画像の生成
[00161]ポジティブ画像は、添加されたトリパノソーマの濃度が比較的高い実験データから手動で識別される。血液については、添加されたトリパノソーマ濃度が約10/mLの1回の試験(すなわち、3つのキャピラリーチューブを使用した1回の走査実験)が使用された(図5で報告されたデータと重複しない)。CSFについては、人工CSFにトリパノソーマ濃度を約10/mLに添加した1回の試験を使用し、試験で行ったようにサンプルにWBCを添加しなかった。体液の種類ごとに、OFNを使用したCMAアルゴリズム162を使用して画像を処理した後、画像のフィルタリングとセグメンテーションを行い(詳細は本書の説明を参照)、最初に検出された4000個の候補スポットについて動画を生成した。2人のアノテーターが共同でこれらの動画を見て、細長い体と速い拍動を特徴とする運動性トリパノソーマの存在を各動画で判断した。各動画の結果のラベルは、「ポジティブ」(動くトリパノソーマが存在するという確信が高い)、「ネガティブ」、または「不確実」のいずれかとなった。1つの動画に複数のトリパノソーマが共存する場合には、トレーニング時にネットワークが混乱しないように「ネガティブ」とラベル付けした。CSFに関する動画では、透明な媒体にホログラフィック再構成の品質が高いため、アノテーションがはるかに簡単であった。一方、血液では、動画にトリパノソーマが含まれていないことを断言するのは困難なため、結果のラベルはほとんど「ポジティブ」または「不確実」であった。手動でアノテーションを行った後、「ポジティブ」とラベル付けしたものだけをトレーニング/検証用に保持した。「不確実」と「ネガティブ」は破棄した。これにより、血液のポジティブ画像は3697枚、CSFのポジティブ画像は3890枚になった。なお、これらの動画はラベリングのみを目的としており、トレーニング/検証ライブラリの構築には、CMAから得られた2D最大強度投影(MIP)画像パッチを使用してしている。次に、4対1の比率を使用して、画像をトレーニングセットと検証セットにランダムに分割した。最後に、データ拡張を実行して、画像を水平、垂直、および水平と垂直の両方にミラーリングすることでトレーニング画像の数を増やすデータ補強を行い、血液とCSFについて、それぞれ4倍の大きさのポジティブトレーニングライブラリを作成した。
[00162]トレーニング/検証のためのネガティブ画像の生成
[00163]ネガティブトレーニング/検証画像は、すべてネガティブ参照実験から得られたものである(図5で報告されたデータとの重複はない)。血液については、1回のネガティブ対照実験を用いてトレーニング/検証ライブラリを作成し、CSFについては試験ごとの「フォルスポジティブ(false positives)」が少ないため、2回のネガティブ対照実験を用いた。ネガティブ画像をセグメント化する際に、より多くの画像を生成するために、低い強度しきい値(血液の場合は0.008、CSFの場合は0.015)を使用し、血液実験では5834、CSF実験では2586のネガティブ画像を生成した。これらの画像を、血液とCSFにそれぞれ4対1の比率でトレーニングセットと検証セットにランダムに分割した。ポジティブセットと同様に、3つの異なる方法で画像をミラーリングすることにより、ネガティブトレーニングライブラリに対してデータ拡張を実行し、ネガティブトレーニングライブラリのサイズを4倍に拡大した。さらに、トレーニングされた分類器の未知のデータに対するロバスト性を向上させるために、ネガティブ画像を複製し1.5倍することによるデータ拡張も行った。したがって、ネガティブトレーニングライブラリの拡大係数の合計は8倍となる。
[00164]ネットワークアーキテクチャ
[00165]3つの畳み込みブロックと2つの完全連結(FC)層でCNN166を構築した(図13を参照)。各畳み込みブロックは、畳み込み層(フィルタサイズ=5×5、ストライド=1、16チャネル)と、それに続く正規化線形ユニット(ReLU)層および最大プーリング層(フィルタサイズ=3×3、ストライド=2)で構成される。第1のFC層には128個の出力ノードがあり、第2のFC層には2つの出力ノードがあり、2つのクラス(トリパノソーマおよび非トリパノソーマ)を表す。次に、出力はソフトマックス層に通され、クラス確率を生成する。トレーニング時に第1のFC層にドロップアウト(p=0.5)を追加した。同じネットワークアーキテクチャを、血液およびCSF内のトリパノソーマ信号を識別するために個別にトレーニングした。
[00166]ネットワークトレーニング
[00167]CNN166は、TensorFlow(バージョン1.7.0)およびPython(バージョン3.6.2)で実装した。畳み込みカーネルは、切断正規分布(平均=0、標準偏差=5.5×l0-3)を使用して初期化した。FC層の重みは、Xavierイニシャライザを使用して初期化した。すべてのネットワークバイアスはゼロに初期化した。学習可能なパラメータは、学習率10-3の適応モーメント推定(Adam)オプティマイザを用いて最適化した。バッチサイズは64で、ネットワークは収束するまで1万回の反復トレーニングを行った。
[00168]CMAアルゴリズムのCUDAアクセラレーション
[00169]CMAアルゴリズム162を、CUDA C++を用いて加速し、デュアルNvidiaGTX1080グラフィックス処理ユニット164(GPU)を備えたラップトップコンピュータ112上で実行した。CMAアルゴリズム162で最も計算量の多い数学演算は、高速フーリエ変換(FFT)と逆FFT(IFFT)であった。これらの演算を実行するために、NvidiaCUDA高速フーリエ変換ライブラリ(cuFFT)ライブラリを使用した。画像のリダクション(すなわち、全要素の合計)を実行し、さらに画像の平均値を計算して正規化するためにThrustライブラリを使用した。実数値や複素数値の画像に対するその他の様々な基本的な数学演算は、カスタムメイドのCUDAカーネル関数を使用して実装した。CUDAコードは、計算を並列化し、効率を最大化し、GPUメモリ使用量を最小化するように慎重に最適化された。例えば、回折パターンを各z距離に逆伝播する場合、ハイパスフィルタ処理されたコヒーレント伝達関数(式3~8)をz距離ごとに1回だけ計算し、これを時系列のすべてのフレームに再利用した。OFN(式2)を用いて時間平均微分解析を実行する場合、パフォーマンスを犠牲にすることなく、所与の時間に(δ+1)個の逆伝播画像(つまりB)のみをGPUメモリに保存すればよいため、GPUのメモリ使用量が減り、さらに大規模な問題(例えば、より多くのフレームを含む画像シーケンスや、より多くのz距離でのCMAの実行)を処理したり、メモリの少ないローエンドのGPUを使用したりすることが可能になった。
[00170]FFTを実行する前に、生の画像168(垂直:1374ピクセル、水平:3840ピクセル)を1536×4096ピクセルのサイズにパディングした。パディングされた画素には、不連続性によるアーチファクトを低減するために、パディングされていない画像の平均値を割り当てた。新しいディメンションは2と3の累乗(1536=2×3と4096=212)であるため、FFT処理はパディングなしの場合と比較して約2.4倍高速化された。IFFTの完了後、画像168は他の画像処理ステップのために元のサイズに切り取られた。
[00171]イメージセンサによるサンプル加熱のCOMSOLシミュレーション
[00172]イメージセンサ124の温度は、オンになると上昇し、その上に温度勾配が生じる。そのため、ガラス管120内の流体サンプル101が徐々に流れ始め、ガラス管内の粒子が方向性をもって移動する。結果として、CMAアルゴリズム162によって生成された運動性微生物の信号は、「スミアリング」効果によって弱くなる。その間、他の不要な粒子の動きにより、バックグラウンドノイズとフォルスポジティブが増加し、望ましくない結果となる。対流による流体サンプル101の速度は、流体チャネルの高さに関係する。チャネル壁の近くの抗力により、チャネルが薄いほど、加熱開始後の特定の時間における流体速度は低下する。ただし、トレードオフとして、チャネルを薄くするとスクリーニングのスループットも低下する。
[00173]COMSOLマルチフィジックスシミュレーションソフトウェアを使用して、チャネル内の流速を推定した。図10Aに示すように、水で満たされたチャネル(内高1mm、内幅10mm、均一な厚さ0.67mmのシリカ壁に囲まれている)を作成した。チャネルのA6cmのセクションを、シミュレーションの対象領域として選択した。チャネルの中央に、CMOSイメージセンサ124(表面温度313Kの一定の熱源としてモデル化)をチャネル底面の1mm下に配置した。約313Kは、赤外線カメラ(FLIR C2)で実験的に測定した、画像取得中のイメージセンサ124の最高温度である(「」方法」欄を参照)。基準温度(室温)は293Kとした。チャネル内の水とチャネル外の空気のモデルには非等温流を用いた。
[00174]図10B~10Cに、このシミュレーションの結果を示す。チャネル内の最大流体速度の大きさが示され、最悪のシナリオを表している。予想通り、流体速度は、加熱開始後の時間とチャネル高さの関数として増加する(図10Bを参照)。加熱開始後t=7秒での最大流体速度とチャネル高さの関係を(c)にさらにプロットしたところ、この時間は画像取得時間にほぼ一致した(イメージセンサのFOVの上半分から下半分に切り替わるときに時間差がある)。ここでも、t=7秒での流体速度は、流体速度が最大になる最悪のシナリオを表している。図10Cに示すように、チャネル高さが1mmの場合、流体の速度は約2.9μm/sである。61フレームの1つの画像シーケンスの期間(約2.3秒)において、流体の流れによる変位は、トリパノソーマの長さと比較して許容範囲内の上限約6.7μmになる。逆に、チャネル高さが2mmの場合、変位は上限約28μmとなり、強いスミアリングと信号の減少をもたらす。その結果、本書の実験ではチャネル高さを1mmとして選択した。
[00175]本発明の実施形態を図示し説明してきたが、本発明の範囲から逸脱することなく、様々な変更を加えることができる。したがって、本発明は、添付の特許請求の範囲およびその均等物を除いて、限定されるべきではない。したがって、添付の請求項の範囲から逸脱することなく、開示された実施形態に様々な変更および修正を加えることができる。例えば、実施形態に記載された構成要素のすべてが必須ではなく、代替的な実施形態では、記載された構成要素の任意の適切な組み合わせを含んでもよいし、構成要素の一般的な形状および相対的なサイズを変更してもよい。 同様に、図面に見られる寸法およびその他の制限は、本発明の範囲を限定するものではない。

Claims (21)

  1. サンプル中の運動性オブジェクトのラベルフリー検出のための画像化プラットフォームであって、
    1つまたは複数の実質的に光学的に透明なサンプルホルダと、
    1つまたは複数のコヒーレント光源および当該1つまたは複数のコヒーレント光源に関連付けられた対応するイメージセンサを含む可動の走査ヘッドと、
    前記1つまたは複数の光学的に透明なサンプルホルダに沿って前記可動の走査ヘッドを並進させるように構成された並進ステージと、
    前記イメージセンサで取得された時変ホログラフィックスペックルパターン画像シーケンスを受信するように構成されたコンピューティングデバイスとを具え、当該コンピューティングデバイスが、前記1つまたは複数の光学的に透明なサンプルホルダ内の運動性オブジェクトの三次元(3D)コントラストマップを生成するように構成された計算機運動分析ソフトウェアを有し、前記コンピューティングデバイスがさらに、前記三次元(3D)コントラストマップ内の運動性オブジェクトを識別する深層学習ベースの分類ソフトウェアをさらに有することを特徴とする画像化プラットフォーム。
  2. 前記サンプルが生物学的流体を含む、請求項1に記載の画像化プラットフォーム。
  3. 前記生物学的流体が血液を含む、請求項2に記載の画像化プラットフォーム。
  4. 前記生物学的流体が脳脊髄液を含む、請求項1に記載の画像化プラットフォーム。
  5. 前記1つまたは複数の光学的に透明なサンプルホルダが、1つまたは複数のキャピラリーチューブを含む、請求項1に記載の画像化プラットフォーム。
  6. 前記走査ヘッドは、前記1つまたは複数の光学的に透明なサンプルホルダに光を投射する、レーザダイオード、発光ダイオード、およびレーザからなる群から選択される1つまたは複数の光源を含む、請求項1に記載の画像化プラットフォーム。
  7. 前記並進ステージが、前記可動の走査ヘッドを保持する1つまたは複数の線形運動シャフトと、ベルトを介して前記可動の走査ヘッドに接続されたステッピングモータとをさらに具える、請求項1に記載の画像化プラットフォーム。
  8. 前記可動の走査ヘッドは、前記イメージセンサ用の1つまたは複数のヒートシンクをさらに具える、請求項1に記載の画像化プラットフォーム。
  9. 前記計算機運動分析ソフトウェアは、物体機能正規化(OFN)を実行して、サンプル内の強く散乱する物体を抑制する、請求項1に記載の画像化プラットフォーム。
  10. 請求項1に記載の画像化プラットフォームを使用する方法であって、
    流体サンプルを前記1つまたは複数の光学的に透明なサンプルホルダに装填するステップと、
    前記可動の走査ヘッドを前記1つまたは複数の光学的に透明なサンプルホルダの異なる領域に移動させるステップと、
    前記イメージセンサを使用して、時変ホログラフィックスペックルパターン画像シーケンスを取得するステップと、
    前記深層学習ベースの分類ソフトウェアを使用して、サンプル内の運動性オブジェクトを識別するステップとを含むことを特徴とする方法。
  11. 前記流体サンプルが、装填前に最初に溶解緩衝液に曝露される、請求項10に記載の方法。
  12. 前記可動の走査ヘッドを並進させる前に前記流体サンプルを沈降させる、請求項10に記載の方法。
  13. 前記深層学習ベースの分類ソフトウェアが、サンプル内の運動性オブジェクトのカウントを出力する、請求項10に記載の方法。
  14. 前記深層学習ベースの分類ソフトウェアが、サンプル内の運動性オブジェクトの濃度を出力する、請求項10に記載の方法。
  15. 前記深層学習ベースの分類ソフトウェアが、サンプルのポジティブまたはネガティブの分類を出力する、請求項10に記載の方法。
  16. 前記サンプルが生物学的サンプルである、請求項10に記載の方法。
  17. 前記サンプルが環境サンプルである、請求項10に記載の方法。
  18. 前記運動性オブジェクトが寄生虫を含む、請求項10に記載の方法。
  19. サンプル中の運動性オブジェクトを検出する方法であって、
    1つまたは複数のコヒーレント光源および当該1つまたは複数のコヒーレント光源に関連付けられた対応するイメージセンサを含む可動の走査ヘッドを使用して、サンプルの複数の時変ホログラフィックスペックルパターン画像シーケンスを取得するステップと、
    前記イメージセンサによって取得された時変ホログラフィックスペックルパターン画像シーケンスを受信するように構成されたコンピューティングデバイスを用いて、複数の時変ホログラフィックスペックルパターン画像シーケンスを処理するステップとを含み、前記コンピューティングデバイスは、1つまたは複数の光学的に透明なサンプルホルダ内の運動性オブジェクトの三次元(3D)コントラストマップを生成するように構成された計算機運動分析ソフトウェアを有し、前記コンピューティングデバイスはさらに前記三次元(3D)コントラストマップ内の運動性オブジェクトを識別するための深層学習ベースの分類ソフトウェアを有することを特徴とする方法。
  20. 前記コンピューティングデバイスが、前記運動性オブジェクトのカウントを出力するステップをさらに含む、請求項19に記載の方法。
  21. 前記コンピューティングデバイスが、前記サンプル中の運動性オブジェクトの濃度を出力するステップをさらに含む、請求項19に記載の方法。
JP2021521119A 2018-10-18 2019-10-18 流体サンプル中の運動性オブジェクトの運動性ベースのラベルフリー検出のための装置および方法 Pending JP2022512732A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862747285P 2018-10-18 2018-10-18
US62/747,285 2018-10-18
PCT/US2019/057073 WO2020082030A1 (en) 2018-10-18 2019-10-18 Device and method for motility-based label-free detection of motile objects in a fluid sample

Publications (1)

Publication Number Publication Date
JP2022512732A true JP2022512732A (ja) 2022-02-07

Family

ID=70284820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021521119A Pending JP2022512732A (ja) 2018-10-18 2019-10-18 流体サンプル中の運動性オブジェクトの運動性ベースのラベルフリー検出のための装置および方法

Country Status (5)

Country Link
US (1) US11893779B2 (ja)
EP (1) EP3867637A4 (ja)
JP (1) JP2022512732A (ja)
CN (1) CN113167783A (ja)
WO (1) WO2020082030A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020139835A1 (en) 2018-12-26 2020-07-02 The Regents Of The University Of California Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning
FR3115045A1 (fr) 2020-10-09 2022-04-15 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procédé de caractérisation de microorganismes
US11915360B2 (en) 2020-10-20 2024-02-27 The Regents Of The University Of California Volumetric microscopy methods and systems using recurrent neural networks
CN113450354B (zh) * 2021-08-30 2021-11-16 山东仕达思生物产业有限公司 基于卷积神经网络和摇摆活动特征的滴虫检测方法
TWI782822B (zh) * 2021-12-16 2022-11-01 國立清華大學 利用掃描式同調光繞射的三維顯影方法及系統
CN114754699B (zh) * 2022-04-24 2023-08-25 深圳裹动科技有限公司 运动物体轮廓的构建方法及系统、以及主控设备
US11850005B1 (en) * 2022-10-27 2023-12-26 Mammen Thomas Use of immersive real-time metaverse and avatar and 3-D hologram for medical and veterinary applications using spatially coordinated multi-imager based 3-D imaging

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4530304A (en) * 1984-03-08 1985-07-23 Biomatics Inc. Magnetic lifting device for a cellular sample treatment apparatus
US5526145A (en) * 1994-06-10 1996-06-11 E. I. Du Pont De Nemours And Company Color tuned holographic optical elements and methods of making and using the elements
US5704355A (en) * 1994-07-01 1998-01-06 Bridges; Jack E. Non-invasive system for breast cancer detection
US5483963A (en) * 1994-07-22 1996-01-16 Loral Infrared & Imaging Systems, Inc. Two dimensional transducer integrated circuit
EP1869398B1 (en) 2005-03-17 2012-08-22 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for frequency-domain optical coherence tomography
WO2006107795A1 (en) 2005-04-05 2006-10-12 The Board Of Trustees Of The Leland Stanford Junior University Optical image processing using minimum phase functions
WO2008007725A1 (fr) * 2006-07-12 2008-01-17 Toyo Boseki Kabushiki Kaisha Analyseur et son utilisation
WO2009111609A2 (en) * 2008-03-05 2009-09-11 Purdue Research Foundation Method and apparatus for motility contrast imaging
US9779213B2 (en) * 2008-07-25 2017-10-03 Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud System for evaluating a pathological stage of prostate cancer
JP5639654B2 (ja) 2009-10-20 2014-12-10 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア オンチップでの非干渉性のレンズフリーのホログラフィおよび顕微鏡法
CA2777927A1 (en) * 2009-10-22 2011-04-28 Centre National De La Recherche Scientifique Inhibitors of guanine exchange factors and their use as anticancer drugs
WO2011139641A2 (en) 2010-05-03 2011-11-10 The Regents Of The University Of California Wide-field lensless fluorescent imaging on a chip
US9202835B2 (en) 2010-10-18 2015-12-01 The Regents Of The University Of California Microscopy method and system incorporating nanofeatures
US8842901B2 (en) * 2010-12-14 2014-09-23 The Regents Of The University Of California Compact automated semen analysis platform using lens-free on-chip microscopy
US9057702B2 (en) 2010-12-21 2015-06-16 The Regents Of The University Of California Compact wide-field fluorescent imaging on a mobile device
EP2656066A4 (en) 2010-12-21 2017-11-08 The Regents of The University of California Compact wide-field fluorescent imaging on a mobile device
EP2661603A4 (en) 2011-01-06 2014-07-23 Univ California Lensless Tomographic Imaging Devices and Methods
US10359361B2 (en) * 2011-02-18 2019-07-23 The General Hospital Corporation Laser speckle micro-rheology in characterization of biomechanical properties of tissues
WO2012112977A1 (en) * 2011-02-18 2012-08-23 The General Hospital Corporation Laser speckle microrheometer for measuring mechanical properties of biological tissue
US8866063B2 (en) 2011-03-31 2014-10-21 The Regents Of The University Of California Lens-free wide-field super-resolution imaging device
WO2013019640A1 (en) 2011-07-29 2013-02-07 The Regents Of The University Of California Lensfree holographic microscopy using wetting films
US9715099B2 (en) 2011-11-07 2017-07-25 The Regents Of The University Of California Maskless imaging of dense samples using multi-height lensfree microscope
US8916390B2 (en) 2012-02-06 2014-12-23 The Regents Of The University Of California Portable rapid diagnostic test reader
AU2013243998B2 (en) 2012-04-03 2016-07-28 Illumina, Inc. Integrated optoelectronic read head and fluidic cartridge useful for nucleic acid sequencing
US20150153558A1 (en) 2012-06-07 2015-06-04 The Regents Of The University Of California Wide-field microscopy using self-assembled liquid lenses
US9588037B2 (en) 2012-07-13 2017-03-07 The Regents Of The University Of California High throughput lens-free three-dimensional tracking of sperm
US20140120563A1 (en) 2012-10-29 2014-05-01 The Regents Of The University Of California Allergen testing platform for use with mobile electronic devices
US9683938B2 (en) 2013-07-31 2017-06-20 The Regents Of The University Of California Fluorescent imaging using a flatbed scanner
US10365214B2 (en) 2014-01-14 2019-07-30 The Regents Of The University Of California Method and device for detection and spatial mapping of mercury concentration in water samples
US10871745B2 (en) 2014-08-01 2020-12-22 The Regents Of The University Of California Device and method for iterative phase recovery based on pixel super-resolved on-chip holography
US20160070092A1 (en) 2014-09-04 2016-03-10 The Regents Of The University Of California Method and device for fluorescent imaging of single nano-particles and viruses
WO2016106215A1 (en) 2014-12-23 2016-06-30 The Regents Of The University Of California Method and device for quantification of plant chlorophyll content
US20180052425A1 (en) 2015-01-22 2018-02-22 The Regents Of The University Of California Device and method for nanoparticle sizing based on time-resolved on-chip microscopy
US10088663B2 (en) 2015-05-13 2018-10-02 The Regents Of The University Of California Device and method for tunable vapor condensed nanolenses
US10061972B2 (en) 2015-05-28 2018-08-28 Tokitae Llc Image analysis systems and related methods
US9222935B1 (en) * 2015-05-28 2015-12-29 Pixcell Medical Technologies Ltd Fluid sample analysis system
EP3311163B1 (en) 2015-06-19 2020-08-05 The Regents of the University of California Micro-plate reader for elisa testing
US10248838B2 (en) 2015-12-04 2019-04-02 The Regents Of The University Of California Method and device for single molecule imaging
US20170168285A1 (en) 2015-12-14 2017-06-15 The Regents Of The University Of California Systems and methods for image reconstruction
US11150173B2 (en) * 2016-02-12 2021-10-19 The General Hospital Corporation Laser speckle micro-rheology in characterization of biomechanical properties of tissues
US10838192B2 (en) 2016-05-10 2020-11-17 The Regents Of The University Of California Method and device for high-resolution color imaging using merged images from holographic and lens-based devices
US10795315B2 (en) 2016-05-11 2020-10-06 The Regents Of The University Of California Method and system for pixel super-resolution of multiplexed holographic color images
US20190119737A1 (en) 2016-05-17 2019-04-25 The Regents Of The University Of California Enhanced fluorescence readout and reduced inhibition for nucleic acid amplification tests
US20190137932A1 (en) 2016-05-25 2019-05-09 The Regents Of The University Of California Wide-field imaging of birefringent crystals and other materials using lens-free polarized microscope
US11697833B2 (en) 2016-11-29 2023-07-11 The Regents Of The University Of California Antimicrobial susceptibility testing device and method for use with portable electronic device
EP3593111A4 (en) 2017-03-10 2020-02-26 The Regents of the University of California, A California Corporation MOBILE MICROSCOPY SYSTEM FOR AIR QUALITY MONITORING
US20190346369A1 (en) 2017-03-27 2019-11-14 The Regents Of The University Of California Mobile phone based fluorescent multi-well plate reader
US11450121B2 (en) 2017-06-27 2022-09-20 The Regents Of The University Of California Label-free digital brightfield analysis of nucleic acid amplification
US20190197294A1 (en) * 2017-12-22 2019-06-27 Hillel Llc Imaging device for measuring sperm motility
US11514325B2 (en) 2018-03-21 2022-11-29 The Regents Of The University Of California Method and system for phase recovery and holographic image reconstruction using a neural network
JP7344568B2 (ja) 2018-03-30 2023-09-14 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム
US11222415B2 (en) 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy
US11262286B2 (en) 2019-04-24 2022-03-01 The Regents Of The University Of California Label-free bio-aerosol sensing using mobile microscopy and deep learning
US11460395B2 (en) 2019-06-13 2022-10-04 The Regents Of The University Of California System and method for measuring serum phosphate levels using portable reader device

Also Published As

Publication number Publication date
EP3867637A4 (en) 2022-01-05
CN113167783A (zh) 2021-07-23
WO2020082030A1 (en) 2020-04-23
US20210374381A1 (en) 2021-12-02
US11893779B2 (en) 2024-02-06
EP3867637A1 (en) 2021-08-25

Similar Documents

Publication Publication Date Title
Zhang et al. Motility-based label-free detection of parasites in bodily fluids using holographic speckle analysis and deep learning
JP2022512732A (ja) 流体サンプル中の運動性オブジェクトの運動性ベースのラベルフリー検出のための装置および方法
US10843190B2 (en) Apparatus and method for analyzing a bodily sample
US20230296495A1 (en) Distinguishing between blood sample components
AU2022200112B2 (en) Methods and apparatus for detecting an entity in a bodily sample
Gopakumar et al. Convolutional neural network‐based malaria diagnosis from focus stack of blood smear images acquired using custom‐built slide scanner
Lee et al. Color capable sub-pixel resolving optofluidic microscope and its application to blood cell imaging for malaria diagnosis
JP2022106909A (ja) 画像ベースの細胞分取システムおよび方法
US9007433B2 (en) Incoherent lensfree cell holography and microscopy on a chip
JP5554776B2 (ja) 1以上のデフォーカス画像又は低コントラスト対雑音比画像を検出し除去するシステム及び方法
JP2019512697A (ja) デジタルホログラフィ顕微鏡検査および無傷の(untouched)末梢血白血球を用いる高精度の5部鑑別(5−part Differential)
JP2011525009A5 (ja)
US20150037835A1 (en) System and method for automated diagnosis
Acherar et al. Real-life evaluation of deep learning models trained on two datasets for Plasmodium falciparum detection with thin blood smear images at 500x magnification
Iqbal et al. Smartphone Integration with Point-of-Care Devices for Disease Diagnostics
Xiao et al. Large-scale voltage imaging in the brain using targeted illumination
Sadiq et al. Review of Microscopic Image Processing techniques towards Malaria Infected Erythrocyte Detection from Thin Blood Smears
Zhang et al. High-Throughput and Label-Free Detection of Motile Parasites in Bodily Fluids Using Lensless Time-Resolved Speckle Imaging
US20240127446A1 (en) Semi-supervised fundus image quality assessment method using ir tracking
MEMEU DEVELOPMENT OF A PHOTOTHERMAL INDUCED OPTICAL SCATTERING MODULATION TECHNIQUE AND ITS APPLICATION IN MALARIA DIAGNOSIS
Mathupriya Malaria Disease Prediction using Faster RCNN
Ugwuishiwu Deep Convolutional Neural Network Model for Optical Microscopic Automated Diagnosis of Plasmodium Falciparum Parasites in Sub-Saharan Africa.
Kavitha et al. Detection of parasitic eggs using Deep Learning: A Survey
Alanis et al. Optical detection of Trypanosoma cruzi in blood samples for diagnosis purpose
Lindley Design, fabrication and characterisation of a low-cost, acoustically focussed imaging flow cytometer for automated analysis of phytoplankton

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210621