JP2021525866A - ライトフィールドカメラを用いて医学的試料を三次元的に分析するための分析器 - Google Patents

ライトフィールドカメラを用いて医学的試料を三次元的に分析するための分析器 Download PDF

Info

Publication number
JP2021525866A
JP2021525866A JP2020566589A JP2020566589A JP2021525866A JP 2021525866 A JP2021525866 A JP 2021525866A JP 2020566589 A JP2020566589 A JP 2020566589A JP 2020566589 A JP2020566589 A JP 2020566589A JP 2021525866 A JP2021525866 A JP 2021525866A
Authority
JP
Japan
Prior art keywords
cells
microscope
sample
camera
analyzer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020566589A
Other languages
English (en)
Inventor
トーマス・エンゲル
ガビー・マルクアルト
ガブリエーレ・ヘルニヒ
ルーカス・リヒター
Original Assignee
シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド filed Critical シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
Publication of JP2021525866A publication Critical patent/JP2021525866A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/557Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/957Light-field or plenoptic cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

本発明は、医学的試料を分析するための分析器に関する。この分析器は、試料を撮像するために対象物領域の光照射野を撮像するための光学顕微鏡を含む。この顕微鏡は、試料を照明するための光源と、照明された試料から来る光ビームを集束し焦点を合わせるための収束レンズを含む対物レンズと、光ビームを記録するためのデジタル記録デバイスとを含む。対象物領域から、顕微鏡で撮像される光照射野を取り込むためのライトフィールドカメラが顕微鏡に設けられる。【選択図】図1

Description

本発明は自動分析器の分野にあり、ライトフィールドカメラ付きの顕微鏡装置を使用して試料中の細胞を分析する血液分析器に関する。
いわゆる「自動セルカウンタ」は、細胞の自動分析のためにますます成功裏に使用されている。これらの例としては、Advia 2120、Sysmex XE−2100、CellaVision DM96、およびCellaVision DM1200デバイスがある。その高いスループットは別として、これらの自動デバイスは、高い客観性(観察者によるばらつきがない)、手動カウント(多数の細胞のカウント)に通常は付きものの統計的変動が除去されること、および手動カウントの場合では得られない多数のパラメータが決定されることなどのいくつかの利点、ならびに、上述のように、より効率的で費用対効果が高い処理を提供する。これらのデバイスの一部は、1時間当たり120〜150人の患者の試料に対処することができる。
自動単一細胞カウントの基礎をなす技法的原理は通常、インピーダンス(抵抗)測定または光学システム(散乱光または吸収測定)に基づいている。さらに、たとえば血液塗抹標本の細胞を自動的に撮像および評価する撮像システムが確立されてきた。
インピーダンス法では、小さな開口部を通り抜ける粒子によって生じる導電性(抵抗)の変化を検出および測定することによって細胞がカウントされ、そのサイズが決定される。血液細胞などの粒子は、それ自体は導通しないが導電性希釈液中に懸濁される。このような細胞の懸濁液が案内されて開口部を通るならば、開口部の両側に位置している2つの電極間の電路のインピーダンス(抵抗)が、単一の個別細胞の通過中に短時間で増加する。
インピーダンス法とは対照的に、光学的方法は、レーザ光ビームまたはLED光ビームが希釈血液試料中を通過することを含み、この試料は、レーザビームまたはLED光ビームによって連続流として検出される。ここで、対応する光ビームは、たとえば光導波路によってフローセルまで案内される。フローセルの検出ゾーンを通過するどの細胞もすべて、収束光を散乱させる。そのとき散乱光は光検出器によって検出され、電気パルスに変換される。ここで生成されるパルスの数は、一定の時間間隔内に検出ゾーンを通過する細胞の数に正比例する。
光学的方法では、検出ゾーンを通過する個々の細胞から散乱する光が様々な角度で測定される。このようにして、光放射に対するそれぞれの細胞の散乱挙動が検出され;これにより、たとえば、細胞構造、形状および反射率についての結論を引き出すことが可能になる。この散乱挙動を用いて、様々な種類の血液細胞を区別すること、およびこの試料の血液細胞の標準からの偏差を診断するための導出パラメータを使用することができ、この標準は、たとえば、標準として分類された多数の参照試料から得られる。
血液塗抹標本中の細胞の自動評価では、現在の分析器は、高分解能を得られるようにするために、開口数が高い顕微鏡、および対象物キャリアと対象物の間の浸漬媒体を用いて動作する。しかし、この結果、被写界深度は比較的小さくなり、これは血液塗抹標本を載せた対象物キャリアの面に垂直な細胞の厚さよりもかなり浅い。それゆえに、細胞の全深度情報は、焦点設定が1つしかない二次元撮像によって、合焦して撮像されない。
したがって、不明瞭に分類された血液細胞がしばしば存在し、これらは後で専門スタッフ(たとえば検査所医師)によって手動的に分類されなければならない。この目的のために、血液塗抹標本を載せた対象物キャリアが顕微鏡下に再び置かれ、対応する細胞が多くの経費で探され、検査所医師によって検査されなければならない。確実な分類のために、検査所医師は通常ではさらに、この場合には焦点方向に沿って細胞の構造をより適切に特定し評価できるようにするために、細胞にくまなく焦点を合わせる。
特許文献1、非特許文献1、非特許文献2、および特許文献2には、光学撮像装置が記載されている。
光学系に関しては、血液学で現在使用されている測定デバイスは、倍率が約100倍、対物面のセンサ要素の有効横方向分解能が100nm=0.1μmである顕微鏡を含む。通常のカメラは、画素数が30万〜100万画素を超えない。その結果、対象物の視野は、サイズが数百μmにすぎない。幅数mmで長さ数十mmになり得る血液試料の染色塗抹を取込み分析できるようにするために、分析予定の塗抹の領域のエリアは次に、変位ユニットによる蛇行走査法を用いて走査されなければならない。この処理をわずかに速めるために、最初のエリア型走査が、たとえば10倍の低倍率で、対応する10倍大きい視野によって行われ、測定予定の細胞を見つけるための最初の画像評価の後に、細胞のある関心領域(RoI)のみに高い倍率で的を絞って続いて接近する。このことは、高い倍率での試料の、完全なフルエリア分析がないことを意味する。細胞を十分に可視的にして、高解像度光学顕微鏡法を用いて細胞を分析できるようにするために、血液塗抹標本は前の工程で染色される。複数の染色プロトコルが世界中で確立されてきたが、世界的視野から見たとき、地域ごとに部分的に異なる。その結果、同じプロトコルに従って染色された細胞の画像同士についてしか適切な比較があり得ないので、血液塗抹標本の分析結果の比較可能性は地域が限定されることになる。
WO2007/044725A2 WO2010/121637A1
Bahram J.他:「Three−dimensional identification of biological microorganism using integral imaging」、Optics Express、vol.14、no.25、12096〜566頁 Kim J.他:「A single−shot 2D/3D simultaneous imaging microscope based on light field microscopy」、Visual Communications and Image Processing、vol.9655、9655101〜9655104頁
したがって、本発明の根源的な目的は、試料中の細胞を分析するための自動分析器と、その細胞についての二次元または三次元の情報を確認する方法とを提供することにあり、たとえば、細胞の化学的前処理は、細胞を可能な限り元の状態に近い状態で、かつわずかしか、または全く変わっていない状態で調べることができるようにするために、画像取込みの前、したがって分析の前には、最大可能な程度に省かれるべきである。
この目的は、独立請求項に記載されている、本発明による分析器および本発明による方法によって達成される。本発明の有利な展開はまた、特に従属特許請求項に示されている。
本発明の主題は、特に、試料中の細胞を分析するための分析器を含み、前記分析器は、試料中の細胞を撮像する目的で対象物領域および/または対象物面の光照射野を撮像するための光学顕微鏡を含み、この顕微鏡は、試料を照明するための光源と、照明された試料から発する光ビームを収束し焦点を合わせるための収束レンズと、光ビームを記録するためのデジタル記録デバイスとを含み、顕微鏡で撮像される対象物領域から光照射野を取り込むためのライトフィールドカメラが顕微鏡に設けられ、このライトフィールドカメラはデジタル記録デバイスを含む。
デジタル記録デバイスは、好ましくは光ビームの検出器機を含み、検出器機の検出信号をデジタルデータに変換することが容易になる。
本発明による分析器は、これまで必要とされていた次の顕微鏡プロセスのための試料の染色が完全に、または部分的に不要になるという点で有利である。本発明による分析器は、最高品質の画像データを、たとえば自動評価および分類に使用できる、それに対応して大規模の情報コンテンツと共に提供する。この場合、取り込まれた画像データは高品質であるので、顕微鏡下での別の観察による、後に続く試料の検査がもはや不要になる。その結果、本発明は、細胞の完全なデジタル化ステーションを提供し、横方向構造に対する分解能が、それぞれの細胞の深度の全範囲にわたっても高く、血液細胞の染色および/またはマーキングが特に、画像を取り込むためにも必要とされない。
好ましくは、本発明による分析器は自動分析器であり、特に好ましくは部分自動または完全自動の分析器である。好ましくは、顕微鏡はライトフィールドカメラを含む。好ましくは、ライトフィールドカメラは、顕微鏡で撮像される光照射野を取り込むように具現化されているデジタル記録デバイスを含む。好ましくは、デジタル記録デバイスは、1つの電荷結合デバイス(CCD)チップまたは複数のCCDチップを含む。特に好ましくは、デジタル記録デバイスは、相補型金属酸化膜半導体(CMOS)技術に基づいており、かつ/またはCMOSチップを含む。
好ましくは、試料は、たとえば適切なフローシステムおよび/または分析器内の試料キャリアの変位経由で、適切に制御されるアクチュエータまたはロボットシステムを好ましくは用いて、自動分析器の中に完全自動に導入される。
好ましくは、ライトフィールドカメラは、焦点距離が異なるレンズを備えたマイクロレンズアレイを含み、このマイクロレンズアレイは、顕微鏡で撮像された光照射野の中間像をデジタル記録デバイスに結像することができる。ここで、マイクロレンズアレイは、中間像から1焦点距離で実結像がある最小距離を有する。したがって、本発明によれば、現れるのはアパーチャ像ではなく、対象物または試料のより小さい部分像という意味における、小さい実像セクションである。次に、像情報は、別々の部分像の対応する像点のビームが集合するまで、光学ユニットを通して後方投影される。したがって、この場合には、小さい物体像を除いて指向性像が取り込まれない。
本発明は、たとえば微分干渉コントラストの装置を装備している光学顕微鏡に基づいている。分割に関して、このような顕微鏡は血液学の要件に適合することができる。この適合は、試験対象物を通るビーム経路上のビームオフセットを、的を絞って選択することによって実質的に実現される。例として、試験対象は塗抹血液試料である。
ビームオフセットは、照明モジュールおよび分析器モジュールのDICプリズムの厚さによって決まる。ここで、2つのプリズムの光学厚さ、およびビームオフセットの方向は、分析器モジュールが照明モジュールからのビームオフセットを再び完全に逆にできるように、したがってビームオフセットを補償できるように、互いに一致しなければならない。こうすることで、撮像スケールが異なることによりプリズムの物理的厚さが互いに逸脱することが可能になる。顕微鏡の1つの対象物に対して複数のDICプリズム対があり得るので、異なる分割が可能になる。
さらに、プレノプティックカメラとも呼ばれるライトフィールドカメラが顕微鏡に設けられ;このカメラは、顕微鏡で撮像される対物面からの光照射野を取り込む。
好ましくは、ライトフィールドカメラは、10〜30の範囲の有効f値(実用f#)を有し;特に好ましくは、この値は26である。試験対象物の、センサ要素を使用する求められている走査に応じて、この目的のために適切な倍率が選択され、後者については、実際のセンサ要素(通常は1〜10μmの範囲)と、0.05μmから0.5μmの間、好ましくは、測定中の高分解能要件の故に0.05μmから0.15μmの間のそのような範囲である走査の対象物との間のサイズ関係が考慮される。この場合、これにより、対象物から検出デバイスまでに、10倍から100倍の間の範囲、好ましくは20倍から65倍の間の範囲、特に好ましくは40倍から65倍の間の範囲の実効的な系倍率が得られる。必要な高分解能を得るために浸漬液が使用される場合には、開口数は、1.4の領域内の値を採用することができる。試料が空気で取り囲まれている場合には、開口数は1を超えない値、厳密には0.95または0.9を超えない値に制限される。
像側NAは、対象物側NAを倍率で割った値、NA_image=NA_obj/Mとなる。
開口数NAと光学ユニットのf値(f#)は、f#=1/(2×NA)によって関連付けられる。
40および63の倍率と、0.95および1.4の開口数との場合、対応するf#は、14から33までの間の範囲になる。
好ましくは、ライトフィールドカメラは、たとえば、Raytrix GmbH、KielのRaytrix R12 Micro Seriesのライトフィールドカメラである。
異なる深度の対象物の像は、顕微鏡の異なる焦点設定に対応して、光照射野から再構築される。この純粋にデジタルの再焦点合わせは、取込みデータ記録の後の方の段で実行される。
本発明による分析器は、色情報RGBに加えて深度情報D(深度)もまた利用可能であるという点で有利であり;この深度情報は別の機能として、後続のコンピュータベースの評価中に色チャネルと同様に用いられる。
例として、細胞は、追加の深度情報に基づいてより容易にセグメント化され、すなわち、さらなる分析のために識別され、画像から切り出される。カラーコントラスト遷移に加えて、遷移がまた、高さプロファイルで細胞の縁部に生じ、これは容易かつ正確に検出され得る。
従来システムに関しこれまで存在している問題は、色像だけに基づいて細胞の縁部を確実に決定することである。というのは、ある閾値がこの目的のために通常用いられるが、この閾値は、前記閾値に到達するために特定の変化がすでに起きていなければならないので、系に起因して細胞内にすでにあるからである。したがって、細胞は通常、系統的に実際よりも小さく測定される。これは、ボリューム測定の場合に厄介であり、その場合、これを補正しようとする試みが、たとえば補間アルゴリズムによってなされる。対象物キャリアの背景はプロファイルが位置する平面を表すので、深度情報を提供および使用することで、これらの問題を容易かつ確実に解決することが可能になる。こうして、それに応じて、細胞縁部を高さプロファイルの故に幾何学的に決定するための知られている処理が適用される。
ライトフィールドカメラを使用して光照射野を取り込むことによって、たとえば血液塗抹標本または細胞の記録画像が、画像取込みの後にオフラインでなお再焦点調節される。まず、この記録画像を使用して、分類を目的とするセグメント化および識別のために、あるいは複数の焦点面の同時のセグメント化および分類のために、可能な最善の程度にまで細胞に焦点が合わされる。あるいは、ボリュームデータまたは3Dポイントクラウドもまた利用される。その結果、セグメント化および分類は、より高い精度で実現される。
たとえば細胞の画像がライトフィールドカメラを用いて取り込まれたならば、後の段階で、すなわちオフラインで、純粋にデジタルの手法で、各画像にくまなく焦点を合わせるという選択肢がある。コンピュータによる細胞の分類または評価が不明確な場合に、このことは、デジタル画像で直接細胞を見るという、かつ、最初に顕微鏡下の対象物キャリアを再び戻し、細胞を探し、次に焦点を変えることによって、より正確な評価および分類に取りかからなくてもよいという選択肢を医師に与える。細胞分析器と顕微鏡の座標系は互いに一致していないので、医師は、検査予定の細胞を顕微鏡におおよその位置の指定で前もって配置することしかできず、最終的には細胞を顕微鏡で探さなければならなかった。これは時間を浪費し、また検査所で実施されなければならない。しかし、ライトフィールドカメラのデジタル画像が本発明により利用可能であるならば、医師は、そのデジタル画像で直接、問題の細胞または構造にくまなく焦点を合わせることができる。
こうして、この評価および分類はまた、医師と画像または画像データベースとの間にデータリンクがあり、そのため前記医師がもはや検査所の対象物キャリアまで行く必要がない場合には、遠隔医療という意味でも可能である。
知見が不明確な場合には、本発明によってまた、同僚との相談が容易にもなり、この同僚には、たとえば電子ネットワークを介して、画像が分析のために送付され、または前記画像が利用可能になり;デジタルデータ送信の場合には、これは実質的にリアルタイムで実施される。血液細胞の取り込まれた光照射野像の評価および分類について、それぞれの医師は、クラウドソリューションの意味において、自分のデジタル端末その他に適切な分析ソフトウェアを必要とするだけであり、ライトフィールドカメラの画像がクラウドに記憶されることが可能であるだけでなく、評価もまた、たとえばウェブブラウザインターフェースを介して、クラウドベースのアプリケーションで実施することができる。
好ましくは、倍率は、試験対象物を走査するための光学分解能の要件から決定され、倍率の選択は一般に、必要な有効f値または開口数と関連付けられている。
横方向分解能は、好ましくは対物面で100nmである。この場合、倍率は、センサ要素の横方向寸法と共に次式の通りである。
M=センサ要素の横方向寸法/100nm
例として、この倍率は、血液細胞を撮像するのに特に有利である。
水、油、またはグリセリン浸漬の場合の光学顕微鏡の典型的な分解能限界は約100nmである。知られているカメラの画素寸法、たとえば4.5μmの場合では、必要な倍率は結果として45倍になる。この場合、アパーチャは、対物面のアパーチャを倍率で割った値(浸漬の場合には1よりも大きい範囲にあり、通常は1.2〜1.4)になり、すなわち、NAcamera=1.4/Mであり、たとえば、1.4/45=0.031となる。この場合、f値は、f#=1/2×NAからf#16となる。好ましくは、カメラのf値は、2.4、2.8、5.6、7.0または26.0である。特に好ましくは、カメラのf値のf#は26であり、倍率は63倍である。
カメラの画素寸法が2μmの場合には、対物面で求められる分解能に対して20×の倍率が好まれる。それゆえに、NAcamera=1.4/20=0.07であり、その結果、f値のf#は7になる。これは、多数の画素を備えた高解像度カメラチップが大きい視野を有効範囲に含むことができるという点、および、さらに光学系の費用を最小限にすることができるという点で有利である。
好ましくは、分析器は血液分析器であり、特に好ましくは自動血液分析器である。
好ましくは、医学的試料は細胞標本および/または医学的標本を含む。好ましくは、医学的標本は、組織切片、体分泌および/または体液の沈降物、および/または微結晶に関連する。
特に好ましくは、試料は血液試料であり、かつ/または細胞は血液細胞である。血液細胞の代わりに、試料は、好ましくは任意の型の人間、動物または植物の細胞とすることができる。このことは、非常に異なる細胞型を含む非常に異なる試料型を検査し特徴を調べることができるという点で有利である。
血液学に関するライトフィールドカメラと顕微鏡の本発明による組み合わせはさらに、たとえば位相差または微分干渉コントラスト(DIC)などの拡張コントラスト法として大幅に補完される。
好ましくは、顕微鏡は、振幅コントラスト顕微鏡および/または位相差顕微鏡および/または微分干渉コントラスト(DIC)顕微鏡である。
好ましくは、顕微鏡は微分デジタルホログラフィ顕微鏡である。
拡張コントラスト法および特にそのDICでは、試料、すなわち、たとえばこの場合は細胞、を通る光路における位相差を目に見えるようにすることが可能である。この場合、異なる位相値が、たとえば特に位相差の場合に異なる色によって表され、したがって、カラーカメラを使用して測定される。その結果、試料の染色を省くことが可能であるが、それにもかかわらず細胞を良好なコントラストで撮像することが可能である。自動細胞分類のための以前のシステムでは、細胞を染色することから生じる、また細胞内の異なる光の経路あるいは周囲の媒体から生じる振幅コントラストだけを使用した。
顕微鏡とライトフィールドカメラの本発明による組み合わせの結果として、細胞についての追加の3D情報が得られ、この情報は細胞を分類するために使用される。その結果、細胞の分類のための下記のデータが、選択された顕微鏡のコントラスト法によって得られる。例として、分類は、専門職医療スタッフおよび/またはコンピュータベースのシステムによって実行される。振幅コントラストの場合には、細胞についての従来の画像情報および追加の3D情報が利用可能である。位相差の場合では、細胞についての位相画像および追加の3D情報が得られる。DICの場合では、微分位相画像に関連するDIC画像、および細胞についての追加の3D情報が得られる。
本発明によれば、得られた細胞についての3D情報は、有利には、たとえば下記のように様々に表すことができる。
有利には、細胞の3D情報は、RGB画像によって表される。有利には、RGB画像は、いわゆる全焦点画像として、ライトフィールドカメラの被写界深度範囲全体にわたって合焦して撮像される。それゆえに、被写界深度範囲の増大の結果として、従来の2Dカメラと比べて、より多くの深度情報が取り込まれる。型および配列に応じて、血液細胞は約1〜2μmの厚さ、最大で約20μmまでの厚さを有する。NAが1.3、波長が500nmの場合の画像の被写界深度は、d=±λ/NA=±500nm/1.69=±300nmにすぎない。その結果、従来の2D画像では、細胞のどれもその全奥行きにわたっては合焦して撮像されない。被写界深度は、ライトフィールドカメラのプレノプティック効果によって少なくとも4倍増大される。その結果、細胞、たとえば特に赤血球(RBC)が完全に合焦して撮像される。加えて、たとえば白血球(WBC)などの大きい細胞は、細胞体積の実質的に大部分にわたって合焦して撮像される。
さらに有利な構成では、細胞の3D情報がRGB D情報として提示される。すべての画像ポイントが、Dと呼ばれる深度情報を含む。たとえば血液細胞が試料としてたとえば対象物キャリアに塗布される場合、Dは、たとえば血液細胞の厚さのことである。この情報は色情報を補完し、3Dポイントクラウドとも呼ばれる。
別の有利な構成では、細胞の3D情報は、容積測定3D情報として提示される。コンピュータ断層撮影デバイス(CT)の画像と同様に、空間画像情報がそのようにボクセルの形で現れる。細胞、たとえば血液細胞は、照射に対して少なくとも部分的に透過性であるので、細胞の異なる箇所で散乱照射を生成することができ、この散乱照射は、カメラによって取り込まれ、異なる深度に割り当てられる。
別の有利な構成では、画像スタックがライトフィールドカメラのデータ記録から計算され、この画像スタックは異なる焦点面で計算され、したがって容積測定情報を含む。ライトフィールドカメラの評価アルゴリズムでは、いわゆる仮想深度は、これらの面の間隔になる。あるいは、焦点面はまた、たとえば等間隔になるように選択されている異なる間隔値を用いて計算され、前記面のうちの1つが細胞の最大断面と一致する。
位相差による対照の場合、ライトフィールドカメラの画像は、対象物自体による振幅変調および輝度変調が位相リングでフィルタ除去されるので、位相効果によって生成された輝度変調だけに基づいている。この画像は、純粋な振幅コントラストのある画像に関して、ほとんど真の色画像である。
DIC対照の場合、ライトフィールドカメラの画像は、細胞を通過する異なる光の経路についての情報、したがって色符号化情報としての光の位相シフトを微分干渉コントラストとして含む細胞の画像に基づいている。このことは、細胞の色表現が微細構造を重ね合わせる点で有利であり、この微細構造は、深度情報を計算するときの高い横方向分解能に関して、ライトフィールドカメラの評価アルゴリズムの大きい助けになる。
有利な一構成では、RGBおよび白で4つまでのカラーチャネルが使用される。
有利には、照明のスペクトルは、可視範囲および/または近IRの波長を含む。
好ましくは、光源とカメラ(たとえばライトフィールドカメラ)との間にカラーバランスがある。さらに、露光時間および利得が、好ましくは2D画像用の3チップRGBカラーカメラに対し適合される。特に好ましくは、光源は、RGBおよびWならびに共通輝度制御部を備えた4LED光源を含む。
本発明のさらに好ましい実施形態では、対象物領域の対物面で画像を取り込むための別のカメラが分析器の顕微鏡に設けられ、この別のカメラは、ライトフィールドカメラの横方向分解能と等しいか、好ましくはそれよりも高い横方向分解能を有し、別のカメラの分解能はライトフィールドカメラの分解能の2倍、好ましくは3倍、特に好ましくは4倍である。
別のカメラは、好ましくはライトフィールドカメラよりも大きい視野を有する。これにより、より適切で速い試料のカバレッジが容易になる。
好ましくは、別のカメラ、好ましくは2Dカメラの焦点面は、ライトフィールドカメラのマーク付き面に連結される。例として、このマーク面は仮想深度に換算して測定される。このことが有利に達成することは、両方のカメラが良好な画像を同時に供給することである。
本発明の別の好ましい実施形態では、別のカメラはカラーカメラ、好ましくはマルチチップカラーカメラであり、特に好ましくは3チップカメラである。
このことは、高解像度カラーカメラ、たとえば高解像度RGBカメラとして高分解能が確保される点で有利である。このことは特に、原則として、深度分解能を計算するための情報を得るためにライトフィールドカメラが、横方向分解能に関して2分の1に、二次元分解能に関して4分の1に損なわれるので、特に有利である。その結果、この分解能の損失は、有利なことに完全に補償される。
マルチチップカラーカメラ、たとえば3チップカラーカメラの使用は、より適切な色測定、および特に、画素ごとの色決定が補間なしでも可能であり、ダイナミックレンジが大きく、細胞の分類に関してさらなる利点をもたらすという点で有利である。有利には、最良のS/N比を得るためにカラーチャネルのバランスが取られる。染色試料の場合では、たとえば、バランスを取ることは好ましくは染色プロトコルごとに別々に行われる。有利には、3チップカラーカメラは、チップごとに320万画素を備えた3チップCMOSカメラである。
3チップカラーカメラが、たとえば1チップカラーカメラよりも好まれる。というのは、1チップカラーカメラは通常、ベイヤーパターンを使用しているからである。血液分析器による、たとえば血液細胞の分析では特に、たとえば良好な色分解能および色忠実度に依存し、また良好な横方向構造分解能にも依存するので、この場合には3チップカメラの方が好まれる。高解像度カラーカメラは、露光がカラーチャネルごとに別個に最適化されるならば、たとえばRGB画像を高解像度で、また一般により良好な色調すなわちより正確な色調、および少ないノイズで供給する。3チップカラーカメラの場合には、色調は、画素ごとに直ちに、かつ補間なしで別個に決定される。
好ましくは、カラーカメラの色調は、引き続きさらにRGB表現からたとえばHSV表現へと色調、飽和度および輝度(値)が移され;これにより、たとえば、赤色が細胞内に均一に分布している赤血球を、別の処理または補完の処理として色調によって容易にセグメント化することが可能になる。この手法は、均一に同じ色調を有する、または同じ色で染色されているすべての細胞および構造に対して適切に機能する。有利には、このセグメント化は、細胞を可能な限り正確に切り出すための基準を得るために、深度値(D)として行われるものと組み合わされる。
2つのカメラの画像は、画像の各有効画素サイズが適切に一致しない、またはたとえば1、2、3などの整数係数で釣り合いがとれていない場合に、倍率変更および/または画素補間によって互いに有利に位置合わせされる。この目的のために、画像の横方向変位、ねじれ、傾斜、ひずみ、および/または光学ひずみ、および/または焦点はずれも、有利には原則として補正されなければならない。必要とされる範囲に画像が位置合わせされると、新しい画像データが計算され;これらにより、より高い横方向色分解能がライトフィールドカメラの画像からの深度情報と組み合わされる。この目的のために、カラーカメラの画像は、ライトフィールドカメラの評価された深度画像中の関連する焦点位置に配置され、その位置から、色表現したものおよび横方向分解能もまた、隣接する焦点面まで光照射野の伝搬として転送され、このことは、ライトフィールドカメラによって取り込まれたものから知られる。
ここで、この転送はたとえば、横方向の補間として、またたとえば色の対応表を介して実施される。あるいは、より複雑な転送がまた、たとえば位相回復と共にライトフィールドカメラによって測定されたデータに基づく真の伝搬計算として実行される。ここで、ライトフィールドカメラの評価画像面はサンプリング点としての役割を果たし、別の追加の点が隣接点として支持される。比較的正確で広範な補間が、光場および関連する計算された光学波面の適切な連続条件と共に1つのマーク付き面に基づいて可能である。
有利には、このより正確な、一般に非常に計算集約的である解決策は、たとえば顕著な画像領域において、知見が不明確な細胞についての、および/または病理学的な細胞についての精細な診断に用いられるが、リアルタイムの機能はあまり重要でなく、あるいは重要でない。例として、精細な診断はまた、たとえば、画像全体にわたって、あるいは複数の画像セクションだけで、たとえば個々のセグメント化細胞について、おそらくはこれらのまわりのいくつかの縁部領域に拡張されて実施される。
ビーム経路における配置に応じて、下記の、様々な、それぞれに有利な配置の変形形態が本発明によって提供される。
拡張コントラスト法を用いずに、染色された、または良好なコントラストを画像に与える細胞もしくは標本を測定する目的で、2つのカメラが顕微鏡で使用され、同時に動作する。生きている、または動いている細胞もしくは試料の場合、またはマイクロ流体細胞を使用する検査の場合、2つのカメラがまた画像を時間同期して記録すれば有利であり得る。
ここで、たとえば、2つのカメラが1つの顕微鏡で並行して動作することを機械的に容易にする、市販されている顕微鏡筒が利用される。ここで、たとえば、スペクトル分離、偏光分離などの分割比または分割法に関して適切に有利な手法で選択される、ビームを分割するための様々な方法がある。
拡張光学コントラスト法を必要とする染色されていない細胞の場合、システムの構造は、本発明によれば、システムのさらに好ましい技法的実施形態を場合により提供する。
好ましくは、ただ1つの偏光方向が色画像に使用される。この目的のために、カラーカメラおよびライトフィールドカメラの各ビーム経路を分離することが、対象物とDIC分析器の間、または別法として、対象物と対象物側DICプリズムの上流との間で行われる。
好ましくは、撮像側の光照射野の分割はすでに、DICプリズムおよびDIC分析器の下流で、2つの偏光成分が最大コントラストを得るためのたとえば1:1などの所望の強度比を有するように、分割の前に偏光を整合させる場合に照明モジュールで考慮されている。これにより、構造全体の効率を最適化し、高速測定に必要な露光時間を最小限にするように光損失を最小にすることが可能になる。
好ましくは、ビーム経路は、2つのカメラの撮像対象物とDIC分析器の間で、偏光中性ビームスプリッタを使用して分離される。この場合、偏光子はなお、前記偏光子がDICビーム経路の一方の偏光方向を可能な限り完全に遮り、他方の偏光方向がカメラまで可能な限り少ない減衰で進むことができるようにして、高解像度カラーカメラへのビーム経路に配置される。この偏光子は、透過または反射する形で機能することができ、あるいは、別々に偏光されたビームの空間分離をもたらすことができる。これには、偏光に依存する特別な調整の必要がない、設計があまり複雑ではない構造が得られるという利点があるが;この原理の故に発光エネルギーの約25%が失われる。
有利には、ライトフィールドカメラおよびカラーカメラの各画像は、互いに一致するように位置合わせおよび倍率変更され、それにより、ライトフィールドカメラの3D情報または高さ情報が、たとえばトポロジ画像に使用され、また同時に、カラーカメラからの色情報を使用し用いることが可能になる。
好ましくは、ライトフィールドカメラとカラーカメラは同時に取込みを行う。例として、この取込みは、適切なトリガによって実現される。トリガは、ハードウェアによって、さもなければソフトウェアによって実施される。トリガはまた、選択された第1のカメラから第2のカメラに対しても実施され、これはマスタースレーブ連結とも呼ばれる。画像が特定の時間参照と共に、理想的には同時に記録されることを機能的に保証する必要がある。カメラのハードウェアおよびソフトウェア、ならびにこれらのそれぞれの作動におけるあり得る待ち時間の結果として、トリガ信号自体が時間間隔を有し得る。同時に取り込むことは、たとえばフローセル内の動いている細胞、および/または生きている細胞もしくは試験対象物を取り込むときに特に有利である。
有利には、ライトフィールドカメラおよび高解像度の別のカメラの各画像は、画像領域のセクションにおいてのみ、たとえば、自動測定法で検査予定の試験対象物を認識または検出した領域でのみ、組み合わされる。こうすることは、それに応じて計算費用および計算時間が節減されるので測定速度の増加が実現されるという点で有利である。
ビーム経路の配置によっては、異なる構成が有利になり得る。
1つの有利な構成では、ただ1つの偏光方向が色画像に使用され、カラーカメラおよびライトフィールドカメラの各ビーム経路を分離することが、DIC分析器の上流でなお実施されるか、対象物側DICプリズムの上流ですでに実施されている。光照射野の分割は、DICプリズムおよびDIC分析器の下流の2つの偏光成分が最大コントラストを得るためのたとえば1:1などの所望の強度比を有するように、分割の前に偏光を整合させるときに照明モジュールで有利に考慮される。こうすることは特に、染色された細胞が撮像および分析されるべき場合に特に有利である。
別の有利な構成では、比較的厚い細胞または細胞クラスタを測定する目的で、カラーカメラが高分解能DICのために使用され、プレノプティックユニットが、色領域の特有のアンラップに対する拡張深度測定範囲に使用される。したがって、高分解能相対厚さ測定が、たとえば、統合される微分コントラスト情報の故にDICによって実施され、プレノプティックユニットによる相対的に大きい領域割当てがある。
染色されていない試料(たとえば細胞)の場合には、振幅コントラストは、ほとんど情報を含まないか、または全く情報を含まず、色画像は有利には、位相差またはDICコントラストにしか使用されないが、位相差またはDICコントラストは、画素ごとの真の色分離によって横方向分解能が高い。
有利な一構成では、ライトフィールドカメラと、有利にはカラーカメラを含む高解像度カメラとは、センサアレイの軸方向に対して互いに位置合わせされ、有利にはまた、アレイの軸方向に沿ったサブ画素精度シフト、および/または、たとえばx軸および/またはy軸の、方向に依存する倍率変更係数に対して互いに位置合わせされる。
1つの有利な構成では、高解像度カメラの焦点位置は、ライトフィールドカメラの中心測定領域に設定される。こうすることは、ライトフィールドカメラがまた、自動焦点システムと同様に手順通りに使用することもできるという点で有利である。
ライトフィールドカメラの達成可能な深度分解能は、実効f値のf#がより小さい場合に高まる。すなわち、7のf値は、26のf値よりも大幅に有利であり得る。小さいf値は、像側アパーチャが大きいことを意味する。対象物側アパーチャは、生物学的試料では典型的な浸漬の場合で1.4に制限されるので、NAcameraに対する最大像側アパーチャは1.4/Mになる。
有利には、顕微鏡の対象物は、実用f#の全アパーチャを像側で照明するために全撮像アパーチャによってすでに照明されており、それにより、ライトフィールドカメラは適切に機能し、細部にわたる横方向走査を提供することができる。最も好都合の場合はNAillumination=NAobjectiveである。これはまた、非干渉性照明とも呼ばれ、Σ=σ=NAillumination/NAobjective=1である。
本発明による自動分析器の有利な一構成では、非干渉性照明Σは、顕微鏡で、0.8よりも大きく、好ましくは0.9よりも大きく、特に好ましくは1.0であり、Σは、試料の照明の開口数と対象物の開口数の比として与えられ、顕微鏡は、好ましくは微分干渉コントラスト(DIC)顕微鏡である。
血液学では、このσ=1、またはσ>0.8、またはより望ましくはσ>0.9は、非常に重要である。というのは、血液細胞は弱く散乱する対象物であり、その結果、アパーチャが、ライトフィールドカメラのマイクロレンズアレイでさえも、光で十分に満たされるからである。
以前に、Σ=0.7であるケーラーによる照明が、コントラストを最適化する目的のために光学顕微鏡で、特に目視観察用に、しかしまたカメラの場合にも、一般に使用された。しかし、これにより、アパーチャがこの場合には光で十分に満たされないことになり、その結果、深度決定が非常に正確にはなり得なかった。さらに、空間分解能の大部分が、画素が完全に照明されないために失われることになる。このことは、使用される画素の数が画像の計算のためのΣの値と共にほぼ二次的に増加し、σ=1のときに完全な検出器分解能に近い最大値に達するということと連結する。
本発明による分析器の有利な一構成では、分析器は、対象物キャリア用の試料供給機器を含み、これによって対象物キャリア上の試料が分析器に供給される。
本発明による分析器の有利な一構成では、分析器は、試料を供給するためのフローセルを含み、顕微鏡の対象物面が好ましくはフローセル内にある。好ましくは、フローセルはマイクロ流体フローセルである。
このことは、細胞または血液細胞が自然な環境中で撮像および分析されるので特に有利である。特に、細胞を塗抹標本の形で対象物キャリアに塗布すると、細胞が乾燥および/または汚染されることが多く、そのために細胞の元の天然の特性、たとえば形状などを著しく変えることがあるが、その必要性を回避することが可能である。さらに、塗抹標本の作成および染色のための対応する調製費用をなくすことが可能であり、たとえば塗抹標本のための対象物キャリアおよびカバースリップをもはや消費しない結果として、かなり多くの浪費が回避される。同様に、塗抹標本および消耗品に関する収納容量がもはや必要とされない。分析器のシステムレベルでは、塗抹標本を自動的に交換するための機器が、とりわけデバイス構造の大幅な簡略化を容易にすることによって、省かれる。
フローセルの使用可能な層は通常、1マイクロメートルを超える、場合により数10μmもの厚さを有するので、検査に使用される顕微鏡光学ユニットの対象物面に細胞を正確に位置付けることが困難である。この点において、一方では高分解能に対する要望と、他方では光軸の方向に細胞を位置付けるほど精密ではないこととの相反する関心事がある。
好ましくは、ライトフィールドカメラの深度測定はこの場合、たとえば焦点をこのように適切に設定するために、ここではマイクロ流体システムの作動パラメータを最適化する目的を満たすことができ、それにより二次元高解像度画像でさえも合焦している。露光および3D画像もまた、複雑で込み入っている、かつ一部には時間的および/または空間的に干渉性の照射による作用の結果としての外乱がある干渉計を用いずに(DHMの場合のように)、付加価値を提供する。
横方向分解能は、δ=0.5λ/NAという関係によって、光学ユニットの開口数NAが増大することで改善する。次に、被写界深度は、d=±λ/NAにより、開口数と共に小さくなる。波長500nmおよびNA=0.7では、概して2μmの被写界深度が得られ、これは、たとえば赤血球の厚さにほぼ相当する。
従来のデバイスでは、作業は、NA=0.5のアパーチャを備えた光学ユニットを使用して行われ、このNAはこの場合、500nmにおいて概してd=4μmの被写界深度に対応する。NA=0.5によって、実現可能な横方向分解能はδ=0.5μmに制限される。したがって、開口数を選択することによって横方向分解能と被写界深度のバランスを取るには、相応の妥協をすることが以前は必要であった。前述の関係は、現在の理論による光学計器の分解能について表している。
対応するライトフィールドカメラを用いた本発明による自動分析器により、深度測定範囲、すなわち画像が合焦して記録される領域が、約4倍〜約6倍に増大することが可能になる。これとは対照的に、ライトフィールドカメラの横方向分解能は2分の1に減る。
しかし、倍率およびアパーチャは、使用する光学ユニットを選択するとき互いにほとんど独立して選択されるので、この影響は適切に補償される。例として、高い倍率および大きいアパーチャが選択される場合、その影響はそれに応じて積極的に利用される。
例として、60倍から80倍の倍率、およびNA=0.7のアパーチャが選択される場合、500nmの波長に対しておおよそ次の値が得られる:NA=0.7、δ=0.36μm、被写界深度d=1.05μm。プレノプティックカメラによる深度動作範囲を増大する効果によって、d=5.25μmという増大した被写界深度に対する値が、ほぼ5倍に増加するという想定のもとで得られる。
例として、60倍から80倍の倍率、およびNA=0.9のアパーチャが選択される場合、500nmの波長に対しておおよそ次の値が得られる:NA=0.9、δ=0.28μm、被写界深度d=062μm。プレノプティックカメラによる深度動作範囲を増大する効果によって、d=3.10μmという増大した被写界深度に対する値が、ほぼ5倍に増加するという想定のもとで得られる。
したがって、本発明により、細胞分析器にライトフィールドカメラを使用することで、深度動作範囲が大幅に増大することが可能になり、それに応じてフローセルの使用が容易になる。特に、細胞の広がりのより完全な検出または完全な検出が、フローセル内のフローの高さにわたって容易になる。特に、このことにより、通常は染色されない細胞の精密検査が容易になる。しかし、いくつかの検査では、マイクロ流体システムの媒体中の細胞が染色されることが有利である、または必要であることもある。
別の利点は、焦点合わせおよび/または細胞の相対位置に関するフローセルのパラメータが別のパラメータ範囲にあること、ならびに、たとえば対応する空間最適化を省くことができることである。
好ましい一構成では、顕微鏡の視野は、細胞が流れることができるフローセルの全幅を含む。有利には、この範囲は、数1/10mmから数mmの幅を有する。
自動分析器の好ましい一実施形態では、分析器は、細胞を載せた対象物キャリアを見ることができるようにする、および/またはフローセル内の細胞を見ることができるようにする、両方の手段を含む。ここで、フローセルの寸法は、対象物キャリアの寸法に、特に厚さに、それゆえにその光学的効果に、有利に一致する。フローセルのカバー(すなわち、カバースリップおよび、場合により、細胞の領域または平面とフローセルの外面との間に位置している流体媒体もまた)は、たとえば光路長、散乱および/または屈折率に関して、同じ光学ユニットが使用され同じ最善の可能な撮像品質が存続するように、有利には同様に同じ光学効果を有する。好ましくは、たとえば製造公差に適合するために、再焦点合わせがあり得る。典型的なカバーガラスの厚さは、0.2mm未満の範囲、通常は0.15から0.17mmまでの間の範囲にある。例として、対象物キャリアの横方向寸法は、DIN ISO 8037−1に従って、たとえば76mm×26mmまたは75mm×25mmであり、厚さが1mmから1.5mmまでの間の範囲にある。この場合、フローセルの寸法は、有利にはそれに応じたものになる。
好ましい一構成では、顕微鏡の撮像領域のフローセル内の細胞の動き速度は、使用される画像取込みシステムの露光時間と整合している。ここで、動きは通常、1/2画素(pxl)未満、好ましくは、1/5pxl未満、特に好ましくは1/10pxl未満である。このことは、動きぼけ効果が低減される、または完全に回避される点で有利である。
本発明による分析器のさらに有利な一構成では、分析器は、対象物キャリア用の試料供給機器を含む。この機器は、特に、たとえば、組織切片または他の医学的標本が検査されることが意図されている場合に有利であり得る。
本発明の別の主題は、本発明による分析器によって細胞についての二次元または三次元の情報を確認するための方法に関し、この方法は:
a)細胞付きの試料を顕微鏡に供給する工程と、
b)照明された試料中の細胞から発する光ビームをデジタル記録デバイスによって記録する工程と、
c)顕微鏡で撮像された光照射野を対象物領域からライトフィールドカメラによって撮像する工程であって、ライトフィールドカメラがデジタル記録デバイスを含む工程と、
d)細胞についての二次元または三次元および/または容積測定の情報を、工程b)で記録された光ビームの情報および/または工程c)で撮像された光照射野の情報により確認する工程とを含む。
有利には、工程b)とc)はまた、連結されて1つの工程を形成し、この工程はその場合:
顕微鏡で撮像された光照射野を対象物領域からライトフィールドカメラによって撮像する工程と、
照明された試料中の細胞から発する光ビームをデジタル記録デバイスによって記録する工程とを含み、ライトフィールドカメラはデジタル記録デバイスを含む。
工程b)で、好ましくは、照明された試料中の細胞から発する光ビームは最初に焦点が合わされ、次にデジタル記録デバイスによって記録される。好ましくは、光子が電荷に変換され、その次が、電荷量の決定および電荷量の値のデジタル化である。
細胞の代わりに、医学的標本についての二次元または三次元の情報もまた好ましくは、それに応じて確認される。
好ましくは、試料は、工程a)でフローセルによって分析器に供給され、顕微鏡の対象物面はフローセル内にある。好ましくは、フローセルは、フローセルの適切な作動としてフローセル内のマーク付き面に細胞が堆積することを可能にする手段を含む。好ましくは、対象物面は、対象物面とマーク付き面が有利に一致するようにマーク付き面に設定される。
好ましくは、工程a)で、試料は、対象物キャリア用の試料供給機器によって対象物キャリアに載せて分析器に供給される。
好ましくは、この方法はさらに、対象物領域の対象物面の画像が、対象物領域の対象物面の画像を記録するための別のカメラによって提供される工程を含み、この別のカメラは、ライトフィールドカメラの横方向分解能よりも高い横方向分解能を有し、この別のカメラの分解能はライトフィールドカメラの分解能の好ましくは2倍、特に好ましくは4倍であり、また別のカメラは、好ましくはライトフィールドカメラよりも大きい視野を有する。
好ましくは、別のカメラはカラーカメラ、好ましくは3チップカラーカメラである。
好ましくは、細胞および/または医学的標本は染色されない。この場合、たとえば位相差および/または微分干渉コントラストなどの拡張コントラスト法が特に有利であり、特に細胞を撮像するのに有利である。場合により、振幅コントラストもまた、たとえば沈降物または他の試料の場合には有利であり得る。
この方法の好ましい一構成では、方法はさらに:
e)顕微鏡の光軸に沿って、工程d)で確認された、細胞の二次元および/または三次元および/または容積測定の情報によってデジタル再焦点合わせまたは焦点変化を実行する工程を含み、好ましくは、デジタル再焦点合わせはコンピュータ支援で、かつ/または数値的な手法で実施される。
このことは、本発明により提供される再焦点合わせまたは焦点変化が、血液学において遠隔測定による知見を初めて促進するという点で有利である。その結果、たとえば別の場所の専門家との協議を介しての知見、あるいはそれに続く知見が促進される。この促進を、標準治療による確立された高品位の知見と共に実行できるようにするために、引き続き検査することに、または相談を受ける医師に、細胞面にくまなく焦点を合わせるための選択肢を提供することが必須である。
従来技術では、問題の関連細胞を載せた対応する対象物キャリアは、たとえばラック、収納箱または保管庫から前もって物理的に取り出され、次に顕微鏡下に配置され、画像は、それぞれの場合でそれぞれの細胞に焦点が合わされた。次に、対象物キャリア上のそれぞれの細胞の位置に関する相対的に不正確な空間情報に基づいて、それぞれの細胞を再び見つけることが試みられた。細胞が再び見つかった場合には、知見が得られる。知見自体を得るために、医師は細胞の光学画像を分析し、通常はまた、細胞にくまなく焦点を合わせる。したがって、これまで知られているシステムおよび方法は、詳細な後続の知見を得るには適していないか、適性が非常に制限されている。というのは、細胞画像が一旦取り込まれると、医師はもはや細胞画像にくまなく焦点を合わせることができず、それゆえに、知見を得るのに重要である深度情報がもはや入手可能ではないからである。
したがって、本発明の利点は、デジタル的に記憶された画像について、いつでも、続けてさえも選択できる、別々の焦点面での自由に調整可能な焦点合わせを医師に提供するように、細胞画像を三次元画像として取り込むことにある。この場合、医師はもはや、自分自身が顕微鏡のところに座る必要がなく;その代わりに、この方法が、試料とは空間的および時間的に無関係に行われる。画像は純粋にデジタル形式で入手できるので、これまでに最も一般的な、保管試料が時間を経て老化し、その状態が劣化する手順とは対照的に、データには、画像が取り込まれてから経過した時間にわたって劣化がない。それぞれの次の知見を得るには、試料は再び顕微鏡に挿入されなければならず、また浸漬油が塗布されなければならない。知見が得られた後、試料は再び洗浄されるが、これもまた損傷につながることがあり、また全体として、ある一定の時間的な費用になる。
複数の細胞が1つの画像中に位置する場合には、別の利点が、それぞれに撮像された細胞の各個別の細胞に対して焦点が引き続いて設定され、それに応じて変えられる、ということにある。
この方法の別の好ましい一構成では、方法はさらに:
f)所定の情報と、工程d)で確認された細胞についての二次元、三次元および/または容積測定の情報とに基づいて、細胞を1つの細胞型に割り当てる工程を含む。
このことは、細胞を1つの細胞型に自動的に割り当てることが、エラーにあまり影響されない特に確実な手法で行われるという点で有利である。
本発明の別の主題は、細胞を1つの細胞型に割り当てる方法に関し、この方法は、その細胞についての二次元および/または三次元および/または容積測定の情報を確認するための本発明による方法を含み、工程a)からd)が第1の場所で実行され、工程d)で確認された情報がデータ接続および/またはネットワーク接続を介して第2の場所へデジタル的に転送され、工程e)およびf)が第2の場所で実行される。
本発明の主題はまた、細胞を1つの細胞型に割り当てるための対応する方法にも関するが、その細胞についての二次元または三次元および/または容積測定の情報は、その細胞についての二次元または三次元および/または容積測定の情報を確認するための他の任意の適している方法に基づいて確認される。
このことは、これにより血液学の遠隔医療が可能になるという点で有利である。例として、これにより、他の場所の専門家からの協議による知見が可能になる。その結果、記録された細胞の精細な診断もまた、遠隔焦点合わせによって行われる。さらに、これにより、データベースの診断を検証するための後に続く分類または逆の分類についての、第2の医師の協議が可能になる。例として、これはまた、医師が遠隔機能を介して、また3D画像を用いて知見を得ることによって、より容易に、より効率的に世界中で編集できる、特殊で、特に、まれな病状についてのグランドトルースデータ記録の確立にもつながり得る。
有利には、クラウドサーバデータ記録中の検証された知見が、特に病的症例に関する訓練データ記録を自動的に拡張するために用いられる。
有利には、世界的な学習システムが確立される。これにより、非常にまれな臨床像についてさえ、比較的大規模なデータ記録をできるだけ迅速に編集することが可能になる。この場合、これらのデータ記録は有利にはまた、最終的に、より広範で検証されたベースが細胞の自動評価および/または自動割当てにも利用可能になるように、自動コンピュータ学習アルゴリズムにも使用される。
有利には、患者データはまたデータベースに、利用可能に保持される。このことは、取り込まれた血球数に関する初期のデータ記録もまた、後の段階で生じる臨床像について分析され、これにより、注目すべき問題を調べることが可能になり;たとえば血液学の場合、これにより、白血病の、非常に初期の発症段階の、または徴候の、発見もしくは特定が可能になるという点で有利である。このデータがシステムによって学習されると、細胞画像がコンピュータによって有利にあらかじめ評価されるので、この分析は自動的に、かつ追加費用なしで画像に適用される。
好ましくは、細胞および/または試料は、3D表示デバイスによって、好ましくは、たとえば自動立体視3D表示によって、提示される。これにより医師に、細胞の新規の3D視覚印象および/または検査予定の試料が提供されることが可能になる。特に、この利点はまた、本発明によれば、遠隔医療でも得られる。
有利には、ライトフィールドカメラからの画像データには、コンパクトなデータフォーマットが使用される。画像データは、好ましくは圧縮される。これにより、必要な記憶空間を可能な限り小さく保つことが可能になり、それによって多くの患者データ記録の記憶が可能になり;これらのデータはその後、たとえば、自動医学の意味におけるコンピュータ学習システム用にもグランドトルースとして、および/または医師向けの有用な援助システムとして、使用される。
有利には、知見の画像およびデータを記憶するための、また有利には、人(たとえば医師)、時間およびシステムに関連する拡張データを保管するためにも、クラウドソリューションおよび/またはサーバソリューションの使用があり、この拡張データは、関連する細胞の知見の背後の構成またはソフトウェアバージョン、あるいは関連する試料が患者から取得された時および場所、ならびに検査所までの輸送についての情報を含む。あるいは、この情報は、リンクを介して別の記憶システムにも好ましくは提供される。有利には、知見の時間もまた、それに対応して記憶される。
本発明の別の主題は、細胞をデジタル的に染色する方法に関し、この方法は、本発明による分析器によって細胞についての二次元または三次元の情報を確認するための本発明による方法を含み、さらに以下の:
g)細胞についての二次元もしくは三次元および/または容積測定の情報と、細胞内の、対応する細胞および/または構造の、染色プロトコルによる染色との間の所定の割当てに従って、細胞をデジタル的に染色する工程と、
h)デジタル的に染色された細胞の画像を表示する工程とを含む。
好ましくは、医学的標本は、それに応じて細胞の代わりに維持される。
有利には、細胞についての二次元または三次元および/または容積測定の情報は、細胞または医学的標本の構造についての幾何学的情報である。
ここで、二次元情報とは、領域を表しそこに広がるX方向およびY方向の横方向座標において対象物領域を平面画像として画像化する、たとえば画像情報を意味すると理解される。二次元画像の個々の画像点もまた画素と呼ばれる。
ここで、三次元画像情報とは、たとえば、その画像がさらに、平面画像情報に加えて少なくとも1つの画像点への画像化ビーム経路の軸方向の深度情報(すなわち、たとえば、X方向およびY方向から線形独立しているZ方向の深度情報)も含むことを意味すると理解される。三次元画像情報の一例は、たとえば、z方向の対象物のトポグラフィを生成する輪郭画像であり得る。
例として、容積測定情報は、X方向およびY方向の平面領域にわたって、Z方向の異なるZ値についての情報も含む画像を指す。例として、X軸、Y軸およびZ軸はそれぞれ、ボクセルとも呼ばれる小さい容積要素になるように、同じサイズ単位で分割される。ボクセルとして記述される画像情報は、一種の容積測定情報になる。例として、容積測定画像データは、トモグラフィに使用される。ボクセル情報が数個の画像点またはボクセルについてしか得られない場合、情報はまた、いわゆるポイントクラウドの形でも提示され、この場合、それぞれの点が、たとえばX座量、Y座標およびZ座標として表される。容積測定情報は、三次元画像情報を拡張表現したものであり、より複雑に構造化された対象物の場合には特に有益である。
二次元、三次元、および容積測定の情報を含む画像データを明確に解釈するためには、座標系(たとえば、デカルトまたは円筒)と、基礎をなす座標系を定義するするために使用される座標軸の方向とを知ることが一般に必要である。
さらに有利な構成では、二次元または三次元および/または容積測定の情報は、たとえば組織切片の細胞小器官および/または幾何学的構造などの細胞内構造に関する情報である。光路長に関する情報は一般に、幾何学的情報とは直ちに一致せず、したがって、この点において光路長は幾何学的情報ではない。
好ましくは、染色プロトコルは、メイ・グリュンワルド・ギムザ染色プロトコル、修正ライト染色、ライト・ギエンマ染色および/またはロマノフスキー染色である。
好ましくは、前述の染色プロトコルのいずれか1つによる色分布が、細胞のデジタル染色中に適用される。好ましくは、技法的コントラストの画像が白黒から、または拡張コントラスト法に従って、コンピュータ学習によって決定された色特性により再着色される。この目的のために、3Dおよび/または容積測定の情報が好ましくは使用される。というのは、この方が、純粋な2Dカラーマッピングを使用することに対して有利であるからである。
細胞をデジタル的に染色するための本発明による方法は、細胞のデジタル染色がデジタル画像の後の方の段階で実施されるという点で有利である。これにより、試料調製の範囲内でスライドを染色する追加工程が省かれる。これは、時間およびコストの面で大幅な節減になる。さらに、これにより様々な検査所および地域間の差異が回避される。このことにより、デジタル染色の範囲内で、所望の着色のための染色プロトコルあるいは別の地域で慣例的な別の染色プロトコルを実施するときに、検査所間の差異を考慮に入れることと、それぞれの医師にとって慣例的なものによってこれらのプロトコルを実施することとが、実際の血液または組織の検査の場所とは独立して、初めて可能になる。
さらなる利点が、たとえば特定の病理に対してより特異的になるように、異なる染色モデル間の切替えが実施可能なことにある。
有利には、染色プロトコルは人工色モデルであり、これはたとえば、医師が発見をしやすくするために、さらには経験不足の医師がたとえば診断することを可能にするために、特定の重要な機能を強調する。ここで、人工色モデルは、色画像として表される技法的画像の(たとえば熱画像またはIR画像のような)疑似色表現と同様に構成される。すなわち、1つの同じ細胞についての知見の中でさえも、染色モデルは容易に切り替えられ;これは、従来の化学染色の場合では不可能である。
好ましくは、様々な部類に割り当てられた細胞は、異なるようにデジタル的に染色される。有利には、現在のところ考慮すべきではないすべての細胞が画像からマスクされる。好ましくは、別法として、選択された別の細胞群の組だけが提示される。
好ましくは、細胞についての3D情報が、場合により位相差またはDICなどの拡張コントラスト法とも組み合わせて、省かれた直接染色についての省かれた色情報を3D情報と置き換えるために用いられる。これにより、非染色画像についての、それに対応して学習された情報を、可能な限り頑健に、またエラーの影響をあまり受けないようにして色情報に変換することが可能になる。
好ましくは、細胞についての二次元もしくは三次元または容積測定の情報と、対応する細胞および/または細胞内の構造の染色プロトコルによる染色との間の所定の割当ては、下記のように学習段階で確認される。
この目的のために、細胞は、染色しない第1の画像として最初に撮像される。続いて細胞は、それぞれの所望の染色プロトコルに従って染色される。次に、染色された細胞は、第2の画像として撮像される。その後、細胞は識別され、第1および第2の画像中でセグメント化され、それに応じて、非染色細胞および染色細胞がそれぞれ割り当てられる。
有利には、細胞は、たとえば赤血球(RBC)、白血球(WBC)(場合により5分類を含む)の細胞型によってグループ化され、かつ/または、たとえばコンピュータ学習および/またはニューラルネットワークによって分類される。
次の工程で、細胞群のそれぞれについて互いに別々に、染色の特性のコンピュータ学習があり、続いて、個別のデジタル染色処方が非染色細胞に対して、有利には細胞群ごとに別々に生成される。
デジタル染色処方を検証するために、染色が次に非染色細胞に適用され、染色された細胞と求められているデジタル的に染色された細胞の間で可能な限り類似している外観との比較が、実際に染色された細胞に対するデジタル染色の結果の評価を含めて、ある。有利には、この結果が次に、所定の品質基準に基づいて、かつ/または最大許容残留偏差によって評価される。医学の範囲内で常にまさしく決定的である色忠実度の問題の故に、色偏差もまた、たとえば、表示装置および表示デバイス用のDICOMに記載されているように、外部参照標準に対して評価される。この標準は、この用途向けには書かれていないので、評価は場合により、同様に転送および適用されるだけである。それに応じて染色モデルは、個別に、または染色プロトコルおよび細胞群ごとに対象を絞って、作成、検査および記憶される。
好ましくは下記の手順が、細胞をデジタル的に染色するために実行される。最初に、所望の染色プロトコルが選択され、非染色細胞が第1の画像として撮像される。細胞が第1の画像内でセグメント化される。次に、細胞固有の染色モデルの選択のために、細胞群への細胞の割当ておよび/または細胞型の決定がある。細胞は、次の工程で染色される。その後、たとえば血液塗抹標本の、デジタル的に染色された画像が出力ユニットに表示される。
有利には、同じ非染色画像が、それぞれの地域で慣例的な適切な染色法を用いて染色される。これにより、別の形式の染色に慣れている専門家による、1つの試料についての共通の知見が与えられる。
たとえば別の血液塗抹標本を作成するために、元の血液試料がなお存在しているかどうかに関係なく、それぞれの染色プロトコルの交換もまた、いつでも可能である。デジタル再染色の別の大きな利点は、1つの同じ細胞が様々に染色できることであり、これは、実際の細胞の化学染色の場合では不可能である。このことはまた、たとえば、各染色プロトコルアプリケーションのこれまでの境界を越える、領域全体にわたる協議を可能にもする。完全にデジタルの手法で入手できる情報の故に、以前の問題部分もまた、たとえば長い時間をかける試料の漂白のように不必要になる。
さらに、これにより、元の知見の時点では未知であったか応じられなかった特定の患者の、あり得るその後の検査の範囲内での各染色プロトコルの適用が可能になる。これにより、既存の試料またはその画像にも当てはまる、標準治療に関する医学の進歩が可能になり、またこのことが、それ相応に高品質の知見につながる。
以前には、血液塗抹標本は、血液塗抹標本中の細胞が顕微鏡で、および医師による観察で十分によく見えるようにするために、先行する複雑な工程で染色され、したがって前記細胞は高解像度光学顕微鏡を使用して分析することができる。この方法は従来のものであって、何十年間も確立されていた。世界中で、たとえば、メイ・グリュンワルド・ギムザ染色プロトコル、修正ライト染色、ライト・ギエンマ染色および/またはロマノフスキー染色などの様々な染色プロトコルが、この点において確立されてきたが、いくつかの検査所ではその要望によって染色をいくらか適応させたので、1つのプロトコルの中でさえも検査所特有の差異が生じ得る。これにより、血液塗抹標本の分析結果の比較可能性が制限されることになる。というのは、特に、自動分析および血液塗抹標本の分類の範囲内で、同じプロトコルに従って染色された細胞しか互いに容易に比較することができないからである。以前に使用された手順の別の不利点は、染色が、塗抹血液試料に対し約10〜15分の塗布時間を必要とすることである。これは、急性の臨床像に関する分析の場合には非常に不利になり得る。
本発明による細胞のデジタル染色は、好ましくは、本発明による分析器にデジタル的に取り込まれた、好ましくは非染色細胞の画像に関する。この場合、細胞のこの画像は、医師が慣れている、別の従来の染色プロトコルに従って染色された細胞に対する手法で、後処理の範囲内で染色される。
好ましくは、細胞を染色するために試料に染料を供給することは、可能な場合、少なくとも前記試料が一度撮像される前には回避されるべきである。
好ましくは、本発明によれば、別の染色プロトコルが、たとえば前記染色プロトコルの詳細がそれぞれの細胞型に特によく適合するので、別の細胞型のための新規のデジタル染色を用いて選択される。したがって、医師または血液学者または病理学者は、個人的な染色計画を作成することもでき、この計画の中では、特定の染色が1つの細胞型に割り当てられ、スライドごとに1つだけの染料というこれまでの制限が完全に破棄され解除される。この「個別」染色への拡張として、一般的なデジタル染色プロトコルもまた有利に得られ、前記染色プロトコルではさらに技法的色空間が、機能および構造のより良い識別可能性のために利用される。各染色工程で、化学染色は通常、1つの染料として実質的に機能し、この染料は、適合性の各結合可能細胞構造体に異なる量で蓄積する。蓄積する染料が多ければ多いほど、それぞれの染料の吸収スペクトルに応じて、その照明光のスペクトルからより多くの光が吸収される。したがって、透過画像は、染料の色値(V)に対して高い彩度(S)を含む。この効果は、細胞構造体の異なる部分に結合する複数の染料が染色プロトコルの中で同時または順に塗布される場合には、重なり合う。各染料は次に、蓄積した染料の量に応じて、その特定の色値Vに対する彩度値Sを変化させる。変えられる色値Vの数値は、染料の数およびその特定のスペクトル特性によって制限される。医学における典型的な染料は、たとえば、緑または黄のスペクトル範囲の色値が実質的に変化しないままになるように、赤−青の範囲にある。有利には、デジタル染色は、より明確な色分離と、光学スペクトル内のより広いカバレッジとの両方を備えて機能することができる。
しかし、検査によっては、染料および/または薬剤添加物および/または化学添加物の付加を完全に省かないことが有利であり得る。例として、網状赤血球の場合では、染料には、純粋な色彩効果に加えて、細胞内でなお利用可能なRNAを凝集させ、それによって、後者だけを顕微鏡で撮像可能および対比可能にするという望ましい副次的作用がある。非凝集RNAは、従来の光学顕微鏡を使用して分解可能なものよりも寸法の点で小さい。
本発明の主題は、拡張光学コントラスト法を用いて画像を取り込むために有利に装備されている光学顕微鏡に基づいている。これらの拡張コントラスト法の例としては、たとえば位相差(PC)、微分干渉コントラスト(DIC)、偏光コントラスト(POL)、干渉分光法(好ましくは、デジタルホログラフィ顕微鏡(DHM)としての実施形態で)、ハイパースペクトル撮像(拡張スペクトル範囲、たとえば、UV、VIS、NIR、MIRおよび/もしくはFIRまたはこれらの選択された部分の、純粋なカラーコントラスト)、および/または構造化照明(たとえば、好ましくは瞳面に設定された、所定の強度分散および/または位相分散を含む)を挙げることができる。
好ましくは、別のコントラスト法が顕微鏡システムに、特にこれらの方法がたとえば互いに相互作用なしで使用できる場合に、並行して使用可能である。さもなければ、別のコントラスト法が好ましくは時間的に連続して実行される。別のコントラスト法が時間的に連続して実行されるならば、マイクロ流体システムとの組み合わせの場合には細胞が画像間で動くので、それぞれの軌道を追跡するために、粒子画像流測定(PIV)が本発明により好ましくは提供される。これにより、別々のモダリティで得られた色情報が、細胞ごとに再び正しく一緒になることが可能になる。好ましくは、PIVはまた、細胞の回転を含み、有利には焦点ぼかしも含む。
拡張コントラスト法によって、試料は、たとえば、干渉(たとえば、DICまたは偏光)によるカラーコントラストを備え、この場合、このカラーコントラストは、細胞の構造体の良好な解像度をデジタル画像で確保し、かつ/または細胞の良好な対照化を容易にする。
本発明によれば、3D情報がまた、振幅または強度情報に加えて、かつ場合により色情報にも加えて利用可能である場合には、特に有利である。3D取込みのためのライトフィールドカメラの画像はまた、容積測定および/またはトモグラフィのデータとしても利用可能であり得る。本発明によれば、この3D情報はまた、後に続く、取り込まれた画像の純粋な焦点ぼかしも可能にする。この文脈では、このことは、医師が自動分類を検査できるようにするために、ならびに病理的または顕著な細胞の明確かつ確実な評価のために特に有利である。
本発明によれば、新規の染色モードは、好ましくはデジタル染色の範囲内で提供され、現在表示されている染色は、たとえば焦点面の下に位置する細胞の領域に依存するだけである。これによりさらに、医師の3D深度感覚を改善することができる。別法として、現在の焦点面の上だけの領域、あるいは特定の焦点面のまわりの一定の調整可能な層厚さの中の領域を使用することもできる。
したがって、本発明によるデジタル染色では、本発明によるシステムのうちの1つを使用して顕微鏡で取り込まれた画像が次に、染色細胞が従来の顕微鏡を使用して記録されたならばおそらくそのように見えたように後処理される。実施目的のために、多数の細胞を含む一定の数の非染色試料が、染色プロトコルごとに新規のシステムで取り込まれる。細胞は、比較目的のために手動的または自動的に画像中で識別されセグメント化される。次に、同じ試料が所望の染色プロトコルを用いて染色され、同じ細胞が次に、顕微鏡を使用して再び取り込まれる。ここでは、顕微鏡が良好な色忠実度と、カラーカメラ、特に好ましくは最良の可能な真の色の画像取込みのために最適化されているカラーカメラとを有することが重要であり、前記カラーカメラはまた、場合により、たとえば医学のDICOM標準に準拠する特定の試料または較正手順を用いて較正されている。
典型的なカラーカメラはベイヤーパターンを有し、このパターンでは、画素の50パーセントが主として緑色に対する感度が高く、画素の25パーセントが主として青色に対する感度が高く、画素の残りの25パーセントが主として赤色に対する感度が高い。各画素のRGB値に関しての完全な色情報を得るために、対応する色の隣接画素の色値は、たとえば、決定予定の色値を得るために補間される。場合により、他の色値の画素からの連続情報もまた考慮され使用される。好ましいカラーカメラは、たとえば3チップカラーカメラであり、画像点ごとに赤、緑および青の強度値を並行して直接測定する。したがって、これらの好ましいカラーカメラは、必要な色値を画素ごとに直接測定するカメラでなければならない。
非染色細胞および染色細胞についての情報が細胞ごとに得られるので、色情報は2つの試料間で、好ましくはたとえばコンピュータ学習の処理を介してリンクされる。好ましくは、このリンクは、特定の染色挙動を最善の可能な範囲で捕捉するために、細胞の部類ごとに別々に実施される。学習の費用および範囲を簡素なものにするために、たとえば異なる発達段階にある同じ細胞型を一緒に学習することが別法として有利である。有利には、この学習は、たとえば、幾何形状がわずかに異なる別々の老化段階で得られる赤血球の場合に実施される。白血球の場合には、合わせて5分類診断として区別される5つの主要な群を訓練することが同様に有利に可能である。この場合、最善の可能な、かつ広範な色対照を得るために、このような群の中で特定の機能の染料を第2の工程で学習することが有利であり得る。
特に好ましくは、学習の範囲内で、たとえばトポグラフィ情報の形の、または容積測定もしくはトモグラフィの情報としての、3D情報もまた、現行のシステムの通常のカメラ画像から得られるような純粋な2D情報に加えて処理される。学習のために、この3D情報と、有利には、これから得られた、たとえば効果的な3Dプロファイルについての情報とは両方とも、非染色画像に対して、また好ましくは染色画像に対しても、用いられる。原則として、コンピュータ学習のすべての知られている方法が、たとえば、PLS、PLS−DA、PCA、あるいはニューラルネットワーク(CNN)またはディープCNNなどの学習に適用可能である。
良好な学習結果を得るために、また、可能な限りリアルなデジタル染色を実現するために、学習予定の細胞型ごとの分類、および/または一緒に学習される細胞の群ごとの分類が、少なくとも、元の試料中で区別できるほどに、および/または表示デバイス上で表現可能なほどに、多くの色値で実施されるならば有利である。コンピュータの場合、色空間が色表現には慣例的あり、たとえば256個の色値、すなわち8ビットもしくは1バイト色深度、または65536個の色値、すなわち16ビットもしくは2バイトもしくは1ダブルバイトが、画素ごとに1つの色につき使用される。
データ量を効率的に節減するために、RGBとは異なる色空間および/または色値の表現を選択することが有利であり得る。効果的な色値は細胞型の間で異なり、理想的な手法では1つの細胞型の中の彩度または輝度に関してのみ異なり得るので、色値および輝度値が有利には記憶される。このことは、全色情報が画像点ごとにRGBで記憶される必要がないという点で有利である。この有利な表現は、たとえばHSVまたはHSL色表現に匹敵する。画像中の色がしばしば比較的類似しているために、記憶空間および/またはデータ量を節減することの潜在的可能性がここでは特に高い。
本発明によるデジタル染色の顕著な利点は、異なる染色プロトコルを用いて、それゆえに細胞の異なる着色効果を用いて作業が通常は実行される別々の地域間でも、今や試料が比較されることである。検査予定の非染色試料が記録されることがあるならば、後者は、本発明による様々な学習された色付き構造体と合わせて選択的に染色され、前記色付き構造体は、それぞれの地域の染色プロトコルに対応する。第一に、これにより、好ましい、または有利な染色プロトコルが今や、異なる病態に使用できるという利点が提供される。第2に、これによりまた、医師が別の医師にその意見を求めて相談することが、第1の医師が第2の医師に、後者が慣れている染色をした画像を示すことができるので、可能にもなる。デジタル染色により、各医師が今や自分の従来の染色法を選択して知見を確立することができるので、染色プロトコルから生じる障害を回避することが可能になる。これによりまた、たとえば欧州および米国の各医師が患者の利益のためにより良く協力することが可能になる。その結果、このことが、医師および/または血液学者の世界的な協力を遠隔医療の意味において容易にする。
その結果、遠隔医療のために、または遠隔医療によって、デジタル的に適切に染色された3D画像および/またはデータ記録が、世界中のどの医師もが知見の検証に貢献することを可能にする。その結果、画像および/または3D情報と、少なくとも2人の医師によって検証された知見との組み合わせから成る確実に評価された「グランドトルース」データ記録を、たとえばデータベースとして、特に、観察および/または測定された細胞のまれな病理学的なケースでは遠隔医療による世界的なリンクによって、有利に得ることができる。この手順の重要な構成要素はまた、取り込まれた細胞ごとに別々に、適合された手法で、発見をする医師自身が顕微鏡の前に座る必要なしに、デジタルデータ記録中の画像の焦点を変えることができるという本発明による選択肢にある。
このデータ記録(その発見は複数の医師によって互いに別個に行われている)が次に使用されて、たとえばコンピュータモデルのさらなる訓練のための対応する知見がもたらされ、こうして前記コンピュータモデルは、それによって各デバイスを、特定の細胞についての認識特性に関して、または特定の病状を自動的に識別できる能力に関して開発するために、世界中に設置されたデバイスに再記録される。
デバイスに応じて、本発明による分析器が画像を取り込み、これらの画像が次に、たとえばクラウドベースのアプリケーションに向けて、またはより一般的には別の計算ユニットに向けて転送されることもまた有利であり得、この場合、細胞の特定、そのセグメント化、および自動評価が、たとえば、ある部類の細胞型に割り当てること、または特定の臨床像を識別することとしての知見、および/または疑わしい特定の臨床像を決定することの意味において、次に行われる。
医師には、本発明により取り込まれた、細胞に関する画像データを表示するための様々な選択肢がある。
有利には、たとえば従来の2Dモニタ、モバイル端末および/またはタブレットPCが使用される。有利には、色表現は、医師が真の色の色表現を想定できるようにバランスが取られる。このことは、特に病理的または顕著な細胞の場合、細胞の画像中の少しの色の差異および構造の差異が異常性の標示をもたらし得るので、血液学では特に重要である。有利には、この色再現は、特に安定した色再現の点で、たとえば医療デバイスのDICOM標準(dicom.nema.org/)を満たす。
有利には、操作者および/または使用者は次に、オペレーティングソフトウェアによって、細胞画像および/または対象物キャリアもしくはフローセルの平面画像にくまなく焦点を合わせることができる。有利には、それ相応に安全なデータリンク、または考えられる仕様に適合するデータリンクが、たとえば病院および/またはクラウドのローカルデータメモリ、オーバアーチングデータメモリのデータに対して利用可能である。好ましくは、データは、たとえば協議の検査のために、医師がすぐにアクセス可能にすることができる。
好ましくは、3D可能表示装置が使用され、これは、別の光学補助器具を用いて、または特に好ましくはこの器具を用いなくても見ることができ、さらに3D視覚印象を使用者のために生成する。好ましくは、3D可能表示装置は、コンピュータおよび/またはモバイル端末(たとえばタブレット)の一部である。好ましくは、この場合、3D効果を起動すること、および停止状態にすることができる。
好ましくは、スマート眼鏡またはVR眼鏡とも呼ばれるデータゴーグルが、データ記録の3D表現のために使用される。
好ましくは、本発明によれば、マスター/スレーブ作業モードが遠隔医療での遠隔発見のために提供され、画像が複数の医師によって同時に、たとえば医学会議の範囲内で診断される場合に、前記医師のうちの一方がマスターとして細胞および/または対象物キャリアおよび/またはフローセルの画像の進路決定をリードし、他方の医師はこれに、単独でシステムを制御することなく従うことができる。
好ましくは、医師のそれぞれがまた、他方の医師に依存せずに自分の画像にくまなく焦点を合わせ、かつ/または自分の慣れている染色プロトコルに従って画像を染色することもできる。
本発明についてより詳細に再度、特定の例示的な実施形態として添付の図面に基づいて説明する。図示の例は、本発明の好ましい一実施形態を表す。
試料中の細胞を分析するための自動分析器を示す図である。
図1に示された、試料中の細胞を分析するための自動分析器は、試料(2)を照明するための光源(4)と、照明された試料(2)から発する光ビーム(6)を収束し焦点を合わせるための収束レンズとを含む、光学顕微鏡(1)を含む。試料(2)は、血液細胞(3)を含む血液試料である。試料(2)は、マイクロ流体フローセル(10)の中にある。さらに、顕微鏡(1)は、デジタル記録デバイスを含むライトフィールドカメラ(8)を含み、前記記録デバイスは、顕微鏡(1)で撮像された光照射野を取り込むためのCCDチップまたはCMOSチップを含む。さらに、顕微鏡(1)は、対象物面の画像を取り込むための別のカメラを含み、前記別のカメラは、高解像度3チップカラーカメラ(9)として具現化されている。カラーカメラ(9)の横方向分解能は、ライトフィールドカメラ(8)の有効横方向分解能の4倍である。カラーカメラ(9)の焦点は、ライトフィールドカメラ(8)の測定範囲の中心領域で、たとえば3から5までの間の範囲の仮想深度に設定される。顕微鏡(1)での非干渉性照明Σは1.0である。顕微鏡(1)は、微分干渉コントラスト(DIC)顕微鏡(1)として動作させることもできる顕微鏡である。
1 顕微鏡
2 試料
3 血液細胞
4 光源
6 光ビーム
8 ライトフィールドカメラ
9 カラーカメラ
10 フローセル

Claims (16)

  1. 医学的試料を分析するための分析器であって、試料を撮像する目的で対象物領域の光照射野を撮像するための光学顕微鏡を含み、該顕微鏡は、試料を照明するための光源と、照明された試料から発する光ビームを収束し焦点を合わせるための収束レンズを含む対物レンズと、光ビームを記録するためのデジタル記録デバイスとを含み、
    顕微鏡で撮像される対象物領域から光照射野を取り込むためのライトフィールドカメラが顕微鏡に設けられ、該ライトフィールドカメラが好ましくはデジタル記録デバイスを含むことを特徴とする、前記分析器。
  2. ライトフィールドカメラは、焦点距離が異なるレンズを備えたマイクロレンズアレイを含み、該マイクロレンズアレイは、顕微鏡で撮像された光照射野の中間像をデジタル記録デバイスに結像することができる、請求項1に記載の分析器。
  3. 分析器は自動分析器、好ましくは自動血液分析器であり、試料は、好ましくは血液細胞を含む血液試料である、請求項1または2のいずれか1項に記載の分析器。
  4. 顕微鏡は、振幅コントラスト顕微鏡および/または位相差顕微鏡および/または微分干渉コントラスト(DIC)顕微鏡である、請求項1〜3のいずれか1項に記載の分析器。
  5. 対象物領域の対物面で画像を取り込むための別のカメラが顕微鏡に設けられ、該別のカメラは、ライトフィールドカメラの横方向分解能よりも高い横方向分解能を有し、別のカメラの分解能は、ライトフィールドカメラの分解能の好ましくは2倍、特に好ましくは4倍であり、別のカメラは、好ましくはライトフィールドカメラよりも大きい視野を有する、請求項1〜4のいずれか1項に記載の分析器。
  6. 別のカメラはカラーカメラ、好ましくは3チップカラーカメラである、請求項5に記載の分析器。
  7. 非干渉性照明Σは、顕微鏡で、0.8よりも大きく、好ましくは0.9よりも大きく、特に好ましくは1.0であり、Σは、試料の照明の開口数と対象物の開口数の比として与えられ、顕微鏡は、好ましくは微分干渉コントラスト(DIC)顕微鏡である、請求項1〜6のいずれか1項に記載の分析器。
  8. 分析器は、試料を供給するためのフローセルを含み、顕微鏡の対象物面はフローセル内にある、請求項1〜7のいずれか1項に記載の分析器。
  9. 細胞および/または医学的標本についての二次元または三次元の情報を請求項1〜8のいずれか1項に記載の分析器によって確認する方法であって:
    a)細胞付きの試料および/または医学的標本を顕微鏡に供給する工程と、
    b)照明された試料中の細胞および/または医学的標本から発する光ビームをデジタル記録デバイスによって記録する工程と、
    c)顕微鏡で撮像された光照射野を対象物領域からライトフィールドカメラによって撮像する工程と、
    d)細胞および/または医学的標本についての二次元および/または三次元および/または容積測定の情報を、工程b)で記録された光ビームの情報および/または工程c)で撮像された光照射野の情報により確認する工程とを含む前記方法。
  10. 工程a)の試料は、フローセルによって分析器に供給され、顕微鏡の対象物面はフローセル内にある、または工程a)の試料は、対象物キャリア用の試料供給機器によって対象物キャリアに載せて分析器に供給される、請求項9に記載の方法。
  11. 細胞および/または医学的標本が染色されない、請求項9または10のどちらかに記載の方法。
  12. e)顕微鏡の光軸に沿って、工程d)で確認された、細胞の二次元および/または三次元および/または容積測定の情報によってデジタル再焦点合わせまたは焦点変化を実行する工程をさらに含み、ここで、好ましくは、デジタル再焦点合わせはコンピュータ支援で、かつ/または数値的な手法で実現される、請求項9〜11のいずれか1項に記載の方法。
  13. f)所定の情報と、工程d)で確認された細胞についての二次元および/または三次元および/または容積測定の情報とに基づいて、細胞を1つの細胞型に割り当てる工程をさらに含む、請求項9〜12のいずれか1項に記載の方法。
  14. 細胞を1つの細胞型に割り当てる方法であって、請求項13に記載の、細胞についての二次元および/または三次元および/または容積測定の情報を確認する方法を含み、ここで、工程a)からd)が第1の場所で実行され、工程d)で確認された情報がネットワーク接続を介して第2の場所へデジタル的に転送され、工程e)およびf)が第2の場所で実行される、前記方法。
  15. 細胞および/または医学的標本をデジタル的に染色する方法であって、請求項9〜14のいずれか1項に記載の方法を含み、さらに以下の:
    g)細胞および/または医学的標本についての二次元および/または三次元および/または容積測定の情報と、細胞および/または医学的標本内の、対応する細胞および/または医学的標本および/または構造の、染色プロトコルによる染色との間の所定の割当てに従って、細胞および/または医学的標本をデジタル的に染色する工程と、
    h)デジタル的に染色された細胞および/または標本の画像を表示する工程とを含む前記方法。
  16. 染色プロトコルは、メイ・グリュンワルド・ギムザ染色プロトコル、修正ライト染色、ライト・ギエンマ染色および/またはロマノフスキー染色である、請求項15に記載の方法。
JP2020566589A 2018-05-30 2019-05-16 ライトフィールドカメラを用いて医学的試料を三次元的に分析するための分析器 Pending JP2021525866A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18000484.8 2018-05-30
EP18000484.8A EP3575848A1 (de) 2018-05-30 2018-05-30 Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera
PCT/IB2019/054051 WO2019229573A1 (de) 2018-05-30 2019-05-16 Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera

Publications (1)

Publication Number Publication Date
JP2021525866A true JP2021525866A (ja) 2021-09-27

Family

ID=62715791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020566589A Pending JP2021525866A (ja) 2018-05-30 2019-05-16 ライトフィールドカメラを用いて医学的試料を三次元的に分析するための分析器

Country Status (5)

Country Link
US (1) US20210217190A1 (ja)
EP (2) EP3575848A1 (ja)
JP (1) JP2021525866A (ja)
CN (1) CN112236705A (ja)
WO (1) WO2019229573A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7323139B2 (ja) * 2018-08-08 2023-08-08 バレンシア大学 プレノプティック接眼装置
DE102018222300A1 (de) * 2018-12-19 2020-06-25 Leica Microsystems Cms Gmbh Skalierende Detektion
DE102021204805A1 (de) * 2021-05-11 2022-11-17 Carl Zeiss Microscopy Gmbh Bewertungsverfahren für Simulationsmodelle in der Mikroskopie
EP4134670A1 (en) 2021-08-09 2023-02-15 Siemens Healthcare Diagnostics Inc. A hematology analyzer comprising a single hardware module and integrated workflow
EP4137863A1 (en) * 2021-08-19 2023-02-22 Siemens Healthcare GmbH Device and method for observing a biological probe
EP4148376A1 (de) * 2021-09-09 2023-03-15 Siemens Healthcare Diagnostics Inc. Verfahren zum abbilden eines messobjekts mit einer kamera mittels differenzialinterferenzkontrastmikroskopie
CN114152557B (zh) * 2021-11-16 2024-04-30 深圳元视医学科技有限公司 基于图像分析的血细胞计数方法和系统
CN114326075B (zh) * 2021-12-10 2023-12-19 肯维捷斯(武汉)科技有限公司 一种生物样品的数字显微成像系统及镜检方法
WO2023154925A1 (en) * 2022-02-14 2023-08-17 Genetic Innovations, Inc. Medical spectroscopy and imaging analysis
WO2024108104A1 (en) * 2022-11-18 2024-05-23 Siemens Healthcare Diagnostics Inc. Systems and methods for classifying blood cells

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080266655A1 (en) * 2005-10-07 2008-10-30 Levoy Marc S Microscopy Arrangements and Approaches
WO2017013054A1 (de) * 2015-07-17 2017-01-26 Leica Microsystems Cms Gmbh Lichtblattmikroskop zum gleichzeitigen abbilden mehrerer objektebenen
JP2017519985A (ja) * 2014-06-16 2017-07-20 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 血液学用デジタルホログラフィ顕微鏡検査データ分析
JP2018000048A (ja) * 2016-06-29 2018-01-11 オリンパス株式会社 多能性幹細胞の無染色評価支援方法、プログラム、演算装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450229B2 (en) * 1999-01-25 2008-11-11 Amnis Corporation Methods for analyzing inter-cellular phenomena
US6963445B2 (en) * 2003-02-07 2005-11-08 Hoover Rex A Light diffuser for optical microscopes replacing condenser with opal glass to produce near-koehler illumination
DE102006007172B4 (de) * 2006-02-08 2013-01-17 Universität Stuttgart Verfahren und Anordnung zur schnellen, ortsaufgelösten, flächigen, spektroskopischen Analyse, bzw. zum Spectral Imaging oder zur 3D-Erfassung mittels Spektroskopie
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2244484B1 (en) 2009-04-22 2012-03-28 Raytrix GmbH Digital imaging method for synthesizing an image using data recorded with a plenoptic camera
DE102009025815A1 (de) * 2009-05-15 2010-11-25 Degudent Gmbh Messanordnung sowie Verfahren zum dreidimensionalen Messen eines Objektes
JP5997256B2 (ja) * 2011-04-15 2016-09-28 コンスティテューション・メディカル・インコーポレイテッドConstitution Medical, Inc. 細胞の体積および成分の計測
JP5755374B2 (ja) * 2012-08-06 2015-07-29 富士フイルム株式会社 撮像装置
AT513560A1 (de) * 2012-11-08 2014-05-15 Berndorf Band Gmbh Vorrichtung zur Untersuchung von Oberflächen von Metallblechen
EP2835613B1 (de) * 2013-08-08 2019-01-16 Hexagon Technology Center GmbH Geodätisches Vermessungsgerät mit Mikrolinsenarray
JP6801653B2 (ja) * 2015-06-16 2020-12-16 コニカミノルタ株式会社 画像処理装置、画像処理方法、および画像処理用のプログラム
CN110139827B (zh) * 2016-10-26 2023-04-14 得克萨斯州大学系统董事会 用于反射和透射纳米光子器件的高吞吐量、高分辨率光学计量
CN206311061U (zh) * 2016-12-05 2017-07-07 苏州大学 一种多波长可调谐显微干涉的测量装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080266655A1 (en) * 2005-10-07 2008-10-30 Levoy Marc S Microscopy Arrangements and Approaches
JP2017519985A (ja) * 2014-06-16 2017-07-20 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 血液学用デジタルホログラフィ顕微鏡検査データ分析
WO2017013054A1 (de) * 2015-07-17 2017-01-26 Leica Microsystems Cms Gmbh Lichtblattmikroskop zum gleichzeitigen abbilden mehrerer objektebenen
JP2018000048A (ja) * 2016-06-29 2018-01-11 オリンパス株式会社 多能性幹細胞の無染色評価支援方法、プログラム、演算装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"A single-shot 2D/3D simultaneous imaging microscope based on light field microscopy", VISUAL COMMUNICATIONS AND IMAGE PROCESSING, JPN7023001431, 1 July 2015 (2015-07-01), ISSN: 0005205904 *

Also Published As

Publication number Publication date
EP3575848A1 (de) 2019-12-04
CN112236705A (zh) 2021-01-15
US20210217190A1 (en) 2021-07-15
EP3803495A1 (de) 2021-04-14
WO2019229573A1 (de) 2019-12-05

Similar Documents

Publication Publication Date Title
JP2021525866A (ja) ライトフィールドカメラを用いて医学的試料を三次元的に分析するための分析器
US10025271B2 (en) Method and system for detecting and/or classifying cancerous cells in a cell sample
US7863552B2 (en) Digital images and related methodologies
Bolte et al. A guided tour into subcellular colocalization analysis in light microscopy
US8155409B2 (en) Wave field microscope with sub-wavelength resolution and methods for processing microscopic images to detect objects with sub-wavelength dimensions
US7948632B2 (en) Method and apparatus for analysis of a sample of cells
US7692131B2 (en) Imaging system and methodology with projected pixels mapped to the diffraction limited spot
US7338168B2 (en) Particle analyzing system and methodology
ES2301706T3 (es) Metodo de videomicroscopia cuantitativa y sistema asociado asi como el producto de programa informatico de sofware.
US20220334371A1 (en) Intelligent automated imaging system
US20140193850A1 (en) Holographic method and device for cytological diagnostics
US20230062698A1 (en) Method for digitally staining cells
CN112513707A (zh) 对象的描绘
US20220366709A1 (en) Label-Free Hematology and Pathology Analysis Using Deep-Ultraviolet Microscopy
RU2725798C1 (ru) Способ идентификации клеток крови
Hu et al. Deep-learning assisted label-free hematology analysis through defocusing a regular microscope
EP3910399A1 (de) Verfahren zur virtuellen annotation von zellen
WO2024123803A1 (en) Holographic optical system and method for automatic imaging and interpretation of biological samples
Liao Imaging Innovations for Whole-Slide and Hyperspectral Microscopy
Zhang Lens-Free Computational Microscopy for Disease Diagnosis
WO2021205483A1 (en) Method and system to detect and classify bacteria and other cells in a urine sample
WO2018193635A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラム
Weinigel et al. Exploration of chromatic aberration for multiplanar imaging: Proof of concept with implications for fast, efficient autofocus
Grinbaum Multi-Height-Based Lensfree On-Chip Microscopy for Biomedical Applications
Choi Development of an integrated opto-electric biosensor to dynamically examine cytometric proliferation and cytotoxicity

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230911

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231128