JP2022511401A - 蛍光インサイチュハイブリダイゼーション画像を取得する際のカメラ露出量制御 - Google Patents

蛍光インサイチュハイブリダイゼーション画像を取得する際のカメラ露出量制御 Download PDF

Info

Publication number
JP2022511401A
JP2022511401A JP2021517951A JP2021517951A JP2022511401A JP 2022511401 A JP2022511401 A JP 2022511401A JP 2021517951 A JP2021517951 A JP 2021517951A JP 2021517951 A JP2021517951 A JP 2021517951A JP 2022511401 A JP2022511401 A JP 2022511401A
Authority
JP
Japan
Prior art keywords
image
fish
fish probe
exposure
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021517951A
Other languages
English (en)
Other versions
JP7091557B2 (ja
Inventor
ラトクリフ カール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Leica Biosystems Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Biosystems Imaging Inc filed Critical Leica Biosystems Imaging Inc
Publication of JP2022511401A publication Critical patent/JP2022511401A/ja
Application granted granted Critical
Publication of JP7091557B2 publication Critical patent/JP7091557B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/92—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate

Abstract

蛍光インサイチュハイブリダイゼーション（ＦＩＳＨ）画像取得装置、およびＦＩＳＨ画像取得装置を制御するための方法である。ＦＩＳＨプローブ画像が取得される（Ｓ２４，Ｓ４４）。モルフォロジ演算を使用した画像処理が、画像強度が高い場所の周囲の関心領域を識別するために適用される。これにより、関心領域以外の全てをフィルタ除去するマスクが生成される（Ｓ２２，Ｓ４２）。マスクは、関心領域の画像強度を決定するために適用される。画像強度が所望の値を有さず（Ｓ２６）、不適切な画像の露出量を示している場合、適切に露出されたＦＩＳＨプローブ画像が得られるまで、本方法が１つ以上の異なる露出量で繰り返される（Ｓ２９，Ｓ４７，Ｓ４８）。適正露出量は、段階的な増大を繰り返し適用することによって経験的に決定され（Ｓ２８）、または数式を適用することによって分析的に決定される（Ｓ４６）。

Description

本開示は、概して、蛍光インサイチュハイブリダイゼーション（ＦＩＳＨ）、より具体的には、ＦＩＳＨ画像を取得するための方法および装置に関する。
ＦＩＳＨは、広く使用されている細胞遺伝学的手法であり、この手法は、染色体に蛍光プローブを取り付けて、デオキシリボ核酸（ＤＮＡ）またはリボ核酸（ＲＮＡ）の特定の配列の存在を検出することにより、核の異常を検出、分析および定量化することに基づいている。ＦＩＳＨには多くの実現形態があり、その一部として、（ａ）組織ＦＩＳＨ、（ｂ）マルチスペクトルＦＩＳＨ（Ｍ－ＦＩＳＨ）、（ｃ）スポットカウントＦＩＳＨ、（ｄ）フローＦＩＳＨ（すなわち、フローサイトメータで実行されるＦＩＳＨ）、および（ｅ）マイクロフルイディクス支援ＦＩＳＨ（ＭＡ－ＦＩＳＨ）がある。ＦＩＳＨの用途には、複数の種類の癌の診断、複数の種類の癌の進行の分析、および染色体異常の同定が含まれる。多くの場合、ＦＩＳＨプローブ画像、すなわち関心対象のＤＮＡまたはＲＮＡへのタグ付けに使用される蛍光標識に感応する画像が取得されるだけでなく、核ＤＮＡを染色して試料内の核の位置を特定するＤＡＰＩ（４’，６－ジアミジノ－２－フェニルインドール）などの染色を使用して、対比染色画像も取得される。この場合、ＦＩＳＨプローブ画像および対比染色画像を一緒に保存して、分析または表示などのために一緒に処理することができる。
Applied Imaging Corporation（現在はLeica Biosystems, Inc.の一部）名義での特許刊行物である米国特許第５８８０４７３号明細書、米国特許第６２２５６３６号明細書、米国特許出願公開第２００２／０８１０１４号明細書、米国特許出願公開第２００３／０１２４２０号明細書および国際公開第９８／５２０１８号は、ＦＩＳＨ画像を取得するための方法および装置を説明するものであり、その全内容は参照により本明細書に組み込まれる。
国際公開第２００８／０１９２９９号は、試料の全ての領域から適切に露出された画像を捕捉するための自動露出方法を開示している。この方法は、特に、イメージセンサおよび関連する電子機器のダイナミックレンジが試料内の異なる領域の強度の範囲よりも小さい状況に対処するものであるため、単一の捕捉画像で全ての信号情報を保存することはできない。この問題を解決するために、複数の画像が撮影されている。つまり、第１の画像は、最も明度の高い画像領域に対して適正露出量で撮影される。ただし、第１の画像では薄暗い信号の領域が露出不足になり、ダイナミックレンジ外の信号を考慮すると、記録が全く行われない可能性がある。よって、第２の画像は、これらの薄暗い領域を撮像するためにより多くの露出量で撮影され、同時に、明度の高い領域はマスキングされる。このプロセスを繰り返して、必要に応じて露出量を連続的に減らしながら、画像のセット全体に、試料領域全体にわたって適正に露出された画像部分が含まれるまで、さらに画像が撮影されうる。
欧州特許出願公開第３０２１１０５号明細書は、試料の全ての領域から適切に露出された画像を捕捉するための別の自動露出方法を開示している。これは、イメージセンサおよび関連する電子機器のダイナミックレンジが試料内の異なる領域の強度の範囲よりも小さい場合、薄暗い領域からの重要な信号が失われる可能性があるという同様の問題にも対処するものである。この方法は、予め定義された一連の露出時間（例えば０．１秒、１秒、４秒、および４０秒）を使用することに基づいている。最初の画像は、これらの露出時間のうちの１つで取得される。この露出時間は、画像全体に最適な露出量であるか、当該セットの中間の露出時間のいずれかである。次に、最初の画像が領域ごとに処理され、各領域の強度値が決定される。特定の領域の強度値が検出器の飽和値を下回り、検出器のバックグラウンドノイズレベルを上回っている場合、セット内のより長い露出時間での強度値が決定される。次に、ソフトウェアが、飽和を下回る最高の強度値を与えると予想されるセット内の特定の露出時間を選択する。次に、その露出値でさらに画像が撮影され、その特定の領域をカバーするサブ画像の「タイル」が、後続の画像処理で使用される。したがって、画像の後処理に最終的に使用される画像は、露出量が異なるサブ画像タイルの複合モザイクであり、各タイルは、その領域に対して選択された露出量を有する。
ＦＩＳＨプローブ画像を取得する既知の顕微鏡およびその他のシステムは、画像ヒストグラム、または最小および最大のピクセル値などの、他の画像測定に依存する自動露出技術を使用してカメラの露出量を設定するものであり、これによりＦＩＳＨプローブ画像の明度、つまり画像強度が決定される。適切な露出量を決定するためのヒストグラムは、ＦＩＳＨプローブ画像全体またはＦＩＳＨプローブ画像の選択部分から作成される。後者の場合、中央部分などの画像の一部からヒストグラムを作成すること、または画像全体をゾーンに分割し、ゾーンごとに決定された個々の輝度値からコンセンサス読み取りを行ってヒストグラムを作成すること、または画像の閾値を適用し、そこからマスクを作成して閾値未満の強度の領域をマスキングすることでＦＩＳＨ信号の位置を特定し、露出量の決定において閾値を超える強度の領域のみを考慮することによりヒストグラムを作成することが知られている。一例として、ＦＩＳＨプローブ画像を取得するための自動露出機能を備えた既知の顕微鏡システムは、Leica Biosystems, Inc.によって供給されるＣｙｔｏＶｉｓｉｏｎ（ＲＴＭ）である。
しかしながら、ここで説明した標準的な自動露出設定方法で取得されたＦＩＳＨプローブ画像では、細部が欠落する可能性がある。特に、綿密な調査を行ったところ、ＦＩＳＨプローブが配置されている関心画像の一部が最適に露出されていないケース、つまり露出不足または露出過剰のケースがあると考えられる。
本開示の一態様によれば、蛍光インサイチュハイブリダイゼーション（ＦＩＳＨ）プローブで標識された試料のＦＩＳＨプローブ画像を取得する蛍光顕微鏡装置を含む画像取得装置を制御するための方法が提供される。本方法は、
ＦＩＳＨプローブ画像を取得するための露出量を初期値に設定することと、
露出量の設定値でＦＩＳＨプローブ画像を取得することと、
少なくとも１つのモルフォロジ演算子を適用して、画像強度が高い場所の周囲の関心領域を識別し、次に関心領域以外の全てをフィルタ除去するためのＦＩＳＨプローブ画像マスクを生成することにより、ＦＩＳＨプローブ画像を画像処理することと、
マスクをＦＩＳＨプローブ画像に適用して、関心領域の画像強度を決定することと、
当該画像強度が、ＦＩＳＨプローブ画像の適正露出量を示す所望の強度値を有する場合、
適正に露出されたＦＩＳＨプローブ画像を含むＦＩＳＨ記録を生成および保存し、
それ以外の場合には、露出値を調整し、かつ露出量の調整値を使用して方法を繰り返すことと、
を含む。
マスクは、ＦＩＳＨプローブ画像を画像処理して、マスク領域内、特に細胞核内の画像強度を決定するために使用される。次に、マスク領域内の画像強度に基づいて、記録に保存される最終画像の露出量の調整値が決定される。
一群の実施形態では、調整露出量は、画像強度が所望の値を超えるまで露出量を連続的に増大させることによって経験的に決定され、その結果、所望の値は、閾値として機能する。当該閾値は、超過する必要のある値である。すなわち、露出量の初期値が意図的に短く設定されるため、初期のＦＩＳＨプローブ画像は露出不足になる。最初のＦＩＳＨプローブ画像が露出不足の状態で取得を開始することにより、次の取得のための露出量の調整値は初期値よりも大きくなる。意図的に露出量を下げた初期のＦＩＳＨプローブ画像では、核領域の信号は、ほぼ確実に非常に低い信号となる。露出不足のＦＩＳＨプローブ画像の関心領域の画像強度から、より高い露出量を決定することができ、これにより、充分に明度の高いＦＩＳＨ信号の画像が提供される。特に、露出量を初期値から繰り返し増大させて、最終的に、充分に明度の高いＦＩＳＨプローブ画像を捕捉する露出量に到達することができる。ただし、ＦＩＳＨによって蛍光タグが付けられた特徴部（例えば、核）がない場合、または信号が不充分な場合は、ＦＩＳＨプローブ画像に信号が存在しないか、または信号が不充分となりうる。そのため、細胞領域（すなわち、マスクの下の領域）は、全く蛍光を発しないかまたは充分な強さで蛍光を発しないため、露出量に関係なく、暗いままかまたは薄暗いままとなる。ＦＩＳＨ信号が存在するか、またはＦＩＳＨ信号が充分であるかを事前に知ることはできないため、繰り返しによって最大露出値に到達または接近した後、露出量の増分を終了することが好ましい。この対策により、充分に強いＦＩＳＨ信号が得られる見込みがない場合には、ＦＩＳＨプローブ画像の繰り返しの取得を不必要に繰り返すことが回避される。
特に、この群の実施形態では、露出量の調整値を決定することは、初期値から連続的に増大させた露出量で後続のＦＩＳＨプローブ画像を取得することと、所望の画像強度を超える関心領域の画像強度を提供する露出量に到達するまで、ＦＩＳＨプローブ画像の画像強度を決定するためにＦＩＳＨプローブ画像の画像処理を行うことを含む。さらに、上で論じたように、最大露出値に達した時点で、閾値を超える画像強度を有するＦＩＳＨプローブ画像を得ることなく露出量の段階的増大を終了することが有用でありうる。この場合、閾値を下回る画像強度を有するＦＩＳＨプローブ画像のうちの１つ、例えば最も新しく取得されたＦＩＳＨプローブ画像とともに、また、ＦＩＳＨプローブ画像にＦＩＳＨ信号が存在しないかまたはＦＩＳＨ信号が不充分である可能性が高いことを示す記録のヘッダにあるテキストラベルなどのメタデータとともに、ＦＩＳＨ記録が生成および保存される。
少なくとも理論的には、提案している露出不足の初期ＦＩＳＨプローブ画像に基づく方法とは逆の方法が可能である。つまり、最初のＦＩＳＨプローブ画像は、意図的に過度の露出量で取得することができ、適切な画像強度に達するまで露出量を減少させる。ただし、これはあまり優れた方法ではない。この方法は最長の露出量、例えば数秒で開始されることから、最初の露出期間が、通常はおそらく数ミリ秒、例えば５ミリ秒となり、請求される方法と比較して、実行するのに桁違いに長い時間がかかるためである。
別群の実施形態では、調整露出量は、最初に取得されたＦＩＳＨプローブ画像の画像強度および露出量に基づいて、画像強度が所望の値に到達するために必要な露出量を計算する数式を適用することによって分析的に決定される。したがって、所望の画像強度は、この群の実施形態で目指す目標値として機能する。例えば、露出量の調整値は、露出量と初期ＦＩＳＨプローブ画像の画像強度との間の比率に基づく第１の係数を、所望の画像強度に基づく第２の係数で乗算することによって決定することができる。他の実施形態では、露出量の調整値を決定することは、少なくとも１つの後続のＦＩＳＨプローブ画像を取得することであって、各後続のＦＩＳＨプローブ画像は、初期値から開始して連続的に増大する露出量を有することを含み、さらに、後続のＦＩＳＨプローブ画像を画像処理して画像強度を決定することと、露出量と複数の初期および後続のＦＩＳＨプローブ画像の画像強度との比率の総和に基づく第１の係数を、所望の画像強度に基づく第２の係数で乗算することによって、または露出量と後続のＦＩＳＨプローブ画像のうちの１つの画像強度との比率に基づく第１の係数を、所望の画像強度に基づく第２の係数で乗算することによって、露出量の調整値を決定することと、を含む。
任意手段として、試料は、対比染色剤で付加的に標識されてもよく、その場合、方法は、試料の対比染色画像を取得することをさらに含みうる。次に、対比染色画像が画像処理されて、対比染色画像マスクが生成され、対比染色画像マスクにより、対比染色領域の領域またはその周辺以外の全てがフィルタ除去される。ＦＩＳＨプローブ画像の後続の画像処理は、対比染色画像マスクによってフィルタ除去されていない領域に限定可能であり、つまり、ＦＩＳＨプローブ画像処理は、対比染色された試料の領域、または例えば対比染色マスクを生成するために拡張演算子が対比染色されたピクセルに適用される場合に、対比染色領域に密接に関連する領域のみで実行される。拡張演算子をこのように適用することは、対比染色画像とＦＩＳＨプローブ画像との間の位置合わせエラーにより、ＦＩＳＨ信号が存在するＦＩＳＨプローブ画像内の領域の対比染色マスクによるクリッピングが生じることを防ぐのに役立ちうる。ＦＩＳＨに使用される典型的な対比染色剤では、試料内の核物質に対比染色剤が付着するため、対比染色された特徴部の位置は細胞核の位置となる。
本発明のさらなる態様は、画像取得装置を制御して蛍光インサイチュハイブリダイゼーション（ＦＩＳＨ）プローブおよび任意手段としての対比染色剤で標識された試料のＦＩＳＨプローブ画像を取得するためのコンピュータプログラム製品であって、コンピュータプログラム製品が、画像取得装置を制御する上記の方法を実行するための機械可読命令を提供する、コンピュータプログラム製品を提供する。
本発明のさらに別の態様は、蛍光インサイチュハイブリダイゼーション（ＦＩＳＨ）プローブで標識された試料のＦＩＳＨプローブ画像を取得するための画像取得装置に関する。画像取得装置は、試料のＦＩＳＨプローブ画像を取得するように動作可能な蛍光顕微鏡装置と、蛍光顕微鏡装置を用いてＦＩＳＨプローブ画像を取得するための適切な露出量を決定するように構成された制御コンピュータとを含む。制御コンピュータは、
ＦＩＳＨプローブ画像を取得するための露出量を初期値に設定することと、
露出量の設定値でＦＩＳＨプローブ画像を取得することと、
少なくとも１つのモルフォロジ演算子を適用して、画像強度が高い場所の周囲の関心領域を識別し、次に関心領域以外の全てをフィルタ除去するためのＦＩＳＨプローブ画像マスクを生成することにより、ＦＩＳＨプローブ画像を画像処理することと、
マスクをＦＩＳＨプローブ画像に適用して関心領域の画像強度を決定することと、
当該画像強度が、ＦＩＳＨプローブ画像の適正露出量を示す所望の強度値を有する場合、
適正に露出されたＦＩＳＨプローブ画像を含むＦＩＳＨ記録を生成および保存し、
それ以外の場合には、露出値を調整し、かつ露出量の調整値を使用して方法を繰り返すことと、
によって、適切な露出量を決定する。
装置は、ディスプレイと、ＦＩＳＨ記録にアクセスし、ＦＩＳＨプローブ画像、および任意手段としての対比染色画像も表示されるようにＦＩＳＨプローブ画像、および任意手段として対比染色画像をディスプレイに送信するように動作可能なディスプレイ出力部と、をさらに含みうる。
本発明のさらに別の態様は、臨床ネットワークであって、
コンピュータと、
ＦＩＳＨプローブ画像および任意手段としての対比染色画像を含むＦＩＳＨ記録を保存するように構成されたデータリポジトリと、
コンピュータとデータリポジトリとの間でのＦＩＳＨ記録またはその一部の転送を可能にするネットワーク接続部と、
ＦＩＳＨ記録を生成し、これをデータリポジトリに保存するように動作可能な上記の画像取得装置と、
を含む、臨床ネットワークに関する。
以下ではさらに、図に示された例示的な実施形態を参照して、本発明を例示的にのみ説明する。
ＦＩＳＨ画像を取得するのに適した例示的な蛍光顕微鏡システムの概略図である。 本発明の一実施形態による方法の実行に関連するステップを示すフロー図である。 本発明の利益を受けずに撮影されたＦＩＳＨプローブ画像を示す図である。 本発明の一実施形態による、最適化された露出量で撮影された、図３Ａと同じ試料のＦＩＳＨプローブ画像を示す図である。 代替の実施形態による方法の実行に関連するステップを示すフロー図である。 本発明の実施形態と併せて使用されうる例示的なコンピュータネットワークを示す図である。 本発明を実施するために必要な画像処理を実行するために使用されうるコンピューティング装置のブロック図である。
以下の詳細な説明では、限定ではなく説明の目的で、本開示のより良い理解を提供するために特定の詳細が記載されている。本開示がこれらの特定の詳細から離れた他の実施形態でも実施されうることは、当業者には明らかであろう。
本文書では、モルフォロジ演算子という用語を使用する。この用語は、形状分析、特に形状の表現および説明に役立つ画像成分の抽出に使用される数学演算子を意味すると理解されている。ＦＩＳＨプローブ画像の場合、これは、細胞または核などの細胞要素の形状を意味する。モルフォロジ演算子の例として、膨張、収縮、オープニング、クロージングがある。詳細については、
・教本Gonzalez and Woods,“Digital Image Processing”, 3rd edition (2008), pp. 627 to 688, ISBN 013168728のChapter 9, “Morphological Image Processing”、および
・教本“Image Analysis in Histology”, Edited by Richard Wootton, David Springall and Julia Polak (1995), pp. 241-261, ISBN 0521434823のChapter 14, “Edge Detection in Microscope Images”
を参照されたい。これらの全内容は、参照により本明細書に組み込まれる。
顕微鏡プラットフォーム
図１は、試料１０のＦＩＳＨ画像を取得するのに適した例示的な反射モード（すなわち落射（ｅｐｉ））蛍光顕微鏡システム５の概略図である。顕微鏡システム５の光学配置には、励起フィルタ１２（フィルタホイール上の複数のかかるフィルタのうちの１つとして示される）と、ダイクロイックミラー１５と、顕微鏡対物レンズ１７（例えば、６０倍から１００倍の画像捕捉倍率）と、発光フィルタ２０（バリアフィルタとも称される）と、が含まれる。光源２５からの励起光は、励起フィルタ１２を通過し、部分的にダイクロイックミラー１５によって反射され、その一部は、顕微鏡対物レンズ１７を通って試料１０に進む。試料に向かって進む励起光は、中空の矢印で概略的に示されている。試料１０から放出された蛍光放射は、対物レンズ１７を通過し、ダイクロイックミラー１５を通過し、発光フィルタ２０を通過して、画像平面３０に画像を形成する。試料から遠ざかる蛍光の光は、黒い実線の矢印で概略的に示されている。画像は、電荷結合デバイス検出器を有するカメラなどのカメラ３２によってデジタル化され、デジタル化された画像は、後続の処理のためにコンピュータ３５に送られる。
フィルタが単一の通過帯域を有する場合、特定のフィルタおよびダイクロイックミラーは試料内の単一の色素に固有のものとなる。試料内の他の色素の画像は、励起帯域および発光帯域用に構成された光学素子を他の色素に置き換えることによって取得される。ダイクロイックミラーおよび発光フィルタは、通常、しばしばキューブと称される支持構造４０（ファントムで示されている）に堅固に取り付けられ、複数のキューブが光路の内外に移動可能である。対向する矢印４２は、回転可能なタレットまたは戻り止め付き摺動機構などの適切な機構を表す。複数の励起フィルタは、通常、回転可能なフィルタホイールに配置される（図を参照）。このシステムは、モノクロ画像取得またはカラー画像取得用のシステムでありうる。色取得の場合、ＣＣＤカメラはカラーＣＣＤカメラであり、多重帯域励起は、それぞれの光源、または広帯域光源および適切なフィルタを備えた３つの色帯域で提供され、３つの発光帯域のうちの１つのみ透過する３つの対応する発光フィルタが提供される。ＦＩＳＨに使用される蛍光色素の例として、ＤＡＰＩ、ＦＩＴＣ（フルオレセインイソチオシアネート）、およびＣｙ３、Ｃｙ３．５、Ｃｙ５、Ｃｙ５．５、Ｃｙ７などのシアニン色素が挙げられる。
画像取得
ＦＩＳＨプローブ画像の画像取得には、カメラの自動露出方法を適用することが含まれる。自動露出方法は、試料により充分な明度のＦＩＳＨ信号が生成されうる場合に、ＦＩＳＨ信号が鮮明で可視となるように、ＦＩＳＨプローブ画像を得るための適切な値にカメラの露出量を設定するために考察されたものである。特に、提案している方法は、高い明度で高度に蛍光性のデブリの存在に対してロバストであり、こうしたデブリは、提案している方法が使用されない場合、ＦＩＳＨ蛍光信号が位置する細胞核領域の露出不足を生じさせる。
図２は、提案している自動露出方法を具体化する方法の実行に関連するステップを示すフロー図である。
最初に、ステップＳ２０に示すように、当然ながら、スライドなどで試料を提供する必要がある。試料は、ＦＩＳＨプローブおよび適切な対比染色剤で標識されている。試料は、顕微鏡、または適切に装備されたフローサイトメータもしくはマイクロ流体システムなどの顕微鏡撮像機能を備えた他の適切な装置プラットフォームの下方に装填される。対比染色剤は通常、細胞核を強調するものであるが、原則として、対比染色剤は、細胞質または細胞膜などの他の細胞の特徴部を追加的または代わりに染色することができる。以下では、核の対比染色を想定している。
ステップＳ２１において、本方法は、試料の対比染色画像を取得し、これを保存する。
ステップＳ２２において、本方法は、対比染色画像を画像処理して、関心領域、すなわち核の領域を画定するマスクを生成する。これは、例えば画像強度閾値を適用することにより、細胞核の位置を特定するマスクを生成して行われてもよい。例えば、閉じた輪郭は、核に対応するものとして識別されたピクセルの各隣接群の周囲に決定できる。閉じた輪郭をマスクに直接に使用することも、膨張などによって輪郭をさらに処理することもできる。別の方法には、一種のブロブ分析を使用してマスクを画定することがある。核領域のある程度の膨張またはその他の拡張は、対比染色画像とその後にマスクを使用して分析されるＦＩＳＨプローブ画像との間の位置合わせエラーを許容するために有利でありうる。すなわち、マスクが対比染色画像の染色核ピクセルに正確に対応する場合、位置合わせエラーがあると、ＦＩＳＨ信号の一部が画像強度の決定から除外されるため、測定された画像強度が実際の画像強度よりも低くなる。
ステップＳ２３において、本方法は、画像取得装置の露出量を初期値に設定する。これにより、ＦＩＳＨプローブ画像の露出不足が生じることが予測される。
ステップＳ２４において、本方法は、ＦＩＳＨプローブ画像を取得する。
ステップＳ２５において、本方法は、少なくとも１つのモルフォロジ演算子を適用して、画像強度が高い場所の周囲の関心領域を識別し、次に関心領域の周囲にＦＩＳＨプローブ画像マスクを生成して、マスクが関心領域以外の全てをフィルタ除去することにより、ＦＩＳＨプローブ画像を画像処理する。ステップＳ２２で生成された対比染色マスクは、画像処理が対比染色マスクによって画定される関心領域に限定されることを可能にし、ステップＳ２５での画像処理を支援し、これにより必要な処理の量を減らし、対象の細胞材料の領域外のアーティファクトの処理を回避する。
ステップＳ２５の計算例（ＦＩＳＨプローブ画像マスク生成）
ａ．ＦＩＳＨプローブ画像は、対比染色マスクによってマスキングされた全てのピクセルの強度値をゼロに設定するために、対比染色マスクによってフィルタリングされる。
ｂ．ノイズリダクションのためにメディアンフィルタが適用される。
ｃ．ホワイトトップハットフィルタを適用して、ＦＩＳＨ信号の全ての背景周囲光成分を削除し、背景より明度の高い画像強度の特徴部と所定のサイズよりも小さいオブジェクトとが保持されるようにする。ここで、サイズは、現在の画像捕捉倍率（または可能性のある画像キャプチャ倍率の範囲）で発生しうる特徴部を除外しないように選択される。
ｄ．領域最大演算子を適用して、ＦＩＳＨプローブ画像内の最大値の位置を決定する。領域の最大値は、接続されたピクセルの連続セットとして定義されうる。各ピクセルは、閾値を超える強度値を有し、その外部境界ピクセルは全て、閾値よりも小さい値を有する。
ｅ．領域の最大値は、マスクが過度にフィルタ除去されないように、拡張演算子を適用することによって拡張される。
ｆ．ＦＩＳＨプローブ画像マスクは、閾値フィルタを画像に適用することによって生成される。閾値は、閾値を超える強度のピクセルがＦＩＳＨ信号の位置に対応するように設定される。
ステップＳ２６からＳ２８において、本方法は、関心領域の画像強度に基づいて、必要に応じて露出量を調整する。画像強度測定により、関心領域の明度が閾値を下回っていること、つまり暗すぎることが示された場合、本方法では、露出量の増大値が最大許容値を超えない限り、露出量をＥ’＝Ｅ＋ΔＥに増分する（ステップＳ２７の検査）。最大露出量を超えていない場合、プロセスフローはステップＳ２７からステップＳ２８に進み、さらにステップＳ２４に進み、以下同様にして、露出量を増大させた別のＦＩＳＨプローブ画像が得られる。ステップＳ２７での検査の際に、増分によって最大露出量を超えた場合、測定するＦＩＳＨ信号が存在しないかまたはＦＩＳＨ信号が不充分であることが示されている。これは、許容される最長の露出量でも依然として核が配置されている位置でのＦＩＳＨプローブ画像が過度に暗いためであり、この場合、本方法は終了可能である。一方、強度測定で明度が充分に高いことが示された場合、露出量はＯＫとなり、ステップＳ２９で記録を生成して保存した後、本方法の繰り返し部分が終了されうる。
換言すれば、ステップＳ２６は、ステップＳ２５で得られた画像強度が、ＦＩＳＨプローブ画像の適正露出量を示す所望の強度値を有するか否かを検査する。「イエス」の場合、適正に露出されたＦＩＳＨプローブ画像を含むＦＩＳＨ記録を生成して保存することにより、本方法を終了できる。必須ではないが、対比染色画像を記録に保存してもよい。「ノー」の場合、ステップＳ２７で、露出値を増分することが適切か否かが検査される。
ステップＳ２７において、増分された露出値が最大露出値よりも高い場合、これは、試料が充分に強いＦＩＳＨ信号を放出することができない可能性が高いことを意味しているため、それ以上繰り返しを行う意味はない。したがって、本方法は、例えば、最も新しく取得されたＦＩＳＨ画像を含む記録を保存することによって終了される。この場合、必須ではないが、ＦＩＳＨプローブ画像が有意なＦＩＳＨ信号を有さないこと、または不充分なＦＩＳＨ信号しか有さず、すなわち取得が失敗した可能性が高いことを記述または表示する、テキストラベルなどのメタデータを記録ヘッダに追加することも有意である。
ステップＳ２７で露出量の増分が許容される場合、増分がステップＳ２８で行われ、プロセスフローはステップＳ２４に戻り、さらなるＦＩＳＨプローブ画像が取得される。
適切な値を見出すために露出量を調整することには、ステップＳ２４からＳ２８のループを繰り返し走査することによって、露出量を段階的に増大させながらＦＩＳＨプローブ画像を繰り返し取得することが含まれることが想定される。各繰り返しで、充分に明度の高い画像強度を提供する露出量に到達するまで、つまり、画像強度の下限閾値を超えるまで、関心領域、例えば細胞核でのＦＩＳＨ画像強度が決定するための画像処理が行われる（ステップＳ２６の検査）。
露出量の増分は、例えば、一定の固定増分、またはその大きさが変化する増分であってよい。増分の変化の一例としては、例えば、毎回の露出量を２倍にするために２倍の乗算係数で増大させるなど、予め定義された進行への追従が挙げられる。これらの実施形態における乗算係数の好ましい値は、１．５～２．５である。別の例は、最後のＦＩＳＨプローブ画像が決定された所望の強度レベルをどれだけ下回っているかに基づいて、増分の大きさをインタラクティブに変化させることであり、例えば、所望の強度と現在の強度との間の差を成分として含む乗算係数を使用することにより、所望の強度レベルに近づくにつれて増分が低減される。
ステップＳ２９で、本方法は、ＦＩＳＨプローブ画像を記録に保存することによって終了する。好ましい結果は、フローがステップＳ２６からステップＳ２９に進んだ場合である。この場合、保存されるＦＩＳＨプローブ画像は、所望の値である関心領域の強度値を有する。記録には、対比染色画像も保存されることが好ましい。保存されるＦＩＳＨプローブ画像には、最も新しく取得されたものでありうる、最大露出限界に達した場合の「ｎｕｌ」の暗い画像（ステップＳ２７からステップＳ２９へのフローの場合）も含まれる。代替的に、保存された画像は、ステップＳ２９の一部として取得された追加のＦＩＳＨプローブ画像でありうる。記録のために追加の取得を行うことは、全体的により良い品質の画像を得ることでありうる。例えば、ステップＳ２４の種々の走査を通じて取得された２つ以上のＦＩＳＨプローブ画像の共同分析に基づいて最適と見なされる露出量が選択されてもよく、例えばステップＳ２４からＳ２８のループの最新の２回または３回の繰り返しの画像強度の補間によって決定された露出値が選択されてもよい。
例えば、グラフィックス処理ユニット（ＧＰＵ）の補助を受けて、上記の取得プロセス中の画像の処理が迅速に行われ、本方法が適切に迅速であることが好ましい。さらに、露出量の増分ΔＥは、好ましくは、微調整の提供のための充分に小さい値に設定されるが、繰り返し回数がプロセス全体を許容不能なまでに遅延させるほど小さい値ではない。さらに、本方法が長時間の露出量で開始されてこれを短くしていくものではなく、反対であって、すなわち短時間の露出量で開始されてこれを増大させていくものである理由は、速度にあることに留意されたい。
ＦＩＳＨプローブ画像から生成されるマスクおよび対比染色画像から生成されるマスクは、例えば、上記の教本の各章で説明されているように、標準的な処理技術の任意の組み合わせを使用して生成することができる。ＦＩＳＨプローブ画像または対比染色画像は、カラーまたはグレースケールでありうる。画像は、コントラスト強調フィルタを適用することによって変更されうる。マスクの生成には、画像内の関心領域を識別するためのセグメンテーションが含まれうる。セグメンテーションには、次の画像処理技術、すなわち
１．シード領域を識別するための分散ベースの分析
２．適応的閾値処理
３．（上記の）モルフォロジ演算
４．輪郭の識別
５．近接ヒューリスティックルールに基づく輪郭のマージ
６．不変画像モーメントの計算
７．エッジ抽出（例えば、ソーベルエッジ検出）
８．曲率流フィルタリング
９．スーパーピクセルクラスタリング
のうちのいずれかまたは全てが含まれうる。
マスクを生成するためのこれらの画像処理ステップは、例として説明されており、本発明の範囲を限定するものとして解釈されるべきではない。
比較例
図３Ａは、本発明の利益なしに撮影されたＦＩＳＨプローブ画像を示している。自動露出方法では、画像全体の明度に基づくため、画像の下端近くで左右の中央に見られる明度の高い蛍光のデブリにより、関心領域が露出不足になり、暗くなりすぎてしまう。
図３Ｂは、本発明の一実施形態による最適化された露出量で撮影された、図３Ａと同じ試料のＦＩＳＨプローブ画像を示す図である。ＦＩＳＨプローブ画像から得られたマスクを使用することにより、高い明度で蛍光を発するデブリによる露出量への影響が排除されている。当該排除は、上述したとおりに決定されている。結果として、ＦＩＳＨプローブ画像の関心領域が適切に露出され、細胞核の細部が表示されている。
代替的な画像取得の実施形態
最初に意図的に露出不足にし、次に画像強度が閾値を超えるまで露出量を段階的に増大させる上記の経験的アプローチの代替手段として、最終的なＦＩＳＨプローブ画像の関心領域で画像強度が所望の画像強度に到達するために必要な露出量を計算することにより、適切な露出量を分析的に決定することができる。かかる計算は、初期ＦＩＳＨプローブ画像の画像強度を最終的なＦＩＳＨプローブ画像の所望の画像強度と比較することによって、最初の画像に使用される露出量を増大または減少させることに基づきうる。したがって、最終的なＦＩＳＨプローブ画像の露出量は、繰り返すことなく、最初に取得された初期ＦＩＳＨプローブ画像から決定された画像強度から直接に設定することができる。すなわち、所与のＦＩＳＨプローブ画像の画像強度が、所望の画像強度の所定の割合、例えば一例では３分の１である場合、適正露出量は、その割合の逆数、つまりこの例では、当該ＦＩＳＨプローブ画像を得るために使用された露出量の３倍であると推測することができる。すなわち、露出量の調整値Ｅｆｉｎａｌは、初期画像を取得するために使用される露出量Ｅ０と初期ＦＩＳＨプローブ画像の画像強度Ｉ０との間の比率に基づく第１の係数を、所望の画像強度に基づく第２の係数Ｉｔｈで乗算することによって決定することができる。つまり、
Figure 2022511401000002
 となる。
図４は、かかる自動露出方法を具体化する方法の実行に関連するステップを示すフロー図である。
ステップＳ４０は、図２のステップＳ２０に対応する。このステップでは、ＦＩＳＨプローブおよび適切な対比染色剤で標識された試料が提供され、試料が取得装置に装填される。
図２のステップＳ２１に対応するステップＳ４１において、本方法は、試料の対比染色画像を取得し、それを保存する。
図２のステップＳ２２に対応するステップＳ４２において、本方法は、対比染色画像を画像処理して、関心領域すなわち核の領域を画定するマスクを生成する。
図２のステップＳ２３に対応するステップＳ４３において、本方法は、画像取得装置の露出量を初期値に設定する。これは、例えば、露出不足のＦＩＳＨプローブ画像を生成すると予測される値、または適正に露出されると予測される値のいずれかであってよい。
図２のステップＳ２４に対応するステップＳ４４において、本方法は、ＦＩＳＨプローブ画像を取得する。
図２のステップＳ２５に対応するステップＳ４５において、本方法は、少なくとも１つのモルフォロジ演算子を適用して、画像強度が高い場所の周囲の関心領域を識別し、次に関心領域以外の全てをフィルタ除去するためのＦＩＳＨプローブ画像マスクを生成することにより、ＦＩＳＨプローブ画像を画像処理する。次に、このマスクをＦＩＳＨプローブ画像に適用して、関心領域の画像強度を決定する。
ステップＳ４６では、式
Figure 2022511401000003
 にしたがって、適切な露出量が計算される。
ステップＳ４７では、最終的なＦＩＳＨプローブ画像が、ステップＳ４６で計算された露出量で取得される。
図２のステップＳ２９に対応するステップＳ４８では、ＦＩＳＨ記録が生成され、ＦＩＳＨ記録に最終的なＦＩＳＨプローブ画像が保存され、好ましくは対比染色画像も保存される。図２の実施形態と同様に、必要に応じて、ステップＳ４７で取得された最終的なＦＩＳＨプローブ画像の画像強度を、ステップＳ４５と同じ措置を適用することによって決定することができ、閾値を超えるかもしくは下限と上限との間の所望の範囲内にあることにより測定される所望の値と比較して、画像強度が低すぎる（または高すぎる）場合、当該記録には、ＦＩＳＨ信号が弱すぎる（または強すぎる）ことを示すメタデータを保存することができる。
図２とは異なる図４の分析的アプローチを除いて、ステップＳ４０からＳ４５は、それぞれステップＳ２０からＳ２５と本質的に同じであることが理解されよう。ここで、最初のＦＩＳＨ画像の露出量を、意図的に露出不足の画像となるように選択する必要はない。初期画像が露出不足または露出過剰であっても、適用される数式は同様に良く機能するため、こうした選択は当該分析方法において必須ではない。
図２の実施形態と図４の実施形態との間のハイブリッドのアプローチを使用することもでき、ここでは、２つ以上のＦＩＳＨプローブ画像が、例えば露出量を２回以上繰り返して増分し、次いで当該画像からの画像強度値を補間して、最終的な取得のための適切な露出量を決定することにより、異なる露出量で取得される。ＦＩＳＨプローブ画像露出量の適切な最終値を決定する分析的手法の一例には、図２のフローにしたがって少なくとも１つの後続のＦＩＳＨプローブ画像を取得することが含まれ、これにより、初期ＦＩＳＨプローブ画像を含めて、少なくとも２つのＦＩＳＨプローブ画像が取得され、少なくとも２つのＦＩＳＨプローブから最終的なＦＩＳＨプローブ画像の露出量が計算される。後続の１つ以上のＦＩＳＨプローブ画像は、最初の後続のＦＩＳＨプローブ画像の初期値への増分から始まり、その前のＦＩＳＨプローブ画像から連続して増分される露出量を有することが想定される。最終的な露出値であるＥｆｉｎａｌは、露出量と初期および後続のＦＩＳＨプローブ画像の画像強度との比率の総和に基づく第１の係数を、所望の画像強度に基づく第２の係数で乗算することにより、例えば、式
Figure 2022511401000004
 にしたがって決定され、式中、
ｎ＝０は、初期ＦＩＳＨプローブ画像に対応し、
ｎ≧１は、後続のＦＩＳＨプローブ画像または後続の各ＦＩＳＨプローブ画像に対応し、
Ｎは、後続のＦＩＳＨプローブ画像の数であり、Ｎ≧１である。
これは、必要に応じて、総和の要素の一部のみを取得することで変更されうる。例えば、最小の「ｎ」の数に関連する繰り返しのうちの１つ以上が破棄される。別の変更例は、最も新しく取得した後続の画像により高い重みを付けるなど、適切な手法で総和の要素に重み付けすることであり、ここで、重み付け式は、
Figure 2022511401000005
 のようになり、式中、ｃｎは重み係数である。
別の代替手段は、決定において、後続のＦＩＳＨプローブ画像のうちの１つのみを使用することであり、すなわち、
Figure 2022511401000006
 であり、つまり、露出量と後続のＦＩＳＨプローブ画像のうちの１つのＦＩＳＨプローブ画像の画像強度との比率に基づく第１の係数を、所望の画像強度に基づく第２の係数で乗算することである。
この主題のさらなる変形例は、容易に想到可能である。
コンピューティングプラットフォームおよびネットワーク環境
提案している画像処理は、種々のコンピューティングアーキテクチャ、特に画像処理用に最適化されたコンピューティングアーキテクチャで実行することができる。これらは、中央処理装置（ＣＰＵ）、ＧＰＵ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および／または特定用途向け集積回路（ＡＳＩＣ）に基づきうる。幾つかの実施形態では、画像処理ソフトウェアは、カリフォルニア州サンタクララ在のNvidia CorporationによるＮｖｉｄｉａ ＧＰＵ、例えばＴｅｓｌａ Ｋ８０ ＧＰＵ上で実行される。他の実施形態では、画像処理ソフトウェアは、汎用ＣＰＵ上で実行することができる。画像処理計算を実行するために専用に設計されたプロセッサによって、より高速な処理を達成することができる。
画像処理ソフトウェアを実行するために使用される計算能力は、ＣＰＵ、ＧＰＵまたは他のプロセッサタイプのいずれに基づくかにかかわらず、後述するような臨床ネットワーク内でローカルにホストされうるか、またはデータセンターでリモートにホストされうることが理解されるであろう。
提案しているコンピュータ自動化方法は、検査情報システム（ＬＩＳ）のコンテクストで動作し、ＬＩＳはさらに、典型的には、病院情報システム（ＨＩＳ）または画像アーカイブおよび通信システム（ＰＡＣＳ）などのより大きな臨床ネットワーク環境の一部である。ＬＩＳでは、画像データファイルはデータベースに保持され、通常は個々の患者の電子医療記録を含む患者情報データベースに保持される。画像データファイルは、スライドに取り付けられた染色組織試料から取得される。画像データファイルを取得する顕微鏡にバーコードリーダが装備されているため、スライドには、画像データファイルに適切なメタデータがタグ付けされたバーコードラベルが印刷されている。ハードウェアの観点からは、ＬＩＳは、必要に応じて有線および無線接続を備えたローカルエリアネットワーク（ＬＡＮ）などの従来のコンピュータネットワークである。
図５は、本発明の実施形態と併せて使用されうる例示的なコンピュータネットワークを示す図である。ネットワーク１５０には、病院１５２内のＬＡＮが含まれる。病院１５２は、複数のワークステーション１５４を備えており、複数のワークステーション１５４は、それぞれがローカルエリアネットワークを介して、関連するストレージデバイス１５８を有する病院コンピュータサーバ１５６にアクセスすることができる。ＬＩＳ、ＨＩＳまたはＰＡＣＳアーカイブは、ストレージデバイス１５８に保存され、これにより、アーカイブ内のデータは、任意のワークステーション１５４からアクセスすることができる。ワークステーション１５４のうちの１つ以上は、グラフィックカードおよびソフトウェアにアクセスして、前述のように画像を生成する方法をコンピュータに実装することができる。ソフトウェアは、１つのワークステーション１５４もしくは各ワークステーション１５４にローカルに保存されうるか、またはリモートで保存されて、必要に応じてネットワーク１５０を介してワークステーション１５４にダウンロードされうる。他の例では、本発明を具体化する方法は、端末として動作するワークステーション１５４を備えたコンピュータサーバ上で実行されうる。例えば、ワークステーションは、所望のＦＩＳＨ画像データセットを定義するユーザ入力を受信し、画像処理分析がシステムの他の場所で実行されている間、結果の画像を表示するように構成可能である。また、複数のＦＩＳＨ画像取得デバイスおよび他の医療撮像デバイス１６０，１６２，１６４，１６６が、病院のコンピュータサーバ１５６に接続されている。デバイス１６０，１６２，１６４，１６６で収集された画像データは、ストレージデバイス１５６上のＬＩＳ、ＨＩＳ、またはＰＡＣＳアーカイブに直接に保存することができる。したがって、ＦＩＳＨ画像は、対応するＦＩＳＨ画像データが記録された直後に表示および処理することができる。ローカルエリアネットワークは、病院のインターネットサーバ１７０によってインターネット１６８に接続されており、これにより、ＬＩＳ、ＨＩＳ、またはＰＡＣＳアーカイブへのリモートアクセスが可能になる。これは、データへのリモートアクセスのためおよび例えば患者が移動する場合に病院間でデータを転送するために、または外部調査を実施可能とするために役立つ。
図６は、本明細書に記載の種々の実施形態に関連して使用されうる例示的なコンピューティング装置５００を示すブロック図である。例えば、コンピューティング装置５００は、上記のＬＩＳまたはＰＡＣＳシステムにおけるコンピューティングノードとして使用されてもよく、例えば、コンピューティング装置５００は、適切なＣＰＵまたはＧＰＵと組み合わせてＦＩＳＨ画像の処理が実行されるホストコンピュータである。
コンピューティング装置５００は、サーバまたは任意の従来のパーソナルコンピュータ、または有線もしくは無線のデータ通信が可能な他の任意のプロセッサ対応デバイスでありうる。当業者には明らかであるように、有線または無線のデータ通信が不可能なデバイスを含む、他のコンピューティング装置、システム、および／またはアーキテクチャも使用することができる。
コンピューティング装置５００は、好ましくは、プロセッサ５１０などの１つ以上のプロセッサを含む。プロセッサ５１０は、例えば、ＣＰＵもしくはＧＰＵもしくはアレイまたはこれらの組み合わせ、例えばＣＰＵおよびＧＰＵの組み合わせであってよい。入力／出力を管理するための補助プロセッサ、テンソル処理ユニット（ＴＰＵ）などの浮動小数点数学的演算を実行するための補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを備えた専用マイクロプロセッサ（例えば、デジタル信号プロセッサ、画像プロセッサ）、メイン処理システムに従属するスレーブプロセッサ（例えば、バックエンドプロセッサ）、デュアルプロセッサシステム用もしくはマルチプロセッサシステム用の追加のマイクロプロセッサまたはコントローラ、またはコプロセッサなどの追加のプロセッサを提供することができる。かかる補助プロセッサは、個別のプロセッサであってもよいし、またはプロセッサ５１０と統合されていてもよい。コンピューティング装置５００で使用されうるＣＰＵの例として、Ｐｅｎｔｉｕｍプロセッサ、Ｃｏｒｅ ｉ７プロセッサおよびＸｅｏｎプロセッサが挙げられ、これらは全て、カリフォルニア州サンタクララ在のIntel Corporationから入手可能である。コンピューティング装置５００とともに使用することができる例示的なＧＰＵは、カリフォルニア州サンタクララ在のNvidia CorporationのＴｅｓｌａ Ｋ８０ ＧＰＵである。
プロセッサ５１０は、通信バス５０５に接続されている。通信バス５０５は、ストレージとコンピューティング装置５００の他の周辺コンポーネントとの間の情報転送を容易にするためのデータチャネルを含みうる。通信バス５０５はさらに、データバス、アドレスバスおよび制御バス（図示せず）を含む、プロセッサ５１０との通信に使用される信号のセットを提供することができる。通信バス５０５には、例えば、インダストリスタンダードアーキテクチャ（ＩＳＡ）、拡張インダストリスタンダードアーキテクチャ（ＥＩＳＡ）、マイクロチャネルアーキテクチャ（ＭＣＡ）、周辺コンポーネント相互接続（ＰＣＩ）ローカルバス、またはＩＥＥＥ４８８汎用インタフェースバス（ＧＰＩＢ）、ＩＥＥＥ６９６／Ｓ－１００などを含む米国電気電子学会（ＩＥＥＥ）によって公布された規格に準拠するバスアーキテクチャなどの、任意の標準または非標準のバスアーキテクチャが含まれうる。
コンピューティング装置５００は、好ましくは、メインメモリ５１５を含み、セカンダリメモリ５２０も含みうる。メインメモリ５１５は、上記で論じた機能および／またはモジュールのうちの１つ以上など、プロセッサ５１０上で実行されるプログラムのための命令およびデータのストレージを提供する。メモリに保存され、プロセッサ５１０によって実行されるコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の構成データ、あるいはＳｍａｌｌｔａｌｋ、Ｃ／Ｃ＋＋、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ、Ｐｅｒｌ、ＶｉｓｕａｌＢａｓｉｃ、．ＮＥＴを含むがこれらに限定されない１つ以上のプログラミング言語の任意の組み合わせで記述および／またはコンパイルされたソースコードもしくはオブジェクトコードであってよいことを理解されたい。メインメモリ５１５は、通常、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）および／またはスタティックランダムアクセスメモリ（ＳＲＡＭ）などの半導体ベースのメモリである。他の半導体ベースのメモリタイプには、例えば、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、ランバスダイナミックランダムアクセスメモリ（ＲＤＲＡＭ）、強誘電体ランダムアクセスメモリ（ＦＲＡＭ）などが含まれ、読み取り専用メモリ（ＲＯＭ）も含まれる。
コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行されてもよいし、スタンドアロンソフトウェアパッケージとして、一部がユーザのコンピュータ上で実行されてもよく、一部がユーザのコンピュータ上でかつ一部がリモートコンピュータ上で、または完全にリモートコンピュータ上でもしくはサーバ上で実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよいし、または（例えば、インターネットサービスプロバイダを使用したインターネット経由で）外部コンピュータに接続されてもよい。
セカンダリメモリ５２０は、任意手段として、内部メモリ５２５および／またはリムーバブル媒体５３０を含んでもよい。リムーバブル媒体５３０は、任意の周知の方式で読み出され、かつ／または書き込まれる。リムーバブル記憶媒体５３０は、例えば、磁気テープドライブ、コンパクトディスク（ＣＤ）ドライブ、デジタル多用途ディスク（ＤＶＤ）ドライブ、他の光学ドライブ、フラッシュメモリドライブなどであってもよい。
リムーバブル記憶媒体５３０は、コンピュータ実行可能コード（すなわち、ソフトウェア）および／またはデータを当該リムーバブル記憶媒体５３０上に保存した、非一時的なコンピュータ可読媒体である。リムーバブル記憶媒体５３０に保存されたコンピュータソフトウェアまたはデータは、プロセッサ５１０による実行のためにコンピューティング装置５００に読み込まれる。
セカンダリメモリ５２０には、コンピュータプログラムまたは他のデータまたは命令をコンピューティング装置５００にロード可能にするための他の同様の要素が含まれうる。かかる手段は、例えば、外部記憶媒体５４５および通信インタフェース５４０を含むことができ、これにより、ソフトウェアおよびデータを外部記憶媒体５４５からコンピューティング装置５００に転送することができる。外部記憶媒体５４５の例には、外付けハードディスクドライブ、外付け光学ドライブ、外付け光磁気ドライブなどが含まれうる。セカンダリメモリ５２０の他の例には、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、またはフラッシュメモリ（ＥＥＰＲＯＭと同様のブロック指向メモリ）などの半導体ベースのメモリが含まれうる。
上記のように、コンピューティング装置５００は、通信インタフェース５４０を含みうる。通信インタフェース５４０により、ソフトウェアおよびデータが、コンピューティング装置５００と外部デバイス（例えば、プリンタ）、ネットワーク、または他の情報源との間で転送可能となる。例えば、コンピュータソフトウェアまたは実行可能コードは、通信インタフェース５４０を介してネットワークサーバからコンピューティング装置５００に転送されてもよい。通信インタフェース５４０の例として、内蔵ネットワークアダプタ、ネットワークインタフェースカード（ＮＩＣ）、パーソナルコンピュータメモリカード国際協会（ＰＣＭＣＩＡ）ネットワークカード、カードバスネットワークアダプタ、ワイヤレスネットワークアダプタ、ユニバーサルシリアルバス（ＵＳＢ）ネットワークアダプタ、モデム、ネットワークインタフェースカード（ＮＩＣ）、ワイヤレスデータカード、通信ポート、赤外線インタフェース、ＩＥＥＥ１３９４ファイアワイヤ、またはシステム５５０をネットワークもしくは別のコンピューティングデバイスにインタフェースさせうるその他のデバイスが挙げられる。通信インタフェース５４０は、好ましくは、イーサネットＩＥＥＥ８０２標準規格、ファイバチャネル、デジタル加入者回線（ＤＳＬ）、非同期デジタル加入者回線（ＡＤＳＬ）、フレームリレー、非同期転送モード（ＡＴＭ）、統合デジタルサービスネットワーク（ＩＳＤＮ）、パーソナル通信サービス（ＰＣＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、シリアルラインインターネットプロトコル／ポイントツーポイントプロトコル（ＳＬＩＰ／ＰＰＰ）などの業界で公布されたプロトコル標準を実装するが、カスタマイズされたもしくは非標準のインタフェースプロトコルも同様に実装可能である。
通信インタフェース５４０を介して転送されるソフトウェアおよびデータは、概して、電気通信信号５５５の形態である。これらの信号５５５は、通信チャネル５５０を介して通信インタフェース５４０に提供されうる。一実施形態では、通信チャネル５５０は、有線ネットワークもしくは無線ネットワーク、または任意の様々な他の通信リンクでありうる。通信チャネル５５０は信号５５５を伝送するものであり、幾つかの例を挙げるならば、ワイヤもしくはケーブル、光ファイバ、従来の電話回線、携帯電話リンク、無線データ通信リンク、無線周波数（「ＲＦ」）リンク、または赤外線リンクを含む様々な有線もしくは無線通信手段を使用して実装可能である。
コンピュータ実行可能コード（すなわち、コンピュータプログラムまたはソフトウェア）は、メインメモリ５１５および／またはセカンダリメモリ５２０に保存される。コンピュータプログラムはまた、通信インタフェース５４０を介して受信され、メインメモリ５１５および／またはセカンダリメモリ５２０に保存されうる。本明細書の他の場所で説明しているように、かかるコンピュータプログラムは、実行される際に、コンピューティング装置５００が、開示した実施形態の種々の機能を実行することを可能にする。
本文書では、「コンピュータ可読媒体」という用語は、コンピュータ実行可能コード（例えば、ソフトウェアおよびコンピュータプログラム）をコンピューティング装置５００に提供するために使用される任意の非一時的なコンピュータ可読記憶媒体を指すために使用される。かかる媒体の例として、メインメモリ５１５、セカンダリメモリ５２０（内部メモリ５２５、リムーバブル媒体５３０、および外部記憶媒体５４５を含む）、ならびに通信インタフェース５４０と通信可能に結合された任意の周辺機器（ネットワーク情報サーバまたは他のネットワークデバイスを含む）が挙げられる。これらの非一時的なコンピュータ可読媒体は、実行可能コード、プログラミング命令、およびソフトウェアをコンピューティング装置５００に提供するための手段である。ソフトウェアを使用して実装される一実施形態では、ソフトウェアは、コンピュータ可読媒体に保存され、リムーバブル媒体５３０、Ｉ／Ｏインタフェース５３５、または通信インタフェース５４０を介してコンピューティング装置５００にロードされうる。かかる一実施形態では、ソフトウェアは、電気通信信号５５５の形態でコンピューティング装置５００にロードされる。ソフトウェアは、プロセッサ５１０によって実行される際に、好ましくは、プロセッサ５１０に、本明細書の他の箇所で説明されている特徴および機能を実行させる。
Ｉ／Ｏインタフェース５３５は、コンピューティング装置５００の１つ以上のコンポーネントと１つ以上の入力および／または出力デバイスとの間のインタフェースを提供する。入力デバイスの例として、キーボード、タッチスクリーンまたは他のタッチセンシティブデバイス、生体認証デバイス、コンピュータマウス、トラックボール、ペンベースのポインティングデバイスなどが挙げられるが、これらに限定されない。出力デバイスの例として、ブラウン管（ＣＲＴ）、プラズマディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プリンタ、真空蛍光表示管（ＶＦＤ）、表面伝導型電子放出ディスプレイ（ＳＥＤ）、電界放出ディスプレイ（ＦＥＤ）などが挙げられるが、これらに限定されない。
コンピューティング装置５００はまた、音声ネットワークおよび／またはデータネットワークを介した無線通信を容易にする任意の無線通信コンポーネントを含む。無線通信コンポーネントは、アンテナシステム５７０、無線システム５６５、およびベースバンドシステム５６０を含む。コンピューティング装置５００では、無線周波数（ＲＦ）信号は、無線システム５６５の管理下にあるアンテナシステム５７０によって無線で送受信される。
アンテナシステム５７０は、１つ以上のアンテナおよび１つ以上のマルチプレクサ（図示せず）を含むことができ、これらは、アンテナシステム５７０に送信および受信信号経路を提供するスイッチング機能を実行する。受信経路において、受信されたＲＦ信号は、マルチプレクサから低ノイズ増幅器（図示せず）に結合可能である。低ノイズ増幅器は、受信したＲＦ信号を増幅し、増幅した信号を無線システム５６５に送信する。
無線システム５６５は、種々の周波数で通信するように構成された１つ以上の無線を含みうる。一実施形態では、無線システム５６５は、復調器（図示せず）および変調器（図示せず）を１つの集積回路（ＩＣ）に組み合わせることができる。復調器および変調器は、別々のコンポーネントにすることもできる。着信経路において、復調器は、ＲＦ搬送波信号を除去し、ベースバンド受信オーディオ信号を残す。ベースバンド受信オーディオ信号は、無線システム５６５からベースバンドシステム５６０に送信される。
受信信号が音声情報を含む場合、ベースバンドシステム５６０は信号を復号し、これをアナログ信号に変換する。次に、信号が増幅されてスピーカに送信される。ベースバンドシステム５６０はまた、マイクロフォンからアナログオーディオ信号を受信する。これらのアナログオーディオ信号は、デジタル信号に変換され、ベースバンドシステム５６０によって符号化される。ベースバンドシステム５６０はまた、送信用のデジタル信号をコード化し、無線システム５６５の変調器部分にルーティングされるベースバンド送信オーディオ信号を生成する。変調器は、ベースバンド送信オーディオ信号をＲＦ搬送波信号と混合して、ＲＦ送信信号を生成する。ＲＦ送信信号は、アンテナシステム５７０にルーティングされ、電力増幅器（図示せず）を通過することができる。電力増幅器は、ＲＦ送信信号を増幅し、ＲＦ送信信号をアンテナシステム５７０にルーティングする。アンテナシステム５７０において、信号は、送信のためにアンテナポートに切り替えられる。
ベースバンドシステム５６０はまた、ＣＰＵであってよいプロセッサ５１０と通信可能に結合されている。プロセッサ５１０は、データ記憶領域５１５および５２０にアクセスすることができる。プロセッサ５１０は、好ましくは、メインメモリ５１５またはセカンダリメモリ５２０に保存されうる命令（すなわち、コンピュータプログラムまたはソフトウェア）を実行するように構成される。コンピュータプログラムはまた、ベースバンドプロセッサ５６０から受信され、メインメモリ５１５もしくはセカンダリメモリ５２０に保存されるか、または受信時に実行されうる。かかるコンピュータプログラムは、実行される際に、コンピューティング装置５００が開示した実施形態の種々の機能を実行することを可能にする。例えば、データ記憶領域５１５または５２０には、種々のソフトウェアモジュールが含まれてもよい。
コンピューティング装置は、通信バス５０５に直接に接続されたディスプレイ５７５をさらに含み、ディスプレイ５７５は、上記のＩ／Ｏインタフェース５３５に接続された任意のディスプレイの代替手段として、またはこれに追加して提供されうる。
種々の実施形態はまた、例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックアレイ（ＰＬＡ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのコンポーネントを使用して、主にハードウェア内に実装可能である。本明細書に記載した機能を実行しうるハードウェアステートマシンの実現形態もまた、関連技術分野の当業者には明らかであろう。ハードウェアおよびソフトウェアの両方の組み合わせを使用して、種々の実施形態を実装することもできる。
さらに、当業者は、上記の図および本明細書に開示される実施形態に関連して説明される種々の例示的な論理ブロック、モジュール、回路および方法ステップが、電子ハードウェア、コンピュータソフトウェアまたはその両方の組み合わせとしてしばしば実装されうることを理解するであろう。ハードウェアおよびソフトウェアのこの互換性を明確に説明するために、種々の例示的なコンポーネント、ブロック、モジュール、回路およびステップを、概してこれらの機能の観点から上記で説明した。かかる機能がハードウェアとして実装されるかソフトウェアとして実装されるかは、システム全体に課せられる特定のアプリケーションおよび設計上の制約によって異なる。当業者は、特定のアプリケーションごとに異なる手法で説明した機能を実装できるが、かかる実現形態の決定は、本発明の範囲からの逸脱を引き起こすと解釈されるべきではない。さらに、モジュール内、ブロック内、回路内またはステップ内の機能のグループ化は、説明を容易にするためのものである。特定の機能またはステップは、本発明から逸脱することなく、１つのモジュール、ブロックまたは回路から別のモジュールへ移行させることができる。
さらに、本明細書に開示される実施形態に関連して説明される種々の例示的な論理ブロック、モジュール、機能、および方法は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡ、もしくはその他のプログラマブルロジックデバイス、ディスクリートゲートもしくはトランジスタロジック、ディスクリートハードウェアコンポーネント、または本明細書に記載されている機能を実行するように設計されたこれらの任意の組み合わせを用いて実装または実行することができる。汎用プロセッサは、マイクロプロセッサであってよいが、代替手段として、プロセッサは任意のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと組み合わせた１つ以上のマイクロプロセッサ、または任意の他のかかる構成として実装することができる。
さらに、本明細書に開示される実施形態に関連して説明される方法またはアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、またはその双方の組み合わせで直接に具体化することができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、またはネットワーク記憶媒体を含むその他の形態の記憶媒体に常駐していてよい。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合可能である。別の方法として、記憶媒体をプロセッサに統合することもできる。プロセッサおよび記憶媒体はまた、ＡＳＩＣに常駐していてもよい。
本明細書で言及したコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波管または他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを介して通過する光パルス）、またはワイヤを介して送信される電気信号などの一時的な信号自体であると解釈されるべきではない。
本明細書に記載されているソフトウェアコンポーネントのいずれも、様々な形態をとりうる。例えば、コンポーネントはスタンドアロンのソフトウェアパッケージであってもよく、より大きなソフトウェア製品に「ツール」として組み込まれているソフトウェアパッケージであってもよい。これは、Ｗｅｂサイトなどのネットワークから、スタンドアロン製品として、または既存のソフトウェアアプリケーションにインストールするためのアドインパッケージとしてダウンロードできる。また、クライアントサーバソフトウェアアプリケーション、Ｗｅｂ対応ソフトウェアアプリケーション、および／またはモバイルアプリケーションとして利用できる場合もある。
本発明の実施形態は、本発明の実施形態による方法、装置（システム）およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本明細書に記載されている。フローチャート図および／またはブロック図のうちの各ブロック、ならびにフローチャート図および／またはブロック図のうちのブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されよう。
コンピュータ可読プログラム命令は、汎用コンピュータ、特殊目的用コンピュータ、または機械を製造するための他のプログラム可能なデータ処理装置のプロセッサに提供され、これにより、コンピュータのプロセッサまたは他のプログラム可能なデータ処理装置を介して実行される命令が、フローチャートおよび／またはブロック図のうちの１つ以上のブロックで指定された機能／行為を実施するための手段を作成する。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラム可能なデータ処理装置、および／または他のデバイスに特定の方式で機能するように指示しうるコンピュータ可読記憶媒体に保存可能であり、よって、内部に保存された命令を有するコンピュータ可読記憶媒体には、フローチャートおよび／またはブロック図のうちの１つ以上のブロックで指定された機能／行為の態様を実施する命令を含む製造品が含まれる。
コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされて、コンピュータ、他のプログラム可能な装置、または他のデバイス上で一連の操作ステップを実行させ、コンピュータ実装プロセスを生成することができる。その結果、コンピュータ、他のプログラム可能な装置、または他のデバイス上で実行される命令には、フローチャートおよび／またはブロック図のうちの１つ以上のブロックで指定された機能／行為が実装される。
図示のフローチャートおよびブロック図は、本発明の種々の実施形態による、システム、方法、およびコンピュータプログラム製品の可能な実現形態のアーキテクチャ、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、または命令の一部を表しうる。これには、指定された論理機能を実装するための１つ以上の実行可能命令が含まれる。幾つかの代替の実現形態では、ブロックに示されている機能は、図に示されている順序とは異なっていてよい。例えば、連続して示されている２つのブロックは、実際には実質的に同時に実行されてもよい。または関連する機能に応じて、ブロックが逆の順序で実行されてもよい。ブロック図および／またはフローチャート図のうちの各ブロック、ならびにブロック図および／またはフローチャート図のうちのブロックの組み合わせは、指定された機能もしくは行為を実行するか、または専用ハードウェアとコンピュータ命令の組み合わせを実行する専用ハードウェアベースのシステムによって実装されうることにも留意されたい。
本開示の範囲から逸脱することなく、前述の例示的な実施形態に対して多くの改良および変更を行うことができることは当業者には明らかであろう。

Claims (14)

  1. 蛍光インサイチュハイブリダイゼーション（ＦＩＳＨ）プローブで標識された試料のＦＩＳＨプローブ画像を取得する蛍光顕微鏡装置を含む画像取得装置を制御するための方法であって、前記方法は、
    ＦＩＳＨプローブ画像を取得するための露出量を初期値に設定することと、
    前記露出量の前記設定値でＦＩＳＨプローブ画像を取得することと、
    少なくとも１つのモルフォロジ演算子を適用して、画像強度が高い場所の周囲の関心領域を識別し、次に前記関心領域以外の全てをフィルタ除去するためのＦＩＳＨプローブ画像マスクを生成することにより、前記ＦＩＳＨプローブ画像を画像処理することと、
    前記マスクを前記ＦＩＳＨプローブ画像に適用して、前記関心領域の画像強度を決定することと、
    前記画像強度は、前記ＦＩＳＨプローブ画像の適正露出量を示す所望の強度値を有する場合、
    適正に露出されたＦＩＳＨプローブ画像を含むＦＩＳＨ記録を生成および保存し、
    それ以外の場合には、前記露出値を調整し、かつ前記露出量の調整値を使用して前記方法を繰り返すことと、
    を含む方法。
  2. 前記初期露出値は、露出不足のＦＩＳＨプローブ画像を取得するように設定され、前記露出値を調整することは、その値を増大させることを含み、これにより、前記方法が繰り返されるにつれて、前記露出値が前記初期値から連続的に増大する、
    請求項１記載の方法。
  3. 前記所望の強度値の画像強度を有するＦＩＳＨプローブ画像を得ることなく、最大露出値に達すると、前記露出量の連続的な増大が終了し、この場合、前記ＦＩＳＨ記録が生成され、取得された前記ＦＩＳＨプローブ画像のうちの１つのＦＩＳＨプローブ画像および前記ＦＩＳＨプローブ画像のＦＩＳＨ信号が不充分であることを示すメタデータとともに保存される、
    請求項２記載の方法。
  4. 前記露出量の前記調整値を決定することは、前記露出量と前記ＦＩＳＨプローブ画像の前記画像強度との間の比率に基づく第１の係数を、所望の画像強度に基づく第２の係数で乗算することを含む、
    請求項１記載の方法。
  5. 前記方法は、複数のＦＩＳＨプローブ画像を取得するために少なくとも１回繰り返され、前記露出量の前記調整値を決定することは、前記露出量と取得された複数のＦＩＳＨプローブ画像のそれぞれのＦＩＳＨプローブ画像の画像強度との比率の総和に基づく第１の係数を、所望の画像強度に基づく第２の係数で乗算することを含む、
    請求項１記載の方法。
  6. 前記方法は、複数のＦＩＳＨプローブ画像を取得するために少なくとも１回繰り返され、前記露出量と後続のＦＩＳＨプローブ画像のうちの１つのＦＩＳＨプローブ画像の画像強度との間の比率に基づく第１の係数を、所望の画像強度に基づく第２の係数で乗算することにより、前記露出量の前記調整値を決定する、
    請求項１記載の方法。
  7. 前記試料は、対比染色剤で付加的に標識され、前記方法は、
    前記試料の対比染色画像を取得することと、
    前記対比染色画像を画像処理して、前記対比染色領域の領域またはその周辺以外の全てをフィルタ除去する対比染色画像マスクを生成することと、
    前記ＦＩＳＨプローブ画像の前記画像処理を、前記対比染色画像マスクによってフィルタ除去されていない領域に限定することと、
    をさらに含む、
    請求項１記載の方法。
  8. 前記ＦＩＳＨ記録は、前記対比染色画像をさらに含む、
    請求項７記載の方法。
  9. 前記対比染色剤は、細胞核を染色するように構成されている、
    請求項７または８記載の方法。
  10. 画像取得装置を制御して蛍光インサイチュハイブリダイゼーション（ＦＩＳＨ）プローブで標識された試料のＦＩＳＨプローブ画像を取得するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、請求項１から９までのいずれか１項記載の方法を実行するための機械可読命令を含む、コンピュータプログラム製品。
  11. 蛍光インサイチュハイブリダイゼーション（ＦＩＳＨ）プローブで標識された試料のＦＩＳＨプローブ画像を取得するための画像取得装置であって、前記装置は、
    試料のＦＩＳＨプローブ画像を取得するように動作可能な蛍光顕微鏡装置と、
    制御コンピュータであって、
    ＦＩＳＨプローブ画像を取得するための露出量を初期値に設定することと、
    前記露出量の前記設定値でＦＩＳＨプローブ画像を取得することと、
    少なくとも１つのモルフォロジ演算子を適用して、画像強度が高い場所の周囲の関心領域を識別し、次に前記関心領域以外の全てをフィルタ除去するためのＦＩＳＨプローブ画像マスクを生成することにより、前記ＦＩＳＨプローブ画像を画像処理することと、
    前記マスクを前記ＦＩＳＨプローブ画像に適用して、前記関心領域の画像強度を決定することと、
    前記画像強度は、前記ＦＩＳＨプローブ画像の適正露出量を示す所望の強度値を有する場合、
    適正に露出されたＦＩＳＨプローブ画像を含むＦＩＳＨ記録を生成および保存し、
    それ以外の場合には、前記露出値を調整し、かつ前記露出量の前記調整値を使用して前記方法を繰り返すことと、
    に基づいて、前記蛍光顕微鏡装置を用いてＦＩＳＨプローブ画像を取得するための適切な露出量を決定するように構成された制御コンピュータと、
    を含む装置。
  12. 対比染色剤で付加的に標識された試料について、前記制御コンピュータは、付加的に
    前記試料の対比染色画像を取得することと、
    前記対比染色画像を画像処理して、対比染色領域の領域またはその周辺以外の全てをフィルタ除去する対比染色画像マスクを生成することと、
    前記ＦＩＳＨプローブ画像の前記画像処理を、前記対比染色画像マスクによってフィルタ除去されていない領域に限定することと、
    によって適切な露出量を決定するようにさらに構成されている、
    請求項１１記載の装置。
  13. 前記装置は、
    ディスプレイと、
    前記ＦＩＳＨ記録にアクセスし、前記ＦＩＳＨプローブ画像を表示するために前記ＦＩＳＨプローブ画像を前記ディスプレイに送信するように動作可能なディスプレイ出力部と、
    をさらに含む、
    請求項１１または１２記載の装置。
  14. 臨床ネットワークであって、
    コンピュータと、
    ＦＩＳＨプローブ画像を含むＦＩＳＨ記録を保存するように構成されたデータリポジトリと、
    前記コンピュータと前記データリポジトリとの間での前記ＦＩＳＨ記録またはその一部の転送を可能にするネットワーク接続部と、
    ＦＩＳＨ記録を生成し、前記ＦＩＳＨ記録を前記データリポジトリに保存するように動作可能な、請求項１１から１３までのいずれか１項記載の画像取得装置と、
    を含む臨床ネットワーク。
JP2021517951A 2018-10-24 2019-10-23 蛍光インサイチュハイブリダイゼーション画像を取得する際のカメラ露出量制御 Active JP7091557B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18202387.9A EP3644044B1 (en) 2018-10-24 2018-10-24 Camera exposure control when acquiring fluorescence in situ hybridization images
EP18202387.9 2018-10-24
PCT/US2019/057717 WO2020086754A1 (en) 2018-10-24 2019-10-23 Camera exposure control when acquiring fluorescent in situ hybridization images

Publications (2)

Publication Number Publication Date
JP2022511401A true JP2022511401A (ja) 2022-01-31
JP7091557B2 JP7091557B2 (ja) 2022-06-27

Family

ID=64023958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021517951A Active JP7091557B2 (ja) 2018-10-24 2019-10-23 蛍光インサイチュハイブリダイゼーション画像を取得する際のカメラ露出量制御

Country Status (6)

Country Link
US (1) US20210368087A1 (ja)
EP (1) EP3644044B1 (ja)
JP (1) JP7091557B2 (ja)
KR (1) KR20210046788A (ja)
CN (1) CN112805553A (ja)
WO (1) WO2020086754A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024505182A (ja) * 2021-01-22 2024-02-05 ハーグ－シュトライト アクチェンゲゼルシャフト 眼科用顕微鏡装置のための画像露光技術
WO2022203966A1 (en) * 2021-03-25 2022-09-29 Applied Materials, Inc. Generation and utilization of sparce codebook in multiplexed fluorescent in-situ hybridization imagingtechnical field
CN117132511A (zh) * 2023-02-24 2023-11-28 荣耀终端有限公司 一种图像处理方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008082922A (ja) * 2006-09-28 2008-04-10 Sanyo Electric Co Ltd 撮影装置及び細胞観察装置
JPWO2006078036A1 (ja) * 2005-01-24 2008-06-19 オリンパス株式会社 生化学検査装置および生化学検査方法
JP2010500573A (ja) * 2006-08-04 2010-01-07 イコニシス インコーポレーテッド 顕微鏡システムのための画像処理方法
JP2010161664A (ja) * 2009-01-08 2010-07-22 Olympus Corp 顕微鏡撮影システム、画像入力装置、自動露出方法及びプログラム
JP2010527237A (ja) * 2007-05-11 2010-08-12 トランスレーショナル ジェノミクス リサーチ インスティテュート 生細胞の生物学的経路に及ぼす外部刺激の効果を決定するための方法
JP2016507229A (ja) * 2013-01-24 2016-03-10 ゼネラル・エレクトリック・カンパニイ 細胞レベルｆｉｓｈドットカウントのための方法及びシステム
JP2016208854A (ja) * 2015-04-30 2016-12-15 富士フイルム株式会社 撮像装置および方法並びに撮像制御プログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880473A (en) 1997-07-28 1999-03-09 Applied Imaging, Inc. Multifluor-fluorescence in-situ hybridization (M-FISH) imaging techniques using multiple multiband filters with image registration
AU4920297A (en) 1996-10-25 1998-05-15 Applied Imaging, Inc. Multifluor-fluorescence in situ hybridization (m-fish) imaging techniques using multiple multiband filters with image registration
US6169816B1 (en) 1997-05-14 2001-01-02 Applied Imaging, Inc. Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images
US6259807B1 (en) 1997-05-14 2001-07-10 Applied Imaging Corp. Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images
US20090111101A1 (en) * 1998-05-09 2009-04-30 Ikonisys, Inc. Automated Cancer Diagnostic Methods Using FISH
US7133543B2 (en) 2001-06-12 2006-11-07 Applied Imaging Corporation Automated scanning method for pathology samples
US20050265588A1 (en) * 2004-02-03 2005-12-01 Bioimagene, Inc. Method and system for digital image based flourescent in situ hybridization (FISH) analysis
JP2006078036A (ja) 2004-09-08 2006-03-23 Denso Corp 冷房冷蔵用冷凍サイクル装置
CN100576083C (zh) * 2005-12-29 2009-12-30 Asml蒙片工具有限公司 用于多次曝光过程的基于模型的几何分解方法及相应产品
EP2156370B1 (en) * 2007-05-14 2011-10-12 Historx, Inc. Compartment segregation by pixel characterization using image data clustering
US7978258B2 (en) * 2007-08-31 2011-07-12 Historx, Inc. Automatic exposure time selection for imaging tissue
JP2009150829A (ja) * 2007-12-21 2009-07-09 Olympus Corp 生体試料の観察方法
JP5075648B2 (ja) * 2008-01-15 2012-11-21 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
US20090238435A1 (en) * 2008-03-21 2009-09-24 Applied Imaging Corp. Multi-Exposure Imaging for Automated Fluorescent Microscope Slide Scanning
US8310531B2 (en) * 2009-08-03 2012-11-13 Genetix Corporation Methods and apparatuses for processing fluorescence images
US8818069B2 (en) * 2010-11-30 2014-08-26 General Electric Company Methods for scaling images to differing exposure times
JP5710314B2 (ja) * 2011-02-25 2015-04-30 株式会社東芝 マスク検査方法およびその装置
US9058648B2 (en) * 2012-03-15 2015-06-16 Bio-Rad Laboratories, Inc. Image acquisition for chemiluminescent samples
US9135694B2 (en) * 2012-12-04 2015-09-15 General Electric Company Systems and methods for using an immunostaining mask to selectively refine ISH analysis results
US9734573B2 (en) * 2013-04-17 2017-08-15 The United States Of America, As Represented By The Secretary, Dept. Of Health And Human Services Methods and systems for automatically determining magnetic field inversion time of a tissue species
WO2015037724A1 (ja) * 2013-09-13 2015-03-19 三菱レイヨン株式会社 画像読取り方法
CN107667310B (zh) * 2015-06-02 2021-01-01 生命技术公司 荧光成像系统
WO2017114749A1 (en) * 2015-12-30 2017-07-06 Ventana Medical Systems, Inc. System and method for real time assay monitoring
EP3422288B1 (en) * 2017-06-26 2020-02-26 Tecan Trading Ag Imaging a well of a microplate
WO2019002281A1 (en) * 2017-06-28 2019-01-03 Ventana Medical Systems, Inc. CALIBRATION OF SYSTEM LEVEL
US10497105B2 (en) * 2017-11-01 2019-12-03 Google Llc Digital image auto exposure adjustment
US11218645B2 (en) * 2019-06-20 2022-01-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
JP7420950B2 (ja) * 2019-12-17 2024-01-23 アプライド マテリアルズ インコーポレイテッド 多重蛍光インシトゥハイブリダイゼーション画像を獲得し、処理するためのシステム及び方法
US20220012915A1 (en) * 2020-07-10 2022-01-13 Intuitive Surgical Operations, Inc. Apparatuses, systems, and methods for managing auto-exposure of image frames depicting signal content against a darkened background

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2006078036A1 (ja) * 2005-01-24 2008-06-19 オリンパス株式会社 生化学検査装置および生化学検査方法
JP2010500573A (ja) * 2006-08-04 2010-01-07 イコニシス インコーポレーテッド 顕微鏡システムのための画像処理方法
JP2008082922A (ja) * 2006-09-28 2008-04-10 Sanyo Electric Co Ltd 撮影装置及び細胞観察装置
JP2010527237A (ja) * 2007-05-11 2010-08-12 トランスレーショナル ジェノミクス リサーチ インスティテュート 生細胞の生物学的経路に及ぼす外部刺激の効果を決定するための方法
JP2010161664A (ja) * 2009-01-08 2010-07-22 Olympus Corp 顕微鏡撮影システム、画像入力装置、自動露出方法及びプログラム
JP2016507229A (ja) * 2013-01-24 2016-03-10 ゼネラル・エレクトリック・カンパニイ 細胞レベルｆｉｓｈドットカウントのための方法及びシステム
JP2016208854A (ja) * 2015-04-30 2016-12-15 富士フイルム株式会社 撮像装置および方法並びに撮像制御プログラム

Also Published As

Publication number Publication date
EP3644044A1 (en) 2020-04-29
US20210368087A1 (en) 2021-11-25
JP7091557B2 (ja) 2022-06-27
WO2020086754A1 (en) 2020-04-30
CN112805553A (zh) 2021-05-14
EP3644044B1 (en) 2020-12-23
KR20210046788A (ko) 2021-04-28

Similar Documents

Publication Publication Date Title
JP7091557B2 (ja) 蛍光インサイチュハイブリダイゼーション画像を取得する際のカメラ露出量制御
JP7344568B2 (ja) ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム
US20230114003A1 (en) Auto-Focus Methods and Systems for Multi-Spectral Imaging
CA2966555C (en) Systems and methods for co-expression analysis in immunoscore computation
JP5075648B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
US20220084660A1 (en) Artificial intelligence processing system and automated pre-diagnostic workflow for digital pathology
JP5185151B2 (ja) 顕微鏡観察システム
JP2004151101A (ja) 生物標本内の関心対象を識別するための方法及びシステム
JP6960935B2 (ja) コントロールスライドを使用する改善された画像解析アルゴリズム
JP2013246187A (ja) 顕微鏡システム、標本画像生成方法及びプログラム
US20220277440A1 (en) User-assisted iteration of cell image segmentation
US10782514B2 (en) Systems and methods for calibrating a structured illumination imaging system and for capturing a structured illumination image
US20230251199A1 (en) Identifying auto-fluorescent artifacts in a multiplexed immunofluorescent image
JP2005331394A (ja) 画像処理装置
JP5210571B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP2017224108A (ja) データ復元装置、顕微鏡システム、およびデータ復元方法
Bell et al. High dynamic range microscopy for cytopathological cancer diagnosis
JP6113925B2 (ja) 蛍光画像処理装置及び方法
US20220276170A1 (en) Information processing device and program
Merchant et al. Computer-assisted microscopy
US20230176355A1 (en) Microscope System and Corresponding System, Method and Computer Program for a Microscope System
US20230162410A1 (en) Multi-spectral Auto-fluorescence based Stainless and Slide-free Virtual histology
US20240135544A1 (en) Method and system for digital staining of label-free fluorescence images using deep learning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210526

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220615

R150 Certificate of patent or registration of utility model

Ref document number: 7091557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150