JP2018173943A - 撮像試料用の光学歪み補正 - Google Patents

撮像試料用の光学歪み補正 Download PDF

Info

Publication number
JP2018173943A
JP2018173943A JP2018032025A JP2018032025A JP2018173943A JP 2018173943 A JP2018173943 A JP 2018173943A JP 2018032025 A JP2018032025 A JP 2018032025A JP 2018032025 A JP2018032025 A JP 2018032025A JP 2018173943 A JP2018173943 A JP 2018173943A
Authority
JP
Japan
Prior art keywords
image
imaging data
imaging
distortion correction
spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018032025A
Other languages
English (en)
Other versions
JP6563539B2 (ja
Inventor
ラングロワ ロバート
Langlois Robert
ラングロワ ロバート
ベリッツ ポール
Belitz Paul
ベリッツ ポール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Illumina Inc
Original Assignee
Illumina Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Illumina Inc filed Critical Illumina Inc
Publication of JP2018173943A publication Critical patent/JP2018173943A/ja
Application granted granted Critical
Publication of JP6563539B2 publication Critical patent/JP6563539B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/80
    • G06T3/04
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/50Containers for the purpose of retaining a material to be analysed, e.g. test tubes
    • B01L3/502Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures
    • B01L3/5027Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip
    • B01L3/502715Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip characterised by interfacing components, e.g. fluidic, electrical, optical or mechanical interfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G06T3/02
    • G06T3/147
    • G06T5/73
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/401Compensating positionally unequal response of the pick-up or reproducing head
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2200/00Solutions for specific problems relating to chemical or physical laboratory apparatus
    • B01L2200/02Adapting objects or devices to another
    • B01L2200/025Align devices or objects to ensure defined positions relative to each other
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2300/00Additional constructional details
    • B01L2300/08Geometry, shape and general structure
    • B01L2300/0809Geometry, shape and general structure rectangular shaped
    • B01L2300/0829Multi-well plates; Microtitration plates
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2300/00Additional constructional details
    • B01L2300/08Geometry, shape and general structure
    • B01L2300/0861Configuration of multiple channels and/or chambers in a single devices
    • B01L2300/0877Flow chambers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2300/00Additional constructional details
    • B01L2300/08Geometry, shape and general structure
    • B01L2300/0896Nanoscaled
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0031Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for scanning purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30072Microarray; Biochip, DNA array; Well plate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/247Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26Electron or ion microscopes
    • H01J2237/28Scanning microscopes
    • H01J2237/2813Scanning microscopes characterised by the application
    • H01J2237/2817Pattern inspection

Abstract

【課題】繰り返しスポットを有するパターン化試料の撮像の間に,画像歪みを動的に補正する技術を提供する。
【解決手段】画像走査システムにおいて、画像歪み補正係数の異なるセットを,マルチサイクル撮像ランの第1撮像サイクルの間に計算し,引き続いて,後続サイクルの間に生成される画像データにリアルタイムで適用することができる。繰り返しスポットを有するパターン化試料の画像について画像歪み補正係数を計算するために,画像のアフィン変換を予測し,画像を尖鋭化し,更に,尖鋭化された画像について,最適歪み相関係数セットを反復探索する。その反復探索に際して,画像における複数のスポット位置についての平均純度を計算し,予測されたアフィン変換を各反復探索の間に適用する。
【選択図】図6

Description

<関連出願の相互参照>
本願は,2017年 3月 7日付の米国特許仮出願第62/468,347号(発明の名称:撮像試料用の光学歪み補正)の優先権を主張するものであり,同出願はその全体が本願に取り込まれる。更に,本願は,2017年 5月 5日付のオランダ国特許出願第N2018852号(発明の名称:撮像試料用の光学歪み補正)の優先権も主張するものである。
光学レンズを使用する撮像に付随する1つの問題点は,レンズの光学的配置により,画像に異なる形式の歪みが誘発されることである。このような歪みには,例えば,拡大歪み,スキュー歪み,並行歪み,バレル歪み及びピンクッション歪み等の非線形歪みが含まれる。これらの歪みは,一般的には,画像中心から離れた画像点において,より顕著である。
試料面を一方向に走査するラインスキャナにおいて,歪みは,走査対象画像の走査方向に対して垂直なエッジに沿う方向において最も顕著である。例えば,光学系における対物レンズ又はその他の光学素子により生じる収差は,倍率が一軸(例えば,x軸に沿って走査されるラインの場合には,そのx軸)に沿って変動する「ストレッチ歪み」を誘発することがある。この歪みは,多数(数千単位,数百万単位,数十億単位等)のパターン化スポットを有する基板のマルチサイクル撮像の場合に,走査された画像上における実際のスポット位置を,予想されたスポット位置からシフトさせる可能性がある点において特に致命的である。その結果,データスループットにおける欠落や,マルチサイクル撮像ランの間における誤差率の増大を生じさせかねない。この問題を,図1A及び図1Bに示す。図1Aは,蛍光染料を有する複数の試料領域を備えるパターン化ターゲットのスキャン画像における中心を示す。画像の中心において,スポット50における検出可能な歪みは認められない。図1Bは,図1Aにおけるスキャン画像の右側を示す。右側においては,スポット50の光学収差が顕著である。
本願において開示する実施形態は,撮像試料における光学歪みを補正する技術に関するものである。
第1態様は,撮像試料用の光学歪み補正方法に関するものであり,この方法は,複数のスポットを備えるパターン化試料について第1撮像サイクルを実行するステップ;該第1撮像サイクルの間に生成された撮像データの第1のセットを,第1の複数の撮像データサブセットに分割するステップであって,該第1の複数の撮像データサブセットにおける各撮像データサブセットが,前記パターン化試料におけるそれぞれの領域に対応し,前記パターン化試料の各領域が複数のスポットを含む,ステップ;前記第1の複数の撮像データサブセットについて画像歪み補正係数セットを計算するステップ;パターン化試料について第2撮像サイクルを実行して,撮像データの第2のセットを生成するステップ;前記第2撮像サイクルの間に生成された撮像データの第2のセットを,第2の複数の撮像データサブセットに分割するステップであって,該第1の複数の撮像データサブセットにおける各撮像データサブセットは,第1の複数の撮像データサブセットにおける1つの撮像データサブセットと対応する,前記パターン化された試料におけるそれぞれの同一領域に対応する,ステップ;及び,前記第2の複数の撮像データサブセットにおける各撮像データサブセットにつき,前記パターン化試料におけるそれぞれの同一領域に対応する,前記第1の複数の撮像データサブセットにおける前記1つの撮像データサブセットについて計算した前記画像歪み補正係数を適用するステップを備える。
第1態様の一実施形態において,前記パターン化試料における複数のスポットの各スポットは,蛍光タグ付けされた核酸を備え,前記第1撮像サイクルは第1シーケンスサイクルであり,前記第2撮像サイクルは第2シーケンスサイクルである。
第1態様の一実施形態において,前記撮像データの第1セット及び前記撮像データの第2セットの各セットは,それぞれ第1色チャンネルの撮像データ及び第2色チャンネルの撮像データを備え,前記第1の複数の撮像データサブセットについて画像歪み補正係数セットを計算するステップは,各撮像データの各色チャンネルについて歪み相関係数セットを決定するステップを備える。
第1態様の一実施形態において,前記第1の複数の撮像データサブセットの各々について画像歪み補正係数セットを計算するステップは,前記撮像データサブセットのアフィン変換を予測するステップ;前記撮像データサブセットを尖鋭化するステップ;及び,前記撮像データサブセットについて最適な歪み補正係数セットを反復探索するステップ;を備える。
第1態様の一実施形態において,前記撮像データの第1セット及び前記撮像データの第2セットを,少なくとも前記試料の基点位置を使用して分割し,前記第1の複数の撮像データサブセットの各々についてのアフィン変換を,前記基点を使用して予測する。
第2態様は,複数のスポットを備えるパターン化試料の画像における光学歪みを補正する方法に関するものである。この方法は、画像のアフィン変換を予測するステップ;前記画像を尖鋭化するステップ;及び,尖鋭化された画像につき,最適歪み相関係数セットを反復探索するステップを備える。尖鋭化された画像につき,最適化された歪み相関係数セットを反復探索する前記ステップは,該画像における複数のスポット位置についての平均純度を算出するステップ,及び,予測されたアフィン変換を各反復探索の間に適用するステップを備える。
第2態様の一実施形態において,尖鋭化された画像につき,最適化された歪み相関係数セットを反復探索する前記ステップは,前記画像について光学歪み補正係数セットを生成するステップ;前記予測されたアフィン変換を,前記画像における複数のスポット位置に適用するステップ;及び,前記予測されたアフィン変換を適用した後,前記光学歪み補正係数セットを前記複数のスポット位置の各々に適用するステップ;を備える。他の実施形態において,光学歪み補正方法は,前記光学歪み補正係数セットを前記複数のスポット位置の各々に適用した後,前記複数のスポット位置の各々について信号強度を抽出するステップを備える。更に他の実施形態において,光学歪み補正方法は:前記抽出された信号強度を正規化するステップ;及び,前記複数のスポット位置についての平均純度を,少なくとも前記正規化された信号強度を使用して計算するステップ;を備える。
第2態様の特定の実施形態において,前記複数のスポット位置についての平均純度を,少なくとも前記正規化された単一強度を使用して計算するステップは,前記複数のスポット位置の各々について純度を,少なくとも,当該スポット位置の正規化された信号強度に対応する地点からガウス重心までの距離を使用して,計算するステップを備える。
第2態様の特定の実施形態において,尖鋭化された画像につき,最適化された歪み相関係数セットを反復探索する前記ステップは,該画像における複数のスポットをサブサンプリングするステップを備え,先鋭化された画像の行内におけるスポットがサブサンプリングされた場合,該行内における全てのスポットをサブサンプリングする。
本開示に係る技術の他の特徴及び特色は,添付図面に関連しての以下の詳細な記載から明白である。図面は,開示される技術の特徴を例示するものである。要約は,特許請求の範囲の記載に基づいて定めるべき発明の技術的範囲及びその均等範囲を限定するものではない。
上述した概念の全ての組み合わせは,特段の理由のない限り,本願で開示される発明の一部を構成する。特に,特許請求の範囲に記載される特徴の全ての組み合わせは,本願において開示される発明の一部を構成するものである。
図1Aは、蛍光染料を有する複数の試料領域を備えるパターン化ターゲットの走査画像における中心部の一例を示す説明図である。図1Bは、図1Aの右側を示す説明図である。 本発明に係るシステム及び方法を実施するための例示的な画像走査システムの一般化されたブロック線図である。 特定の実施形態において使用することのできる2チャンネル型ライン走査用のモジュラー光学撮像システムを示すブロック線図である。 本発明の実施形態に従って撮像することのできるパターン化試料を例示する説明図である。 本発明に係る撮像ランの間に画像歪みを動的に補正するために実施することのできる方法を例示するフローチャートである。 スポットアレーを有する試料を撮像するためのNチャンネル撮像システムについて,撮像データを複数の撮像データサブセットに分割する態様の一例を示す説明図である。 撮像システムにより生成された撮像データについて歪み補正係数を計算する方法を例示するローチャートである。 6つの基点を含むタイルを例示する説明図である。 1回のシーケンスサイクルの間に2チャンネルベースコーリングから得られるクラウドを例示する説明図である。 フローセルを使用する2チャンネルシーケンス装置における光学系用タイルセットのための歪み曲線群を例示するグラフである。 フローセルを使用する別の2チャンネルシーケンス装置における光学系用タイルセットのための歪み曲線群を例示するグラフである。 フローセルを使用する4チャンネルシーケンス装置における光学系用タイルセットのための2つの異なる色チャンネルに対応する4本の歪み曲線を例示するグラフである。 図10Aは、ラインスキャナを使用してシーケンスを行ったフローセルのスポットのうち,歪み補正を行わずに純度フィルタを通過してX軸に対する視野を横切って排出される割合(%PF)を示す例示的な実験結果の箱ひげ図である。図10Bは、シーケンスを行ったフローセルのスポットのうち,歪み補正を行った後に純度フィルタを通過した割合を示す例示的な実験結果の箱ひげ図である。 撮像レンズ(例えば,対物レンズ)の設計最適化のために使用することのできる光学歪み補正係数を決定するための例示的な方法を示すフローチャートである。 歪み補正のために5次多項式を適用した後,視野を横切るピクセル中に残留する光学歪みを例示する残留歪みプロットである。 本願に開示する実施形態における各種の特徴を実行するために使用することのできる計算モジュールを例示するブロック図である。
以下,添付図面を参照して,本発明を各種実施形態について詳述する。図面は,単なる例示として提示されており,本発明の典型的又は例示的な実施形態を示すに過ぎない。
図面は,網羅的なものではなく,また,本発明を開示される実施形態に限定するものではない。
本明細書において,「スポット」又は「特徴」とは,パターンにおける点又はエリアであって,他の点又はエリアから相対位置に応じて区別できるものを指す。個々のスポットは,特定形式の1つ又は複数の分子を含むことができる。例えば,スポットは,特定塩基配列を有する単一の目標核酸分子を含むことができ,或いは,同一塩基配列(又は,その相補的塩基配列)を有する数個の核酸分子を含むことができる。
本明細書において,「基点」とは,対象物における区別可能な参照点を指す。参照点は,対象物の画像中に存在することができ,又は対象物の検出から得られる別のデータセット中に存在することができる。参照点は,対象物面内におけるx座標及び/又はy座標で特定することができる。代替的又は付加的に,参照点は,xy面に垂直で,例えば対象物及び検出器の想定位置により規定されるz座標で特定することができる。参照点についての1つ又は複数の座標は,物体における,或いは物体から得られる画像又は他のデータセットにおける1つ又は複数の他の特徴に対して特定することができる。
本明細書において,「タイル」とは,試料における同一領域の1つ又は複数の画像を指し,該1つ又は複数の画像の各々は,それぞれの色チャンネルに対応する。タイルは,1回の撮像サイクルの撮像データセットにおける撮像データサブセットを形成することができる。
本明細書において,「純度」とは,タイル上におけるスポット位置の「品質」の目安となる評価指数を指す。純度は,歪み補正係数をスポット位置に適用する前後の両者において決定することができる。「平均純度」とは,タイル上における全てのスポット位置又はスポット位置サブセットに亘る純度の平均値を指す。
本明細書において,「xy面」とは,デカルト座標系における直線的なx軸及びy軸で規定される二次元的エリアを指す。検出器及び該検出器で観察すべき対象物に関して使用される場合,そのエリアは,検出器と,観察すべき対象物との間の観察方向に対して垂直であるものとして更に特定することができる。ラインスキャナに言及する際に使用される場合,「y方向」とは,走査方向を指す。
本明細書において,「z座標」とは,xy面に対して垂直な軸線に沿う点,線又はエリアの位置を特定する情報を指す。特定の実施形態において,z軸は,検出器によって観察すべき対象物のエリアに対して垂直である。例えば,光学系の焦点方向はz軸に沿って特定することができる。
本明細書において,「ラインを走査する」とは,対象物のxy面内における二次元的な矩形状又は横長形状の断面を検出し,その断面と対象物との間で相対変位を生じさせることを指す。例えば,蛍光撮像の場合,走査に際しての所定の時点において,矩形状又は横長形状を有する観察物のエリア(他のエリアは除外する)を特に励起させ,及び/又は当該エリア(他のエリアは除外する)からの放出を特に取得することができる。
本願において開示される実施形態は,複数の繰り返しスポットを有するパターン化試料の撮像に際して生じる画像歪みの動的補正に関する。画像歪み補正係数をマルチサイクル撮像ラン(例えば,シーケンス・ラン)の間に計算し,引き続き,後続サイクルの間に生成される画像データにリアルタイムで適用することができる。
第1実施形態において,試料についてのキャリブレーション撮像サイクル(例えば,第1撮像サイクル)の間に生成された撮像データは,パターン化試料の各領域に対応する惹く数の撮像データサブセット(例えば,タイル)に分割することができる。各タイルは,パターン化試料の領域における複数のサンプルスポットにそれぞれ対応する複数のスポットを含むことができる。各タイルについて,歪み補正係数セットを計算することができる。タイルが多色チャンネルの撮像データを含む場合,タイルの各色チャンネルについて歪み補正係数セットを計算することができる。キャリブレーション撮像サイクルの間に計算された歪み補正係数セットを,パターン化試料についての後続の撮像サイクルの間にそれぞれのタイルに適用することができる。かくして,試料の異なる領域について画像歪みを個別的に補正することができる。この領域固有の歪み補正により,グローバル剛体登録では考慮できなかった歪み補正が可能となる。例えば,レンズの形状により,非線形歪み(線形アフィン変換では考慮外)を誘発させることができる。更に,撮像された基板も製造プロセスにより歪みを誘発させ得る。例えば,基板の非剛性によるウェルの接合又は移動に基づく3Dバスタブ効果である。最後に,ホルダ内における基板のチルトは,線形アフィン変換では対応されない。
第2実施形態は,タイルについての歪み補正係数を生成するための特定の方法に関する。この方法は,タイルの基点を使用してタイルのアフィン変換を予測するステップと;タイルを先鋭化するステップと;タイルにおける複数のスポットの平均純度を最大化する歪み補正係数を探索するステップと;を含む。画像についての単一のアフィン変換のみを行うことにより,開示される方法は,最適な歪み補正係数セットを探索するに要する時間を劇的に短縮させることができる。特定の実施形態において,歪み補正係数の探索は,以下のステップの反復を含むことができる。即ち,歪み補正係数を生成するステップと;生成された歪み補正係数を画像における各スポット位置に適用するステップと;画像における各スポット位置について信号強度を抽出するステップと;信号強度を空間的に正規化するステップと;タイルにおける複数のスポット位置の平均純度を計算するステップと;少なくとも,計算された平均純度を使用して,歪み補正係数の探索を反復するか否かを決定するステップと;を反復するものである。
特定の実施形態において,歪み補正係数を生成するための開示された方法は,4種の異なる試料(例えば,4種の異なるDNA塩基形式)の身元(アイデンティティ)をエンコードした2つの異なる色チャンネルが含まれる画像データにおける画像歪みを補正するために使用することができる。
本発明に係るシステム及び方法の実施形態を記載するに先立ち,開示される技術を実施する例示的な環境について記載しておくことが有用である。そのような例示的な環境は,図2Aに示す撮像システム100の環境である。この例の撮像システムは,試料の画像を取得又は生成する装置を含むことができる。図2Aに示す例は,バックライト形式の例示的な撮像形態を示すものである。システム及び方法を,その時々において例示的な撮像システム100との関連で記載することがあるが,これらは開示される画像歪み補正方法の実施例に過ぎないことに留意されたい。
図2Aに示す例から明らかなとおり,試料は試料容器110(例えば,本明細書に記載されたフローセル)内に収められ,試料容器110は対物レンズ142の下方における試料ステージ170上に配置される。光源160及び関連する光学系により光ビーム,例えばレーザ光を,試料容器110上における選択された試料位置に向けて照射する。試料の蛍光発光及び結果的に生じる光を対物レンズにより集光し,カメラシステムにおける画像センサに入射させて蛍光を検出する。試料ステージ170を対物レンズ142に対して移動させることにより,試料容器110上における次の試料位置を対物レンズ142の焦点に位置決めする。試料ステージ170の対物レンズ142に対する移動は,試料ステージ自体,対物レンズ,撮像システムにおける他の構成部品,又はこれらの任意の組み合わせの移動により達成することができる。更なる実施形態として,固定された試料上で撮像システム全体を移動させることもできる。
流体配送モジュール又はデバイス100により,試薬(例えば,蛍光ラベルを施したヌクレオチド,緩衝液,酵素,切断試薬等)の流れを試料容器110及び排液弁120に導く。試料容器110は,試料を載置する1つ又は複数の基板を含むことができる。例えば,多数の核酸塩基配列を分析するためのシステムの場合,試料容器110は,その上にシーケンスすべき結合し,取付け,又は関連させるための1つ又は複数の基板を含むことができる。各種の実施形態において,拡散が取付け可能な不活性の基板又はマトリックス,例えばガラス面,プラスチック面,ラテックス面,デキストラン面,ポリスチレン面,ポリプロピレン面,ポリアクリルアミドジェル,金面及びシリコンウェファ等,を含むことができる。幾つかのアプリケーションにおいて,基板は,マトリックス内に形成されたチャンネル又はその他にエリア内に,或いは試料容器110を横切るアレー内に配置される。
幾つかの実施形態において,試料容器110は,1種又は複数種の蛍光色素を使用して撮像された生物学的試料を含むことができる。例えば,特定のアプリケーションにおいて,試料容器110は,透明カバープレートと,基板と,これらの間に挟まれる液体とを含むパターン化フローセルとして構成することができ,生物学的試料は,透明カバープレートの内面又は基板の内面に配置することができる。フローセルは,基板における既定のアレー(例えば,六角形アレー,正方形アレー等)にパターン化される多数(例えば,数千,数百万,数十億)のウェル又は領域を含むことができる。各領域は,例えば合成によるシーケンス手法によりシーケンスすることのできるDNA,RNA,又は他のゲノム材料よりなる生物学的試料のクラスタ(例えば,モノクローナルクラスタ)を形成することができる。フローセルは,各々がクラスターの六角形アレーを含む複数の離間したレーン(例えば,8本のレーン)に分割することができる。本発明において使用することのできるフローセルは,例えば米国特許第8,778,848号明細書に開示されている。
システムは,温度ステーションアクチュエータ130と,試料容器110内における流体温度条件を制御可能とするヒータ/クーラ135とを備える。試料容器のシーケンスをモニタし,又は追跡するために,カメラシステム140を配備することができる。カメラシステム140は,例えば,電荷結合デバイス(CCD)型カメラ(例えば,時間差積分(TDI)型CCDカメラ)として構成することができ,これは,フィルタ切り替えアセンブリ145内における各種フィルタ,対物レンズ142及びフォーカシングレーザ/フォーカシングレーザアセンブリ150と協働させることができる。カメラシステム140はCCDカメラに限定されるものではなく,他のカメラやイメージセンサ技術も使用可能である。特定の実施形態において,カメラセンサは,ピクセルサイズを約5〜15μmとすることができる。
カメラシステム140のセンサからの出力データは,リアルタイム分析モジュール(図示せず)に送信することができる。この分析モジュールは,画像データを分析し(例えば,画質評価),レーザービームの特性(例えば,焦点,形状,強度,パワー,輝度,位置)をグラフィカルユーザインターフェース(GUI)に報告又は表示し,更に,画像データにおる歪みを後述する態様で動的に補正するソフトウェアアップリケ―ションとして構成することができる。
光源160(例えば,複数のレーザを任意的に含むアセンブリにおける励起レーザ)又は他の光源を配備して,試料内における蛍光シーケンス反応を,光ファイバインターフェース(任意的に,1つ又は複数の再撮像レンズや,光ファイバマウント等を含む)を介して照射することができる。図示例においては,低出力のランプ165,合焦レーザ150及び反転ダイクロイック185も配備されている。幾つかの実施形態において,合焦レーザ150は,撮像の間はスイッチオフされる。他の実施形態において,代替的な合焦形態は,データ収集と同時に表面で反射された散乱ビームの位置を検出するための第2焦点カメラ(図示せず)を含むことができ,これは象限検出器又は位置感知センサ(PSD)等のセンサで構成することができる。
バックライトデバイスとして開示されているが,他の例として,レーザ又は他の光源からの光を,対物レンズ142を通して試料容器110内における試料に照射する構成とすることもできる。試料容器110を試料ステージ170上に載置して,試料容器110を対物レンズ142に対して移動及び整列させることができる。試料ステージ170は,これを三次元における任意の方向に移動可能とする1つ又は複数のアクチュエータを備えることができる。例えば,デカルト座標系に関して,ステージ170を対物レンズに対してx方向,y方向及びz方向に移動可能とするアクチュエータを設けることができる。これにより,試料容器110上における試料位置を対物レンズに対して最適整合状態に位置決めすることができる。
本例においては,光学素子を試料容器110に対して焦点方向(典型的には,z軸又はz方向)に位置決め制御するために合焦(z軸)部品175が設けられている。合焦部品175は,光学ステージ,試料ステージ又はこれら双方に物理的に結合される1つ又は複数のアクチュエータを含むことができ,該アクチュエータにより試料ステージ170上の試料容器110を光学素子(例えば,対物レンズ142)に対して移動させて撮像操作のために適正な合焦状態を提供する構成とすることができる。例えば,アクチュエータは,ステージに対する直接的又は間接的な,機械的,磁気的,流体的又はその他の取付け手段により,或いは接触により,対応するステージに物理的に結合することができる。1つ又は複数のアクチュエータは,ステージをz方向に移動させると共に試料ステージを同一面内に維持する(即ち,光軸に対して垂直なレベル又は水平高度を維持する)ように構成することができる。1つ又は複数のアクチュエータは,ステージをチルトさせるように構成することもできる。これは,例えば,試料容器110を,その面の傾斜が補償されるよう,動的にレベル合わせすることで行うことができる。
システムの合焦とは,対物レンズの焦点面を,撮像すべき試料に対して選択された試料位置において整列させることを意味する。しかしながら,合焦とは,試料表示の所望の特性,例えばテスト試料画像の所望の先鋭度又はコントラストを得るためのシステム調整も意味する。対物レンズの焦点面視野における使用可能な深度は小さい(時には,1μm以下のオーダ)ことがあり得るため,合焦部品175は,撮像される表面に密接に追従する。試料容器は,器材への取付け状態で完全に平坦ではないため,合焦部品175は,走査方向(以下,y軸と称する。)に移動させる間にそのプロファイルに追従するようにセットアップすることができる。
撮像される試料位置におけるテスト試料から発せられる光は,カメラシステム140における1つまたは複数の検出器に向けることができる。開口を位置決め配置して,焦点エリアから発せられる光のみを検出器に向けて通過可能とすることができる。開口は,焦点エリア外のエリアから発せられる光の成分を取り除くことにより画質を向上させるために設けることができるものである。発光フィルタをスイッチングアセンブリ145内に配備して,決定された発光波長のみを記録し,かつレーザ迷光をカットアウトすることができる。
図示しないが,操作サイクルを制御するためのコントローラを設けることができる。コントローラは,システムの作動要件,例えば,合焦,ステージ移動及び撮像操作を制御するように構成することができる。各種の実施形態において,コントローラは,ハードウェア,アルゴリズム(例えば,コンピュータで実行可能な命令),又はこれらの組み合わせを使用する構成とすることができる。例えば,幾つかの実施形態において,コントローラは,1つ又は複数のCPU又はプロセッサと,関連するメモリーを含むことができる。他の実施形態として,コントローラは,作動を制御するためのハードウェア又は回路,例えばコンピュータプロセッサ及び,コンピュータ可読命令を記憶している非一時的コンピュータ可読媒体を含むことができる。例えば,この回路は,現場プログラマブルゲートアレー(FPGA),特定用途向け集積回路(ASIC),プログラマブルロジックデバイス(PLD),コンプレックスプログラマブルロジックデバイス(CPLD),プログラマブルロジックアレー(PLA),プログラマブルアレーロジック(PAL),或いは他の同様なプロセッシングデバイス又は回路の1種又は複数種を含むことができる。更に他の実施形態として,コントローラは,この回路と,1つ又は複数のプロセッサの組み合わせを含むこともできる。
図2Bは,特定に実施形態において使用することのできる2チャンネルライン走査モジュール型の撮像システム200の一例を示す。システム及び方法を,その時々において,例示的な撮像システム200との関連で記載することがあるが,これらは本願において開示される技術を実施する態様の一例に過ぎないことに留意されたい。
幾つかの実施形態において,システム200は,核酸のシーケンスのために使用することができる。適用可能な技術には,核酸をアレーにおける固定位置(例えば,フローセルにおけるウェル)に固定し,アレーを反復的に撮像する技術が含まれる。このような実施形態において,システム200は,特定のヌクレオチド塩基形式を互いに区別可能とする2つの異なる色チャンネルで画像を取得することができる。より具体的に,システムは「ベースコーリング」と称されるプロセスを実行し,これは,撮像サイクルにおける画像の所定のスポット位置に対して塩基形式(例えば,アデニン(A),シトシン(C),グァニン(G),チミン(T))を決定するプロセスである。2チャンネルベースコーリングの間,2つの画像から抽出された画像データを使用し,2つの画像の強度の組み合わせとして塩基形式をエンコードすることにより,4種の延期形式の1つの存在を判定することができる。2つの画像の各々における所定のスポット位置について,塩基形式は,信号の組み合わせが[on, on],[on, off],[off, on]又は[off, off]の何れであるかによって決定することができる。
再び撮像システム200を参照すると,このシステムは,2つの光源211, 212を内蔵したライン生成モジュール(LGM)210を含む。光源211, 212は,レーザービームを出力するレーザーダイオード等の,コヒーレント光源で構成することができる。光源211は第1波長(例えば,赤色波長)で発光することができ,光源212は第2波長(例えば,緑色波長)で発光することができる。光源211, 212から出力される光ビームは,ビーム整形レンズ213を通過させることができる。幾つかの実施形態において,単一のビーム整形レンズを使用して両光源から出力される光ビームを整形する。他の実施形態において,各光ビームのための別個のビーム整形レンズを使用する。幾つかの実施形態において,ビーム整形レンズは,光ビームをラインパターンに整形するパウエルレンズで構成する。ライン生成モジュール(LGM)210のビーム整形レンズ,又は撮像システムにおける他の光学素子は,光源211, 212から出力される光ビームをラインパターンに整形する(例えば,1つ又は複数のパウエルレンズ,その他のビーム整形レンズ,回折素子,散乱素子等を使用する)ことができる。
ライン生成モジュール(LGM)210は,更に,光ビームを,単一インターフェースポートを通して発光光学モジュール(EOM)230に導くためのミラー214と半反射ミラー215を含むことができる。光ビームは,シャッター素子216を通過させることができる。発光光学モジュール(EOM)230は,対物レンズ235と,対物レンズ235をターゲットに対して接近又は離間させるためのzステージ236とを含むことができる。例えば,ターゲット250は,液体層252及び透明カバープレート251を含み,生物学的試料は,透明カバープレートの内面,及び,液体層の下方に位置する基体層の内面に配置することができる。そして,zステージにより対物レンズを移動させて光ビームをフローセルの何れかの内面に合焦させる(即ち,生物学的試料に合焦させる)ことができる。生物学的試料は,DNA,RNA,タンパク質,又は既知の光学的シーケンスに適合する他の生物学的材料とすることができる。
発光光学モジュール(EOM)230は,焦点追尾モジュール(FTM)から発せられる焦点追尾光ビームをターゲット250に向けて反射させ,引き続いて,ターゲット250から返される光ビームを焦点追尾モジュール(FTM)に戻されるように反射するための半反射ミラー233を含むことができる。焦点追尾モジュール(FTM)は,戻された焦点追尾光ビームの特性を検出し,かつ,ターゲット250に対して対物レンズ235を最適合焦させるためのフィードバック信号を発生する焦点追尾光学センサを含むことができる。
発光光学モジュール(EOM)230は,光ビームを対物レンズ235から出射させると共に,ターゲット250から戻される光ビームを通過させるための半反射ミラー234も含むことができる。幾つかの実施形態において,発光光学モジュール(EOM)230はチューブレンズ232を含むことができる。チューブレンズ232を通過した光ビームは,フィルタ素子231を通してカメラモジュール(CAM)220に入射させることができる。カメラモジュール(CAM)220は,入射光ビームに応じて生物学的試料から発せられる光を検出するための1つ又は複数の光学センサ221を含むことができる。
カメラモジュール(CAM)220のセンサからの出力データは,リアルタイム分析モジュール225に送信することができる。各種の実施形態において,リアルタイム分析モジュールは,画像データを分析し(例えば,画質評価,ベースコーリング等),ビームの特性をグラフィックユーザインターフェース(GUI)に報告又は表示するための,コンピュータ可読命令を実行する。これらの操作を撮像サイクルの間にリアルタイムで実行して,下流側での分析時間を最小化すると共に,リアルタイムでフィードバックを行い,かつ撮像ランの間におけるトラブルシューティングを可能とする。実施形態において,リアルタイム分析モジュール225は,撮像システム200に通信接続されて同システムを制御するためのコンピュータデバイス(例えば,コンピュータデバイス1000)で構成することができる。また,後述する実施形態において,アルタイム分析モジュール225は,カメラモジュール(CAM)220から受信した出力画像データにおける歪みを補正するためのコンピュータ可読命令を更に実行することができる。
図3は,本発明の実施形態に基づいて撮像することのできるパターン化試料300の一例を示す。本例において,試料300は,撮像ランの間に同時に撮像可能なスポット又は特徴310の六角形アレーとしてパターン化される。図示例では六角形アレーとしているが,他の実施形態において,試料は,直線的アレー,円形アレー,八角形アレー又は他のアレーパターンとしてパターン化することができる。図示の簡略化のため,試料300は,数十ないし数百のスポット310を有するものとして示されている。しかしながら,試料300が数千,数百万,数十億のスポット310を有し得ることは,言うまでもない。更に,場合によっては,試料は,撮像ランの間にサンプリングされるスポット310の多層面(合焦方向に対する垂直面)を含む多層面試料で構成することができる。
特定の実施形態において,試料300は,レーンに区分けされた数百万又は数十億のウェルをもってパターン化されたフローセルで構成することができる。この特定の実施形態において,フローセルにおける各ウェルは,合成によるシーケンスを使用してシーケンス対象の生物学的材料を含むことができる。
上述したように,光学歪みは,多数のスポットを有するパターン化試料300についてのマルチサイクル撮像において特に致命的である。光学歪みにより,走査画像におけるスポットの実際の位置がスポットの予想位置からシフトするためである。歪み効果は,視野のエッジ部に沿って特に顕著となり,これらスポットの撮像データを潜在的に使用不能とする。その結果,データスループットにおける欠落や,マルチサイクル撮像ランの間における誤差率の増大を生じさせかねない。以下に記載する実施形態は,撮像ラン(例えば,シーケンスラン)の間に画像歪みを動的に補正し,これによりデータスループットを改善すると共に撮像ランの間における誤差率を低下させようとするものである。
図4は,本発明の開示に基づいて,撮像ランの間に画像歪みを動的に補正するために実行することのできる例示的な方法400を示すフローチャートである。方法400は,その時々において2チャンネル撮像システム(例えば,撮像システム200)と関連させて記載されるが,方法400は任意数のチャンネル(例えば,1チャンネル,3チャンネル,4チャンネル等)を有する撮像システムにも適用することができる。
ステップ410において,パターン化試料のキャリブレーション撮像サイクルを実行する。キャリブレーション撮像サイクルの間,画像データは,(例えば,ラインスキャナを使用して)サンプルエリアを1つ又は複数のコヒーレント光源で操作することにより,試料全体について収集する。例示として,撮像システム200は,赤色スペクトル域内の波長を有する光で試料をライン走査すると共に,緑色スペクトル域内の波長を有する光で試料をライン走査するためのシステム光学系と連携するライン生成モジュール(LGM)210を使用することができる。ライン走査に応じて,試料の異なるスポット上に位置する蛍光色素が蛍光発光し,その光が対物レンズ235に集光され,CAM220のイメージセンサに入射して蛍光を検出することができる。例えば,各スポットの蛍光は,CAM220の数ピクセルにより検出することができる。CAM220からの画像データ出力は,画像歪み補正(例えば,対物レンズ235のジオメトリから生じる画像歪みの補正)のために,リアルタイム分析モジュール225に送信することができる。
各種の実施形態において,キャリブレーション撮像サイクルは,マルチサイクル撮像ランにおける最初の撮像サイクル(例えば,DNAシーケンスラン)とすることができる。特に,撮像システムは,各撮像ランの開始の間に歪み補正係数を自動的に決定することができる。
ステップ430において,キャリブレーション撮像サイクルにより生成された画像データは,パターン化試料のそれぞれの領域に対応する複数の画像データサブセット(例えば,タイル)に分割される。換言すれば,画像データサブセットは,1回の撮像サイクルの画像データセットにおけるピクセルのサブセットを含む。図5は,スポットのアレーを有する試料(例えば,試料300)を撮像するためのNチャンネル撮像システムについて,撮像データを複数の画僧データサブセットに分割する手法を視覚的に示す。説明の簡略化のため,図5において画像歪みは示されていない。図示のとおり,各チャンネルについて,画像データは,試料の領域に対応する複数のタイル445又は画像データサブセットに分割される。各画像データサブセット自体は,試料上で予想位置から歪んだ複数の画像スポット443(特に,タイルのエッジ部に沿う)を含む。例示として,2チャンネル撮像システムについての画像データサブセットは,各チャンネルについての試料のそれぞれの領域に係る画像データ(例えば,チャンネル1の頂部右側のタイル及びチャンネル2の頂部右側のタイル)を含む。図5に示すように,画像データは,各色チャンネルについて28個のタイルに分割される。画像データを複数のタイル445に分割することにより,画像処理操作の並行化が可能となる。更に,以下に記載するように,これにより試料の各領域について,試料に局在する追加的な歪み(即ち,光学系によるものではない歪み)を補正するような独立した歪み補正が可能となる。このような歪みは,フローセルのチルトにより,又はフローセルの3D曲率,例えばバスタブ形状により誘起されるチルトにより導入され得るものである。
各種の実施形態において,画像データサブセットのサイズは,試料内又は試料上における撮像システムの視野内に基点マーカ又は基点を配置することにより決定することができる。画像データサブセットは,各画像データサブセット又はタイルのピクセルが所定数の基点(例えば,少なくとも3個の基点,4個の基点,6個の基点,8個の基点等)を有するように分割することができる。例えば,画像データサブセットにおけるピクセルの総数は,画像データサブセットの境界と基点との間の所定ピクセル距離に基づいて決定することができる。図7は,6個の基点510を含むタイル500を例示する。以下に記載するとおり,これらの基点は,画像を整列させ,歪み係数を決定するための参照点として使用することができる。
ステップ450において,その特定の実施形態については更に後述するが,各画像データサブセットについて画像歪み補正係数セットを個別的に計算する。画像データサブセットが多色チャンネルを含む場合,各色チャンネルについて別個の歪み補正係数セットを計算することができる。これらの歪み補正係数セットは,キャリブレーション撮像サイクルにおける画像データの歪みを補正するために適用することができる。
ステップ470において,パターン化試料についての次の撮像サイクルを実行して,新たな画像データを生成する。ステップ490において,キャリブレーション撮像サイクルの間に計算した歪み補正係数を現在の撮像サイクルの画像データに適用して歪みを補正する。計算された歪み補正係数の各セットは,現在の撮像サイクルの画像データにおける対応するタイルに適用することができる。その後,ステップ470及び490は反復させることができる。このようにして,最初の撮像サイクルの間に計算された歪み補正係数を後続の撮像サイクルに適用して,画像データの異なるタイルにおける歪みを個別的に補正することができる。
図6は,撮像システムにより生成された画像データについての歪み補正係数を計算するための例示的な方法450を示すフローチャートである。例示的な方法450は,画像データサブセット445に適用するものとして示されているが,全画像データセット(即ち,試料全体の画像データ)に適用できる点に特に留意されたい。
方法450は,撮像サイクルの間に生成された試料の領域に対応する画像データサブセット445を入力とし,後続の撮像サイクルの間に得られた試料の同一領域についての i)画像データサブセット及び ii)画像データにおける歪みを補正するために適用することのできる多項式のための歪み補正係数468を出力するものである。画像データサブセットが第1色チャンネルについての画像データと,第2色チャンネルについての画像データを含む場合,歪み補正係数セットは,画像データサブセットの各色チャンネルについて生成させることができる。方法450の実施形態を,主として2チャンネル画像データについての歪み補正係数の決定に関連させて記載するが,方法450は,任意数のチャンネルに対応する画像データについての歪み補正係数の決定にも適用することができる点に留意されたい,多チャンネル撮像システムにおいて,ステップ451-452 及び 461-465は,各チャンネルに対応する画像データについて個別に実行することができる点にも留意されたい。説明を簡略化するため,これらのステップは,主として,単一チャンネルについて実行するかのごとく記載する。説明を更に簡略化するため,方法450についての記載は,画像として画像データサブセットに言及する。
ステップ451において,画像についてのアフィン変換を,画像基点を使用して予測する。例えば,図7に示すように,ブルズアイリング形状の基点510(コントラストを強調するために暗い縁取りで包囲された光輪)を画像中に見出して,画像中におけるそれらの実際の位置を決定することができる。一実施形態において,画像中における基点の位置は,参照仮想基点との相互相関を行い,相互相関スコアが最大化される位置を取り出して見出すことができる。相互相関は,離散関数についての相互相関方程式〔数1〕を使用して実行することができる。
ここに,画像中の基点と仮想基点とのフィットの良否は,スコアリング方程式(2)を使用して計算することができる。
Score = 1 - (RunnerUp_CC - Minimum_CC) / (Maximum_CC - MInimum_CC) (2)
ここに,Minimum_CC は相互相関の最小値,Maximum_CC は相互相関の最大値,RunnerUp_CC はMaximum_CCの位置から4ピクセルの半径の外側における最大の相互相関値である。基点の位置を決定するための特定の方法は,米国特許公開第2015-0125053号明細書(米国特許出願第14/530529号)に詳述されている。
基点の理論的な位置を既知とすれば(例えば,基点間に存在すべき等間隔スポットの個数に基づいて),画像上における基点の実際の位置に対する理論的な位置を描くアフィン変換を決定することができる。予測されたアフィン変換は,基点の予想位置からの並進,回転及び拡大を描くことができる。
画像の理論的な位置x,y(即ち,基点のピクセルが実際の試料形態を使用している場合)と,実際の画像の位置x,y((基点のピクセルが画像上で実際に現れる場合)とを所与とすれば,アフィン変換は数学的に〔数2〕で表すことができる。
ここに,1番目のマトリックスは並進マトリックス,2番目のマトリックスは画像点をx方向に倍率s で,y方向に倍率 s で拡大する倍率マトリックス,3番目のマトリックスは画像点をz軸(図縄稚,画像に対して垂直な焦点方向)周りで角度θだけ回転させる回転マトリックスである。代替的に,アフィン変換は〔数3〕で表すこともできる。
ここに,係数a11及びa23 は画像点のx及びy方向に沿う並進を表し,他の4つの係数は画像点のスケーリング及び拡大の組み合わせを表す。画像上における3個の基点の実際の位置(u1,v1(u2,v2),(u3,v3)と,3個の基点の理論的な位置(x1,y1(x2,y2),(x3,y3)を所与とすれば,アフィン変換は〔数4〕を解くことにより予測することができる。
〔数4〕を解くため,最小二乗式〔数5〕を解くことができる。
6つの変数の各々に関して誤差関数の6つの偏微分を取り出し,この表現をゼロとすれば,〔数6〕のマトリックスで表される6つの方程式が得られる。
ステップ452において,画像を先鋭化する。例えば,画像は,ラプラス畳み込み又は他の既知の画像先鋭化技術を使用して先鋭化することができる。
ステップ460において,画像における複数のスポットの平均純度を最大化する歪み補正係数の反復探索を行う。各種の実施形態において,探索はパターン化された探索である。代替的に,他の既知の探索アルゴリズムを適用することもできる。ステップ460における手順は,以下に記載するとおりである。
ある実施形態において,探索アルゴリズムは,画像におけるスポットのサブサンプリングによって加速可能である。特に,その場合の2チャンネル実施形態において,サブサンプリングは,幾つかの行における全てのスポットを含むものでなければならない。これは,[off, off]の信号強度を有する信号の2チャンネル(2色)エンコーディング(例えば,ベースコール)に固有の問題である。ベースコールの場合,「off」(ラベル無し)クラスターとして指定されるガウスクラスターは,「on」として登録することができる。代替的に,信号をクラスター(即ち,ウェル間のエリア)から抽出し,「off」信号として登録することもできる。この問題は,行内における全てのウェルにつき,そして十分な数の行について,ガウスクラスターが純度費用関数を起動しないようにサンプリングを行うことによって克服することができる。
ステップ461において,歪み補正係数セットを生成する。歪み補正係数は,画像の歪み補正関数の多項式表示を提供するものである。位置実施形態において,歪み補正係数は,二次多項式,三次多項式,四次多項式又は五次多項式,或いは更に高次の多項式に対応させることができる。撮像システムがラインスキャナ―である場合,歪み補正は数学的に〔数7〕で表すことができる。
ここに,
は,画像座標(x,y)の画像における歪み補正位置,a1・・a はn次多項式を記述する歪み補正係数,c はxに係る画像における中心点であり,yはラインスキャナ―の走査方向である。この実施形態において,y方向における歪みはx方向に関して測定可能である。これは,最大歪みを有する寸法であるためである。(例えば,撮像要件によって)y方向における歪みが無視できる場合,その歪みは,dy=0 と仮定することができ,画像中の歪み補正位置は〔数8〕に簡略化することができる。
一実施形態において,探索ステップ460は,探索の第1段階の間,歪み補正係数を0値(即ち,画像に歪みがない)として開始させることができる。代替的に,探索を開始させるために事前に学習した係数値セットを使用することもできる。
ステップ462において,ステップ451において予測したアフィン変換を画像中のスポット位置に適用する。例えば,アフィン変換を上述した〔数3〕に従って適用することができる。
ステップ463において,予測されたアフィン変換をスポット位置に適用した後,生成された歪み補正係数を画像中のスポット位置に適用する。例えば,歪みをラインスキャナ―のために二次元的に補正する場合には,〔数7〕を適用することができる。代替的に,y方向における歪みが無視し得る程度であれば,〔数8〕を適用することができる。
ステップ464において,画像中における各スポット位置について信号強度を抽出する。例えば,所与のスポット位置につき,信号強度は,スポット位置におけるピクセルの強度の重み付け平均値を決定することにより抽出することができる。例えば,中心のピクセル及び隣接するピクセルの重み付け平均化は,バイリニア補間等として行うことができる。一実施形態において,画像中における各スポット位置は,数個のピクセル(例えば,1個〜5個のピクセル)を含むことができる。
任意的なステップ465において,抽出された信号強度を空間的に正規化して,サンプリングされた画像における照度の変動を補償する。例えば,強度値は,5パーセンタイル及び95パーセンタイルの値がそれぞれ0及び1となるように正規化することができる。
ステップ466において,画像についての正規化された信号強度(例えば,各チャンネルについての)正規化された強度)は,画像中における複数のスポットの平均純度を計算するために使用することができる。平均純度を計算するための例示的な方法は,後述するとおりである。
一実施形態において,ベースコーリングを行う2チャンネルシステムについて平均純度を計算することができる。一般的に,ベースコーリングとは,上述したとおり,撮像サイクルの間に画像における所与のスポット位置についてベースコール(例えば,A,C,G又はT)を決定するプロセスを指す。ベースコーリングは,強度データに数学的モデルを割り当てることにより実行することができる。好適に使用することのできる数学的モデルには,例えば,k−means−likeクラスタリングアルゴリズム,期待値最大化クラスタリングアルゴリズム,ヒストグラム的方法等が含まれる。4通りのガウス分布を2チャンネル強度データに適合させて,1つの分布をデータセットに示される4種のヌクレオチドのそれぞれに的お湯することができる。
特定の実施形態において,期待値最大化(EM)アルゴリズムを適用することができる。EMアルゴリズムによれば,X,Y強度値の各々(それぞれ,2チャンネル強度値の各々に対応する)につき,あるX,Y強度値がデータを適合させる4種のガウス分布の内の1種に属する確率を表す値を生成することができる。4種の塩基が4種の別個の分布を与える場合,各X,Y強度値は,それぞれ4種の塩基の各塩基に1種ずつ対応する4種の確率値を有する。4種の確率値における最大の確率値が,ベースコールを示すものである。図8に示すとおり,クラスターが両チャンネルにおいて「off」であれば,ベースコールはGである。クラスターが一方のチャンネルで「off」,他方のチャンネルで「on」であればベースコールはC又はTの何れかであり(どのチャンネルがonであるかによる),クラスターが両チャンネルにおいて「on」であればベースコールはAである。
より一般的に,任意チャンネル数のベースコール実施形態につき,所与の画像スポットの純度は,少なくとも,それぞれのガウス分布中心に対するチャンネル強度点の距離を使用して決定することができる。画像スポットの強度点が読み取られた塩基の分布中心により近いほど,読み取られた塩基がより正確であり,純度値がより高いことを示す。4チャンネル実施形態において,所与のスポットについてのベースコールの品質(即ち,純度値)は,最も高い強度値をその最高値と2番目に高い強度値の和で除することにより表すことができる。2チャンネル実施形態において,所与のデータ点についてのベースコールの品質又は純度は,最も近い重心点までの距離を2番目に近い重心点までの距離で除することにより表すことができる。数学的に,2チャンネル実施形態における所与の点についての純度は,(10)により表すことができる。
C=1.0−D1/(D1+D2) (10)
ここに,D1は最も近いガウス平均値までの距離であり,D2は2番目に近いガウス平均値までの距離である。距離は,(各ガウス重心及び検討対象点で規定される線に沿う分布幅を考慮する)マハラノビス法に基づいて測定することができる。
ステップ468において,探索460を反復すべきか否かを決定する。この決定は,各種の実施形態において,平均純度決定値が最適な歪み補正係数セットに収束したか否か,探索460が所定回数だけ反復されたか否か,所定の平均純度値が計算されたか否か,又はこれらの組み合わせに依存する。例えば,係数セットが全体的な平均純度を向上するものであれば,これらの係数は,新たな係数セットの探索及びサンプリングの次の反復の開始点となり得る。特定の実施形態において,探索460は,数十回,数百回,又は数千回に亘って反復することができる(パターン化探索の使用による)。
図9A及び図9Bは,それぞれ,フローセルを使用する2チャンネルシーケンス装置における光学系用タイルセットのための歪み曲線群を例示するグラフである。図9Aは1つの装置からのデータに,そして図9Bは別の装置からのデータにそれぞれ対応し,装置毎の可変性を示すものである。これらの曲線は,いずれも表面(番号1)及びレーン(番号2)により得られたものである。プロットが示すように,歪みはフローセルのレーン及び表面の両者により変化する。図9Cは,フローセルを使用する4チャンネルシーケンス装置における単一の光学系用タイルのための2つの異なる色チャンネルに対応する4本の歪み曲線を例示するグラフである。この場合,フローセルの異なる領域について,開示された実施形態に基づいて行われる独立した画像歪み補正(領域及び色チャンネルの両者による)は,画質を更に改善するものである。
図10Aは,ラインスキャナを使用してシーケンスを行ったフローセルのスポットのうち,歪み補正を行わずに純度フィルタを通過してX軸に対する視野を横切って排出される割合(%PF)を示す例示的な実験結果の箱ひげ図である。撮像サイクルの間に純度フィルタリングを行って,「低画質」スポットからのデータを除外することができる。例えば,スポットは,所定回数のシーケンスの後に所定の純度値を超えなければ,データ点としては無視することができる。図10Aにおいて,サブタイルビン番号はタイル画像の中心の対するスポットのx方向における距離を示す。所与のx方向について,結果はタイルの全てのy方向(y方向は,走査方向である。)に亘って平均化した。図示のとおり,歪み補正を行わなければ,タイルのエッジ部における少ない割合のスポットが純度フィルタを通過し,これらスポットについてのデータは使用不能となった。図10Bは,シーケンスを行ったフローセルのスポットのうち,歪み補正を行った後に純度フィルタを通過した割合を示す例示的な実験結果の箱ひげ図である。図示のとおり,純度フィルタを通過したスポット数は,タイルのエッジ部に向けて劇的に改善された。
更なる実施形態において,光学歪みは,撮像システムにおける撮像レンズ(例えば,対物レンズ)の光学設計を最適化することにより,撮像システム内において低減させることができる。光学レンズの設計は,レンズにより撮像された画像にたいして,少なくとも,所定の画像歪み補正アルゴリズム(例えば,本願において開示される画像歪み補正アルゴリズム)を適用してレンズを調整することにより最適化することができる。例えば,画像歪み補正アルゴリズムがレンズ内における0.2〜0.4ピクセルの歪みを想定する場合,歪み無しとは対照的に,想定されるレベルの歪みを有するレンズを設計するのが有利であり得る。
図11は,撮像レンズ(例えば,対物レンズ)の設計最適化のために使用することのできる光学歪み補正係数を決定するための例示的な方法600を示すフローチャートである。方法600は,レンズの視野及びイメージセンサーのピクセルサイズを入力とし,5次多項式のフィット位置から最大絶対光学歪み及び最大誤差を出力するものである。
ステップ610において,点拡がり関数の重心ベクトルを計算する。点拡がり関数のベクトルは,最大歪み(DistMax)変数をゼロに初期化し,Dist>DistMaxである間に以下のステップを反復して計算することができる。
・視野高さFにおける近軸Y高さ(Yref)を計算する。
・ホイヘンス点拡がり関数の重心(Yreal)を計算する。
・歪みを計算する:Dist=100ABSO(Yreal−Yref)/Yref
・Yrealをベクトル(Vyreal)として保存し,Fをベクトル(VF)として保存する。
ステップ620において,点拡がり関数の多項式フィットを計算する。多項式フィットは,特定の実施形態において,VF及びVyrealの多項式フィットを,Vyreal=a1F+a3F^3+a5F^5として計算することにより求めることができる。ここに,a1は倍率,a3は3次係数,a5は5次係数である。
ステップ630において,各重心をフィット位置と比較することができる。この比較は,フィット位置からの最大誤差(ErrMax)をゼロに初期化し,Err>ErrMaxである間に以下のステップを反復して行うことができる。
・視野高さFの近軸Y高さ(Yref)を計算する。
・ホイヘンス点拡がり関数の重心(Yreal)を計算する。
・a1,a3,a5からの予想される重心位置(Yexp)を計算する。
・誤差をErr=abs(Yexp−Yreal)/Spixとして計算し,ここにSpixはイメージセンサーのピクセルサイズである。
この例では,ステップ640において,少なくとも,フィット位置からの決定された最大誤差及び決定された最大絶対歪みを使用してレンズ設計を最適化することができる。一実施形態において,この最適化は,決定された最大誤差,決定された最大絶対及び波面誤差の歪み根二乗和(rss)を求める最小二乗最小化技術に基づくものとすることができる。
図12は,歪み補正のために5次多項式を適用した後,視野を横切るピクセル中に残留する光学歪みを例示する残留歪みプロットである。
図13は,本願に開示する実施形態における各種の特徴,例えば前述した方法400及び500における1つ又は複数の態様の特徴及び機能を実行するために使用することのできる計算モジュールを例示するブロック図である。例えば,計算部品は,リアルタイム分析モジュール225として構成することができる。
本明細書において,「モジュール」とは,本願の1つ又は複数の実施形態において実行可能な所与の機能ユニットを記述する用語である。本明細書において,モジュールは,任意形式のハードウェア,ソフトウェア,又はこれらの組み合わせとして構成することができる。例えば,1つ又は複数のプロセッサ,コントローラ,ASIC,PLA,PAL,CPLD,FPGA,論理素子,ソフトウェアルーチン又は他の機構を使用してモジュールを構成することができる。実施に際して,本明細書に開示する各種モジュールは離散的なモジュールとして構成することができ,記載した機能及び特徴を1つ又は複数のモジュールにおいて部分的又は全面的に共有させることもできる。換言すれば,本明細書を読了した当業者には明らかなことであるが,本願において開示される各種の特徴及び機能は,任意のアプリケーションについて実行可能であり,各種の組み合わせ及び順列における1つ又は複数の別個の,又は共有型モジュールにおいて実行可能である。機能の各種特徴又は素子を別個のモジュールとして個別的に記載される場合があるが,これらの特徴及び機能を1つ又は複数の共通ソフトウェア及びハードウェア素子間で共有することができ,かかる記載は当該特徴及び機能を実行するために別個のソフトウェア又はハードウェア素子を要求し,又は示唆するものでないことは,言うまでもない。
アプリケーションの部品又はモジュールが全体的又は部分的にソフトウェアを使用するものである場合,一実施形態において,これらのソフトウェア素子は,関連して記載された機能を実行するためのコンピュータ又はプロセッサモジュールと協働するように構成することができる。そのようなコンピュータモジュールの一例を図13に示す。各種の実施形態は,この例示的なコンピュータモジュール1000との関連で記載されるものである。他のコンピュータモジュール又はアーキテクチャを使用してアプリケーションを実行する態様は,本明細書を読了した当業者は明らかなことである。
図13を参照すれば,コンピュータモジュール1000とは,例えば,デスクトップ,ラップトップ,ノートブック及びタブレット型コンピュータ装置,ハンドヘルドコンピュータ装置(タブレット,PDA,スマートフォン,セルフォン,パームトップ等),メインフレーム,スーパーコンピュータ,ワークステーション又はサーバ,或いは所与のアプリケーション又は環境について望ましい,又は適切な任意形式の特定用途用又は汎用コンピュータ装置におけるコンピュータ機能又はプロセッサ機能を指す。コンピュータモジュール1000とは,所定の装置においてエンベッドされ,又は利用可能とされたコンピュータ機能も指す。例えば,コンピュータモジュールは,他の電子機器,例えばデジタルカメラ,ナビゲーションシステム,セルフォン,ポータブルコンピュータ装置,モデム,ルータ,WAP,ターミナル及び何らかの形式のプロセッサ能力を有するその他の電子機器で構成することもできる。
コンピュータモジュール1000は,例えば,1つ又は複数のプロセッサ,コントローラ,制御モジュール又は他のプロセッサ,例えばプロセッサ1004を含むことができる。プロセッサ1004は,汎用又は特定アプリケーション用のプロセッサエンジン,例えばマイクロプロセッサ,コントローラ又はその他の制御ロジックで構成することができる。図示の実施形態において,プロセッサ1004はバス1002に接続されているが,制御モジュール1000における他の部品との相互作用を容易とし,又は外部との通信のために任意の通信媒体を使用することもできる。
コンピュータモジュール1000は,本明細書において単にメインメモリ1008と称される1つ又は複数のメモリーモジュールを含むことができる。例えば,好適には,ランダムアクセスメモリー(RAM)又はその他のダイナミックメモリーを使用して,プロセッサ1004において実行される情報及び命令を保存することができる。メインメモリー1008は,プロセッサ1004により実行すべき命令を実行している間に一時的変数又は中間的情報を保存するために使用することもできる。同様に,コンピュータモジュール1000も,バス1002に接続されてプロセッサ1004用の情報及び命令を保存するための読み出し専用メモリー(ROM)又はその他の静的保存デバイスを含むことができる。
コンピュータモジュール1000は,1つ又は複数の各種形式の情報保存機構1010を含み,該機構が,例えば,メディアドライブ1012及び保存ユニットインターフェース1020を含む構成とすることができる。メディアドライブ1012は,固定型又は着脱型保存媒体1014をサポートするドライブ又は他の機構を含むことができる。例えば,ハードディスクドライブ,ソリッドステートドライブ,磁気テープドライブ,光ディスクドライブ,CD又はDVDドライブ(R又はRW),或いは他の固定型又は着脱型メディアドライブを設けても良い。即ち,保存媒体1014は,例えば,メディアドライブ1012により読み取り,書き込み又はアクセス可能なハードディスク,ソリッドステートドライブ,磁気テープ,カートリッジ,光ディスク,CD,DVD,ブルーレイ,或いは他の固定型又は着脱型メディアを含むことができる。これらの何れも,保存媒体1014が,コンピュータソフトウェア又はデータを保存したコンピュータ可用保存媒体を含み得ることを示すものである。
代替的な実施形態において,情報保存機構1010は,コンピュータモジュール1000にコンピュータプログラム,他の命令,又は他のデータのローディングを行うための他の類似手段を含むことができる。このような手段には,例えば,固定型又は着脱型の保存ユニット1022及びインターフェース1020が含まれる。このような保存ユニット1022及びインターフェース1020の例には,ソフトウェア及びデータを保存ユニット1022からコンピュータモジュール1000に転送可能とするプログラムカートリッジ及びカートリッジインターフェース,着脱型メモリー(例えば,フラッシュメモリー又は着脱型メモリーモジュール)及びメモリースロット,PCMCIAスロット及びカード,並びにその他の固定型又は着脱型の保存ユニット1022及びインターフェースが含まれる。
コンピュータモジュール1000は,通信インターフェース1024を含むことができる。通信インターフェース1024は,ソフトウェア及びデータをコンピュータモジュール1000と外部デバイスとの間で転送可能とするように使用することができる。通信インターフェース1024には,モデム又はソフトモデム,ネットワークインターフェース(例えば,イーサネット,ネットワークインターフェースカード,WiMedia,IEEE802.XX,又は他のインターフェース),通信ポート(例えば,USBポート,赤外線ポート,RS232ポート,ブルートゥース(登録商標)インターフェース,或いはその他のポート)が含まれる。通信インターフェース1024を介して転送されるソフトウェア及びデータは,典型的には,電子信号,電磁信号(光学的信号も含む),又は所定の通信インターフェース1024により交換可能なその他の信号により搬送することができる。これらの信号は,チャンネル1028を介して通信インターフェース1024に供給することができる。このチャンネル1028は,信号を搬送することができ,有線又はワイヤレスの通信媒体を使用して構成することができる。幾つかの例において,チャンネルは,例えば,電話回線,セルリンク,RFリンク,オプティカルリンク,ネットワークインターフェース,LAN又はWAN,或いはその他の有線又はワイヤレス通信チャンネルを含むことができる。
本明細書において,「コンピュータ可読媒体」,「コンピュータ可用媒体」及び「コンピュータプログラム媒体」とは,一般的に,揮発性又は不揮発性の非一時的媒体を指す。これには,例えば,メモリー1008,記憶ユニット1022及び媒体1014が含まれる。これらの,及びその他の各種形態のコンピュータプログラム媒体及びコンピュータ可用媒体は,1つ又は複数の命令における1つ又は複数の手順をプロセッサ装置まで担持して実行させるために使用することができる。媒体上に保存された命令は,一般的に,「コンピュータプログラムコード」又は「コンピュータ製品」(コンピュータプログラム又はその他のグループとしてグループ化されることがある。)と称される。実行すると,このような命令は,コンピュータモジュール1000により本明細書に開示する発明の機能又は特徴を発揮させる。
以上においては,本発明を各種の実施形態及び実施例について記載したが,1つ又は複数の個別的な実施形態における特徴,態様及び機能は,これらについて記載した特定の実施形態にその可用性が限定されるものではなく,単独で,又は組合わせて,1つ又は複数の他の実施形態にも適用可能であり,当該他の実施形態が記載されているか否かを問わず,また,当該特徴が,記載された実施形態の一部として提示されているか否かを問うものではない。そして,本発明の保護範囲は上述した例示的な実施形態により限定されるものではない。
上述した概念の全ての組み合わせ(互いに排他的でない限り)は,本願において開示された発明の一部と解すべきである。特に,特許請求の範囲に記載された主題の全ての組み合わせは,本願において開示された発明の一部と解すべきである。
本明細書及び特許請求の範囲において,「実質的に」及び「約」とは,例えば処理に際しての変動に起因する僅かなバラツキを含ませる意図で使用する用語である。これらの用語は,例えば,±5%以内,±2%以内,±1%以内,±0.5%以内,±0.2%以内,±0.1%以内又は±0.05%以内を指すことがある。.
本明細書において,「第1」,「第2」,「第3」等は,単に別個の客体を指すために使用する用語であり,特に明記しない限り,経時的な順序を含意するものでない。
本願における用語及び語句は,特に明記しない限り,開放的であって閉鎖的ではない。例えば,「含む」とは,「含むが,限定されるものではない」ことを意味する。「例」とは,論じている客体の例示列挙を意味し,限定列挙ではない。「ある」又は「1つの」とは,「少なくとも1つ」或いは「1つ又は複数」を意味する。また,「従来の」,「伝統的な」,「通常の」,「標準的な」,「既知の」等の用語は,記載される客体を所定の時点におけるものに限定する趣旨ではなく,現時点において,或いは将来の時点において公知であって利用可能な,従来の,伝統的な,通常の,又は標準的な客体を含むものと解すべきである。同様に,当業者にとって明白な,又は既知の技術に言及する場合,そのような技術は,現時点において,或いは将来の時点において当業者にとって明白又は公知となる技術を含むものである。
「1つ又は複数の」,「少なくとも」又は「限定されるものではない」等の拡張的語句は,そのような語句がない場合に想定される事項のみに狭義解釈すべきでないことを意味する。「モジュール」とは,その一部として記載された構成部品又は機能の全てが共通パッケージとして構成されることを意味するものではない。実際,モジュールにおける各種構成部品は,制御ロジックであるか否か,又はその他の構成部品であるか否かを問わず,単一パッケージとして,又は個別に保守できるものであり,複数のグループ又はパッケージに,或いは複数の位置に対して横断的に組み合わせ得るものである。
更に,本願において開示される各種実施形態は,例示的なブロック図やフローチャート等に関連して記載したものである。本明細書を読了した当業者には明らかであるが,図示の実施形態及び各種変形例は,図示例に限定されずに実施し得るものである。例えば,ブロック線図及びその関連記載は,特定の構造又は形態を必須とするものではない。
以上,本発明の各種実施形態について記載したが,これは単に例示としての提示に過ぎず,限定的なものではない。同様に,各種の線図は構造形態を例示するものであり,本願において含むことのできる特徴及び機能の理解に資するものとして提示するものである。本願の開示は,図示例の構造形態に限定されるものではなく,所望の機能は,各種の変形的な構造又は形態によって具現することができる。実際,代替となり得る機能的,論理的又は物理的な区分又は形態を,本願において開示する発明の機能を発揮させるために採択し得ることは,当業者において明白である。また,本願において開示する以外の複数の異なる構成モジュールを各種区分に適用することができる。更に,フローチャート,操作関連の記載,又は方法関連の請求項に関して,ステップを提示した順序は,特に明記しない限り,言及された機能を同一の順序で実施する必要があることを意味するものではない。

Claims (20)

  1. 方法であって,
    複数のスポットを備えるパターン化試料について第1撮像サイクルを実行するステップ;
    前記第1撮像サイクルの間に生成された撮像データの第1のセットを,第1の複数の撮像データサブセットに分割するステップであって,該第1の複数の撮像データサブセットにおける各撮像データサブセットが,前記パターン化試料におけるそれぞれの領域に対応し,前記パターン化試料の各領域が複数のスポットを含む,撮像データの第1のセットを分割するステップ;
    前記第1の複数の撮像データサブセットのそれぞれについて画像歪み補正係数セットを計算するステップ;
    パターン化試料について第2撮像サイクルを実行して,撮像データの第2のセットを生成するステップ;
    前記第2撮像サイクルの間に生成された撮像データの第2のセットを,第2の複数の撮像データサブセットに分割するステップであって,前記第2の複数の撮像データサブセットにおける各撮像データサブセットは,第1の複数の撮像データサブセットにおける1つの撮像データサブセットと対応する,前記パターン化された試料におけるそれぞれの同一領域に対応する,撮像データの第2のセットを分割するステップ;及び
    前記第2の複数の撮像データサブセットにおける各撮像データサブセットにつき,前記パターン化試料におけるそれぞれの同一領域に対応する,前記第1の複数の撮像データサブセットにおける前記1つの撮像データサブセットについて計算した前記画像歪み補正係数を適用するステップを備える,方法。
  2. 請求項1に記載の方法であって,前記パターン化試料における複数のスポットの各スポットが,蛍光タグ付けされた核酸を備え,前記第1撮像サイクルが第1シーケンスサイクルであり,前記第2撮像サイクルが第2シーケンスサイクルである,方法。
  3. 請求項1に記載の方法であって,前記撮像データの第1セット及び前記撮像データの第2セットの各セットが,それぞれ第1色チャンネルの撮像データ及び第2色チャンネルの撮像データを備え,前記第1の複数の撮像データサブセットについて画像歪み補正係数セットを計算するステップが,各撮像データサブセットの各色チャンネルについて歪み相関係数セットを決定するステップを備える,方法。
  4. 請求項1に記載の方法であって,前記第1の複数の撮像データサブセットの各々について画像歪み補正係数セットを計算するステップが,前記撮像データサブセットのアフィン変換を予測するステップ;前記撮像データサブセットを尖鋭化するステップ;及び,前記撮像データサブセットについて最適な歪み補正係数セットを反復探索するステップ;を備える,方法。
  5. 請求項4に記載の方法であって,前記撮像データサブセットについて最適な歪み補正係数セットを反復探索するステップが,各反復探索の間,前記予測されたアフィン変換を適用するステップを備える,方法。
  6. 請求項4に記載の方法であって,前記撮像データの第1セット及び前記撮像データの第2セットを,少なくとも前記試料の基点位置を使用して分割し,前記第1の複数の撮像データサブセットの各々についてのアフィン変換を,前記基点を使用して予測する,方法。
  7. 複数のスポットを備えるパターン化試料の画像における光学歪みを補正するための方法であって,
    画像のアフィン変換を予測するステップ;
    前記画像を尖鋭化するステップ;並びに,
    尖鋭化された画像につき,最適歪み相関係数セットを反復探索するステップを備え,尖鋭化された画像につき,最適化された歪み相関係数セットを反復探索する前記ステップが,前記画像における複数のスポット位置についての平均純度を算出するステップを備え,予測されたアフィン変換を各反復探索の間に適用する方法。
  8. 請求項7に記載の方法であって,前記画像が,第1色チャンネルに対応する第1画像データセット,及び,第2色チャンネルに対応する第2画像データセットを備え,前記アフィン変換及び前記画像の尖鋭化を,前記第1画像データセット及び第2画像データセットに適用する,方法。
  9. 請求項7に記載の方法であって,尖鋭化された画像につき,最適化された歪み相関係数セットを反復探索する前記ステップが,
    前記画像について光学歪み補正係数セットを生成するステップ;
    前記予測されたアフィン変換を,前記画像における複数のスポット位置に適用するステップ;及び,
    前記予測されたアフィン変換を適用した後,前記光学歪み補正係数セットを前記複数のスポット位置の各々に適用するステップ;を備える,方法。
  10. 請求項6に記載の方法であって,光学歪み補正係数セットを前記複数のスポット位置の各々に適用した後,前記複数のスポット位置の各々について信号強度を抽出するステップを備える,方法。
  11. 請求項7に記載の方法であって,
    抽出された信号強度を正規化するステップ;及び,
    前記複数のスポット位置についての平均純度を,少なくとも前記正規化された信号強度を使用して計算するステップ;を備える,方法。
  12. 請求項11に記載の方法であって,前記複数のスポット位置についての平均純度を,少なくとも前記正規化された単一強度を使用して計算するステップが,前記複数のスポット位置の各々について純度を,少なくとも,当該スポット位置の正規化された信号強度に対応する地点からガウス重心までの距離を使用して,計算するステップを備える,方法。
  13. 請求項7に記載の方法であって,尖鋭化された画像につき,最適化された歪み相関係数セットを反復探索する前記ステップが,該画像における複数のスポットをサブサンプリングするステップを備え,先鋭化された画像の行内におけるスポットがサブサンプリングされた場合,該行内における全てのスポットをサブサンプリングする,方法。
  14. 命令を保存した非一時的コンピュータ可読媒体であって,前記命令が1つ又は複数のプロセッサにより実行したときに,システムが,
    画像のアフィン変換を予測し,前記画像は,複数のスポットを備えるパターン化試料の画像であり;
    前記画像を尖鋭化し;
    尖鋭化された画像につき,最適歪み相関係数セットを反復探索し,尖鋭化された画像につき,最適化された歪み相関係数セットを反復探索する際に,前記画像における複数のスポットについての平均純度を算出し,更に,予測されたアフィン変換を各反復探索の間に適用するように構成されている,非一時的コンピュータ可読媒体。
  15. 請求項14に記載の非一時的コンピュータ可読媒体であって,前記画像が,第1色チャンネルに対応する第1画像データセット,及び,第2色チャンネルに対応する第2画像データセットを備え,前記アフィン変換及び前記画像の尖鋭化を,前記第1画像データセット及び第2画像データセットに適用する,ように構成されている,非一時的コンピュータ可読媒体。
  16. 請求項14に記載の非一時的コンピュータ可読媒体であって,尖鋭化された画像につき,最適化された歪み相関係数セットを反復探索する際に,
    前記画像について光学歪み補正係数セットを生成し;
    前記予測されたアフィン変換を,前記画像における複数のスポット位置に適用し;更に,
    前記予測されたアフィン変換を適用した後,前記光学歪み補正係数セットを前記複数のスポット位置の各々に適用する,ように構成されている,非一時的コンピュータ可読媒体。
  17. 請求項16に記載の非一時的コンピュータ可読媒体であって,前記命令は,1つ又は複数のプロセッサにより実行したときに,システムが更に,
    前記複数のスポット位置の各々に光学歪み補正係数セットを適用し;
    前記複数のスポット位置の各々について信号強度を抽出するように構成されている,非一時的コンピュータ可読媒体。
  18. 請求項17に記載の非一時的コンピュータ可読媒体であって,前記命令は,1つ又は複数のプロセッサにより実行したときに,システムが更に,
    前記抽出された信号強度を正規化し;
    前記複数のスポット位置についての平均純度を,少なくとも前記正規化された信号強度を使用して計算するように構成されている,非一時的コンピュータ可読媒体。
  19. 請求項18に記載の非一時的コンピュータ可読媒体であって,前記複数のスポット位置についての平均純度を,少なくとも前記正規化された単一強度を使用して計算する際に,前記複数のスポット位置の各々について,少なくとも,当該スポット位置の正規化された信号強度に対応する地点からガウス重心までの距離を使用して,純度を計算するように構成されている,非一時的コンピュータ可読媒体。
  20. 請求項18に記載の非一時的コンピュータ可読媒体であって,前記パターン化試料における複数のスポットの各スポットが,蛍光タグ付けされた核酸を備える,非一時的コンピュータ可読媒体。
JP2018032025A 2017-03-07 2018-02-26 撮像試料用の光学歪み補正 Active JP6563539B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762468347P 2017-03-07 2017-03-07
US62/468347 2017-03-07
NL2018852A NL2018852B1 (en) 2017-05-05 2017-05-05 Optical distortion correction for imaged samples
NLN2018852 2017-05-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019095280A Division JP6871970B2 (ja) 2017-03-07 2019-05-21 撮像試料用の光学歪み補正

Publications (2)

Publication Number Publication Date
JP2018173943A true JP2018173943A (ja) 2018-11-08
JP6563539B2 JP6563539B2 (ja) 2019-08-21

Family

ID=59521607

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018032025A Active JP6563539B2 (ja) 2017-03-07 2018-02-26 撮像試料用の光学歪み補正
JP2019095280A Active JP6871970B2 (ja) 2017-03-07 2019-05-21 撮像試料用の光学歪み補正

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019095280A Active JP6871970B2 (ja) 2017-03-07 2019-05-21 撮像試料用の光学歪み補正

Country Status (15)

Country Link
US (5) US10152776B2 (ja)
EP (2) EP3373238B1 (ja)
JP (2) JP6563539B2 (ja)
KR (2) KR102072232B1 (ja)
CN (2) CN108573468B (ja)
AU (1) AU2018201352B2 (ja)
BR (1) BR102018004557A2 (ja)
CA (2) CA2996541C (ja)
ES (1) ES2948760T3 (ja)
IL (1) IL257826B (ja)
NL (1) NL2018852B1 (ja)
NZ (1) NZ740201A (ja)
SA (1) SA118390405B1 (ja)
SG (2) SG10202002144PA (ja)
TW (2) TWI685653B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158940A1 (ko) * 2021-01-25 2022-07-28 주식회사 나노엔텍 다채널 시료 칩을 이용한 미세입자 계수방법 및 이를 구현한 미세입자 계수장치

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062400B (zh) * 2018-10-16 2024-04-30 浙江宇视科技有限公司 目标匹配方法及装置
CN111351794B (zh) * 2018-12-20 2021-12-10 上海微电子装备(集团)股份有限公司 一种物体表面检测装置及检测方法
EP4321922A2 (en) * 2019-01-28 2024-02-14 The General Hospital Corporation Speckle-based image distortion correction for laser scanning microscopy
US11347965B2 (en) 2019-03-21 2022-05-31 Illumina, Inc. Training data generation for artificial intelligence-based sequencing
NL2023314B1 (en) * 2019-03-21 2020-09-28 Illumina Inc Artificial intelligence-based quality scoring
US11210554B2 (en) 2019-03-21 2021-12-28 Illumina, Inc. Artificial intelligence-based generation of sequencing metadata
WO2020191387A1 (en) * 2019-03-21 2020-09-24 Illumina, Inc. Artificial intelligence-based base calling
NL2023316B1 (en) * 2019-03-21 2020-09-28 Illumina Inc Artificial intelligence-based sequencing
US11593649B2 (en) 2019-05-16 2023-02-28 Illumina, Inc. Base calling using convolutions
WO2021102005A1 (en) * 2019-11-22 2021-05-27 10X Genomics, Inc. Systems and methods for spatial analysis of analytes using fiducial alignment
IL295560A (en) 2020-02-20 2022-10-01 Illumina Inc An artificial intelligence-based many-to-many base reader
US11188778B1 (en) * 2020-05-05 2021-11-30 Illumina, Inc. Equalization-based image processing and spatial crosstalk attenuator
US11443411B2 (en) 2020-07-08 2022-09-13 Nxp Usa, Inc. Method and system for image distortion correction using quarter and tangential lookup tables
US11200446B1 (en) 2020-08-31 2021-12-14 Element Biosciences, Inc. Single-pass primary analysis
US11361194B2 (en) 2020-10-27 2022-06-14 Illumina, Inc. Systems and methods for per-cluster intensity correction and base calling
CN112489115B (zh) * 2020-11-27 2023-09-08 杭州海康威视数字技术股份有限公司 发光模块定位方法、装置、电子设备、存储介质及系统
WO2022197754A1 (en) * 2021-03-16 2022-09-22 Illumina Software, Inc. Neural network parameter quantization for base calling
US20220336054A1 (en) 2021-04-15 2022-10-20 Illumina, Inc. Deep Convolutional Neural Networks to Predict Variant Pathogenicity using Three-Dimensional (3D) Protein Structures
WO2022269033A1 (en) * 2021-06-25 2022-12-29 Illumina Cambridge Limited Linear fourier fiducial
US11455487B1 (en) 2021-10-26 2022-09-27 Illumina Software, Inc. Intensity extraction and crosstalk attenuation using interpolation and adaptation for base calling
US20230296516A1 (en) 2022-02-17 2023-09-21 Illumina, Inc. Ai-driven signal enhancement of sequencing images
WO2023158809A1 (en) 2022-02-17 2023-08-24 Illumina, Inc. Ai-driven enhancement of motion blurred sequencing images
WO2023239917A1 (en) * 2022-06-09 2023-12-14 Illumina, Inc. Dependence of base calling on flow cell tilt
CN115242985B (zh) * 2022-07-08 2024-05-03 苏州华星光电技术有限公司 摄像装置校正方法和摄像装置校正装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013051147A1 (ja) * 2011-10-07 2013-04-11 キヤノン株式会社 画像取得装置の調整方法、画像取得装置および画像取得装置の製造方法
JP2014164004A (ja) * 2013-02-22 2014-09-08 Hitachi High-Technologies Corp 蛍光顕微鏡
JP2016033620A (ja) * 2014-07-31 2016-03-10 キヤノン株式会社 画像取得装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671623B1 (en) 1999-10-15 2003-12-30 Schlumberger Technology Corporation Methods and system for characterizing the response of subsurface measurements to determine wellbore and formation characteristics
JP4278800B2 (ja) * 1999-10-27 2009-06-17 株式会社ミツトヨ 撮像空間の幾何学的歪み解消方法
US20040146917A1 (en) * 2001-08-03 2004-07-29 Nanosphere, Inc. Nanoparticle imaging system and method
JP4280720B2 (ja) * 2002-02-14 2009-06-17 日本碍子株式会社 試料解析装置および試料解析方法
US7339661B2 (en) * 2002-09-30 2008-03-04 Doron Korngut Dark field inspection system
WO2008067552A2 (en) * 2006-11-30 2008-06-05 Fluidigm Corporation Method and apparatus for biological sample analysis
US8289430B2 (en) * 2007-02-09 2012-10-16 Gentex Corporation High dynamic range imaging device
US8186909B2 (en) 2008-02-26 2012-05-29 Artificial Sea-Mount Institute Corporation Artificial sea mount
JP5415176B2 (ja) 2009-08-06 2014-02-12 株式会社マキタ スイッチ
KR101569835B1 (ko) * 2009-10-06 2015-11-17 삼성전자주식회사 스캐닝 이미지의 왜곡 보정 방법
US8965076B2 (en) * 2010-01-13 2015-02-24 Illumina, Inc. Data processing system and methods
JP2011182705A (ja) * 2010-03-09 2011-09-22 Toray Ind Inc Dnaチップ解析方法および解析装置
JP5817378B2 (ja) 2011-01-28 2015-11-18 東レ株式会社 マイクロアレイの解析方法および読取り装置
WO2012170936A2 (en) 2011-06-09 2012-12-13 Illumina, Inc. Patterned flow-cells useful for nucleic acid analysis
KR102019534B1 (ko) * 2013-02-01 2019-09-09 케이엘에이 코포레이션 결함 특유의, 다중 채널 정보를 이용한 웨이퍼 상의 결함 검출
CN103116889A (zh) * 2013-02-05 2013-05-22 海信集团有限公司 一种定位方法及电子设备
US20160003375A1 (en) 2014-07-01 2016-01-07 Roy Lee Robertson, Jr. Versatile hanging system for roof support systems
WO2016033207A1 (en) 2014-08-27 2016-03-03 Pacific Biosciences Of California, Inc. Arrays of integrated analyitcal devices
US9897791B2 (en) 2014-10-16 2018-02-20 Illumina, Inc. Optical scanning systems for in situ genetic analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013051147A1 (ja) * 2011-10-07 2013-04-11 キヤノン株式会社 画像取得装置の調整方法、画像取得装置および画像取得装置の製造方法
JP2014164004A (ja) * 2013-02-22 2014-09-08 Hitachi High-Technologies Corp 蛍光顕微鏡
JP2016033620A (ja) * 2014-07-31 2016-03-10 キヤノン株式会社 画像取得装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158940A1 (ko) * 2021-01-25 2022-07-28 주식회사 나노엔텍 다채널 시료 칩을 이용한 미세입자 계수방법 및 이를 구현한 미세입자 계수장치

Also Published As

Publication number Publication date
US11816816B2 (en) 2023-11-14
NL2018852B1 (en) 2018-11-14
TW202014696A (zh) 2020-04-16
JP2019169176A (ja) 2019-10-03
KR20200012006A (ko) 2020-02-04
CA2996541C (en) 2022-01-04
JP6871970B2 (ja) 2021-05-19
EP3373238A1 (en) 2018-09-12
CN111652797A (zh) 2020-09-11
IL257826B (en) 2020-02-27
KR20180102509A (ko) 2018-09-17
AU2018201352A1 (en) 2018-09-27
US20240029217A1 (en) 2024-01-25
KR102455926B1 (ko) 2022-10-17
US11568522B2 (en) 2023-01-31
ES2948760T3 (es) 2023-09-18
JP6563539B2 (ja) 2019-08-21
EP4187234A1 (en) 2023-05-31
SG10201801648VA (en) 2018-10-30
KR102072232B1 (ko) 2020-01-31
SA118390405B1 (ar) 2021-04-14
US20180260940A1 (en) 2018-09-13
CA3139142A1 (en) 2018-09-07
SG10202002144PA (en) 2020-05-28
CN108573468A (zh) 2018-09-25
US20190087948A1 (en) 2019-03-21
BR102018004557A2 (pt) 2018-12-04
CA3139142C (en) 2023-01-10
AU2018201352B2 (en) 2019-05-02
IL257826A (en) 2018-04-30
CA2996541A1 (en) 2018-09-07
CN108573468B (zh) 2020-06-09
US10152776B2 (en) 2018-12-11
TWI728645B (zh) 2021-05-21
EP3373238B1 (en) 2023-04-05
NZ752391A (en) 2020-09-25
TWI685653B (zh) 2020-02-21
US10909666B2 (en) 2021-02-02
TW201842322A (zh) 2018-12-01
NZ740201A (en) 2019-09-27
US20210224961A1 (en) 2021-07-22
US20230131965A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
JP6563539B2 (ja) 撮像試料用の光学歪み補正
US20220357565A1 (en) Real-time autofocus scanning
US10409049B2 (en) Low resolution slide imaging and slide label imaging and high resolution slide imaging using dual optical paths and a single imaging sensor
US9810893B2 (en) Phase mask imaging with characterization of rotational mobility
US20230018469A1 (en) Specialist signal profilers for base calling
US20220150394A1 (en) Apparatus and method of obtaining an image of a sample in motion
NZ752391B2 (en) Optical distortion correction for imaged samples
WO2023003758A1 (en) Specialist signal profilers for base calling
WO2023219824A1 (en) Apparatus and method of obtaining an image of a sample during non-uniform movements
CN117546247A (zh) 用于碱基检出的特化信号分析器

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181116

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190521

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190724

R150 Certificate of patent or registration of utility model

Ref document number: 6563539

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250