JP2017516401A - サンプルの複数の深さで画像データを同時に収集する方法 - Google Patents

Abstract

大容量サンプルの複数の深さから画像データを同時取得することが可能な新たな方法について示した。当該方法では、サンプルにおける取得深さを急速に変化させた状態で、とぎれのない2Dまたは3D画像が得られる。また、当該方法は、オートフォーカス用に使用できる。また、サンプルから画像データを取得する本方法では、速度および光感度に関して最適な効率で、特に図2に示した傾斜構成を用いた際の、サンプルの2Dまたは3D結像が可能となる。当該方法は、特に、直交XY座標系において画素の2Dアレイを有するイメージングセンサとともに使用され、ここには電子回路用のギャップが設けられる。また、他のイメージングセンサを使用しても良い。さらに、前記方法を自動で実行するイメージング装置が提供される。

Description

本発明は、サンプルを結像する技術分野に関し、デジタルパソロジー（digital pathology）の分野において有意に適用される。

特に、本発明は、サンプルの複数の深さで画像データを同時に収集する方法、および複数の深さでサンプルの画像データを同時に収集するイメージングシステムに関する。

デジタル走査顕微鏡は、通常、顕微鏡スライドに設置された組織サンプルのような、サンプルのデジタル画像を形成する。通常これは、顕微鏡スライド全体にわたってサンプルを走査し、異なる画像スパンを相互に貼り（縫い）合わせることにより、および／または異なる波長で測定された画像を重ね合わせることにより、実施される。図1には、そのような顕微鏡スライドの断面100を概略的に示す。ガラススライド101、カバースリップ102、および例えば、生物学的組織層のようなサンプル104を固定し密閉する取り付け媒体103が含まれる。例えば国際公開第2001／084209号から、デジタル走査顕微鏡が、ライン走査（スキャン）カメラまたはリニアアレイセンサとしても知られる、2Dのラインセンサを有することは知られている。そのようなセンサは、画素を検知する単一のライン、前記別個の一列、を有する。また、例えば2Dアレイセンサのような、他の種類のセンサと比較して、1Dラインセンサは、より良好な連続機械走査の動作を提供でき、貼り合わせの問題が軽減され、いわゆる時間遅延積分（TDI）ラインセンサの使用が可能となることも知られている。

国際公開第2001／084209号

また、現在のイメージングセンサの設計は、感光部分、すなわちフォトダイオードで構成された光活性画素を提供し、さらに低い充填比（fill factor）につながる、画素自体に埋設された複数のチャージ電圧（CVC）変換器のような、非感光部分を有する。これは、画素は、通常、CVC用の4つのトランジスタ（グローバルシャッタ）の3つのトランジスタ（ローリングシャッタ）を有し、アドレス処理およびリードアウトのため、垂直および水平な金属ラインの両方が必要となることを意味する。しかしながら、そのような画素の非感光性部分は、画素の充填比を低下させ、これは、特に低光条件の間、問題となる。通常、従来のセンサにおける画素の低光感度は、マイクロレンズの適用により克服される。そのようなマイクロレンズは、付随的なロスが最小化されるように、少ない量の光をイメージングセンサの画素に効率的に集光しようとする。また、現在利用可能なイメージングセンサは、関心領域（ROI）のリードアウトの際に、比較的速度が遅く、所与の画素サイズの限られた空間内には、限られた数のリードアウト電子デバイスしか提供することができない。

本発明の発明者らは、マイクロレンズの使用は、デジタルパソロジーにおいてしばしば適用されるような、イメージングセンサが光路に対して傾斜している場合、特に好ましくないことを見出した。また、本発明の発明者らは、傾斜センサを用いたサンプルの走査および結像は、Z方向におけるオーバーサンプル化につながることを見出した。この場合、画像収集のために、イメージングセンサの特定の領域だけが使用される必要が生じる。従って、本発明の発明者らは、結像の間、2Dイメージング装置またはイメージングセンサの画素ラインのみを使用し得ることを見出した。これらの画素ラインは、オフセットにより、走査方向に沿って相互に対してオフセットされる。このオフセットは、例えば、図3乃至5に示したような非感光性ギャップであっても良く、または現時点で画像形成に使用されていない、1もしくは2以上の非活性化画素ラインであっても良い。そのようなイメージング装置では、新たな結像方法が提供される。これの詳細については、いくつかの異なる例示の実施例において説明する。
本発明の目的は、画像収集のための改善された方法およびシステムを提供することとして認識される。

本発明の目的は、独立請求項の主題により達成される。本発明のさらなる実施例および利点は、従属請求項に記載されている。

記載された実施例は、画像収集の方法およびイメージングシステムに同様に関連する。

本発明の一実施例では、サンプルの複数の深さで画像データを同時に収集する方法が提供される。当該方法では、光学軸を有するイメージング装置が使用され、該イメージング装置は、光学軸に対して傾斜されたイメージングセンサを有する。当該方法において使用されるイメージングセンサは、複数の画素を有する第1の画素ラインと、複数の画素を有する第2の画素ラインと、を有する。第1および第2の画素ラインは、イメージング装置の光学軸に沿った、サンプルまでの異なる光路長を有し、第1の画素ラインおよび第2の画素ラインは、走査方向に沿ってオフセットにより、相互に対してオフセットされる。当該方法は、光学軸ならびに第1および第2の画素ラインの主延伸方向（Y）に略垂直な走査方向（X’）に沿って、サンプルを走査するステップと、第1の画素ラインからサンプルの第1の画像を収集するステップと、第1の画素ラインからのサンプルの第2の画像と、第2の画素ラインからのサンプルの第3の画像と、を同時に収集するステップと、を有する。さらに、当該方法は、第2の画素ラインからのサンプルの画像の収集を継続するステップと、第1の画素ラインからのサンプルの画像の収集を停止するステップと、を有する。

従って、走査の間、収集深さを変化させた状態で、とぎれのない2Dまたは3D画像を形成するリードアウト方法が提供される。これにより、完全には平坦ではなく、および／または高容積（volmetric）のサンプルの迅速な画像取得が可能となり、特に、例えばデジタルパソロジー用のデジタルスライドスキャナ、さらには他の技術分野において、これを適用することが可能となる。本方法を用いると、とぎれのない画像の収集が可能となる。これは、一時的なジュアル取得、すなわち同時リードアウトを行わなければ難しかったことである。なぜなら、ラインセンサの変化は、取得深さの変化のみならず、走査方向に沿った平行移動の変化にもつながるからである。この後者の平行移動により、画像にギャップが生じ、または画像データの反復が生じる。前述の方法は、ギャップを抑制するために必要である。反復の場合、画像データの一部を破棄することができ、ジュアル取得は不要となる。2Dオートフォーカスシステムのために使用される場合、従来の2DのCMOSセンサにおいてROIが変化する際に、本方法が必要となることを主張することは重要である。これは、2DのCMOSセンサが光学軸に対して傾斜されている場合、取得深さの効率的な変化につながるROIのいかなる変化も、走査方向に沿った平行移動につながるためである。歪みのない最終画像を取得する場合、走査方向に沿ったこの平行移動は、補正する必要がある。本発明では、そのような歪みが回避される。示された方法は、本願に示されたイメージング装置によって、自動的に実施され得る。

当然のことながら、画像データを収集する本方法により、第1および第2のラインよりも多くの画素のラインが使用されても良い。図3乃至5に示した実施例から明らかなように、より多くの画素ライン／ラインセンサが使用できる。これらは全て、相互に対してオフセットされる。

本願を読んだ当業者には明らかなように、画素ラインの各画素は、画像を収集し、その後の処理により、画素ラインにより収集された画像を形成する。

通常、サンプルから異なる距離で、2つのカメラ、すなわち少なくとも2つの画素ラインが設けられ、これらは、サンプルの異なる深さに焦点化される。

これらの2つのカメラの間には、以下、「オフセット」と称される部分が配置される。また、以降により詳しく示されるように、例えば図3に示すような、大きな2Dセンサを使用することもできる。

本願において使用される「オフセット」または「ギャップ」と言う用語は、2つの隣接する画素のラインの間の、光活性ではないスペースまたは距離として、理解される必要がある。このスペースは、例えば、センサのそのような領域におけるリードアウト電子デバイスの配置に利用され、またはその時点で活性化されておらず、従って、ギャップ内の画素が丁度使用されておらず光活性ではない、1もしくは2以上の画素のラインにより、実現される。オフセットでは、その時点において画像の収集はなされない。

従って、高容積のサンプルの複数の深さから、画像データを同時に収集することができる、新たな方法が示される。当該方法では、サンプルにおける取得深さを急速に変化させても、2Dまたは3D画像のとぎれのない取得が可能となる。また、当該方法は、自動フォーカスにも使用することができる。また、サンプルから画像データを収集する当該方法では、特に図2に示すような傾斜構成を用いた際に、速度および光感度の点で最適な効率で、サンプルの2Dもしくは3Dイメージングが可能となる。

例えば、当該方法は、単一の台上の複数のTDIラインセンサを組み合わせたイメージング装置のイメージングセンサにより適用することができる。これは、図3乃至図5に示した実施例において、詳細に説明される。ここでは、TDIラインセンサは、ギャップによって分離される。そのようなセンサは、ジュアル（TDI）リードアウトエンジンを有し、これにより、最大速度および感度で、少なくとも2つのラインセンサの効率的なリードアウトが可能になっても良い。この新たな設計およびリードアウト方法により、同じ寸法および解像度の従来の2Dセンサを超える、2倍の改善が得られる。まず、画素の感光部分／ライン（TDIラインセンサ）の間のギャップを用いて、センサのロジックおよび接続回路が配置される。これにより、センサの感光領域における画素の光活性部分を最大限利用することができ、すなわち充填比を最大化することができる。これにより、2DのCMOSセンサで一般的なマイクロレンズを使用しなくても、高感度のセンサが得られる。マイクロレンズの使用を回避することは、光路に傾斜したセンサを配置する点で重要である。第2に、ギャップにより、より多くの回路をセンサのギャップに配置できるため、より迅速なリードアウトが可能となり、より迅速なリードアウト方法および迅速なセンサが得られる。

当業者には容易に理解できるように、本発明は、センサが光学軸に対して傾斜されたシステムの構成に限定されるものではない。本発明は、センサが傾斜されておらず、このセンサがサンプルの傾斜断面を結像できるような態様で、イメージングシステムが配置された構成のような、他の構成も明確に網羅する。従って、サンプルからセンサまでの前記異なる光路長の形成は、光路に、例えばプリズムのような光学素子を挿入するなど、良く知られた他の技術を用いて行われても良い。

サンプルの複数の深さで画像データを同時に収集する方法は、オートフォーカス用の普通の2DのCMOSセンサを使用する通常の結像方法、および3Dイメージングにおいて生じる2つの問題を解決する。一方では、通常の2DのCMOSセンサにおける画素の低充填比による低光感度が改善される。これは、通常、マイクロレンズを使用することで克服される。しかしながら、マイクロレンズは、図2に示すような、センサが光路に対して傾斜された際の使用には適さない。また、通常の2DのCMOSセンサのROIリードアウトにおける低い速度は、本発明により、例えば、図4および図5において詳細に示すように、第1の画素ラインと第2の画素ラインの間のスペースに、より多くのリードアウト電子デバイスが配置できるようになるため、上昇する。

本発明の別の実施例では、オフセットは、第1および第2の画素ラインの間の第1の非光感応性ギャップであり、あるいは第1および第2の画素ラインの間の、1もしくは2以上の非収集画素ラインであり、この非収集画素ラインは不活性である。

本発明の別の実施例では、非感光性ギャップは、第1および第2の画素ラインと平行に延伸する。図3において説明されるように、この方向は、Y方向と称される。本発明の当該方法は、直交XY座標系に画素の2Dアレイを有するイメージングセンサとともに使用でき、センサの画素の2Dアレイは、複数の画素を有し、各画素ラインは、Y方向に沿って延在する。

図3乃至図5において示され説明された一実施例から明らかなように、サンプルの複数の深さで画像データを同時に収集する当該方法のステップは、走査イメージングシステムによるサンプルの走査中に実施される。そのような走査イメージングシステムは、本発明の別の実施例である。

本発明の別の実施例では、走査中、第1の画素ラインと第2の画素ラインの間のオフセットがブリッジされる限り、第2の画像と第3の画像の同時取得ステップが実施される。従って、リードアウト方法により、走査の間、収集深さが変化しても、とぎれのない2Dまたは3D画像が形成される。これにより、完全に平坦ではなく、および／または大容積のサンプルの迅速な画像取得が可能となることは明らかである。当業者は、それぞれのオフセットをブリッジするのに必要な時間を定める計算を、問題なく実施することができる。投射される2つのカメラ、すなわち2つの画素ラインの間の距離から始めて、当業者は、いくつの画素が距離に関係するかを把握することができる。暴露の頻度、すなわちライン速度により、どの程度多くの画素がオフセット／ギャップにあるかを把握することができる。別の実施例では、例えば、サンプル位置が走査中に変動する場合、リアルタイムで検出を行うことも可能である。リアルタイム検出が必要となり得る例は、走査がないものの、流体に流れがある場合である。この流れは、規則性が低く、これは、ギャップがブリッジされる前に、一定量の暴露がないことを意味する。この場合、リアルタイム検出では、それが流れた際に、対象の横方向の位置のトラッキングがなされる。

本発明の別の実施例では、当該方法は、さらに、取得深さの変化が必要かどうかを検出するステップ、および取得深さの変化が必要であるという検出に基づいて、第2の画素ラインを作動させるステップ、を有する。多くの異なる技術手段を用いて、取得深さの変化が必要であるかどうかかを検出しても良い。例えば、イメージングの分野で知られている集束信号検出、追加の光路での検出、例えば、共焦点顕微鏡、サンプルの形状および／または配向の過去の知識、または最適焦点位置を予測する方法等を用いて、新たなライン、または画像の収集のために活性化が必要なラインを定めても良い。そのような方法は、当業者に既に知られており、ここでは詳しく説明しない。

本発明の別の実施例では、当該方法に使用されるイメージングセンサは、さらに、複数の画素を有する第3の画素ラインを有し、第1、第2および第3の画素ラインの各々は、イメージング装置の光学軸に沿った、サンプルまでの異なる光路長を有する。また、第1の画素ラインおよび第3の画素ラインは、走査方向（X’）に沿ってオフセットにより、相互に対してオフセットされ、第1の画素ラインは、第2および第3の画素ラインの間に配置される。このイメージングセンサおよび当該方法により、取得深さの増加が必要であることが検出された場合、第2の画素ラインが活性化され、取得深さの減少が必要であることが検出された場合、第3の画素ラインが作活性化される。

換言すれば、まず第1のラインセンサからの画像が収集され、次に、取得深さの変化、すなわち現在のラインセンサから一つ上または下のラインセンサまでの取得変化が必要であることが検出され、次に、現在の走査速度で2つのラインセンサの間のギャップがブリッジされる限り、現在のラインセンサおよび上または下の新たなラインセンサから、2つの画像が同時に収集される。その後、新たなラインセンサからの画像または画像データの取得が継続され、初期ラインセンサからの収集が停止される。この流れでは、とぎれのない画像を収集することが可能となる。

本発明の別の実施例では、第1の画素ラインおよび／または第2の画素ラインにより取得された反復データを破棄するステップが、当該方法の一部となる。画像データを同時に収集するステップ中に、重複する画像データが収集された場合、一部が破棄または削除されても良い。2つの画素ラインの間のオフセットまたはギャップをブリッジする時間を定めることに関し、前述のものと同じ計算が、ここでも適用できる。既に収集されたデータを放棄し、走査中に活性化ラインが結像されないゾーンに入るまで待機しても良く、あるいはこれらの2つを交互に組み合わせても良い。

本発明の別の実施例では、当該方法の一部として、反復データが破棄された後、収集画像に基づいて、サンプルの最終画像が形成される。

本発明の別の実施例では、サンプルの3次元（3D）画像を形成する、前述の方法が提供される。この3D結像方法は、第1の画素ラインを有する画素の第1組のラインから、サンプルの第1の画像を収集するステップと、画素の第1組のラインから、サンプルの第2の画像を収集すると同時に、第2の画素ラインを有する画素の第2組のラインから、サンプルの第3の画像を収集するステップと、を有する。また、画素の第2組のラインからのサンプルの画像の収集を継続するステップと、画素の第1組のラインからのサンプルの画像の収集を停止するステップと、を有する。

本発明の別の実施例では、各々が複数の画素を有する第1および第2の画素ラインを有するイメージングシステムが提供される。装置は、走査方向（X’）に沿って、サンプルを走査するように構成され、第1の画素ラインと第2の画素ラインは、走査方向に沿ってオフセットにより、相互に対してオフセットされる。また、当該イメージングシステムは、第1の画素ラインからサンプルの第1の画像を収集するように構成され、第1の画素ラインからのサンプルの第2の画像と、第2の画素ラインからのサンプルの第3の画像と、を同時に収集するように構成される。さらに、当該イメージングシステムは、第2の画素ラインからのサンプルの画像の収集を継続するように構成され、第1の画素ラインからのサンプルの画像の収集を停止するように構成される。この実施例は、以下の図面において、詳しく説明する。

当該イメージングシステムは、前述の画素ラインを有するイメージングセンサを有し、イメージングセンサは、該イメージングシステムの光学軸に対して傾斜される。

本発明の別の実施例では、当該イメージングシステムの第1の画素ラインは、Y方向に沿って延伸する複数の隣接する画素ラインで構成された第1のブロックの一部であり、第2の画素ラインは、Y方向に沿って延伸する複数の隣接する画素ラインで構成された第2のブロックの一部である。また、第1および第2のブロックは、Y方向に沿って延伸する非感光性ギャップにより、相互に分離される。そのようなTDIの実施例は、図4および図5から得られる。

本発明の別の実施例では、当該イメージングシステムは、マイクロレンズを有しない。

本発明の別の実施例では、各オフセットまたは非感光性ギャップは、使用されるイメージングセンサの画素の少なくとも一つの幅の幅を有する。

本発明の別の実施例では、走査イメージングシステムが提供され、当該システムは、サンプルを結像するデジタル走査顕微鏡である。

本発明の別の実施例では、当該走査イメージングシステムにおいて、イメージングセンサは、回転軸としてのＹ軸の周囲に傾斜される。別の実施例では、当該方法は、デジタル走査顕微鏡において／により、使用され、パソロジーサンプルの画像が形成される。

本発明のこれらのおよび他の特徴は、以降に示す実施例を参照することにより、明らかになる。

本発明の一実施例は、以下の図面に記載されている。

顕微鏡スライドの断面を概略的に示した図である。 本発明の一実施例による走査顕微鏡を概略的に示した図である。 本発明の一実施例による対象空間におけるイメージングセンサの投影図を概略的に示した図である。 本発明の一実施例によるTDI原理を用いたイメージングセンサ、および方法を概略的に示した図である。 本発明の一実施例による方法に用いられるイメージングセンサを有する構成を概略的に示した図である。 本発明の一実施例による方法のフローチャートを概略的に示した図である。

図2には、本発明のイメージングシステムの一実施例による走査顕微鏡200が示されている。イメージングシステム200では、サンプルの複数の深さで画像データを同時に収集する方法が実施される。特に、イメージングシステム200は、図6に示したステップS1からS5を実施するように構成される。ただし、イメージングシステム200は、走査の間、収集深さを変えても、とぎれのない2Dまたは3D画像が形成されるリードアウト方法に利用できることに留意することが重要である。これにより、完全に平坦ではなく、および／または高容積なサンプルの迅速な画像取得が可能となる。この方法およびイメージングシステム200を使用することにより、とぎれのない画像の収集が可能となる。これは、一時的なジュアル取得、すなわち同時リードアウトを行わなければ実現することは難しかったことである。なぜなら、ラインセンサの変化は、取得深さの変化のみならず、走査方向に沿った平行移動の変化にもつながるからである。後者の平行移動により、画像にギャップが生じ、あるいは画像データの反復が生じる。本発明の方法では、ギャップが抑制される。反復の場合、画像データの一部を破棄することができ、ジュアル取得は不要となる。

当然のことながら、走査イメージングシステム200は、例えば組織層のような、図2には示されていないサンプルを結像するように配置され、これは、ガラスサイド201とカバースリット202の間に配置される。結像路Pは、顕微鏡対物レンズ206を有し、これは、1または2以上のレンズ203、204、205を有しても良い。また、結像路Pは、組織サンプルからの未散乱反射光を遮蔽するアパーチャ207と、チューブレンズ208と、本発明によるイメージングセンサ209とを有する。イメージングセンサ209は、2Dアレイ画素を有し、本願では、これは、画素のマトリクスとも称される。例えば、センサは、CMOSイメージングセンサであるが、本発明では他の種類のセンサを使用しても良い。図2からわかるように、イメージングセンサ209は、顕微鏡対物レンズの光学軸oに対して傾斜されている。イメージングセンサ209は、本願で説明される自己焦点化イメージングセンサであっても良い。システム200は、さらに、制御モジュールを有し、これはスキャナの作動プロセス、特にサンプルを結像する際の走査プロセスを制御する。通常、制御モジュールは、例えば、FPGA（フィールドプログラム化ゲートアレイ）またはDCP（デジタル信号プロセッサ）のようなプロセッサを有する。光学軸oは、以降の図3に示される軸Z309と平行であっても良いことに留意する必要がある。

本発明の方法は、例えば、図3に示すようなイメージングセンサ300とともに実施することができる。このことについて、以下詳細に説明する。一実施例では、本方法は、一つのラインセンサ／画素ライン304から画像を収集するステップと、何らかの手段により、取得深さの変化、すなわち現在のラインセンサ／画素ライン304から、一つ上または下のラインセンサ／画素ライン310への取得の変化が必要となることを検出するステップと、現在の走査速度で、2つのラインセンサの間の非感光性ギャップ305cが橋渡し（ブリッジ）される限り、現在のライン304および新たなライン310から、2つの画像を同時に収集するステップと、を有する。新たなラインセンサ310からの収集を継続する別のステップ、および初期ラインセンサ304からの収集が完了するステップがある。この方法では、とぎれのない画像の収集が可能となる。これは、一時的なジュアルリードアウトを用いなければ難しかったことである。なぜなら、ラインセンサの変化は、取得深さの変化のみならず、走査方向に沿った平行移動の変化にもつながるからである。この後者の平行移動により、画像にギャップが生じ、または反復が生じる。本方法は、最終画像においてギャップが抑制される点で有意である。反復の場合、画像データの一部は、破棄され、ジュアル取得は必要ではない。画像データの破棄に関する詳細な態様は、前述した。

本方法に使用されるセンサに関し、図3には、イメージングセンサ311の投影図300を示す。また、イメージングセンサ311は、自己集光イメージングセンサであっても良い。
図3には、イメージングセンサ311がいくつかのTDIブロック304、310を有することが示されており、これらは、それぞれ、軸308で表されたY方向に沿って延伸する複数の平行画素ラインを有する。TDIブロック304および310は、非感光性ギャップ305cにより分離され、ここには、前記ブロックの少なくとも一つの画素のリードアウト電子デバイスが配置される。必要な場合、両TDIブロック304および310のリードアウト電子デバイスが、ギャップ305cに配置されても良い。ただし、ブロック310の画素のリードアウト電子デバイスを非感光性ギャップ305cに配置し、ブロック304の画素のリードアウト電子デバイスを非感光性ギャップ305aに配置することも可能である。チャージ電圧変換器および／またはロジック回路および／または接続回路を有しない画素ラインとして、TDIブロック304および310を提供することもできる。後者の部材は、イメージングセンサ311の前記非感光性ギャップにより、完全に含有され、適切な低感光性で、充填比の最大化が得られる。TDIブロック304および310は、単に概略的に示されており、複数の隣接する画素ラインは、詳しくは示されていないことに留意する必要がある。TDIブロックを構成するそのような個々の画素ラインは、以下に示す図4から収集されても良い。また、図3において、ギャップ305a、305b、305cは、概略的に示されており、301は、ガラススライドを表し、302は、カバースリップを表し、303は組織サンプルを表す。また、走査方向X’は、矢印306で表され、これは、容易に収集される。走査方向X’は、センサ311の画素の2Dアレイを定めるY方向308と実質的に垂直である。図3には、X方向307も示されている。
図3のイメージングセンサは、寸法および解像度が同じ従来の2Dセンサを超える2倍の改良点を有する。センサの感光性領域における画素の光活性部分の最大化が提供され、充填比が最大化される。これにより、マイクロレンズを使用しなくても、高感度のセンサが得られる。マイクロレンズを回避することは、例えば、走査イメージング顕微鏡の光路に傾斜したセンサを配置する際に重要となる。また、ギャップ305a、305b、および305cにより、迅速なリードアウトが可能となる。速いセンサのため、ギャップ内のセンサに、より多くの回路を配置することができるからである。

図4には、本発明の一実施例によるイメージングセンサ400を概略的に示す。イメージングセンサは、画素421の2Dアレイを有する。画素の2Dアレイは、第1の画素ライン410を有し、これは、複数の画素、例えば画素415、416、417を有する。図4からわかるように、第1の画素ライン410は、これがアレイの全幅にわたって延伸する場合、Y方向422に沿って、アレイの左端から右端に延伸する。Y方向は、X方向423に垂直である。画素の2Dアレイは、さらに、複数の画素を有する第2の画素ライン411を有し、画素418および419は、参照符号付きで一例として示されている。また、第2のライン411は、Y方向422に沿って延伸する。さらに、第1および第2の画素ラインの間には、第1の非感光性ギャップ402が提供される。図4からわかるように、このギャップもまた、Y方向に沿って延伸している。また、第1のラインの画素および／または第2の画素ラインの画素のリードアウト電子デバイス412および413は、第1の非感光性ギャップ402内に配置される。当然のことながら、例えばFPGAのような部材が、センサに設けられても良い。

第1の非感光性ギャップ402は、センサの画素の少なくとも一つの幅420の幅を有する。本実施例では、ギャップ幅は、センサの一つの画素の幅420の約5倍である。また、第2の非感光性ギャップ403も、そのような幅を有する。また、図4からわかるように、イメージングセンサ400には、いくつかの隣接画素ライン407乃至410の第1のブロック405が設けられている。この第1のブロック405は、TDIブロックとして制御される。第1の非感光性ギャップ402は、画素ライン410または411の電流電圧変換器のような、リードアウト電子デバイス412、413を有し、さらにイメージングセンサ400のロジック、および／またはイメージングセンサ400の接続回路を有しても良い。
また、第2の非感光性ギャップ403も、第2のTDIブロック404および第3のTDIブロック406の画素の、そのようなリードアウト電子デバイス414を有する。前述のように、イメージングセンサ400は、TDIブロックのリードアウト電子デバイスが、示されたX方向423に沿って、前記TDIブロックの上下の隣接するギャップ内に完全に収まるように提供されても良い。従って、これらが隣接ギャップに移動されると、完全にフォトダイオードで構成されたTDIブロックであって、自身はリードアウト電子デバイスを有しない、TDIブロックを提供することができる。別の実施例では、センサ128は、画素ラインのそのようなブロック404、405、406を128個有し、127または128個のギャップを有する。

TDIブロックは、Y方向に沿って延伸するライン／行と、X方向に沿って延伸する列とを有する画素の2Dアレイとして認識されても良い。TDI動作は、列に沿って行われる。このTDI動作は、従来のCCD形式のTDIであっても良く、チャージは、センサに対する対象の動きと同期された列に沿って輸送される。あるいは、デジタルドメインのTDIが実施され、画素のチャージは、まずデジタル数に変換され、その後センサに対する対象の動きに同期されたデジタルドメインに輸送されても良い。この「デジタル」TDIは、イメージングセンサ自身、またはFPGAもしくはコンピュータのような計算ユニットにおける「オフチップ」で生じる。また、本発明のシステムは、制御モジュールを有し、これは、イメージングセンサのリードアウトを制御し、所望のTDI手順が生じても良い。

そのような実施例によるTDIを使用したより詳細な例を、図4に示す。図4には、画素マトリクス内に、4つのTDIステージ（例えば407、408、409、410）の3つのブロック404、405、406が構成されている。TDIブロックは、基本TDIユニットとして機能する、全画素マトリクスのサブアレイを意味することに留意する必要がある。当業者には、そのような実施例によるTDIセンサを作動させる明確な方法が把握される。本願に示されたある実施例を、非限定的な例により説明する。これらの全ては、2つの主要イメージングセンサ種、すなわちCCDおよびCMOSイメージングセンサの双方に利用可能である。CCDイメージングセンサの場合、TDI動作は、通常、一組の画素から別の組の画素にチャージを複製することにより、アナログドメインにおいて実施される。CMOSイメージングセンサの場合、TDI動作は、通常、一組の画素のデジタル値を、別の組の画素のデジタル値に追加することにより、デジタルドメインにおいて実施される。ただし、デジタルおよびアナログのTDIは、いずれもCCDおよびCMOSに適用できる。

次に、画素値の輸送としての、TDI動作について説明する。これは、アナログTDIが用いられる場合、アナログチャージ輸送として理解され、デジタルTDIが用いられる場合、画素値輸送として理解される。

再度図4の例を参照すると、センサは、画素値が輸送される際に、顕微鏡スライドに対して走査位置に移動される。図4の例では、TDI動作は、上向きに機能し、センサに対するサンプルの平行移動も、上向きに行われることが仮定される。画素ラインまたはステージ410（ステージは、フル画素ラインを有することが好ましい）は、各暴露の際、画素値0で開始され、ステージ407からの画素値は、各暴露の後、ブロック405における最終画像を形成する。フルTDIサイクルの間、サンプルの画像の単一ラインに従うと、従来から知られるプロセスは、以下の通りである：
時間t＝0での暴露中、サンプルの画像がイメージングセンサにより収集される。t＝1の次の暴露では、サンプルが平行移動され、ステージ410上のt＝0で投射されたサンプルの画像の一部が、今度はステージ409上で投射される。暴露t＝0とt＝1の間では、ステージ410における画素の値が、ステージ409に複製される。t＝1での暴露中、ステージ409での暴露で得られる画素値が、t＝0でのステージ410での暴露に起因する既存の値に加えられる。ステージ409での値は、今度はt＝0でのステージ410での暴露、およびt＝1でのステージ409での暴露に起因する画素値の合計となる。暴露t＝1と暴露t＝2の間では、ステージ409での画素値が、ステージ408に複製される。暴露t＝2の間では、ステージ408での暴露による画素値が、既存の値に加えられ、これは、t＝0でのステージ410での暴露と、t＝1でのステージ409での暴露との和から得られる。ステージ408での値は、今度はt＝0でのステージ410の暴露と、t＝1でのステージ409の暴露と、t＝2でのステージ408の暴露とから得られる画素値の合計となる。
暴露t＝2とt＝3の間では、ステージ408における画素の値は、ステージ407に複製される。t＝3での暴露の間、ステージ407での暴露で得られる画素値が、既存の値と加えられ、これは、t＝0でのステージ410の暴露と、t＝1でのステージ409の暴露と、t＝2でのステージ408の暴露から得られる。ステージ407での値は、今度はt＝0でのステージ410の暴露と、t＝1でのステージ409での暴露と、t＝2でのステージ408での暴露と、t＝3でのステージ407での暴露と、で得られる画素値の合計となる。サンプルの画像は、TDI動作と同じ速度で同じ方向に、センサにわたって平行移動されるため、この例では、サンプルの同じ領域で、4つの等しい暴露が行われる。これは、サンプルの平行移動が遅くならず、かつ追加の動きの不鮮明さが導入されない、4倍長い暴露時間と等価である。前述の記載は、ブロック404および406のような、または本発明のイメージングセンサのさらなるブロックのような、他のいかなるブロックにも適用される。

そのような実施例では、TDIブロックの4つのステージにおいて、同じ焦点で同じ領域の画像を収集し得ることに留意する必要がある。

従って、各TDIブロックのステージでは、これらがほぼ同じ距離で、サンプルから分離されても良い。

例えば、再度前述の第1の詳細な実施例を参照すると、4つのステージは、各ブロック用に使用できる。従って、TDIブロックの各々は、画素サイズと同じ寸法のピッチで相互に隣接して配置された画素の4つのラインで構成されても良い。ピッチは、2つの隣接画素の中心間の距離を表すことに留意する必要がある。本発明の各実施例における各TDIブロックは、ピッチよりも大きな非感光性ギャップ距離により離間される。ギャップ距離は、センサの深さ位置のZ解像度を定める。各TDIブロックの個々の画素を相互に接近させた状態で、比較的大きなギャップを有することが有意である。この場合、極端に大きな画素を使用しなくても、比較的大きなZ範囲を得ることができる。各TDIステージの個々のステージは、相互に接近しているからである。その結果、これらによって同様の深さで取得が行われ、従って、1もしくは2以上のステージのピンぼけによる、画像の軟化（softening）を抑制することができる。

本発明の別の一実施例において、図5には、非感光性ギャップ506により分離された第1の画素ライン508および第2の画素ライン509を有するイメージングセンサ510を有する構成500が示されている。第1のTDIブロック502、第2のTDIブロック503、第3のTDIブロック505、および第128のTDIブロック504は、それぞれ、画素の4つのラインを有する。画素ラインは図5に示したものよりも長いため、画素ラインには、中断516が示されている。前述のように、画素ラインは、数千の画素、例えば4000またはそれ以上の画素で構成される。

また、図5には、2つのTDIエンジン510、513が示されており、これらは、イメージングセンサ上に配置され、イメージングセンサの一部となる。そのようなTDIエンジンは、任意の既知の、および本願に記載されたTDI手順を実施するように構成される。この場合、TDIは、チップ上で実施される。また、本発明により、他の実施例が構成され、ここでは、TDI手順は、例えば外部コンピュータにより、オフチップで実施される。8個の入力および出力タップ511、514は、センサにデータバスを接続する標準ピンである。必要であれば、ユーザが高いバンド幅を望む場合、24個の入力および出力タップ512、515が使用されても良い。

図6には、本発明の一実施例による方法のフロー図を概略的に示す。より詳しくは、図6には、走査中に収集深さを変化させても、とぎれのない2Dまたは3D画像を形成するリードアウト方法が示されている。本方法は、サンプルの複数の深さで、画像データを同時に収集することができる。本方法は、例えば、図2に示した装置のような、イメージング装置を使用する。使用イメージング装置は、光学軸を有し、該光学軸に対して傾斜された、イメージングセンサ300、400を有する。イメージング装置のそのようなイメージングセンサは、複数の画素415、416を有する第1の画素ライン410と、複数の画素418、419を有する、少なくとも第2の画素ライン411とを有する。第1および第2の画素ラインは、イメージング装置の光学軸に沿ったサンプルまでの異なる光路長を有し、オフセット402により、走査方向に沿って相互に対してオフセットされている。

図6に示した方法は、ステップS1、すなわち走査方向X’に沿ってサンプルを走査することを示唆する。この方向は、イメージングセンサの第1および第2の画素ラインの主延伸方向Yに略垂直である。第2のステップS2は、ステップS3の前に、第1の画素ラインから、サンプルの第1の画像を収集するステップを定める。ステップS3では、第1の画素ラインから、サンプルの第2の画像を収集し、第2の画素ラインから、サンプルの第3の画像を収集することを、同時に行うことが要求される。また、ステップS4では、第2の画素ラインからサンプルの画像を収集するステップが継続される。ステップS5では、第1の画素ラインからサンプルの画像を収集することを停止するステップが実施される。

従って、ステップS1乃至S5を有する図6に示した方法は、走査の間、収集深さを変化させた状態で、とぎれのない2Dまたは3D画像を形成することが可能な、リードアウト方法と見なすことができる。これにより、完全に平坦ではなく、および／または大きな容量のサンプルにおいて、迅速な画像の取得が可能となる。走査の間、それぞれのオフセット、すなわち隣接する画素ラインの間のギャップを橋渡しするのに必要な長さを定める計算は、当業者には問題なく実施でき、また本願のイメージング装置で実施できる。2つのカメラ、すなわち2つの画素ラインの間の距離から始めて、その距離にどのくらいの画素が関係するかを予測して把握することができる。暴露の頻度、すなわちライン速度により、どのくらいの画素がオフセット／ギャップに含まれるかを把握できる。

本方法を実施するイメージング装置は、同時画像収集を開始する時間を定めることができる。特に、本発明の実施例では、取得深さの変化が必要かどうかが検出され、取得深さの変化が要求される検出に基づいて、第2の画素ラインの対応する作動が、イメージング装置によって自動で実施される。前述のように、取得深さの変化が必要かどうかの検出に、多くの異なる技術手段を用いることができる。

図6を用いて説明した方法では、図1に示したように、完全に平坦ではなく、および／または大きな容積のサンプルに対して、迅速な画像取得が可能となり、例えばデジタルパソロジー用のデジタルスライドスキャナに加えて、他の技術分野においても、これを適用することが可能となる。図6の本方法を用いた場合、とぎれのない画像を収集することが可能となる。これは、一時的なジュアル取得、すなわち同時リードアウトを行わなければ難しかったことである。なぜなら、ラインセンサの変化は、取得深さの変化のみならず、走査方向X’に沿った平行移動の変化にもつながるからである。この後者の平行移動により、画像にギャップが生じ、または画像データの反復が生じる。前述の方法では、ギャップを抑制することが必要となる。反復の場合、画像データの一部を破棄することができ、ジュアル取得は不要となる。

記載された実施例の他の変形例は、図面、開示、および特許請求の範囲を精査し、請求発明を実行することにより、当業者には理解でき実施できる。例えば、前述のように、本願に記載の発明は、センサが光学軸に対して傾斜されていない形態、およびセンサがサンプルの傾斜断面を結像できるように配置されたイメージングシステムなど、他の構成を網羅する。従って、サンプルからセンサまでの前記異なる光路長の形成は、例えばプリズムなどの光学素子の光路への挿入のような、他の良く知られた技術を用いて行われても良い。

請求項において、「有する」と言う用語は、他の素子またはステップを排斥するものではなく、「一つの」と言う用語は、複数の存在を排斥するものではない。単一のプロセッサまたは他のユニットは、請求項に記載されたいくつかの部材またはステップの機能を満たしても良い。単にある手段が相互に異なる従属請求項に記載されていることから、これらの手段の組み合わせが有意に使用できないと解してはならない。請求項におけるいかなる参照符号も、請求項の範囲を限定するものと解してはならない。

国際公開第2001／084209号 米国特許出願公開第2014／125776号

Claims (17)

1. 光学軸を有するイメージング装置を用いて、サンプルの複数の深さで画像データを同時に収集する方法であって、
   前記装置は、イメージングセンサを有し、前記イメージング装置は、前記センサが前記サンプルの傾斜断面を結像できるように配置され、
   前記イメージングセンサは、
   複数の画素を有する第1の画素ラインと、
   複数の画素を有する第2の画素ラインと、
   を有し、
   前記第1および第2の画素ラインは、前記イメージング装置の前記光学軸に沿った、前記サンプルまでの異なる光路長を有し、
   前記第1の画素ラインおよび第2の画素ラインは、前記走査方向に沿ってオフセットにより、相互に対してオフセットされ、
   当該方法は、
   前記光学軸ならびに前記第1および第2の画素ラインの主延伸（Y）方向に略垂直な走査方向に沿って、前記サンプルを走査するステップ（S1）と、
   前記第1の画素ラインから前記サンプルの第1の画像を収集するステップ（S2）と、
   前記第1の画素ラインからの前記サンプルの第2の画像と、前記第2の画素ラインからの前記サンプルの第3の画像と、を同時に収集するステップ（S3）と、
   前記第2の画素ラインからの前記サンプルの画像の収集を継続するステップ（S4）と、
   前記第1の画素ラインからの前記サンプルの画像の収集を停止するステップ（S5）と、
   を有する、方法。
2. 前記オフセットは、前記第1および第2の画素ラインの間の第1の非感光性ギャップ、または前記第1および第2の画素ラインの間の非収集性画素ラインのいずれかであり、
   前記非収集性画素ラインは、非活性化されている、請求項1に記載の方法。
3. 前記非感光性ギャップは、前記第1および第2の画素ラインと平行に延伸する、請求項2に記載の方法。
4. 前記ステップS1乃至S5は、前記サンプルの走査中に実施される、請求項1乃至3のいずれか一つに記載の方法。
5. 前記第2の画像および前記第3の画像の同時収集ステップは、走査中、前記第1の画素ラインと前記第2の画素ラインの間の前記オフセットがブリッジされる限り、実施される、請求項1乃至4のいずれか一つに記載の方法。
6. さらに、
   取得深さの変化が必要かどうかを定めるステップ、および
   前記取得深さの変化が必要であるという検出に基づいて、前記第2の画素ラインを作動させるステップ、
   を有する、請求項1乃至5のいずれか一つに記載の方法。
7. 取得深さの変化が必要かどうかを検出するため、最適焦点位置を予測する方法が使用される、請求項6に記載の方法。
8. 前記イメージングセンサは、さらに、
   複数の画素を有する第3の画素ラインを有し、
   前記第1、第2および第3の画素ラインの各々は、前記イメージング装置の前記光学軸に沿った、前記サンプルまでの異なる光路長を有し、
   前記第1の画素ラインおよび前記第3の画素ラインは、前記走査方向に沿ってオフセットにより、相互に対してオフセットされ、
   前記第1の画素ラインは、前記第2および第3の画素ラインの間に配置され、
   当該方法は、さらに、
   取得深さの増加が必要であることが検出された場合、前記第2の画素ラインを作動させ、または取得深さの減少が必要であることが検出された場合、前記第3の画素ラインを作動させるステップ
   を有する、請求項6または7に記載の方法。
9. さらに、
   前記第1の画素ラインおよび／または前記第2の画素ラインにより取得された反復データを破棄するステップ
   を有する、請求項1乃至8のいずれか一つに記載の方法。
10. さらに、
    前記反復データの破棄後に、前記収集された画像に基づいて、前記サンプルの最終画像を形成するステップ
    を有する、請求項9に記載の方法。
11. 前記イメージングシステムは、直交XY座標系に画素の2Dアレイを有するイメージングセンサであり、
    前記センサの画素の前記2Dアレイは、前記第1、第2および第3の画素ラインを有し、
    前記第1、第2および第3の画素ラインは、前記Y方向に沿って延伸する、請求項1乃至10のいずれか一つに記載の方法。
12. 前記サンプルの3D画像を形成するための、請求項1乃至11のいずれか一つに記載の方法であって、
    当該方法は、さらに、
    前記第1の画素ラインを有する画素の第1組のラインから、前記サンプルの前記第1の画像を収集するステップと、
    前記画素の第1組のラインから、前記サンプルの前記第2の画像を収集すると同時に、前記第2の画素ラインを有する画素の第2組のラインから、前記サンプルの第3の画像を収集するステップと、
    前記画素の第2組のラインからの前記サンプルの画像の収集を継続するステップと、
    前記画素の第1組のラインからの前記サンプルの画像の収集を停止するステップと、
    を有する、方法。
13. 前記イメージングセンサは、前記光学軸に対して傾斜されている、請求項1乃至12のいずれか一つに記載の方法。
14. 複数の深さでサンプルの画像データを同時に収集するイメージングシステムであって、
    複数の画素を有する第1の画素ラインと、
    複数の画素を有する第2の画素ラインと、
    を有し、
    前記装置は、走査方向に沿って前記サンプルを走査するように構成され、
    前記第1の画素ラインおよび前記第2の画素ラインは、前記走査方向に沿ってオフセットにより、相互に対してオフセットされ、
    当該イメージングシステムは、前記第1の画素ラインから前記サンプルの第1の画像を収集するように構成され、
    当該イメージングシステムは、前記第1の画素ラインからの前記サンプルの第2の画像と、前記第2の画素ラインからの前記サンプルの第3の画像と、を同時に収集するように構成され、
    当該イメージングシステムは、前記第2の画素ラインからの前記サンプルの画像の収集を継続するように構成され、前記第1の画素ラインからの前記サンプルの画像の収集を停止するように構成される、イメージングシステム。
15. 前記第1および第2の画素ラインは、イメージングセンサの一部であり、
    該イメージングセンサは、XY直交座標系に画素の2Dアレイを有し、
    前記第1および第2の画素ラインは、前記Y方向に沿って延伸し、
    前記イメージングセンサは、さらに、前記第1および第2の画素ラインの間に、第1の非感光性ギャップを有し、
    前記第1の非感光性ギャップは、前記Y方向に延伸し、
    前記第1の非感光性ギャップには、前記第1の画素ラインの画素および／または前記第2の画素ラインの画素のリードアウト電子デバイスが設けられる、請求項14に記載のイメージングシステム。
16. 前記第1の非感光性ギャップ、または前記センサの別の非感光性ギャップには、
    前記第1および第2の画素ラインの少なくとも一つの画素の電流電圧変換器、
    前記イメージングセンサのロジック、および
    前記イメージングセンサの接続回路、
    の少なくとも一つの部材が配置される、請求項15に記載のイメージングシステム。
17. 前記イメージングセンサは、前記光学軸に対して傾斜されている、請求項14乃至16のいずれか一つに記載のイメージングシステム。

Images