JP2018521575A - マルチライン検出方法 - Google Patents

Abstract

本発明は、マルチライン検出方法に関する。アクチュエータ（３）に接続された２次元検出器（２）上で、Ｍ個の読み取るべき領域Ｒ_ｍ（ただしｍ＝１，…，Ｍ）が指定される。各読み取るべき領域において、隣接する検出器行の各場合のＪ個の行グループが指定され、各行グループは、事前に定義されるＮ個の検出器行を備える。検出器上のいくつかのエリアにおいて同時に光を記録できるようにするために、関与する行すべてにおいて積分プロセスが順次開始され、これらが終了した後に、読み取りプロセスが開始される。各行の読み取りには読み取り時間が利用可能であり、この読み取り時間はまた、各積分プロセスが行ごとに開始される時間的オフセットに対応する。実際の露光は、対応する信号を介して制御され、関与する行すべてにおいて積分プロセスが実際に開始され、第１の積分プロセスがまだ再び終了していない時にのみ実行される。このようにして、同一条件下でセンサの異なる複数のエリアにおいて同時検出が可能となる。

Description

［発明の分野］
本発明は、マルチライン検出の方法に関する。従来技術において、たとえば、移動する照明ラインで試料が照明され、試料が発する光が「ローリングシャッター」カメラにより検出される方法が既知である。画像平面における「ローリングシャッター」の移動は、照明ラインの画像の移動と同期される。「ローリングシャッター」という用語は、画像センサのあるエリアのすべてのラインが同時には露光されず（すなわち積分され）、その後に読み取られ、露光はたとえば行ごとに、または行のグループに対してエリアごとに、行われるということを意味する。この目的に適した２次元検出器は、たとえばＣＭＯＳセンサである。顕微鏡的結像法に「ローリングシャッター」露光が用いられる場合には、一般的に、画素の列の高さが共焦点開口のように作用するように光学的拡大率が設定される。この方法では、検出レンズ系の方向において、焦点面の前および後において放射される光が像の内容に寄与しないので、軸方向の解像度が増大可能であるか、または画像のコントラストが増大可能である。

［従来技術］
「ローリングシャッター」技術に基づく顕微鏡は、たとえばＡＥＯＮ Ｉｍａｇｉｎｇ ＬＬＣからの「ＤＬＭ Ｃｏｎｆｏｃａｌ Ｍｉｃｒｏｓｃｏｐｅ」（商標）である。これは、様々な角度からの透過を検出可能である。

独国特許出願公開第１０ ２０１０ ０１３ ２２３ Ａ１号明細書に記載される顕微鏡法では、試料に焦点を合わせた励起光が試料に照射され、対応する検出レンズ系によって試料の領域が２次元検出器に結像され、照明方向および検出方向は、０でない角度（たとえば９０度）をなす（たとえば光シート顕微鏡法では通常そうである）。２次元検出器は、活性面が励起光の焦点の投影を含む読み取りエリアに限定されるように作動し、焦点が移動すると活性面がその移動に適合し、結果として、移動した活性面は再び励起光の焦点の投影を含む。とくに、この方法は、２つの時間インターバルで異なる装置から試料の体積内に励起光が照射される場合に用いられ得る。活性エリアの場合には、検出器面の形状、長さ、および／または幅が設定可能である。活性面の限定は、ローリングシャッターの操作において実現される。単一の照明ラインのみを用いる場合には、単一のローリングシャッターを用いれば十分であるが、十分な信号対雑音比を得るためには行ごとに比較的長い露光時間が必要なので、この方法には、用途の制限がある。結果として、像取得時間が比較的長くなり、また、リフレッシュレートが低くなり、いくつかの種類の実験には長すぎる。

従来技術において、いわゆるスプリットセンサが知られている。スプリットセンサは、互いに独立して動作および読み取り可能な、互いに分離した２つのエリアからなる。これらは、２つのアクチュエータバスシステムおよび２つの読み取りカスケード等を有する。厳密に言えば、スプリットセンサは単一のセンサではなく２つのセンサである。したがって、以下において、用語「センサ」は、各場合において１つのバスシステムおよび単一の読み取りカスケードを持つセンサを示すために用いられる。

［発明の説明］
したがって、本発明の目的は、単一センサに対するローリングシャッターの方式においてマルチライン検出を確立できる方法を発展させることである。この方法の結果として、用いられるラインのそれぞれについて、ローリングシャッターモードで検出器が露光され、これによって、像取得時間が全体として短縮され、このようにしてリフレッシュレートが増大可能である。

この目的は、以下の各ステップを備えるマルチライン検出方法によって達成される。

ステップａ）において、アクチュエータに接続された２次元検出器上で読み取るべき領域Ｒ_１，Ｒ_２，…，Ｒ_Ｍの数Ｍ（ただし自然数Ｍ≧１）が指定され、これはある数の検出器行を含み、読み取るべき各領域は、少なくとも１つの検出器行を備える。読み取るべき各領域Ｒ_ｍ（ただしｍ＝１，…，Ｍ）は、各場合において動作がローリングシャッターモードである２次元検出器（たとえばＣＭＯＳセンサ）上のエリアを定義する。たとえばＭ＝３について、読み取るべき３つの領域Ｒ_１，Ｒ_２，Ｒ_３が指定され、これら３つの領域のそれぞれにおいて、ローリングシャッター法の方式で露光が行われる。読み取るべき各領域Ｒ_ｍは、それぞれ、少なくとも１つの検出器行（一般的にはいくつかの検出器行）を備え、各場合において、センサ表面上の読み取るべき各領域は、互いに異なる重ならない検出器行のエリアを備える。読み取るべき領域Ｒ_ｍがそれぞれ同数の検出器行を備える場合には動作は最も簡単であるが、これは絶対的に必要というわけではなく、たとえば選択された検査方法に応じて、読み取るべき各領域Ｒ_ｍは異なる数の検出器行を備えてもよい。

次のステップｂ）において、読み取るべき領域Ｒ_ｍのそれぞれにおいて、行グループＧ_ｍ１，Ｇ_ｍ２，…，Ｇ_ｍＪの数Ｊ（ただし自然数Ｊ≧１）が、隣接する検出器行の各場合において、指定される。各行グループＧ_ｍｊはＮ個の検出器行Ｚ_ｍｊ１，Ｚ_ｍｊ２，…，Ｚ_ｍｊＮ（ただしｊ＝１，…，ＪかつＮ≧１）を備える。これらの行グループＧ_ｍｊは、各場合において、異なる時間において露光可能（すなわちたとえば異なる時刻に積分プロセスが開始される）な、いわゆる開口（読み取るべき領域Ｒ_ｍにおいてそれらの行について隣接しているが）を定義する。

第３のステップｃ）において、第１の検出プロセス（すなわちｊ＝１のとき）を開始するために、レベルトリガ信号ＬＴＳが「０」から「１」に設定される。値「０」および「１」は、ここではランダムに、レベルトリガ信号ＬＴＳがたとえば低い電圧（「低」）とこれより高い電圧（「高」）とによって設定可能な２つの異なる値を想定することができるようにするためだけにシンボル化するために選択される。これによって、積分プロセスは、第１の積分時間ｔ^ｂ _１の間に、第１の読み取るべき領域Ｒ_１における第１の行グループＧ_１１の第１の検出器行Ｚ_１１１についてトリガされる。これの終了時点において、レベルトリガ信号は「１」から「０」へと設定し戻される。この積分プロセスおよび第１の検出プロセスは終了し、読み取りプロセスが開始され、第１の読み取り時間ｔ^ａ _１の間に、この検出器行Ｚ_１１１について検出された露光値が読み取られ、評価ユニットへと伝達される。評価ユニットは、たとえば、検出器がその一部をなすカメラに一体化することもできる画像処理ユニットであってもよい。このようにして、レベルトリガ信号ＬＴＳを設定することにより、検出プロセスが制御される（すなわち開始され終了される）。第１の読み取り時間は、少なくとも２つの値からなり（ｔ^ａ _１＝ｔ^ｒ _１＋ｔ^ｏ _１）、ｔ^ｒ _１は蓄積された電荷の転送に物理的に必要な実際の読み取り時間（電荷に割り当てられるデジタル化された値の決定を含む）であり、ｔ^ｏ _１は、ユーザが自由に選択可能なユーザ遅延時間（これによって、実際の読み取りの前または後にユーザ遅延時間が加算されるか否かに応じて、読み取りプロセスが開始または終了され得る）を定義する。

レベルトリガ信号は、以下の理由から、第１の検出器行Ｚ_１１１について「１」に設定するだけでよい。すなわち、アクチュエータ論理（アクチュエータ論理は、センサの一部であるか、または、検出器もしくは検出器付きカメラに具体的な回路内に個別に集積される）によって、第４のステップｄ）において、後続の読み取りを伴う積分プロセスが順次トリガされ（第１の読み取り時間ｔ^ａ _１の距離だけ各場合において時間的にオフセットされる）（および、第１の行グループＧ_１１のさらなる検出器行において、さらに、これに対応して、ｍ−１＝１，…，Ｍ−１に対する残りの読み取るべき領域Ｒ_ｍの第１のライングループＧ_ｍ１において）、読み取りプロセス（第１の行Ｚ_１１１の読み取りで開始される）は、最後の読み取るべき領域Ｒ_Ｍの第１の行グループＧ_Ｍ１の最後の行Ｚ_Ｍ１Ｎが読み取られると終了する。このようにして、各行の読み取りおよび積分プロセスが、このカスケード内で（すなわち対応する有限状態機械によって）自動的に開始される。

用いる制御システムおよびハードウェアによっては、代替的に、ステップｄ）において、積分プロセスを、ｍ−１＝１，…，Ｍ−１について読み取るべき残りの領域（Ｒ_ｍ）のさらなる第１の行グループ（Ｇ_ｍ１）および第１の行グループ（Ｇ_１１）のさらなる検出器行およびにおける第１の検出プロセスの開始と少なくともほぼ同時にトリガすることによって、積分プロセスが開始されるこの期間を、短縮するか完全に回避することも可能である。これは、各検出プロセスにおけるすべての行が積分に切り替えられる時間期間が延長され得るので、露光の効率を増大させる。

第５のステップｅ）において、第１の読み取るべき領域Ｒ_１における第１の行グループＧ_１１の積分プロセスが終了した後に、さらなる行グループＧ_ｍｊ（ただしｊ−１＝１，…，Ｊ−１）についてステップｃ）およびｄ）を実行することにより、Ｊ−１個のさらなる検出および読み取りプロセスが順次開始される（およびさらなる積分時間ｔ^ｂ _ｊおよびさらなる読み取り時間ｔ^ａ _ｊで）。開始時点において、信号ＬＴＳは再び１に設定され（検出器またはカメラの外側）、このトリガ信号は検出器またはカメラの外側から（すなわち、一般的にカメラのアクチュエータ論理によってではなく）設定される。積分時間はステップｃ）で与えられる時間ｔ^ｂ _１およびｔ^ａ _１から変動してもよい。各検出プロセスｊに、個別の行のグループが割り当てられる。

第２の検出プロセス（ｊ＝２）において、第１の読み取るべき領域Ｒ_１における第２の行グループＧ_１２の第１の行Ｚ_１２１に対する積分プロセスは、同じ読み取るべき領域Ｒ_１における行グループＧ_１１の最後の行Ｚ_１１Ｎに対する積分プロセスが終了するまで開始されない等であり、結果として、積分プロセスは、同じ読み取るべき領域Ｒ_ｍにおいて行グループｊへと個別に実行され（同時にこの行グループのみに）、同じ読み取るべき領域Ｒ_ｍにおける２つの行グループｊ，ｊ＋１について同時には実行されない。各場合において、さらなる検出プロセスｊ＋１は、直前の行グループｊの最後の積分プロセスの終了直後に実行されてはならず、外部の境界条件によって、各読み取るべき領域Ｒ_ｍにおいていかなる検出プロセスも進行しない比較的長い時間期間（たとえば数ミリ秒または数秒にわたるもの）が挿入されてもよい。

従来技術では、ローリングシャッターモードにおける検出プロセスは、常に読み取るべき領域ただ１つにおいて完了するが、本発明による手順によれば、センサの読み取るべき領域いくつかにおける並列的検出が（はじめに定義したように）同時に可能となる。これは、当然ながらスプリットセンサに移転することも可能であり、その場合にはこれに対応してより高次の並列化が可能となる。

しかしながら、ローリングシャッターの動作の結果としてのわずかな時間的オフセットは、（各画素が共通のバスに接続されるセンサの共通に作動する領域では一時に１つの行しか読み取ることができないという事実に起因して）結果における誤差につながり得る（（たとえば移動する試料の幾何学的歪みおよび連続して撮影されたスペクトル的に分離された個別の像からなる像における一致しないオーバーレイ）（とくに生体試料が関与する場合）。さらに、各行グループにおける最大露光時間（すなわちこのグループ内の第１のラインの第１の検出プロセスの開始から、このグループの最後のラインの対応する検出プロセスの終了まで）が用いられる場合には、これは試料の望ましくない漂白につながり得る。

したがって、本方法の好適な実施形態では、関与する行グループＧ_ｍｊすべての各行について積分プロセスが同時に進行する時にのみ、ｊ＝１，…Ｊに対する各検出プロセスについて、積分時間の間に検出器の露光が実行される（すなわち、すべての行グループＧ_ｍｊの、検出プロセスに関与するすべての行が、積分または検出に切り替えられる）（すなわち感光性にされる）。ｊが固定された場合に、関与する行グループＧ_ｍｊに対して同一の積分時間および読み取り時間に応じて、均一な検出条件を保証するために、このようにして、関与する行すべての同時露光に実際に利用可能な時間を、積分時間よりもはるかに短くできる。

このように、たとえば、行ごとの読み取り時間が長くなるほど、積分時間が固定された場合の同時露光に実際に利用可能な時間が短くなる。こうすれば、一方では露光時間（したがって試料の漂白のリスク）が最小化され、他方で、一致しないオーバーレイによって生じる像誤差および幾何学的歪みもまた回避される。

この変形例の好適な実施形態では、ｊ＝１，…，Ｊについての各検出プロセスｊにおいて、照明信号ＩＳ（通常はセンサまたはカメラのアクチュエータ論理によって生成される）によって露光が制御される。照明信号ＩＳは、行に対するｊ番目の各検出プロセスの間に、最後の読み取るべき領域Ｒ_Ｍのｊ番目の行グループＧ_Ｍｊに対応する最後の検出器行Ｚ_ＭｊＮについて積分プロセスが開始される時に、「１」に設定される。照明信号ＩＳは、レベルトリガ信号ＬＴＳと同時に「０」に設定され、照明信号が「１」に設定されている間にのみ２次元検出器の露光が実行される。照明信号ＩＳは、たとえば、検出器の上流に配置された要素（たとえば音響光学的変調器）を制御するために用いることができる（これは検出器に対するグローバルシャッターの機能を想定し、照明信号ＩＳが「１」に設定されている時にのみこのシャッターを開放する）。光の照射によって生じる試料への負荷を可能な限り小さく維持するために、照明信号ＩＳを介して試料照明を制御することもできる。

ステップｄ）における代替的ケース（各積分プロセスが同時またはほぼ同時に開始される）では、照明信号ＩＳによって露光を個別に制御する必要はなく、露光は信号ＬＴＳに合わせて実行される（すなわち、信号ＬＴＳが「１」に設定された時に開始され、信号ＬＴＳが「０」に設定された時に終了する）。

さらなる好適な実施形態（当然ながら、上述の実施形態および後述の実施形態と組み合わせることも可能である）では、第１の代替例の場合に、順次開始される積分プロセスで、次の検出プロセス（検出プロセスｊの場合には、次の検出プロセスは（ｊ＋１）である）は、直前の検出プロセス（したがって検出プロセスｊ）において、第１の読み取るべき領域Ｒ_１の第１の行グループＧ_１ｊの最後の行Ｚ_１ｊＮに対する積分プロセス（または、第２の代替例の場合に、少なくともほぼ同時に開始される各積分プロセスで、最後の読み取るべき領域Ｒ_Ｎの第１の行グループＧ_Ｍｊの最後の行Ｚ_１ＭＮに対する積分プロセス）が完了するまで、開始されない。とくに好ましくは、各検出プロセスｊ＝１，…，Ｊについて、積分プロセスが完了した時（第１の代替例の場合には、読み取るべき第１の領域Ｒ_１の第１の行グループＧ_１ｊの最後の行Ｚ_１ｊＮについて、また、第２の代替例の場合には、読み取るべき最後の領域Ｒ_Ｎの第１の行グループＧ_Ｍｊの最後の行Ｚ_１ＭＮについて）に、カメラまたはセンサのアクチュエータ論理によって重なりマージン信号ＯＭＳが生成され、カメラの外部のアクチュエータ回路に送信される。次の検出プロセスの開始は、重なりマージン信号ＯＭＳが受信されたか否かの条件にリンクされる（次の検出プロセスを開始し得る最も早い意味のある時刻をマークするので）（レベルトリガ信号ＬＴＳを設定することにより）（すなわち、読み取るべき領域内の行グループの最後の行の読み取りが開始される時に）。しかしながら、次の検出プロセスを重なりマージン信号ＯＭＳの受信直後に開始する必要はなく、後の時刻に実行してもよい。しかしながら、原理としては、信号ＬＴＳを「１」に設定することによる検出プロセスの開始は、重なりマージン信号ＯＭＳの受信の任意に追加可能な条件にはリンクされず、これとは独立に制御されてもよい。

本方法のさらなる実施形態では、各検出プロセスｊ＝１，…，Ｊの後に、割り当てられた読み取りプロセスの開始時点において、読み取り信号ＲＳが「１」に設定され、読み取りプロセスが終了した後に再び「０」に設定される（方法ステップｄ）で定義されたように）。この信号を設定することは、この時刻において、同じ読み取りカスケードを介して読み取られるさらなる読み取りプロセスが発生してはならないということを示す。

直前に記載されたマルチライン検出の方法は、試料によって放射された光が２次元検出器上で検出される、試料の顕微鏡的照明の場合にとくに適している。

たとえば、多色光シートで試料を照明してもよく、検出すべき光はスペクトル的に分離され、用いられる色はそれぞれ検出器上の読み取るべき領域Ｒ_ｍに割り当てられ、そこにおいて、対応する光に割り当てられた検出光が検出される。光シートは一般的に試料の蛍光を励起するために用いられるので、一般的に、検出すべき検出光の色は光シートの色とは異なり、したがって、照射の間に用いられる波長とは異なる波長で光が放射される。

しかしながら、同一または異なる色のＭ個の光ラインｍ（ただしｍ＝１，…，Ｍ）（たとえば走査運動により生成可能である）で線形に試料を照明することもできる。光ラインの光で照明される試料の各エリアから到来する光（ｍ番目の光ライン）は、この光ラインに割り当てられた読み取るべき領域Ｒ_ｍにおいて線形に検出される。このようにして、すべての照明ラインについて同時に検出が実行できるので、像取得時間がかなり短縮できる。同様に、上述の多色光シートでの試料の検査の場合にも像取得時間は短縮され、さらに、１つのセンサ上でいくつかの色が検出可能なので、必要な補正の数を低減できる。

有利なことに、ステップａ）およびｂ）に関連して、行グループＧ_ｍｊ内の行の数Ｎもまた可変に設定可能である。したがって、システムの様々な光学的条件に対して行グループの高さを適応させることができ、像フィールド上で変更可能な開口サイズ（すなわち行グループ内の行の数）は、デジタル化された画像データ内の画素および行の選択を介して実現可能である。像フィールド上を照明ラインが移動するスピードが事前に定義されれば、開口サイズおよび露光時間は互いに独立して設定可能である。

上述のように、ｊ番目の行グループＧ_１ｊ，Ｇ_２ｊ，…，Ｇ_Ｍｊ各場合において、各行に対する積分時間はレベルトリガ信号ＬＴＳを介して制御可能である。ラインが試料上を移動し、移動する線形検出もまた実行される照明が用いられる場合には、照明ラインの移動が非線形であっても、また、走査移動に休止時間が設けられても（たとえば走査移動の折り返しの場合に、または双方向補正の場合に）、レベルトリガ信号ＬＴＳを介して、画像における定数の信号対雑音比が達成可能である。

さらなる実施形態では、各領域について事前に定義された時定数Ｔ_ｍ（時定数Ｔ_ｍは照明および／または検出における輝度差に応じて事前に定義される）によって各読み取るべき領域Ｒ_ｍに対するレベルトリガ信号ＬＴＳを修正することによって、あるフレームワーク内で読み取るべき領域Ｒ_ｍのそれぞれについてレベルトリガ信号ＬＴＳを個別化することもできる。輝度差は、各波長で異なる照明強度に起因する場合があるが、検出にリンクされた境界条件によってもたらされる可能性もある（たとえば検出表面のエッジエリアにおける周辺減光）。したがってこれらは、較正のフレームワーク内で前もって指定可能である。時定数は正でも負でもよく、すなわち、レベルトリガ信号ＬＴＳが「１」に設定される期間を延長しても短縮してもよい。たとえば、第１の読み取るべき領域Ｒ_１に対するＬＴＳの期間は事前に定義可能であり、Ｔ_１＝０が事前に定義可能であり、すなわち、第１の読み取るべき領域に対する時定数はゼロとなる。この指定は、作動についての管理が最も簡単であるが、異なるように実現することもでき、たとえばＬＴＳの平均期間を指定することにより、および、ゼロ周辺に散乱する時定数（第１の読み取るべき領域Ｒ_１に対するものを含む）により、実現することもできる。このようにすると、たとえば照明ラインの輝度差が補償可能である。

各積分時間が異なる場合には、たとえば第１の行グループに対する積分時間が２番目の読み取るべき領域の負の時定数に起因して短縮された（結果として、さらなる手段なしで、これらの行の読み取り時刻が第１の読み取るべき領域の対応する行グループの読み取り時刻と一致する）場合に、連続する読み取るべき領域の２つの行グループについて読み取りが発生する時間期間が互いに重ならないことを保証しなければならない。この理由のため、読み取りプロセスは、対応する積分プロセスが終了した後、積分時間および各時定数に基づいてシステムにより各読み取るべき領域について個別に決定される遅延時間ｔ^ｑ _ｍの終了後まで開始されない。

最も単純なケースでは、各場合において時定数Ｔ_ｍおよび遅延時間ｔ^ｑ _ｍはいずれもゼロである。読み取るべき領域Ｒ_ｍ内の積分時間すべてが各場合において値Ｔ_ｍだけ初期設定と比較して短くなる（Ｔ_ｍの負の値に対応して）場合には、ｔ^ｑ _ｍは、たとえば、短縮された積分時間と遅延時間ｔ^ｑ _ｍとの和が初期設定の積分時間に対応するように選択され、したがって、読み取りプロセスはさらに同時に開始される（すなわちｔ^ｑ _ｍ＝｜Ｔ_ｍ｜）。読み取るべき領域Ｒ_ｍ内で１つの積分時間のみが延長された場合には、たとえば直後の領域Ｒ_ｍ＋１に対するこの時間を積分および読み取りプロセスの間に挿入することができる。たった２つの例を示せば、たとえばＴ_ｍ＋１＝０の場合には、ｔ^ｑ _ｍ＋１＝Ｔ_ｍが真となる。

アクチュエータによる信号の出力は、当然ながら、対応するハードウェア構成要素の反応ラグを考慮するために遅延または加速することができる。たとえば、照明信号ＩＳは、グローバルシャッターを切り替える時のラグを考慮するために、定義された時間値だけ前倒しにすることができる（たとえばＡＯＴＦ）。

本方法のさらなる実施形態では、検出プロセスの間に検出器上の各行内で積分および読み取りプロセスがトリガされる順序は、各場合において２つの検出プロセスｊおよびｊ＋１の間で反転される（すなわち、検出器上の位置に対して、第１の行Ｚ_１１１は、用いられる行すべてのうち最上行であってもよいし、最下行であってもよい）。したがって、本方法は２つの方向において実行可能であり、とくに、ｊ番目の行グループＧ_ｍｊから次の行グループＧ_ｍｊ＋１への、行活動化の方向を変化させることも可能である（すなわち、積分および読み取りカスケードが、各行を水平に整列すべき検出器表面において、最上から最下までおよび最下から最上まで交互に進むことができるように）。

本方法のさらなる実施形態では、画像処理のフレームワーク（カメラ内部に一体化されるか、または外部の画像処理ユニット内）内で画像Ｂ_ｍｊにおいて考慮すべき行Ｚ_ｍｊｎの数（ただしｎ＝１，…，Ｎ）は、ｍ番目の読み取るべき領域Ｒ_ｍ内のｊ番目の行グループＧ_ｍｊの行タイプ画像（row-type image）Ｂ_ｍｊの計算のために設定可能である。代替的に、またはこれと組み合わせて、行タイプ画像の計算において、各行Ｚ_ｍｊｎの画素ｘは重み付け係数ｗ_ｍｊｎｘで重み付けることができる（ただしｘは関連する行内での画素ｘの水平位置を表す）。重み付け係数ｗ_ｍｊｎｘ（０と１との間（これら限界値を含む）の値を想定することができる）は、ユーザが事前に定義可能なパラメータである。このようにすると、たとえば、行のエッジエリア（水平方向に見なされる）において、そのエッジエリア内に垂直に配置された対応する行グループの各行の影響が、中間エリアの行の場合よりも大きくまたは小さくなるように指定することができる。

上述の特徴および後述の特徴は、本発明の範囲から逸脱することなく、記述された組み合わせのみならず、他の組み合わせにおいて、または単独で、用い得るということが理解される。

本発明は、添付図面（これらも本発明に必要な特徴を開示する）を参照して、例示により以下により詳細に説明される。

マルチライン検出方法を実行するための構成である。 そのような方法の典型的な手順である。 この方法の代替的な手順である。

［図面の詳細な説明］
例として、マルチライン検出が実行可能な構成が図１に示される。この構成は、検出器２と、アクチュエータ３と、画像処理ユニット４とを持つカメラ１を備える。検出器２は像センサ（たとえばＣＭＯＳ画像センサ）を備える。そのようなセンサは、個別に作動可能ないくつかの個別の行（すなわち、原理的に積分時間および読み取り時間が他の行から独立して制御可能なもの）を備える。各検出器行はいくつかの画素を備え、したがって、結果として２次元検出器となる。図１に示す構成は、例示としてのみ理解すべきである。アクチュエータ３が画像センサの一部である構成、および／または画像処理ユニット４がカメラ１の外側（たとえばＰＣ内）に配置される構成も同様に考慮可能である。

ＣＭＯＳ画像センサは、たとえば、画素ごとにいくつかのトランジスタを含む。これにより、とりわけ、画素内の電荷の消去と、電荷／電圧変換器への電荷の転送と、望ましくないリセットオフセットを除去するためのいわゆる「相関二重サンプリング（correlated double sampling）」（ＣＤＳ）と、検出信号電圧を列バスに中継することとが可能となる。電圧をデジタル化するアナログ・デジタル変換器が列バスに接続される。露光下で形成される光電荷の積分およびこの電荷の読み取りのために、画像センサの行バスおよび列バスは、特定手順の切り替えプロセスを制御しなければならない。デジタル化のために、さらなる電圧曲線が生成される。行の読み取りは、デジタル化された値の生成までに蓄積された電荷の転送のための全時間（場合によってユーザが追加で定義した遅延時間を含む）を含む。ある読み取りプロセスの間に、同じ読み取りカスケードを介して読み取る２番目の読み取りプロセスを開始してはならない。従来技術には、上側センサ半体と下側センサ半体とがそれぞれ分離したアナログ・デジタル変換器および列バスを備える（すなわち２つの読み取りカスケードを備える）ＣＭＯＳ画像センサがある。そのようなセンサを用いると、２つの行を同時に読み取ることができるが、それらは異なるセンサ半体に配置されなければならず、すなわち互いから独立した２つのセンサが実際に存在しなければならない。しかしながら、表現を単純化するために、ここでは、センサはただ１つの読み取りカスケードのみを備えると想定するが、センサの各エリアは互いに独立して作動可能なので、２つ以上の読み取りカスケードへの移転は容易に可能である。行バス信号および列バス信号の生成は、たとえばエレクトロニクス（遅延および変動が十分に小さいもの）を介して実現可能である。これは、画像センサの一部として設計可能であり、または、外部回路としても設計可能である（外部から画像センサに信号を供給する個別の切り替え回路を介して、または、適切なセンサを用いる場合には、後者のプログラミングを介して実現することも可能である（たとえばダウンストリーム行符号化器を介してまたはデジタル制御ブロックを介して））。

画像センサ上で読み取られた画像データは、画像処理ユニット４に供給され、これはたとえば各画素のデータを画像へと組み合わせ、さらなる評価ユニット、メモリユニットおよび／または視覚的出力ユニットに接続される。カメラ１の重要な構成要素の１つはアクチュエータ３であり、これは、とりわけ、プログラム可能なアクチュエータ論理を含む。

パラメータ化インタフェース６を介して、センサ上の読み取るべき各領域Ｒ_ｍ、これらの領域の行グループＧ_ｍｊおよび行グループごとの行数Ｎ（Ｚ_ｍｊｎ）は、照明設定および検査方法に応じて、ユーザによってまたは自動的に指定することもでき、アクチュエータ３に伝達される。行タイプ画像が計算される場合には、対応する重み付け係数ｗ_ｍｊｎｘがパラメータ化インタフェース６を介して画像処理ユニット４に同様に送信されてもよい。

この構成は、トリガ管理装置７も含む。トリガ管理装置７は、ここではカメラ外部の構成要素として表されるが、カメラ１の一部であってもよい。トリガ管理装置７は、外部から到来するレベルトリガを、レベルトリガ信号ＬＴＳを介してセンサ装置の手順制御システムへと統合し、センサ制御の信号から照明信号ＩＳ、読み取り信号ＲＳおよび重なりマージン信号ＯＭＳを導出し、これらの信号が外部のハードウェアの同期のために使用できるように、それらを外部の使用のために利用可能とするというタスクを有する。トリガ管理装置は、さらなる信号にも依存して信号生成に関するさらなるタスクを引き受けてもよく、たとえばトリガ管理装置７は、レベルトリガ信号ＬＴＳの開始時刻を決定するためにスキャナ９の同期信号を用いてもよい。トリガ管理装置７は、音響光学的変調器（ＡＯＭ／ＡＯＴＦ）５と通信可能であってもよく、音響光学的変調器（ＡＯＭ／ＡＯＴＦ）５には、結果として検出器の行がすべて同時に露光されるように、グローバルシャッターを開放状態に切り替えまたは閉鎖するために照明信号ＩＳが送信される。トリガ管理装置７またはソフトウェア制御８を介して、検出器の各行の検出プロセスの間に積分および読み取りプロセスがトリガされる順序を逆転させるための（すなわちシャッター伝搬方向を逆転させるための）信号が指定されてもよい。読み取るべき領域Ｒ_ｍにおけるある行の読み取り時間ｔ^ａ _ｍも、パラメータ化インタフェース６において指定されてもよく、これによってアクチュエータ３に送信されてもよい。読み取り時間は、少なくとも２つの値からなり（ｔ^ａ _ｍ＝ｔ^ｒ _ｍ＋ｔ^ｏ _ｍ）、ｔ^ｒ _ｍは蓄積された電荷の転送に物理的に必要な実際の読み取り時間であって電荷に割り当てられデジタル化された値の決定を含み、ｔ^ｏ _１は、ユーザが自由に選択可能なユーザ遅延時間（これによって、実際の読み取りの前または後にユーザ遅延時間が加算されるか否かに応じて、読み取りプロセスが開始または終了される）を定義する。アクチュエータ論理では、積分時間に対するパラメータ（すなわち、とりわけ、レベルトリガ信号ＬＴＳおよび時定数Ｔ_ｍ）は、読み取り時間と、領域またはグループの数Ｍ，Ｊ，Ｎそれぞれの数と、行バスおよび列バスにおける切り替え動作とを指定する。信号ＯＭＳ、ＲＳおよびＩＳは、ソフトウェアを使用しない無遅延制御のために役立つ。他の外部装置（カメラに関連するもの）（たとえばスキャナ９、空間光変調器、顕微鏡ステージ、等）もまた、追加のソフトウェア制御８によって制御可能である。照明ラインまたは光シートは、スキャナ、円筒状レンズ、空間光変調器またはデジタル鏡アレイによって、対応する光学的構造（それ自体は既知である）によって実現可能である。

以下、図２および図３を参照して、方法の手順をより詳細に説明する。いずれの場合でも、ステップａ）において、いくつかの検出器行（たとえば１５００個の検出器行）を備えるアクチュエータ３に接続された２次元検出器上で、Ｍ個の読み取るべき領域Ｒ_１，Ｒ_２，…，Ｒ_Ｍ（ただしＭは１以上の自然数）が最初に指定される。図２に関してＭ＝３である。この表現では、単に明瞭さのために、領域Ｒ_１、Ｒ_２およびＲ_３は互いに直接的に隣接して表されるが、一般的には、読み取るべき領域Ｒ_ｍ（ｍ＝１，…，Ｍ）は、光学的像を明確に分離するためにセンサ上でさらに隔たって配置される。典型的な用途では、１つの読み取るべき領域はたとえば４００ラインを備える。

読み取るべき各領域Ｒ_ｍにおいて、ステップｂ）において、各場合において隣接する検出器行の各行の行グループＧ_ｍ１，Ｇ_ｍ２，…Ｇ_ｍＪの数Ｊが指定される。Ｊは１以上の自然数である。本例では、Ｊは同様に３に等しいが、一般的には、アプリケーションにおいて読み取るべき領域ごとに約１００個の行グループ（すなわちＪ＝１００）が通常である。各行グループＧ_ｍｊは、Ｎ個の検出器行Ｚ_ｍｊ１，Ｚ_ｍｊ２，…，Ｚ_ｍｊＮを備える。Ｎは１以上の自然数であり、ｊは１からＪまで動くカウントインデックスである。

次のステップｃ）において、第１の検出プロセス（ｊ＝１）を開始するために、レベルトリガ信号ＬＴＳが「０」から「１」に設定される。読み取るべき領域Ｒ_１における第１の行グループＧ_１１の第１の検出器行Ｚ_１１１について積分プロセスがトリガされ、この積分プロセスのための事前に定義された積分時間はｔ^ｂ _１である。この積分時間の終了時点で、レベルトリガ信号ＬＴＳは再び「１」から「０」に設定され、第１の検出器行Ｚ_１１１および第１の検出プロセスに対する積分プロセスは終了する。信号曲線は図２の上部に時間ｔにわたって表される。信号曲線は、ここではすべての信号について矩形信号として単純化して表される。値「１」は高電圧値（「高」）に対応し、値「０」は低い値（「低」）に対応する。図２の下部では、ｙ軸に沿ってセンサ行が表され、ｘ軸は時間軸に対応する。したがって、時間とともにアクチュエータ回路がどのように個別の各行を作動させるかが示される。各行は、１つの長方形の高さに対応するｙ軸に沿った空間を占める。長方形内の空のエリアは積分プロセスに対応し、塗りつぶされたエリアは読み取りプロセスに対応する（後述）。

第１の検出プロセスが終了すると、読み取りプロセスが開始され、第１の読み取り時間ｔ^ａ _１の間にこの検出器行Ｚ_１１１について検出された露光値（記録された光電荷に対応する）が読み取られ、評価ユニットに伝達される。このように、第１の読み取り時間ｔ^ａ _１は、時間軸上で検出器行Ｚ_１１１に割り当てられた長方形の塗りつぶされたエリアの幅に対応する。全体でＪ個の検出プロセスが完了し、これらの検出プロセスのそれぞれについて、異なる積分時間ｔ^ｂ _ｊおよび／または異なる読み取り時間ｔ^ａ _ｊが選択可能である。

ステップｄ）において、図２に示す第１の代替例では、アクチュエータ３に一体化されるアクチュエータ論理によって、第１の行グループＧ_１１のさらなる検出器行における（および、その後、残りの読み取るべき領域Ｒ_ｍの対応する第１の行グループ行グループＧ_ｍ１における）第１の読み取り時間ｔ^ａ _１の距離だけ各場合において時間的にオフセットされて、後続の読み取りの積分プロセスが順次トリガされる。最後の読み取るべき領域Ｒ_Ｍの第１の行グループＧ_Ｍ１の最後の行Ｚ_Ｍ１Ｎが読み取られた後に、読み取りプロセスは終了する（この例ではこれは行Ｚ_１１４である）。

用いる制御システムおよびハードウェアによっては、ステップｄ）において、代替的に、第１の行グループ（Ｇ_１１）のさらなる検出器行における第１の検出プロセスおよびｍ−１＝１，…，Ｍ−１に対する残りの読み取るべき領域Ｒ_ｍのさらなる第１の行グループ（Ｇ_ｍ１）の開始と少なくともほぼ同時に各積分プロセスをトリガすることによって、各積分プロセスが開始されるこの期間を短縮または完全に回避することも可能である。これは、各検出プロセスのすべての行が積分に切り替えられる時間の期間が延長できるので、露光の効率を増大させる。この第２の代替例は図３に表される。

ステップｅ）において、第１の読み取るべき領域Ｒ_１における第１の行グループＧ_１１の最後の積分プロセスが終了した後に、さらなる積分時間ｔ^ｂ _ｊで、およびさらなる読み取り時間ｔ^ａ _ｊで、さらなる行グループＧ_ｍｊ（ｊ−１＝１，…，Ｊ−１）についてステップｃ）およびｄ）を実行することにより、Ｊ−１個のさらなる検出および読み取りプロセスが順次開始される。検出プロセスを開始すべき時刻は、アプリケーションによって（すなわち信号ＬＴＳを介して外部から）事前に定義される。

各読み取りプロセスの開始時点で読み取り信号ＲＳが「１」に設定され、これはその読み取りプロセスが終了した後に再び「０」に設定され、その後にはじめて、関与する行すべてについて積分プロセスが進行可能となる状況が作り出される。検出器の露光は、関与する行すべてにおいて積分プロセスが実際に進行中である時にのみ実行され、図２の例では、これは照明信号ＩＳによってシグナリングされ、照明信号ＩＳは、すべての行が積分にアクティブに切り替えられ終わった時に「１」に設定される。そうでなくなり、第１の（各場合において説明される例では最上の）行について積分プロセスが終了し読み取りプロセスが開始されるとすぐに、照明信号ＩＳは、レベルトリガ信号ＬＴＳと同時に、再び「０」に設定される。照明信号ＩＳに関して、たとえば、音響光学的変調器５が制御可能であってもよく、ある程度前もって照明信号ＩＳを音響光学的変調器５に送信することによってグローバルシャッターの開放中のラグを考慮することが好ましい。２次元検出器の露光は、照明信号ＩＳが「１」に設定されている間だけ実行される。ｊ番目の検出プロセスの後の、次の検出プロセス（したがってｊ＋１番目の検出プロセス）は、ｊ番目の検出プロセスにおいて、第１の読み取るべき領域Ｒ_１の第１の行グループＧ_１ｊの最後の行Ｚ_１ｊＮに対する積分プロセスが完了するまで開始されない。この積分プロセスが完了した時に、重なりマージン信号ＯＭＳがアクチュエータ回路に送信され（図２および図３では重なりマージン信号ＯＭＳに対する軸に直交する直線上に現れる）、これはそこでＯＭＳが「１」に設定されたことを示す。次の検出プロセスは、重なりマージン信号ＯＭＳが受信された時にのみ開始されることが好ましいが、これは必須ではない。図２に示す例では、ｊ＝２の検出プロセスは検出プロセスｊ＝１から直接的に後続する。しかしながら、第２および第３の検出プロセスの間にはより長い期間が存在する。

図３に示す代替例では、照明信号ＩＳはレベルトリガ信号ＬＴＳに対応し、したがって、分離した信号ＩＳは省略可能であり、露光は信号ＬＴＳに結合可能である。信号ＯＭＳは、図２に示す方法から類推して設定可能であるが、ここでは、これは、（無視される場合でも）最後の読み取るべき領域Ｒ_Ｎの第１の行グループＧ_Ｍｊの最後の行Ｚ_１ＭＮの読み取りプロセスの開始をマークするように設定され、結果として、異なる複数の領域の積分プロセスが同じエリアにおいて重ならない。

積分および読み取りの間の時間的オフセットのために、実際に利用可能な露光時間は実際の積分時間より常に短いので、読み取り時間に対する積分時間の長さは、検出器が露光可能な時間の期間の長さに影響する。図２および図３の第３の検出プロセスｊ＝３では、実質的に短い積分時間ｔ^ｂ _３が選択され、実際に利用可能な露光時間はここではたとえば第１の検出プロセス（ｊ＝１）の場合よりも実質的に短く、積分時間全体の約１／３にすぎない。この関係は、再び、読み取り時間を短縮することにより、または積分時間を延長することにより、改善可能である。光電荷の積分のために実際に使用可能な露光時間もまた、垂直な破線で示され、積分時間に対する実際の使用可能な露光時間の関係は、レベルトリガ信号ＬＴＳに対する照明信号ＩＳの持続時間の関係に対応する。より長い読み取り時間を（すなわち、ここではより長いｔ^Ｒ _ｍを）（任意選択で、より低いクロックレートで）用いると、検出器においてより良い雑音特性が実現できるが、これは照明トリガに対するレベルトリガの持続時間の関係を損なう。

マルチライン検出の方法は、たとえば、線形検出および／または線形照明が用いられる方法（たとえば光シート平面に垂直に光が検出される多色光シートを用いる光シート顕微鏡法）に適している。

１ カメラ、２ 検出器、３ アクチュエータ、４ 画像処理ユニット、５ 音響光学的変調器、６ パラメータ化インタフェース、７ トリガ管理装置、８ ソフトウェア制御、９ スキャナ。

Claims (13)

1. ａ）いくつかの検出器行を持つ、アクチュエータ（３）に接続された２次元検出器（２）上でＭ個（ただしＭ≧１）の読み取るべき領域（Ｒ_１，Ｒ_２，…，Ｒ_Ｍ）が指定され、読み取るべき各領域は少なくとも１つの検出器行を備え、
   ｂ）読み取るべき各領域（Ｒ_ｍ）（ただしｍ＝１，…，Ｍ）において、隣接する検出器行の各場合のＪ個（ただしＪ≧１）の行グループ（Ｇ_ｍ１，Ｇ_ｍ２，…，Ｇ_ｍＪ）が指定され、各行グループ（Ｇ_ｍｊ）はＮ個の検出器行（Ｚ_ｍｊ１，Ｚ_ｍｊ２，…，Ｚ_ｍｊＮ）（ただしｊ＝１，…，ＪでありＮ≧１）を備え、
   ｃ）第１の検出プロセス（ｊ＝１）を開始するために、レベルトリガ信号（ＬＴＳ）が「０」から「１」に設定され、これによって、第１の積分時間（ｔ^ｂ _１）の間に第１の読み取るべき領域（Ｒ_１）における第１の行グループ（Ｇ_１１）の第１の検出器行（Ｚ_１１１）について積分プロセスがトリガされ、これの終了時点で前記レベルトリガ信号は「１」から「０」に設定され、前記積分プロセスおよび前記第１の検出プロセスが終了し、読み取りプロセスが開始され、第１の読み取り時間（ｔ^ａ _１）の間に、この検出器行（Ｚ_１１１）について検出された露光値が読み取られ、評価ユニットに伝達され、
   ｄ）アクチュエータ論理によって、後続の読み取りの積分プロセスが、各場合において第１の読み取り時間（ｔ^ａ _１）の距離だけ時間的にオフセットされて、前記第１の行グループ（Ｇ_１１）のさらなる検出器行において、その後、これに対応して、ｍ−１＝１，…，Ｍ−１に対する残りの読み取るべき領域（Ｒ_ｍ）の第１のライングループ（Ｇ_ｍ１）において、または、第１の検出プロセスの開始と少なくともほぼ同時に、前記第１の行グループ（Ｇ_１１）のさらなる検出器行において、および、ｍ−１＝１，…，Ｍ−１に対する残りの読み取るべき領域（Ｒ_ｍ）のさらなる第１の行グループ（Ｇ_ｍ１）において、順次トリガされ、読み取るべき最後の領域（Ｒ_Ｍ）の第１の行グループ（Ｇ_Ｍ１）の最後の行（Ｚ_Ｍ１Ｎ）が読み取られると前記読み取りプロセスは終了し、
   ｅ）第１の領域（Ｒ_１）における第１の行グループ（Ｇ_１１）の最後の積分プロセスが終了した後に、さらなる行グループ（Ｇ_ｍｊ）（ただしｊ−１＝１，…，Ｊ−１）について、およびさらなる積分時間（ｔ^ｂ _ｊ）およびさらなる読み取り時間（ｔ^ａ _ｊ）について、ステップｃ）およびｄ）を実行することにより、Ｊ−１個のさらなる検出および読み取りプロセスが順次開始される、
   マルチライン検出方法。
2. 前記検出器（２）の露光は、関与する行グループ（Ｇ_ｍｊ）すべての各行について積分プロセスが同時に進行する時にのみ、ｊ＝１，…，Ｊに対する各検出プロセスにおいて前記積分時間の間に実行されることを特徴とする請求項１に記載の方法。
3. ｊ＝１，…，Ｊに対する各検出プロセスｊについて、照明信号（ＩＳ）によって露光が制御され、
   前記照明信号（ＩＳ）は、最後の読み取るべき領域（Ｒ_Ｍ）の対応する行グループ（Ｇ_Ｍｊ）の最後の検出器行（Ｚ_ＭｊＮ）について積分プロセスが開始された時に、行について対応する検出プロセスの間に「１」に設定され、
   前記照明信号（ＩＳ）は、レベルトリガ信号（ＬＴＳ）と同時に「０」に設定され、
   前記照明信号が「１」に設定されている間にのみ、２次元検出器の露光が実行されることを特徴とする請求項２に記載の方法。
4. 前記後続の検出プロセスは、直前の検出プロセスにおいて、第１の読み取るべき領域（Ｒ_１）の第１の行グループ（Ｇ_１ｊ）の最後の行（Ｚ_１ｊＮ）に対する積分プロセスが完了するまで開始されないことを特徴とする、請求項１〜３のいずれか一項に記載の方法。
5. 各検出プロセスｊ＝１，…，Ｊにおいて、第１の読み取るべき領域（Ｒ_１）の第１の行グループ（Ｇ_１ｊ）の最後の行（Ｚ_１ｊＮ）について前記積分プロセスが完了した時に、重なりマージン信号（ＯＭＳ）が前記アクチュエータ回路に送信され、
   次の検出プロセスの開始は、前記重なりマージン信号（ＯＭＳ）が受信されたか否かの条件にリンクされる
   ことを特徴とする請求項４に記載の方法。
6. 各検出プロセスｊ＝１，…，Ｊの後に、割り当てられた読み取りプロセスの開始時点において、読み取り信号（ＲＳ）が「１」に設定され、これは前記読み取りプロセスが終了した後に再び「０」に設定されることを特徴とする、請求項１〜５のいずれか一項に記載の方法。
7. 試料が顕微鏡的に照明され、前記試料によって放射された光が前記２次元検出器上で検出されることを特徴とする、請求項１〜６のいずれか一項に記載の方法。
8. 前記試料が多色光シートで照明され、検出すべき前記光はスペクトル的に分離され、用いられる前記各色には１つの読み取るべき領域（Ｒ_ｍ）が割り当てられ、そこにおいて、この色に割り当てられた検出光が検出されることを特徴とする、請求項７に記載の方法。
9. 前記試料は、Ｍ個の光ラインで線形に照明され、ｍ番目の光ラインの光で照明された前記試料の対応するエリアから到来する光は、この光ラインに割り当てられた読み取るべき領域（Ｒ_ｍ）において線形に検出されることを特徴とする、請求項７に記載の方法。
10. 前記レベルトリガ信号（ＬＴＳ）は、読み取るべき領域（Ｒ_ｍ）それぞれについて、各領域について事前に定義された時定数（Ｔ_ｍ）によって変更され、
    前記時定数（Ｔ_ｍ）は、前記照明および／または検出における輝度差に応じて事前に定義される
    ことを特徴とする、請求項７〜９のいずれか一項に記載の方法。
11. 検出プロセスの間に前記検出器上の各行において積分および読み取りプロセスがトリガされる順序は、各場合において２つの検出プロセスｊおよびｊ＋１の間で逆転されることを特徴とする、請求項１〜１０のいずれか一項に記載の方法。
12. 前記行グループ（Ｇ_ｍｊ）における行の数Ｎは可変に設定可能であることを特徴とする、請求項１〜１１のいずれか一項に記載の方法。
13. 画像処理の場合に、画像Ｂ_ｍｊ（ただしｎ＝１，…，Ｎ）において考慮すべき行Ｚ_ｍｊｎの数は、ｍ番目の読み取るべき領域Ｒ_ｍにおいてｊ番目の行グループＧ_ｍｊの行タイプ画像Ｂ_ｍｊの計算について設定可能であり、および／または、前記計算において各行Ｚ_ｍｊｎの各画素ｘが、重み付け係数ｗ_ｍｊｎｘで重み付けられることを特徴とする、請求項１〜１２のいずれか一項に記載の方法。

Images