JP2005529557A

JP2005529557A - 光学的撮像を評価するための方法及びシステム

Info

Publication number: JP2005529557A
Application number: JP2004512416A
Authority: JP
Inventors: シュミット、ウルス; ロッターマン、ルューディ; ギュッゲル、ダニエル
Original assignee: ライカミクロジュステムス（シュヴァイツ）アーゲー
Priority date: 2002-06-06
Filing date: 2003-06-03
Publication date: 2005-09-29
Also published as: EP1510079A1; DE10226274A1; WO2003105485A1; DE10226274B4

Abstract

【課題】
画像センサによって検出された光学的撮像（画像記録）を高速かつ簡単に評価することができ、以ってフォーカシング又は対象物位置決め若しくは倍率調節等を高速かつ高品質に実行することができるような方法及びシステム。
【解決手段】
画像センサ（１０，３０，６２）によって検出された光学的撮像の評価方法であって、前記画像センサ（１０，３０，６２）が複数の感光性素子（１２，１４，１６，３２，３４，３６）を有し、かつ該複数の素子（１２，１４，１６，３２，３４，３６）のそれぞれが所定数の色のうちから何れか１つの色のみの明るさ値（Helligkeitswert）を求めるために設けられ、以って該複数の素子の各々によって、当該複数の素子の各々にそれぞれ割り当てられた色についての情報が取得される形式の方法において、
前記所定数の色から１つの色が選択され、及び評価の際に、当該選択された１つの色に対して設けられた素子（１２，１４，１６，３２，３４，３６）の情報のみが考慮されることを特徴とする。

Description

本発明は、画像センサによって検出された光学的撮像（画像記録）を評価するための方法及びシステムに関する。画像センサは、複数の感光性素子を有し、これら複数の素子は、それぞれ、所定数の色のうちから何れか１つの色のみの明るさ値ないし光強度（Helligkeitswert）を検出するために設けられる。従って、該複数の素子の各々によって、当該複数の素子の各々にそれぞれ配属された色について情報が取得される。更に、本発明は、前記システムの使用、並びにコンピュータプログラム及びコンピュータプログラム製品に関する。

既知の電荷結合画像センサ、いわゆるＣＣＤ画像センサ（ＣＣＤ：charge-coupled device）は、ビデオ技術の分野にその起源を有するため、当該技術から多くのものを受け継いでいる。カラー画像を生成可能とするために、通常、画像センサの複数の素子の各々に、それぞれ、カラーマイクロフィルタが設けられ、これにより個々の素子は、１つの色のみを示す所定の波長領域の光のみを検出し、以って当該１つの色の明るさ値に関してのみ情報を供給する、即ち相応の電気信号を生成する。

素子（複数）は、通常、３原色、赤、緑及び青に対して設けられるが、これらの素子は、通常、いわゆるバイエル・モザイク（Bayer-Mosaik）状に配置される。このバイエル・モザイクの顕著な特徴は、赤色フィルタ及び青色フィルタそれぞれ１つ当り２つの緑色フィルタが配されることである。従って、典型的なセンサでは、緑色光の５０％、青色光の２５％、及び赤色光の２５％が検出される。

カメラの電子回路は、各画素（ないしピクセル）について、ただ１つの色に対する正確な明るさ値（Helligkeitswert）のみを取得するので、他の２つの色は、境を接して位置する隣接ピクセルの値から、それぞれ、補間によって計算されなければならない。

刊行物ＵＳ６１８１３７６Ｂ１から、例えばカラーフィルタアレイでの画素（複数）に対して欠けているカラー値を求める方法が既知である。この方法では、既知のカラー値の補間は、対角線に沿って実行される。

刊行物ＥＰ０７２０３８７Ａ２には、電子式カメラにおいてセンサによるプログレッシブスキャニングによってインターレース画像を生成するための方法及び装置が記載されている。この場合、必要とされるクロック速度が低下され、他方すべての色に対するインターレースピクセル値が同じ領域で生成される。

米国特許第６１８１３７６号明細書欧州特許出願公開第０７２０３８７号明細書

画像センサの多くは、いわゆるフル画像モード（Vollbildmodus）で作動し、その都度完全な（全体的な）読み出ししかすることができない。この場合問題となるのは、大きな画像センサの場合、この読み出しは比較的長時間かかることがあり、そのためフォーカシングのための、又は対象物位置決め若しくは倍率調節によって画像部分検出（Bildausschnittsbestimmung）のための滑らかなライブ画像を表示することができないことである。

他の画像センサは、ビデオ技術の古典的なハーフ画像方法（Halbbildverfahren）で作動する。この方法では、センサの偶数又は奇数の行が交互に照射・読み出しされる。次いで、ハーフ画像（Halbbild）が電子的に合成されてフル画像（Vollbild）が生成する。この方法の欠点は、この過程が順次的に（シーケンシャルに）実行されること、従ってカラーのフル画像を正しく表示するために、複雑な櫛状交互組合せ（ないし噛み合わせ）アルゴリズム（Verkaemmungsalgorithmen）が必要なことである。

それゆえ、本発明の課題は、画像センサによって検出された光学的撮像（画像記録）を高速かつ簡単に評価することができ、その枠内で例えばフォーカシング又は対象物位置決め若しくは倍率調節（適合化）を実行することができるような方法及びシステムを提供することである。

上記の課題を解決するために、本発明の一視点によれば、画像センサにより検出された光学的撮像の評価方法であって、画像センサが複数の感光性素子を有し、該複数の素子のそれぞれが所定数の色のうちから何れか１つの色のみの明るさ値を求めるために設けられ、以って該複数の素子の各々によって、当該複数の素子の各々にそれぞれ割り当てられた色についての情報が取得される形式の方法が提供される。この方法において、前記所定数の色から１つの色が選択されること、及び評価の際に、当該選択された１つの色に対して設けられた素子（１又は複数）の情報のみが考慮されることを特徴とする。

本発明の方法では、１つの色成分（Farbauszug）のみが、有利には大部分の情報を有する色成分のみが読み出され、残余（の色成分）は廃棄（放棄）される。このため、確かに分解能は相応に低下するが、このことは高分解能センサの場合にはほとんど知覚できない。これに対し、センサ読み出し時又は得られた情報の評価時に本発明の方法により達成される時間の節約は格段に大きい。さらに、ピクセル数の低減は多くの応用分野で所望されている。さらに、補間は不要とされるので、低ノイズの画像を生成することができる。

有利には、画像センサの素子（複数）は、複数の行及び複数の列から構成されるマトリクス状に配置される。この場合、画像センサの偶数又は奇数の行のみを選択的に読み出すことができる。このようにして生成されるハーフ検出画像（フィールド画像）では、後に、評価のために、選択された色に対して設けられた素子の情報のみが考慮される。

本発明の方法のこの実施形態では、所望のハーフ画像のみが読み出され、そこから必要な色情報のみが読み出される。所要時間の大きい色補間は必要ではない。従って、補間を起因とする分解能の低下を甘受する必要はない。生じた画像は選択された色で存在し、画像情報をより高速かつより低ノイズで表示することができる。

いわゆるハーフ検出画像方法では、右又は左ハーフ画像ではなく、偶数及び／又は奇数行がシフトレジスタにロードされてハーフ検出画像を構成（合成）する。

通常、３原色、赤、緑及び青に対して素子が設けられており、素子（複数）は、有利には、バイエル・モザイク（Bayer-Mosaik）状に配置される。

本発明の一実施形態では、素子（複数）にカラーマイクロフィルタが設けられる。これにより、所定の波長領域の光のみが透過され対応する素子によって吸収され得るため、個々の素子が、１つの波長領域の光の明るさないし強度に関する情報、従って１つの色に関する情報のみを供給すること、即ち個々の素子が当該（関連する）１つの色のために設けられることが保証される。

選択された色に対して設けられた素子の情報は、通常、表示ユニットに画像として表示される。

本発明の方法は、迅速なフォーカシング、対象物位置決め及び倍率調節を可能とする。

光学的撮像を評価するための本発明のシステムは、光学的撮像（画像記録）を検出するための画像センサと、画像センサによって得られた情報を処理するための計算ユニットを有する。画像センサは、複数の感光性素子を有し、該複数の素子の各々は、所定数の色のうちから何れか１つの色の明るさ値のみを求めるために設けられている。このシステムは、計算ユニットが、複数の色のうちの１つ、有利には割り当てられた最大の情報量を有する１つの色を選択するよう構成され、更に、評価の際に、選択された１つの色に対して設けられた素子の情報のみが考慮されるように配設・構成される。

（本発明のシステムの）画像センサの素子（複数）は、有利には、複数の行及び複数の列から構成されるマトリクス状に配置される。

１つの実施形態では、計算ユニットは、画像センサの偶数又は奇数の行のみを選択的に読み出すように構成される。この選択は、有利には、同じく計算ユニットにより実行される。

本発明のシステムのさらなる実施形態は、各従属請求項に記載されている。

本発明のシステムは、モノクロ（単色）画像、例えばとりわけ蛍光顕微鏡等の顕微鏡の画像の評価にとりわけ適する。顕微鏡では、例えば対象物の蛍光検査の場合のように、１つのモノクロ画像のみが存在することがしばしばある。従来の方法では、４つのピクセルにより色情報が記録される。次いで、個々のピクセルに対して、周囲のピクセル色による補間に基づき色が計算される。この処理には時間が掛かる。単色画像の場合、残りのピクセルには明るさ情報がなく、従ってノイズしか生成しない。このため、画質劣化が生じ得る。このことは、従来の読み出し及び評価方法では考慮されていなかった。

本発明の方法を使用することにより、例えば蛍光顕微鏡で頻繁に使用されるような、モノクロ画像のフォーカシングの際の画像レートは、従来の方法に対して実質的に２倍になり得る。なぜなら２つのハーフ画像の一方は、そもそも使用されないからである。色補間を省略することにより、色成分の表示は、公知の方法に対してさらに促進（高速化）され得る。

選択された色成分に所属しない色ピクセルは無視（放棄）されるため、それに含まれるノイズ情報によって当該選択された色成分を妨害することはない。その結果、適切なフォーカシング及び画像部分検出のための低ノイズで高速のグレー階調画像が得られる。

本発明の新規な方法は、特殊ないわゆるリードアウトモードの支援を受けることにより、ＣＣＤ画像センサないしデジタルカメラの制御に使用することができる。本発明の方法は、とりわけ高分解能の画像センサでの使用が推奨される。なぜなら高分解能の画像センサでは、本発明の方法により生じた分解能の低下は、重大な影響を引き起こさないからである。それどころかライブ画像表示の場合は、快適に所望の画像部分（視野）を検出できるようにするために、しばしばピクセル数の低減が所望される（ので却って有利である）。

本発明のコンピュータプログラムは、上述の方法のすべてのステップを実行するためのプログラムコード手段を有する。これはコンピュータ又は相応の計算ユニットで実行される。

本発明のコンピュータプログラム製品は、コンピュータで読み取り可能なデータ記録媒体に記録される。適切なデータ記録媒体としては、ＥＥＰＲＯＭ及びフラッシュメモリが考えられるが、更にＣＤ−ＲＯＭ、フロッピーディスク並びにハードディスクドライブも考えられる。

本発明の更なる利点及び展開形態は、明細書及び添付図面から明らかとなる。

本発明の上述の特徴及び以下に説明する特徴は、それぞれ明示の組合せで使用可能であるだけではなく、本発明の枠内を逸脱しない限り、他の組合せ又は単独での使用も可能である。

本発明の実施例は図面に示されているが、以下図面を参照して本発明を説明する。

図１に、概略的に説明するために、従来のハーフ検出画像（奇数又は偶数の１行飛び画素列検出によるフィールド画像：Halbbild）方法を示す。図示の画像センサ１０は、複数の行及び複数の列から構成されるマトリクス状に配置された複数の感光性素子を有し、素子１２は緑色、素子１４は赤色、素子１６は青色に対して設けられている。従って、素子１２は緑色カラーマイクロフィルタ、素子１４は赤色カラーマイクロフィルタ、素子１６は青色カラーマイクロフィルタが設けられている。

３原色、即ち赤、緑及び青に対する素子１２、１４及び１６は、いわゆるバイエル・モザイク状に配置される。この場合、赤色フィルタ及び青色フィルタのそれぞれ１つ毎に２つの緑色フィルタが配される。

画像センサ１０の第１、第３、第５、第７及び第９行、即ち奇数の行に対して第１のハーフ画像（１行飛びのハーフ検出画像）１８が生成され、画像センサ１０の第２、第４、第６、第８及び第１０行、即ち偶数の行に対して第２のハーフ画像２０が生成される。この場合、２つのハーフ画像１８及び２０は、まず相応の行をそれぞれ照射し、そして（当該照射された行を）読み出すことにより生成される。

ハーフ画像方法では、画像センサ１０の偶数又は奇数の行が交互に読み出される。次いで、ハーフ画像１８及び２０は、典型的には電子的に合成される。

図２から図４に、本発明の方法の一例を詳細に示す。この場合も、画像センサ３０はマトリクス状に配置された複数の素子３２、３４、及び３６を有し、素子３２は緑色に対して、素子３４は赤色に対して、素子３６は青色に対して設けられる。

図２から分かる通り、まず、第１のハーフ画像３８が生成される。即ち、画像センサ３０の奇数行のみが読み出される。このハーフ画像３８は緑色及び赤色の画素のみを示す。次いで、赤色に対する素子３４のみが考慮され、その結果は、赤色色成分を再生する１つの画像４０に表される。素子３２ないし素子３２の得られた情報は、その更なる評価の際には考慮されない（無視される）。

画像４０のピクセル数は、センサ３０のピクセル数よりファクタ４だけ少ない（センサ３０のピクセル数の４分の１である）。しかしながら、補間を実行する必要はないので、画像４０は迅速に生成（計算）することができる。次いで、このノイズの少ない画像４０を用いてフォーカシング又は画像部分評価が実行可能となる。

図３に、画像センサ３０の偶数行の読み出しにより得られた第２のハーフ画像４２を相応に示す。このハーフ画像４２から、青色に対する素子３６のみを考慮することによって、青色色成分を再生する更なる１つの画像４４が生成（計算合成）される。

図４に、図２の他のハーフ画像３８を再び示す。この場合、緑色色成分を再生する１つの画像４６が、ハーフ画像３８から生成される。

緑色色成分は、第１のハーフ画像３８又は第２のハーフ画像４２の何れからも得ることができる。

本発明の方法では、色成分の表示は、色補間を省略することによって、従来の方法と比べて促進（加速）することができる。選択された色成分に所属しないカラーピクセルは、無視（放棄）されるため、それに含まれるノイズ情報によって（選択された）色成分を妨害することがない。

図５に、本発明の方法に対する１つの可能な応用例を概略的に示す。撮像されるべき対象物５０、対物レンズ５２、ダイクロイックビームスプリッタ５４、吸収フィルタ５６、鏡筒レンズ５８、顕微鏡軸６０、像面ないしセンサ６２、励起フィルタ６４、コレクタレンズ６６、光源６８及び照明光軸７０が図示されている。

図示の場合、蛍光対象物５０は、対物レンズ５２の焦点面に位置し、対物レンズ５２及び鏡筒レンズ５８によってセンサ６２面に結像される。対物レンズ５２と鏡筒レンズ５８との間には、いわゆる平行ビーム路の領域が存在する。この領域には、光学的付加要素を挿入することができる。蛍光顕微鏡では、この光学的付加要素は、通常、図５に示した照明を差込入射するためのビームスプリッタ５４及び吸収フィルタ５６である。

吸収フィルタ５６は、対象物５０から放射された蛍光ビームの波長の光のみを通過させる。蛍光励起のための短波長光は、吸収フィルタ５６によって通過を阻止され、従って画像生成に寄与することがない。

対象物５０を照明するために、光源６８の光は、コレクタレンズ６６によって集束され、ビームスプリッタ５４によって対象物５０の方向に反射される。励起フィルタ６４は、蛍光の励起に用いられる波長の光のみを通過させる。光源６８の照明光のうち比較的波長の長い蛍光励起用ビームは、励起フィルタ６４によって遮断されるため、（対象物から放射された）蛍光ビームに重畳したり、その視認性を損なったりする（生成画像に悪影響を及ぼす）ことはない。

光効率を向上させるために、ビームスプリッタ５４をダイクロイックビームスプリッタ５４として構成すると都合がよい。なぜならダイクロイックビームスプリッタは短波長の励起光だけを高い割合で反射し、長波長の蛍光ビームに対しては高い透過性を有するからである。

図５に示した構造によって、本発明の方法により評価可能なモノクロ（単色）画像が生成される。

公知のハーフ検出画像方法の説明。本発明の方法の一実施例の概略図。本発明の方法の別の一実施例の概略図。本発明の方法のさらに別の一実施例の概略図。本発明の方法の可能な一応用例の概略図。

Claims

画像センサ（１０，３０，６２）によって検出された光学的撮像の評価方法であって、
前記画像センサ（１０，３０，６２）が複数の感光性素子（１２，１４，１６，３２，３４，３６）を有し、かつ該複数の素子（１２，１４，１６，３２，３４，３６）のそれぞれが所定数の色のうちから何れか１つの色のみの明るさ値を求めるために設けられ、以って該複数の素子の各々によって、当該複数の素子の各々にそれぞれ割り当てられた色についての情報が取得される形式の方法において、
前記所定数の色から１つの色が選択されること、及び評価の際に、当該選択された１つの色に対して設けられた素子（１２，１４，１６，３２，３４，３６）の情報のみが考慮されること
を特徴とする方法。
前記画像センサ（１０，３０，６２）の複数の素子（１２，１４，１６，３２，３４，３６）は、複数の行及び複数の列から構成されるマトリックス状に配置されること
を特徴とする請求項１に記載の方法。
前記画像センサ（１０，３０，６２）の偶数又は奇数の行のみが選択的に読み出されること、及び
そのような読み出しにより生成されるハーフ画像（１８，２０，３８，４２）において、前記選択された１つの色に対して設けられた素子（１２，１４，１６，３２，３４，３６）の情報のみが考慮されること
を特徴とする請求項２に記載の方法。
前記複数の素子（１２，１４，１６，３２，３４，３６）は、赤色、緑色、青色に対して設けられること
を特徴とする請求項１〜３の何れか１項に記載の方法。
前記赤色、緑色及び青色に対する複数の素子（１２，１４，１６，３２，３４，３６）は、バイエル・モザイク状に配置されること
を特徴とする請求項４に記載の方法。
前記複数の素子（１２，１４，１６，３２，３４，３６）には、カラーマイクロフィルタが配されること
を特徴とする請求項１〜５の何れか１項に記載の方法。
前記選択された１つの色に対して設けられた素子（１２，１４，１６，３２，３４，３６）の情報は、表示ユニットに表示されること
を特徴とする請求項１〜６の何れか１項に記載の方法。
前記選択された１つの色に対して設けられた素子（１２，１４，１６，３２，３４，３６）の情報によって、フォーカシングが実行されること
を特徴とする請求項１〜７の何れか１項に記載の方法。
前記選択された１つの色に対して設けられた素子（１２，１４，１６，３２，３４，３６）の情報によって、対象物位置決めが実行されること
を特徴とする請求項１〜８の何れか１項に記載の方法。
前記選択された１つの色に対して設けられた素子（１２，１４，１６，３２，３４，３６）の情報によって、倍率調節が実行されること
を特徴とする請求項１〜９の何れか１項に記載の方法。
光学的撮像を検出するための画像センサ（１０，３０，６２）と、該画像センサ（１０，３０，６２）によって取得された情報を処理するための計算ユニットとを有する、光学的撮像を評価するためのシステムであって、
前記画像センサ（１０，３０，６２）が複数の感光性素子（１２，１４，１６，３２，３４，３６）を有し、かつ該複数の素子（１２，１４，１６，３２，３４，３６）のそれぞれが所定数の色のうちから何れか１つの色のみの明るさ値を求めるために設けられるよう構成されたシステムにおいて、
前記計算ユニットは、前記所定数の色から１つの色を選択するように構成され、かつ、評価の際に、当該選択された１つの色に対して設けられた素子（１２，１４，１６，３２，３４，３６）の情報のみが考慮されるように配設・構成されること
を特徴とするシステム。
前記画像センサ（１０，３０，６２）の複数の素子（１２，１４，１６，３２，３４，３６）は、複数の行及び複数の列から構成されるマトリクス状に配置されること
を特徴とする請求項１１に記載のシステム。
前記計算ユニットは、前記画像センサ（１０，３０，６２）の偶数又は奇数の行のみを選択的に読み出すように構成されること
を特徴とする請求項１２に記載のシステム。
前記複数の素子（１２，１４，１６，３２，３４，３６）は、赤色、緑色及び青色に対して設けられること
を特徴とする請求項１１〜１３の何れか１項に記載のシステム。
前記赤色、緑色及び青色に対する複数の素子（１２，１４，１６，３２，３４，３６）は、バイエル・モザイク状に配置されること
を特徴とする請求項１４に記載のシステム。
前記複数の素子（１２，１４，１６，３２，３４，３６）には、カラーマイクロフィルタが配されること
を特徴とする請求項１１〜１５の何れか１項に記載のシステム。
前記選択された１つの色に対して設けられた素子（１２，１４，１６，３２，３４，３６）の情報を表示するために表示ユニットが設けられること
を特徴とする請求項１１〜１６の何れか１項に記載のシステム。
蛍光顕微鏡において画像を評価するための、請求項１１〜１７の何れか１項に記載のシステムの使用。
対象物の位置決めのための、請求項１１〜１７の何れか１項に記載のシステムの使用。
倍率調節のための、請求項１１〜１７の何れか１項に記載のシステムの使用。
コンピュータ又はとりわけ請求項１１に記載のシステムの計算ユニット等の相応の計算ユニットにおいて実行されるとき、請求項１〜１０の何れか１項に記載の方法のすべてのステップを実行するためのプログラムコード手段を有するコンピュータプログラム。
コンピュータプログラムがコンピュータ又はとりわけ請求項１１に記載のシステムの計算ユニット等の相応の計算ユニットにおいて実行されるとき、請求項１〜１０の何れか１項に記載の方法を実行するための、コンピュータで読み取り可能なデータ記録媒体に記憶されているプログラムコード手段を有するコンピュータプログラム製品。