JP2011523057A - 構造化された照射および均一な照射の両方を用いて光学的に切片化された画像を生成するためのシステムおよび方法 - Google Patents

構造化された照射および均一な照射の両方を用いて光学的に切片化された画像を生成するためのシステムおよび方法 Download PDF

Info

Publication number
JP2011523057A
JP2011523057A JP2011512614A JP2011512614A JP2011523057A JP 2011523057 A JP2011523057 A JP 2011523057A JP 2011512614 A JP2011512614 A JP 2011512614A JP 2011512614 A JP2011512614 A JP 2011512614A JP 2011523057 A JP2011523057 A JP 2011523057A
Authority
JP
Japan
Prior art keywords
data set
image data
focus
image
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011512614A
Other languages
English (en)
Other versions
JP4865930B2 (ja
Inventor
ジェローム メルツ,
ダリル リム,
ケンイェイ ケー. チュー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boston University
Original Assignee
Boston University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boston University filed Critical Boston University
Publication of JP2011523057A publication Critical patent/JP2011523057A/ja
Application granted granted Critical
Publication of JP4865930B2 publication Critical patent/JP4865930B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

実世界のオブジェクトの第1の画像データセットがプロセッサにおいて受信され、ここでは、実世界のオブジェクトが実質的に均一な照射で照射される。実世界のオブジェクトの第2の画像データセットがプロセッサにおいて受信され、ここでは、実世界のオブジェクトが実質的に構造化された照射で照射される。高域フィルタが第1の画像データセットに適用され、焦点外の内容を除去し、高周波数の焦点内の内容を取り出す。低解像度の局所的なコントラストデータセットを生成する第2の画像データセットの局所的なコントラストが決定される。局所的なコントラストは、第1の画像データセット内の焦点内の内容の低解像度推定を提供する。低域フィルタは、推定された低解像度焦点内データセットに適用され、その結果、その周波数情報を高周波数焦点内データセットに相補的にする。

Description

(優先権)
本特許出願は、2008年6月5日に出願され「Method of Optical Sectioning with Hybrid Structured and Uniform Illumination Imaging」と題された米国仮特許出願第61/130,999号からの優先権を主張する特許協力条約に基づく特許出願であり、該仮特許出願の全体は、参照により本明細書中に援用される。
(政府の権利)
本発明は、国立衛生研究所によって付与された契約番号第EB007338号のもとでの政府支援を用いてなされたものである。政府は一定の権利を有する。
(発明の分野)
本発明は、画像化に関し、より具体的には、光学的に切片化された画像(optically sectioned image)に関する。
(背景技術)
典型的に、顕微鏡を用いて視覚化されるべき生物学的サンプルの全体は、横方向の構造を見るために、薄層にスライスされて載置される。よって、サンプルは、そのサンプルの厚さが実質的に低減されていることにより、2次元の性質を帯びており、その結果、スライスの平面内の構造は、平面の外部に存在するその他の構造からの追加的な背景を伴わずに見られ得る。しかしながら、多くのインビボ構造を含む一部の構造は、スライスされることが可能ではないことがあり得る。
当該技術分野においては、共焦点蛍光顕微鏡法を用いることにより、細胞以下の(subcellar)解像度においてインビボ構造を画像化することが公知である。同様に、標準的な広視野蛍光顕微鏡法もまた周知であり、該広視野蛍光顕微鏡法は、横方向に均一なオブジェクトに対する光学的切片化を提供しない。広視野技術は、それらの技術が焦点外の背景構造を拒絶することができないことにより阻害され、これにより、低信号のコントラストにつながる。
全載置サンプルおよびインビボサンプルが光学的切片化によって検査されることを可能にする技術が開発されてきた。これらの技術の全ては、焦点外の背景(すなわち、焦点面内に存在しない構造から生じる背景)を最小化または排除するように機能する。光学的切片化を提供するために、いくつかの戦略が考案されてきた。例えば、広視野顕微鏡法は、動的なスペックル照射を利用することにより、光学的に切片化された画像を獲得し得る。動的なスペックル照射が用いられる場合、ランダムなスペックルパターン(または複数のスペックルパターン)を用いて蛍光構造が照射される。そして、時間内の画像の変動のコントラストを計算することにより、光学的切片化が獲得される。よって、多くの画像が撮影されなければならない。この技術に伴う1つの問題は、遅いことであり、そして、概して、納得のいく品質の最終的な切片化された画像を生成するためには、数十の画像を必要とするということである。
その他の技術は、グリッドパターンを用いることにより、視覚化されるべき構造を照射することを含む。パターンの照射はグリッド周期の一部分によりシフトされ、各シフトで画像がキャプチャされる。複数の画像からのデータが処理されることにより、焦点外の背景を除去する。この技術の短所は、結果として得られる画像が、しばしば、動きに関係するアーチファクトに起因して、ストライプ状の外観を有するということである。画像は連続的に獲得されるので、視覚化されるべき構造または画像化デバイスのどのような動きも、プロセッサにおける画像間の不整合という結果につながり、ひいては、処理される画像の品質の劣化という結果につながる。
(発明の概要)
本発明の第1の実施形態において、構造化された照射の画像データセットおよび均一な照射のデータセットの両方を用いて光学的に切片化された画像データセットを形成するための方法が提供される。構造化された照射のデータセットおよび均一な照射のデータセットは、DC空間周波数においてさえも光学的切片化を示す低解像度の画像構造の計算を可能にする。均一な照射のデータセットは、固有の光学的切片化を示す相補的な高解像度の画像構造を提供する。両方の画像セットの融合は、画像化システムの全帯域幅にわたる光学的切片化を示す最終的な画像データセットを提供する。この方法論は、プロセッサ内で利用され得る。画像化されるデータは、顕微鏡、内視顕微鏡(endomicroscope)または実質的に均一な照射および構造化された照射の両方を提供される別の画像化デバイスからの結果であり得る。
画像化方法は、プロセッサにおいて、実質的に均一な照射を用いて照射された実世界のオブジェクトの第1の画像データセットを受信することと、実質的に構造化された照射を用いて照射された実世界のオブジェクトの第2の画像データセットを受信することとを含む。第1の画像データセットは、処理されて、焦点外のデータを排除する高周波数の焦点内のデータセットを生成する。第2の画像データセットが、処理されて、低周波数の焦点内のデータセットを生成する。低周波数のデータセットおよび高周波数のデータセットが、一緒に組み合わされて、フル解像度の画像化アレイである画像を生成するディスプレイデバイス上に表示され得る。
第1の画像データセットが、高域フィルタを適用することによって処理されて、焦点外の内容を実質的に除去し、高周波数の焦点内の画像データセットを獲得する。第2の画像データセットが、低解像度の局所的なコントラストのデータセットを生成する局所的なコントラストを決定することによって処理される。局所的なコントラストは、多数の異なるアルゴリズムを用いて決定され得る。例えば、局所的なコントラストは、単側波帯の復調を用いることによって、または、両側波帯の復調を用いることによって、局所的な画像の標準偏差を計算することにより、決定され得る。さらに、低解像度の局所的なコントラストのデータセットが、第1の画像データセットと乗算されて、第1の画像データセットから低解像度の焦点内の内容を抽出する。最後に、低域フィルタが、低解像度の焦点内の内容に適用される。低域フィルタは、高域フィルタと相補的であり得る。
本発明の特定の実施形態において、局所的なコントラストは、第1の画像データセットを用いて、オブジェクトのコントラストを補償するように調整される。その他の実施形態において、局所的なコントラストは、第1の画像データセットを用いて、第2の画像データセットにおけるノイズによって誘起されるコントラストを補償するように調整され得る。
第1の画像データセットおよび第2の画像データセットは、光学的画像化装置を用いて、それぞれ、ほぼ均一な照射および構造化された照射に実世界のオブジェクトを暴露することにより、記録され得る。光学的画像化装置は、光学的検出器アレイを含み得、光学的画像化装置は、1つ以上の照射供給源を含み得る。
この方法論は、離散した電子装置内で利用され得るか、または、コンピュータシステム上で用いるためにコンピュータプログラム内で利用され得る。
本発明はまた、システムとして具現化され得る。システムは、1つ以上の照射供給源および空間的パターン生成器を含み得る。さらに、システムは、光学的検出器アレイおよびプロセッサを含み得る。プロセッサは、光学的検出器アレイから第1の画像データセットおよび第2の画像データセットを受信し、第1の画像データセットは、照射供給源に応答して生成され、第2の画像データセットは、照射供給源および空間的パターン生成器に応答して生成される。プロセッサは、第1の画像データセットからの高周波数の焦点内のデータと、第1の画像データセットおよび第2の画像データセットから獲得される低周波数の焦点内の画像データセットとを組み合わせることによって、光学的に切片化された画像を生成する。空間的パターン生成器は、空間的光変調器およびディフューザを含む空間的光パターンの形成を可能にする任意のデバイスであり得る。システムはまた、実世界のオブジェクトの光学的に切片化された画像データセットを表示するためのディスプレイを含み得る。
本発明の上述の特徴は、添付の図面を参照して考慮すると、以下の詳細な説明への参照によってより容易に理解されるだろう。
図1は、光学的に切片化された画像を生成するためのシステムの第1の実施形態であり、この実施形態において、照射経路および検出経路はオブジェクトにおいて共線的である。 図1Aは、図1のシステムの変化形を示し、照射光学経路は、検出光学経路と異なる。 図1Bは、図1のシステムの変化形を示し、2つの照射供給源が使用され、1つ照射供給源は均一な照射を生成し、別の照射供給源は、構造化された照射を生成する。この実施形態において、プロセッサは、交互に、照射供給源をオンおよびオフにする。 図1Cは、図1Aのシステムの変化形を示し、ここでは、平面のまたはシート状の照射が使用される。 図1Dは、図1のシステムの変化形を示し、ここでは、共焦点照射が使用される。 図1Eは、光学的に切片化された画像を生成するためのシステムの代替的な実施形態である。この実施形態において、構造化された照射は、ディフューザを通って伝搬するレーザービームによって生成されたスペックルパターンである。均一な照射は、ディフューザを動かすことによってスペックルパターンを急速にランダム化することによって模倣される。 図1Fは、光学的に切片化された画像を生成するためのシステムの代替的な実施形態である。この実施形態において、パターン生成器は、空間的光変調器であり、画像化は、画像化ファイバ束を通して行われる。 図2は、均一な照射および構造化された照射の両方を用いて、光学的に切片化された画像を生成するための一般化された方法論のフローチャートである。 図3は、構造化された照射としてスペックル照射を用いて、光学的に切片化された画像を生成するための方法論のフローチャートである。 図4は、構造化された照射としてグリッドパターン照射を用いて、光学的に切片化された画像を生成するための方法論のフローチャートである。 図4Aは、C(K)のグラフである。
(特定の実施形態の詳細な説明)
(定義)
本明細書および添付の特許請求の範囲で使用される場合、以下の用語は、文脈が他のように要求していない限り、示されている意味を有する。用語「オブジェクト信号」は、例えば、反射率もしくは蛍光または他のエネルギー原理を介して、オブジェクトによって生成された信号を意味する。用語「画像化システム」および「光学的画像化装置」は、少なくとも1つの検出器アレイ(例えば、CCDカメラ、CMOSカメラなど)を含むシステムを意味する。画像化システムは、また、1つ以上の照射供給源を含み得る。照射は、供給源(例えば、ランプ、レーザー、ダイオードなど)によって生成されたエネルギーに由来し得る。用語「構造化された照射」は、空間的に変化する信号(すなわち、不均一なコントラストを示す信号)を生成する照射を意味する。構造化された照射は、空間的にランダムであり得るか、またはパターン化され得る。用語「均一な照射」は、照射が空間によって有意に変わらず、その結果、検出器アレイが異なる空間的位置における変化を認識しないことがあり得ることを意味する。構造化された照射は、均一な照射が、画像化アレイ電子エレクトロニクスの積分時間の間に複雑にランダム化された場合に均一な照射を模倣するようになされ得ることが注意される。用語「パターン生成器」は、均一な状態と構造化された状態との間で照射をトグルで切り替え得るデバイスをいう。
本明細書において開示されるシステムおよび方法が、実世界のオブジェクト(例えば、細胞塊)を画像化することを提供する。実世界のオブジェクトは、奥行き軸に関する奥行きの寸法を含む三次元形状を有する。画像化方法は、光学的に切片化された画像を提供し、その結果、実世界のオブジェクトの面が画像化され、この面は奥行き軸を横断する。本発明の実施形態は、構造化された照射および均一な照射の両方を用いる。実世界のオブジェクトの第1のデータセットが獲得され、構造化された照射は、光学経路を通して実世界のオブジェクトに方向付けられ、実世界のオブジェクトは、光学的画像化アレイを含む画像化システムによって受信されるオブジェクト信号を生成する。光学的画像化アレイは、実世界のオブジェクトを表すデータセットを生成する。実世界のオブジェクトは、また、実質的に均一な照射に暴露され、光学的画像化アレイは、実世界のオブジェクトを表すデータセットを生成する。構造化された照射および均一な照射に由来する2つのデータセットは、数学的に処理される。均一な照射のデータセットは、高域フィルタを通され、光学的に切片化された面に対して焦点外の低周波数情報をフィルタ除去する。構造化された照射のデータセットの局所的なコントラストが決定される。局所的なコントラストデータセットは、焦点内の均一な照射のデータセットの割合を局所的に抽出するために使用され、焦点内データセットの低解像度の推定を生成する。低解像度データセットは、低域フィルタを通され、低域フィルタは、均一な照射データセットのために使用される高域フィルタと相補的である。フィルタ除去されたデータセットは、次いで、一緒に組み合わされて、焦点内データセットを生成し、この焦点内データセットは、画像化デバイスの帯域幅内の全空間的周波数を含み、ディスプレイデバイス上に表示され得る。
図1は、光学的に切片化された画像を生成するためのシステム100の第1の実施形態である。システム100は、画像化されるべきオブジェクト120を照射する照射供給源105を含む。照射供給源105は、レーザー光、ダイオード光、白熱光またはいくつかの他の光源であり得る。例えば、光学的供給源は、顕微鏡法において使用されるレーザービームであり得る。画像化されるべきオブジェクト120は、インビボ細胞構造または他の三次元の実世界のオブジェクトであり得る。システムは、また、均一な照射と構造化された照射との間で照射の状態を切り替え得るパターン生成器110を含む。レーザー照射供給源を使用するいくつかの実施形態(例えば、図1E)において、構造化された照射は、スペックルパターンであり得る。この実施形態において、パターン生成器は、固定状態(それにより固定されたスペックルパターンを生成する)と、急速に移動する状態(それにより均一な照射を模倣するように急速にランダム化されるスペックルパターンを生成する)との間で切り替えられるディフューザプレートであり得る。他の実施形態(例えば、図1B)において、2つ以上の照射供給源があり得、固定された(すなわち切り替えのない)パターン生成器が単一の供給源と関連付けられ得る。光は、光学経路または複数の光学経路を沿って実世界のオブジェクトに方向付けられる。光に応答して、実世界のオブジェクトは、画像化アレイ130に方向付けられるオブジェクト信号を生成する。画像化アレイ130は、オブジェクト信号を感知するための複数のセンサを有する。画像化アレイ130は、オブジェクト信号を複数の電気信号に変換する。電気信号は、デジタル信号またはアナログ信号のいずれかであり得る。アナログ信号の場合には、アナログ信号は、オブジェクト信号をアナログデジタル変換器に通すことによってデジタル信号に変換される。結果生じるデジタルデータセットは、プロセッサ140において処理される。デジタルデータセットは、次いで、後の取り出しのために保存され得るか、または視認のためにディスプレイ150に方向付けられ得る。
動作中、システムは、少なくとも2つのデータセットをキャプチャする。第1のデータセットは、実世界のオブジェクトが実質的に均一に照射されるように画像化アレイによってキャプチャされる。実質的に均一な照射は、実世界のオブジェクトへ入射する照射が空間的構造をわずかに含むかまたは空間的構造を含まないことを示唆する。データセットは、プロセッサに提供される。第2のデータセットは、実世界のオブジェクトが実質的に構造化された照射によって照射されるように画像化アレイによってキャプチャされる。実質的に構造化された照射は、実世界のオブジェクトへ入射する照射が、高いコントラストの空間的構造(例えば、スペックルパターン、グリッドパターン、チェッカー盤パターンなど)を含むことを示唆する。第2のデータセットは、プロセッサに提供される。第1のデータセットは、高周波数画像の内容を保持するために、高域フィルタをかけられる。この高周波数画像の内容は、本質的に焦点内である。第2のデータセットは、コントラスト抽出を受ける。従って、第2のデータセットにおける空間的変形の局所コントラストは、復調などの方法を用いて、または局所的な標準偏差を測定して、評価される。局所的なコントラスト情報は、焦点内にある均一な照射のデータセットの割合の推定を提供する。従って、局所的なコントラスト情報の均一な照射データセットとの乗算は、均一な照射のデータセット内の焦点内の内容の低解像度推定を提供する。この低解像度の焦点内データセットは、次いで、低域フィルタをかけられ、低周波数焦点内の画像の内容を獲得する。低域フィルタは、高周波数の焦点内画像を獲得するために以前に使用された高域フィルタに相補的であるように選ばれる。第1のデータセットの高周波数画像の内容と、コントラストデータから導出される低周波数画像の内容は、次いで、一緒に組み合わされ、実世界のオブジェクトの焦点内の内容を表す組み合わされたデータセットを形成する。
構造化された照射は、種々の技術を用いて生成され得る。例えば、物理的なグリッドまたはチェッカー盤パターンが実世界のオブジェクトに画像化され得、繰り返しビームレーザー干渉技術がフリンジパターンを生成するために使用され得、またはダイオードアレイおよび音響光学ディフレクタがはっきり定義されたパターンを生成するために使用され得る。さらに、種々の装置が、構造化された照射および均一な照射を切り替えるために使用され得る。例えば、構造化された照射は、均一な照射を獲得するためにランダム化され得る。さらに、空間的光変調器、ダイオードアレイまたは音響光学ディフレクタが照射供給源として使用される場合に、急速なトグル切り替えが行われ得る。複数の照射供給源の実施形態の場合には、構造化された照射パターンおよび均一な照射パターンは、交互にスイッチオンおよびオフされ得る。当業者は、光経路の数、照射供給源の数、および空間的パターン生成器の数に基づいて、構造化された照射と均一な照射とを生成し、これらの間で切り替える他の方法があることを認識する。
照射供給源と実世界のオブジェクトとの間の光学経路が、図1A、図1B、図1Cおよび図1Dに示されるような実世界のオブジェクトと画像化アレイとの間の光学経路(画像化経路)とは異なり得ることが当業者によって認識されるべきである。図1Aは、図1のシステムの変化形を示し、照射光学経路180Aは、検出光学経路185Aとは異なる。図1Bは、2つの別々な照射供給源105Bおよび106Bを示す。パターン生成器110は、この実施形態において固定され得、プロセッサは、照射供給源105Bおよび106Bを、交互にオンおよびオフする。
図1Cは、検出経路を横断するか、または検出経路に対して斜めである光シートの形態の照射を示す。光シートは、円柱レンズ、ホログラフディフューザ、または走査レーザービームの使用により生じ得る。図1Dは、照射供給源を示し、ここで照射は、ほぼ円錐の形態である。円錐照射は、アキシコンまたはホログラフディフューザプレートの使用により生じ得る。図1Cおよび図1Dの構成は、画像化装置によって検出される焦点外のバックグラウンドの量を低減する。従って、随伴するショットノイズが低減され、画像化装置のより大きなダイナミックレンジが焦点内信号検出のために利用可能である。
図1Eは、構造化された照射および均一な照射の両方を用いて光学的に切片化された画像を生成するための顕微鏡システムの実施形態を示す。レーザービームは、レーザー105Eによって生成され、光が可動ディフューザ110E上に方向付けられ、顕微鏡の対物レンズ190Eを介して実世界の蛍光オブジェクト120Eに入射する固定されたスペックル(構造化された照射)または急速にランダム化されたスペックルパターン(事実上均一な照射)を生じさせる。結果生じる蛍光は、二色性ミラー150Eで分離され、CCDカメラ130Eによって記録される。構造化された画像および均一な画像のそれぞれに対するデジタルデータが、プロセッサ140Eに提供される。プロセッサ140Eは、焦点外データを除去するようにデータセットを処理し、その後、焦点内データセットを組み合わせる。焦点内データは、次いで、ディスプレイデバイス180E上に表示され得る。
図1Fは、構造化された照射および均一な照射の両方を用いて光学的に切片化された画像を生成するための内視顕微鏡システムの実施形態を示す。照射供給源100Fは、光を生成し、この光は、空間的光変調器110F上に方向付けられてグリッドパターンおよび均一な照射パターンを生じさせ、このグリッドパターンおよび均一な照射パターンは、次いで、遠位のマイクロ対物レンズ130Fに装備された画像化ファイバ束120Fに投影される。結果として生じる、蛍光は、二色性ミラー140Fおよび放出フィルタ150Fによって分離され、CCDカメラ160Fによって記録される。構造化された画像および均一な画像のそれぞれに対するデジタルデータは、プロセッサ170Fに提供される。プロセッサ170Fは、焦点外データを除去するようにデータセットを処理し、その後、焦点内データセットを組み合わせる。次いで、焦点内データは、ディスプレイデバイス180F上に表示され得る。
図2は、均一な照射および構造化された照射の両方を用いたディスプレイのための、オブジェクトの光学的に切片化されたデータセットを生成するためのプロセスのフローチャートを示す。オブジェクトは、均一な照射(またはランダム化によって事実上均一とみなされる照射)に暴露され、オブジェクトの画像は、検出器アレイを用いてキャプチャされる(200)。オブジェクトは、また、構造化された照射(空間的にランダム、パターン化された、スペックル化されたなど)に暴露され、オブジェクトの画像は、検出器アレイを用いてキャプチャされる(210)。検出器アレイは、構造化された照射および均一な照射の両方に対して同一であり得るか、または異なり得る。従って、少なくとも2つの画像が生成される。均一な照射の画像データセットは、高域フィルタを通り、均一な照射データセットの高周波数成分を抽出する(220)。この高周波数成分は、本質的に焦点内データを表す。なぜならば、画像化の際に、焦点内データのみが高く分解される(すなわち、高周波数を含む)からである。構造化された照射データセットは、コントラスト抽出を受ける(230)。構造化された照射データセットのコントラストは、焦点外のオブジェクト信号に対して小さくなる。従って、画像化された構造の局所的なコントラストは、オブジェクトが焦点内であるか、または焦点内要素を含む程度の測定値を提供する。局所的な構造コントラストを測定するために使用され得る技術は、単側波帯復調および両側波帯復調ならびに画像データセットからデータの局所的な分散を測定する他の技術を含む。局所的なコントラストデータセットは、焦点内の均一な照射データセットの伝搬の低解像度推定を提供する。従って、局所的なデータセットの均一な照射のデータセットとの乗算は、焦点内画像の低解像度推定を提供する(240)。代替的な実施形態において、ステップ230および240は、構造化された照射のデータセットから均一な照射のデータセットを減算し、絶対値をとることによって単一のステップに組み合わされ得る。焦点内画像の低解像度推定は、ステップ220において適用された高域フィルタと相補的な低域フィルタを焦点内画像に適用することによって、さらに処理され、これにより、低周波数の焦点内データセットを提供する(250)。次いで、高周波数データおよび低周波数データが組み合わされて、画像化デバイスの帯域幅内の全周波数を含む焦点内データセットを形成する(260)。
特定の実施形態において、さらなる処理が保証され得る。例えば、いくつかの因子が、照射構造、オブジェクト構造およびノイズ構造(例えば、ショットノイズ)を含む構造化された照射に暴露されたデータセットの画像に寄与し得る。従って、ノイズおよびオブジェクト構造に関連付けられ得る画像変調コントラストを除去することに有益である。この情報は、均一な照射画像から推量され得る。オブジェクトコントラストは、局所的な変調コントラスト測定を行う前に、構造化された照射画像を均一な照射画像によって除算することによって少なくとも部分的に補正され得る。あるいは、構造化された照射画像は、均一な照射画像から減算して、アレイの各位置(例えば、ピクセル)に対する絶対値をとることによって直接的に復調され得る。あるいは、さらに、均一な照射データセットのコントラストは、オブジェクトコントラストがどのように構造化された照射のデータセット内のコントラストにどのように影響をするかについての知見に基づいて、構造化された照射のデータセットのコントラストから抽出され得る。均一な照射のデータセットは、また、事前のショットノイズ統計を用いて測定された変調コントラスト内のショットノイズによって導入されたバイアスの推定を提供し得る。
上記で表されたように、低周波数および高周波数焦点内画像データは、一緒に組み合わされて、フル解像度の画像を形成する。画像化されるべき実世界のオブジェクトの信頼性ある表現を獲得するために、これらのデータセット間での不均衡を重み付けすることを避けることが望ましい。このことを達成する1つの方法は、低周波数データセットと高周波数データセットとの周波数オーバーラップがある領域内のデータにおける任意の重みの不一致を推量することである。代替的に、中間範囲周波数領域内の低周波数データセットと均一な照射のデータセットとの間の任意の重みの不一致を推定し得る。いったん、重みの不一致が決定されると、低周波数焦点内データセットまたは高周波数焦点内データセットのいずれかを適切な重み付け因子で乗算することによって、補正され得る。重み付け因子は、第一近似として空間的に独立し得るか、または、より高い精度が所望されるとき空間的に独立し得る。さらなる代替案として、異なる解像度を有する画像を組み合わせる離散ウェーブレット変換を含む技術を用いて、画像融合が行われ得る。
実世界のオブジェクトからの異なる信号が画像化のために用いられ得る。例えば、画像化された信号は蛍光に由来し得る。他の実施形態においては、反射画像化が採用され得る。さらに、構造化された照射および均一な照射は、様々な色の供給源を用いて行われ得る。カラーカメラ(例えば、画像アレイ)を用いることによって、画像化は、構造化された照射の画像を表す1つの色(すなわち、青)と、均一な照射の画像を表す別の色(すなわち、緑)とで同時に行われ得る。結果として、赤は自由に利用可能である。従って、赤は、別の構造化された照射パターン(例えば、異なる空間的周波数、位相、配向、粒状度など)を用いて、余分な画像を提供し得る。このことは、焦点内画像の内容の選択を向上させるために、追加の情報を提供する。
本開示は、単一の均一な照射のデータセットおよび単一の構造化された照射のデータセットを用いて議論しているが、2つ以上の構造化された照射のデータセット(すなわち、画像)が、低周波数の焦点内画像のより良い推定を獲得するために使用され得ることが当業者によって認識される。各画像に対する構造が異なっている追加の構造化された画像データセットは、画像化されるオブジェクトの低周波数成分についての追加の情報を提供するために組み合わされて使用され得る。
本発明の異なる実施形態において、2つ以上の相補的な構造化された画像は、均一な照射の画像を構築するために、一緒に使用され得、組み合わされ得る。例えば、2つの相補的なチェッカー盤パターンまたはグリッドパターンは、2つの構造化された照射を生成するために使用され得る。2つの構造化された画像は、例えば、Max−Minアルゴリズムを用いることによって、画像化されるオブジェクトの低周波数情報についての追加の情報を提供し得る。次いで、さらに、相補的な画像の加算は、均一な照射の画像に対するデータセットを提供し得る。
本明細書に記載される画像化技術は、生物学的材料に限定されず、光学的な切片化を必要とする他の科学的領域において有用であり得ることが注意される。
図3は、スペックル照射を構造化された照射として使用する図2の一般化されたフローチャートのより詳細なフローチャートである。単一のスペックル照射画像I(p)は、均一な照射画像I(p)(ここで、pは画像の座標)を用いて処理され、焦点面外の構造に関する情報を除去しながら、焦点面の周りの焦点内画像を生成する。この実施形態において、レーザービームの位相面は、ディフューザプレートを通る伝送の際にランダム化され、結果生じるスペックルパターンは、顕微鏡の対物レンズを介してサンプルに投影される。一実施形態において、図2Eのシステムが使用され得る。次いで、2つの蛍光画像が取得される。1つは固定されたディフューザプレートを用いたものであり、もう1つは動いているディフューザプレートを用いたものである。後者の場合、スペックルパターンは、カメラの露出時間に比べて急速にランダム化され、その結果、画像は、均一な照射を用いて取得された画像と等しい。プロセッサは、構造化された照射の画像データおよび均一な照射のデータを受信する。(300および310)。
次に、高解像度/高周波数情報が、高域フィルタ(HP)をI(p)に適用することによって、均一な照射の画像I(p)から獲得される。HPのカットオフ周波数Kは、HP(K)=1/2となるように規定される。結果生じる高周波数焦点内データは、IHP(p)によって示される(320)。
低周波数/低解像度焦点内情報を獲得するために、構造化された照射画像データセットI(p)の局所的な空間的コントラストは、構造化された照射画像データセットを小領域A(「分解領域」と呼ばれる)のモザイクに細分化することと、これらの領域内の局所的な空間的コントラストを以下の式:
(p)=I(p)の標準偏差/I(p)の平均値
によって計算することとによって評価される(330)。分解領域のサイズは可変であるが、少なくとも単一のスペックル粒度を含むために十分に大きくなければならない。
オブジェクトが焦点内にあるときには、C(p)はほぼ1に等しく、オブジェクトが焦点外にあるときには、ほぼ0に等しい。積C(p)I(p)は、低解像度(Aのサイズによって与えられた解像度)を有するI(p)の焦点内寄与を抽出することと等しい。オブジェクトが一般的に不均一であることを仮定すると、2つの供給源は、I(p)の測定されたコントラストに寄与する。1つ目は、構造化された照射であり、2つ目は、オブジェクト自体の偏差である。従って、オブジェクト自体に起因する偏差は、画像の解像度を向上させるために除去されるべきである。O(p)は、実質的に均一な単位照射を用いて実際のオブジェクトから獲得された画像強度として規定され、S(p)は、構造化された照射に暴露されたオブジェクトから獲得された画像強度であるように規定される。
Figure 2011523057
ここで、角括弧は、分解領域Aにわたる平均を示す。<O>および<S>は、オブジェクトおよび照射からの焦点内寄与および焦点外寄与の両方から生じ、一方で、偏差δO(p)およびδS(p)は、焦点寄与から優位に生じる。従って、
Figure 2011523057
ここで、CおよびCは、それぞれ、分解領域Aにわたり計算されたときのO(p)およびS(p)に関連付けられたコントラストである。
Figure 2011523057
であることを認識し、ここで、σは、「〜の標準偏差」を示し、Cは、上式から導出され得る。
上式の結果として、ISu(p)=C(p)〈I(p)〉は、I(p)の低解像度バージョンを提供し、これは、DC周波数についてでさえも光学的に切片化される(340)。
低解像度焦点内データセットISu(p)は、高解像度データセットを獲得するために使用される高域フィルタと相補的なフィルタを用いて低域フィルタをかけられる(すなわち、LP(K)=1−HP(K)であり、ここでKは空間的周波数であり、従って、LP(K)=HP(K)=1/2)。結果生じる低周波数焦点内データは、ILP(p)によって示される(350)。
LP(p)は、式I(p)=ηILP(p)+IHP(p)を用いてIHP(p)と組み合わされ、測定デバイスの画像化帯域幅内の全ての空間的周波数を含む焦点内画像を結果としてもたらす(360)。カットオフ周波数Kを横切る移行がシームレスであるように、低域データセットおよび高域データセットを組み合わせるために、スケーリング因子ηが導入された。ηは、帯域幅フィルタをILP(p)およびIHP(p)の両方に適用することによって計算され得、その結果、帯域幅フィルタは、カットオフ周波数Kの近傍の周波数成分のみを選択する。このようにして、
Figure 2011523057
である。代替的に、ηは、
Figure 2011523057
によって計算され得、
ここで帯域幅フィルタは、カットオフ周波数Kより高い周波数範囲をカバーする。ηは、ηの空間的平均化が行われるかどうかに依存して空間的に独立であったり、独立でなかったりし得る。
結果として生じる、光学的に切片化された構造を表す画像データセットI(p)は、プロセッサによって、後の取り出しおよび表示のためにメモリに格納され得るか、または、結果として生じるデータセットは直接的に表示され得る。生成されたフル解像度の画像は、従来の広視野顕微鏡を用いて獲得された画像と解像度において類似する。
図4は、構造化された照射としてグリッドパターン照射を用いる図2の方法論を示すフローチャートである。まず、画像データセットが、均一なグリッドパターンの照射を用いて獲得され、プロセッサによって受信される(400および410)。均一な照射のデータセットは、高域フィルタHPを通過させられる(このフィルタは、構造化された照射のデータセットとともに用いられる低域フィルタLPと相補的である)(420)。均一な照射のデータセットにおける高周波数の成分は、焦点内にあり、さらなる処理のためにメモリに保存される。これらは、IHP(p)と記される。
構造化された照射の画像が取り出され、画像データにおける局所的なコントラストが獲得される。局所的なコントラストは、焦点外の画像データに対してよりも、焦点内の画像データに対してより高く、そして、軸方向に解像される。局所的な画像のコントラストは、単側波帯の復調を用いて抽出される(430)。
構造化された画像の画像データは、焦点内および焦点外のデータに分解され得、
(p)=Iin(p)[1+Msin(Kx+φ)]+Iout(p)
となる。ここで、pは、データの座標であり、グリッド照射は、任意の位相φ、変調コントラストMで、xの方向において、空間的周波数Kの正弦パターンとしてモデル化される。焦点内の画像データのみが、変調されるように見える一方で、焦点外のデータは、変調されるようには見えない。これは、他ならず、後者が焦点外であるということによる。
R(p)=I(p)/I(p)という比により、
R(p)=1+C(p)Msin(Kx+φ)
が導かれる。ここで、C(p)は、局所的な画像のコントラストである。このようにして、比R(p)が決定される。図4Aに示されているように、C(K)すなわちC(p)のFourier変換およびその複素共役は、+Kまたは−Kに中心を有する両側波帯において存在する。Fourier変換は、R(p)において実行され得、R(K)をもたらし得る。ここで、Kは空間的周波数である。単側波帯の復調を用いて、C(K)がR(K)から抽出され得る。まず、単側高域フィルタが適用されて、負の共役を除去し、それに続いて逆Fourier変換により、R(p)を復元する。側波帯が互いに良好に分離されている(すなわち、側波帯がオーバーラップしていない)と仮定すると、局所的な画像のコントラストは、
C(p)=[R(p)R (p)]1/2/M
によって与えられる。結果として、
in(p)=C(p)I(p)
となり、Iin(p)が決定され得る(440)。
一般的に、Mはアプリオリに知られておらず、そして、新しいパラメータIsu(p)が用いられる。
su(p)=[R(p)R (p)]1/2(p)
である。このようにして、Isu(p)が、比のデータセットR(p)および構造化された照射データセットに基づいて決定される。Isu(p)は、K以下である所定のカットオフ周波数Kを有する低域フィルタをIsu(p)に適用することにより、Kよりも小さい空間的周波数に制限される。LP[Isu(p)]は、サイズ2π/Kのウィンドウを用いてIsu(p)を畳み込むことによって獲得され得る。Isu(p)をはっきり定義された帯域幅に制限することに加えて、このようなフィルタリングは、例えば、不完全な正弦的な照射パターンから生じる潜在的なアーチファクトを抑制することに役立つ。この低域フィルタは、ILP(p)によって記される低周波数の焦点内のデータセットの生成をもたらす(450)。
そして、高周波数の焦点内のデータセットIHP(p)および低周波数の焦点内のデータセットILP(p)が、一緒に組み合わされる(460)。
HP[I(p)]=I(p)−LP[I(p)]
となることに留意されたい。最終的な処理される画像は、
I(p)=ηILP(p)+IHP(p)
によって与えられる。ここで、スケーリング因子ηが、カットオフ周波数Kにわたる周波数の内容のシームレスな移行を保証するために導入される。ηは、上述したのと同様の態様で計算され得る。そして、結果として生じる焦点内のデータセットI(p)は、その後の取り出しのためにメモリに格納され得るか、または、ディスプレイ上に表示され得る。
本明細書中で用いられている流れ図は、本発明の様々な局面を示すものであり、本発明を何らかの特定の論理的流れまたは論理的インプリメンテーションに限定するように解釈されるべきではない。記載された論理は、全体的な結果を変更したり、または、本発明の真の範囲から逸脱したりすることなく、複数の異なる論理的ブロック(例えば、プログラム、モジュール、機能、またはサブルーチン)に区分され得る。しばしば、論理的要素は、全体的な結果を変更したり、または、本発明の真の範囲から逸脱したりすることなく、追加され得、改変され得、省略され得、異なる順序で実行され得、または、異なる論理的構成(例えば、論理ゲート、ルーピングプリミティブ、条件付き論理、その他の論理構成)を用いてインプリメントされ得る。
本発明は、多くの異なる形式で具現化され得、そのような形式は、プロセッサ(例えば、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、グラフィック処理ユニットまたは汎用コンピュータ)とともに用いるためのコンピュータプログラム論理、プログラマブル論理デバイス(例えば、フィールドプログラマブルゲートアレイ(FPGA)またはその他のPLD)とともに用いるためのプログラマブル論理、離散コンポーネント、集積回路(例えば、特定用途向け集積回路(ASIC))またはこれらの組み合わせを含む任意のその他の手段を含むが、これらには限定されない。
本明細書中で既に記載された機能性の全てまたは一部をインプリメントするコンピュータプログラム論理は、様々な形式で具現化され得、そのような形式は、ソースコード形式、コンピュータ実行可能形式、様々な中間的形式(例えば、アセンブラ、コンパイラ、リンカ、ロケータによって生成される形式)を含むが、これらには限定されない。ソースコードは、様々なオペレーティングシステムまたはオペレーティング環境とともに用いるための、様々なプログラミング言語(例えば、オブジェクトコード、アセンブリ言語、または、例えば、Fortran、C、C++、C#、JAVA(登録商標)、Labview、MatlabまたはHTML等の高レベル言語)でインプリメントされる、コンピュータプログラム命令を含み得る。ソースコードは、様々なデータ構造および通信メッセージを定義し得、用い得る。ソースコードは、(例えば、インタプリタを介して)コンピュータ実行可能な形式であり得るか、または、ソースコードは、(例えば、トランスレータ、アセンブラまたはコンパイラを介して)コンピュータ実行可能な形式に変換され得る。
コンピュータプログラムは、有体の格納媒体において、永続的または一時的のいずれかで、任意の形式(例えば、ソースコード形式、コンピュータ実行可能形式または中間的形式)で準備され得、有体の格納媒体は、例えば、半導体メモリデバイス(例えば、RAM、ROM、PROM、EEPROMまたはフラッシュプログラマブルRAM)、磁気メモリデバイス(例えば、ディスケットまたは固定ディスク)、光学的メモリデバイス(例えば、CD−ROM)、PCカード(例えば、PCMCIAカード)、またはその他のメモリデバイスなどである。コンピュータプログラムは、様々な通信技術のうちの任意の技術を用いてコンピュータに伝送可能な信号において、任意の形式で固定され得、様々な通信技術は、アナログ技術、デジタル技術、光学的技術、ワイヤレス技術、ネットワーキング技術、インターネットワーキング技術を含むが、これらには限定されない。コンピュータプログラムは、付随する印刷文書または電子文書とともに取り外し可能格納媒体として任意の形式(例えば、シュリンクラップされたソフトウエアまたは磁気テープ)で分配され得るか、コンピュータシステムを用いて(例えば、システムROMまたは固定ディスク上に)プレロードされ得るか、サーバまたは電子掲示板から通信システム(例えば、インターネットまたはWorld Wide Web)を介して分配され得る。
本明細書中で既に記載された機能性の全てまたは一部をインプリメントするハードウェア論理(プログラマブル論理デバイスとともに用いるためのプログラマブル論理を含む)は、伝統的な手動方法を用いて設計され得るか、または、例えば、コンピュータ支援設計(CAD)、ハードウエア記述言語(例えば、VHDLまたはAHDL)またはPLDプログラミング言語(例えば、PALASM、ABELまたはCURL)等の様々なツールを用いることにより、設計され得、キャプチャされ得、シミュレートされ得、または、電子的に文書化され得る。
本発明は、本発明の真の範囲から逸脱することなく、その他の特定の形式で具現化され得る。記載された実施形態は、全ての観点で、単なる例示として考えられるべきであり、限定として考えられるべきではない。
上述された本発明の実施形態は、単なる例示であることが意図されており、無数の変形および改変が、当業者にとって明らかであり得る。全てのそのような変形および改変は、添付の請求項のうちの任意のものにおいて規定されている本発明の範囲内にあることが意図されている。

Claims (30)

  1. 実世界のオブジェクトの光学的に切片化されたデータセットを生成するための、プロセッサとともに用いる画像化方法であって、
    該方法は、
    該プロセッサにおいて、実質的に均一な照射を用いて照射された該実世界のオブジェクトの第1の画像データセットを受信することと、
    該プロセッサにおいて、実質的に構造化された照射を用いて照射された該実世界のオブジェクトの第2の画像データセットを受信することと、
    高周波数の焦点内のデータセットを生成する該第1の画像データセットを処理することと、
    低周波数の焦点内のデータセットを生成する該第2の画像データセットを処理することと、
    該高周波数の焦点内のデータセットと該低周波数の焦点内のデータセットとを組み合わせることにより、光学的に切片化された焦点内のデータセットを生成することと
    を含む、画像化方法。
  2. 前記光学的に切片化された焦点内のデータセットをディスプレイデバイス上に表示すること
    をさらに含む、請求項1に記載の画像化方法。
  3. 前記第1の画像データセットを処理することは、
    該第1の画像データセットに高域フィルタを適用することにより、焦点外の内容を実質的に除去し、高周波数の焦点内の画像データセットを獲得すること
    を含む、請求項1に記載の画像化方法。
  4. 前記第2の画像データセットを処理することは、
    低解像度の局所的なコントラストのデータセットを生成する該第2の画像データセットの局所的なコントラストを決定することと、
    該低解像度の局所的なコントラストのデータセットと該第1の画像データセットとを乗算することにより、該第1の画像データセットから低解像度の焦点内の内容を抽出することと
    を含む、請求項3に記載の画像化方法。
  5. 前記第2の画像データセットを処理することは、
    前記低解像度の焦点内の内容に低域フィルタを適用することであって、該低域フィルタは、前記高域フィルタと相補的である、こと
    をさらに含む、請求項4に記載の画像化方法。
  6. 前記光学的に切片化されたデータセットは、前記第1のデータセットおよび前記第2のデータセットを生成する光学的画像化装置の帯域幅内の全ての周波数内容を含む、請求項5に記載の画像化方法。
  7. 局所的なコントラストを決定することは、
    前記第1の画像データセットを用いて、オブジェクトのコントラストを補償するように、該局所的なコントラストを調整すること
    を含む、請求項4に記載の画像化方法。
  8. 局所的なコントラストを決定することは、
    前記第1の画像データセットを用いて、前記第2の画像データセットにおけるノイズによって誘起されるコントラストを補償するように、該局所的なコントラストを調整すること
    を含む、請求項4に記載の画像化方法。
  9. ほぼ均一な照射を用いて、前記実世界のオブジェクトを表す第1の画像データセットを光学的画像化装置を用いて記録することであって、該第1の画像データセットは、焦点内の内容および焦点外の内容の両方を含む、ことと、
    構造化された照射を用いて、該実世界のオブジェクトを表す第2の画像データセットを該光学的装置を用いて記録し、その結果、該第2の画像データセットが、空間的に変調されるようにすることと
    をさらに含む、請求項1に記載の画像化方法。
  10. 前記光学的画像化装置は、光学的検出器アレイを含む、請求項9に記載の画像化方法。
  11. 前記光学的画像化装置は、照射供給源を含む、請求項10に記載の画像化方法。
  12. 前記局所的なコントラストは、局所的な画像の標準偏差を評価することによって決定される、請求項4に記載の画像化方法。
  13. 前記局所的なコントラストは、単側波帯の復調を用いて部分的に決定される、請求項4に記載の画像化方法。
  14. 前記局所的なコントラストは、両側波帯の復調を用いて部分的に決定される、請求項4に記載の画像化方法。
  15. 実世界のオブジェクトの光学的に切片化されたデータセットを生成するための、コンピュータとともに用いるコンピュータプログラム製品であって、該コンピュータプログラム製品は、コンピュータコードを有するコンピュータ読み取り可能な媒体を含み、
    該コンピュータコードは、
    実質的に均一な照射を用いて照射された該実世界のオブジェクトの第1の画像データセットを受信するためのコンピュータコードと、
    実質的に構造化された照射を用いて照射された該実世界のオブジェクトの第2の画像データセットを受信するためのコンピュータコードと、
    高周波数の焦点内のデータセットを生成する該第1の画像データセットを処理するためのコンピュータコードと、
    低周波数の焦点内のデータセットを生成する該第2の画像データセットを処理するためのコンピュータコードと、
    該高周波数の焦点内のデータセットと該低周波数の焦点内のデータセットとを組み合わせることにより、光学的に切片化された焦点内のデータセットを生成するためのコンピュータコードと
    を含む、コンピュータプログラム製品。
  16. 前記第1の画像を処理するための前記コンピュータコードは、
    前記第1の画像データセットに高域フィルタを適用することにより、焦点外の内容を実質的に除去するためのコンピュータコード
    を含む、請求項15に記載のコンピュータプログラム製品。
  17. 前記第2の画像を処理するための前記コンピュータコードは、
    局所的なコントラストのデータセットを生成する該第2の画像データセットの局所的なコントラストを決定するためのコンピュータコードと、
    該局所的なコントラストのデータセットと低解像度の焦点内のデータセットを生成する該第1の画像データセットとを乗算するためのコンピュータコードと
    を含む、請求項16に記載のコンピュータプログラム製品。
  18. 前記第2の画像を処理するための前記コンピュータコードは、
    前記低解像度の焦点内のデータセットに低域フィルタを適用するためのコンピュータコード
    をさらに含む、請求項17に記載のコンピュータプログラム製品。
  19. 局所的なコントラストを決定するための前記コンピュータコードは、
    前記第1の画像データセットを用いて、前記第2の画像データセットにおけるオブジェクトのコントラストを補償するためのコンピュータコード
    を含む、請求項17に記載のコンピュータプログラム製品。
  20. 局所的なコントラストを決定するための前記コンピュータコードは、
    前記第1の画像データセットを用いて、前記第2の画像データセットにおけるノイズによって誘起されるコントラストを補償するためのコンピュータコード
    を含む、請求項17に記載のコンピュータプログラム製品。
  21. 局所的なコントラストを決定するための前記コンピュータコードは、局所的な画像の標準偏差を評価することによって該局所的なコントラストを決定する、請求項17に記載のコンピュータプログラム製品。
  22. 局所的なコントラストを決定するための前記コンピュータコードは、単側波帯の復調を用いる、請求項17に記載のコンピュータプログラム製品。
  23. 局所的なコントラストを決定するための前記コンピュータコードは、両側波帯の復調を用いる、請求項17に記載のコンピュータプログラム製品。
  24. 実世界のオブジェクトの光学的に切片化された画像を生成するためのシステムであって、
    該システムは、
    照射供給源と、
    空間的パターン生成器と、
    光学的検出器アレイと、
    該光学的検出器アレイから第1の画像データセットおよび第2の画像データセットを受信するプロセッサと
    を含み、
    該第1の画像データセットは、該照射供給源に応答して生成され、該第2の画像データセットは、該照射供給源および該空間的パターン生成器に応答して生成され、該プロセッサは、該第1の画像データセットからの高周波数の焦点内のデータと、該第1の画像データセットおよび該第2の画像データセットからの低周波数の焦点内のデータとを組み合わせることによって、光学的に切片化された画像を生成する、システム。
  25. 前記照射供給源は、少なくとも第1の照射供給源および第2の照射供給源を含む、請求項24に記載のシステム。
  26. 前記第1の照射供給源は、前記実世界のオブジェクトを均一に照射することが可能である、請求項25に記載のシステム。
  27. 前記第2の照射供給源は、前記空間的パターン生成器とともに、前記実世界のオブジェクトを構造的に照射することが可能である、請求項25に記載のシステム。
  28. 前記空間的パターン生成器は、空間的光変調器である、請求項24に記載のシステム。
  29. 前記空間的パターン生成器は、ディフューザである、請求項24に記載のシステム。
  30. 前記空間的パターン生成器は、前記照射供給源に暴露されたときに、幾何学的パターンを生成する、請求項24に記載のシステム。
JP2011512614A 2008-06-05 2009-06-03 構造化された照射および均一な照射の両方を用いて光学的に切片化された画像を生成するためのシステムおよび方法 Expired - Fee Related JP4865930B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13099908P 2008-06-05 2008-06-05
US61/130,999 2008-06-05
PCT/US2009/046122 WO2009149178A1 (en) 2008-06-05 2009-06-03 System and method for producing an optically sectioned image using both structured and uniform illumination

Publications (2)

Publication Number Publication Date
JP2011523057A true JP2011523057A (ja) 2011-08-04
JP4865930B2 JP4865930B2 (ja) 2012-02-01

Family

ID=40974436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011512614A Expired - Fee Related JP4865930B2 (ja) 2008-06-05 2009-06-03 構造化された照射および均一な照射の両方を用いて光学的に切片化された画像を生成するためのシステムおよび方法

Country Status (7)

Country Link
US (1) US8310532B2 (ja)
EP (1) EP2300983B1 (ja)
JP (1) JP4865930B2 (ja)
CN (1) CN102057397A (ja)
AT (1) ATE557367T1 (ja)
BR (1) BRPI0914878A2 (ja)
WO (1) WO2009149178A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015064438A (ja) * 2013-09-24 2015-04-09 株式会社ニコン 構造化照明顕微鏡装置
JP2015533429A (ja) * 2012-11-07 2015-11-24 モデュレイテッド イメージング, インコーポレイテッド 効率的変調撮像
JP2021081446A (ja) * 2016-02-01 2021-05-27 ケーエルエー コーポレイション 物体の表面の光学的三次元トポグラフィ計測システム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011063306A1 (en) 2009-11-19 2011-05-26 Modulated Imaging Inc. Method and apparatus for analysis of turbid media via single-element detection using structured illumination
US8649024B2 (en) 2010-12-03 2014-02-11 Zygo Corporation Non-contact surface characterization using modulated illumination
DE102011017078B4 (de) * 2011-04-15 2019-01-31 Leica Microsystems Cms Gmbh Weitfeld-Mikroskop-Beleuchtungssystem, Verwendung desselben und Weitfeld-Beleuchtungsverfahren
US10924668B2 (en) * 2011-09-19 2021-02-16 Epilog Imaging Systems Method and apparatus for obtaining enhanced resolution images
JP2015505039A (ja) * 2011-12-12 2015-02-16 ザイゴ コーポレーションZygo Corporation 変調光を使用した非接触表面形状評価
EP2801854B1 (en) * 2013-05-10 2017-07-19 Ruprecht-Karls-Universität Heidelberg Method and apparatus for combination of localization microscopy and structured illumination microscopy
US9690086B2 (en) 2013-11-20 2017-06-27 Leica Microsystems Cms Gmbh Wide-field microscope illumination system and wide-field illumination method
US10093967B2 (en) 2014-08-12 2018-10-09 The Regents Of The University Of Michigan Detection of nucleic acids
DE102014112002A1 (de) * 2014-08-21 2016-02-25 Carl Zeiss Microscopy Gmbh Verfahren zur Abbildung einer Probe mittels eines Mikroskops und Mikroskop
US20190048415A1 (en) 2016-02-10 2019-02-14 The Regents Of The University Of Michigan Detection of nucleic acids
US10983325B2 (en) * 2016-12-12 2021-04-20 Molecular Devices, Llc Trans-illumination imaging with an array of light sources
DE102017101188B4 (de) * 2017-01-23 2021-09-30 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Mikroskopieren einer Probe
US20180258469A1 (en) 2017-03-08 2018-09-13 The Regents Of The University Of Michigan Analyte detection
US11215999B2 (en) * 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
DE102018124984A1 (de) * 2018-10-10 2020-04-16 Friedrich-Schiller-Universität Jena Verfahren und Vorrichtung zur hochaufgelösten Fluoreszenzmikroskopie
CN110927945A (zh) * 2019-11-28 2020-03-27 清华大学 三维宽视场和高分辨层析成像方法及装置
CN111258049A (zh) * 2020-02-20 2020-06-09 清华大学 一种微型化三维宽视场层析成像装置
CN115541598B (zh) * 2022-08-24 2024-05-14 深圳市二郎神视觉科技有限公司 汽车外观检测方法、装置及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6038067A (en) * 1996-05-23 2000-03-14 The Regents Of The University Of California Scanning computed confocal imager

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3102699A (en) 1998-03-19 1999-10-11 Board Of Regents, The University Of Texas System Fiber-optic confocal imaging apparatus and methods of use
AUPP548298A0 (en) * 1998-08-27 1998-09-17 Optiscan Pty Limited Compact confocal endoscope and endomicroscope method and apparatus
DE59808995D1 (de) * 1998-12-02 2003-08-14 Moeller Wedel Gmbh Endomikroskopsystem
WO2002053020A2 (de) * 2001-01-03 2002-07-11 Walthard Vilser Vorrichtung und verfahren zur bildgebung, stimulierung, messung und therapie insbesondere am auge
US6958815B2 (en) * 2002-03-19 2005-10-25 The Regents Of The University Of California Method and apparatus for performing quantitative analysis and imaging surfaces and subsurfaces of turbid media using spatially structured illumination
DE10250568A1 (de) * 2002-10-28 2004-05-13 Carl Zeiss Jena Gmbh Verfahren zur Verbesserung der Tiefendiskriminierung optisch abbildender Systeme
DE102004034977A1 (de) 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh Lichtrastermikroskop und Verwendung
EP2191774A3 (en) * 2004-12-06 2010-06-23 Cambridge Research & Instrumentation, Inc. Systems and methods for in-vivo optical imaging and measurement
WO2006076772A1 (en) * 2005-01-21 2006-07-27 Optiscan Pty Ltd Fibre bundle confocal endomicroscope
EP1838205A4 (en) * 2005-01-21 2009-07-15 Optiscan Pty Ltd FIBER BUNDLE FOR CONTACT DOMICROSCOPY
US8044996B2 (en) * 2005-05-11 2011-10-25 Xenogen Corporation Surface construction using combined photographic and structured light information
EP1941314A4 (en) * 2005-10-07 2010-04-14 Univ Leland Stanford Junior ARRANGEMENTS AND APPROACHES FOR MICROSCOPY
US7460248B2 (en) * 2006-05-15 2008-12-02 Carestream Health, Inc. Tissue imaging system
WO2008049118A2 (en) * 2006-10-19 2008-04-24 The General Hospital Corporation Apparatus and method for obtaining and providing imaging information associated with at least one portion of a sample and effecting such portion(s)
TWI330036B (en) * 2006-10-27 2010-09-01 Quanta Comp Inc Apparatus for sharpening an image, and method thereof
US8279329B2 (en) * 2007-04-10 2012-10-02 University Of Rochester Structured illumination for imaging of stationary and non-stationary, fluorescent and non-fluorescent, objects

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6038067A (en) * 1996-05-23 2000-03-14 The Regents Of The University Of California Scanning computed confocal imager

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015533429A (ja) * 2012-11-07 2015-11-24 モデュレイテッド イメージング, インコーポレイテッド 効率的変調撮像
JP2018136331A (ja) * 2012-11-07 2018-08-30 モデュレイテッド イメージング, インコーポレイテッド 効率的変調撮像
JP2015064438A (ja) * 2013-09-24 2015-04-09 株式会社ニコン 構造化照明顕微鏡装置
JP2021081446A (ja) * 2016-02-01 2021-05-27 ケーエルエー コーポレイション 物体の表面の光学的三次元トポグラフィ計測システム
JP7166375B2 (ja) 2016-02-01 2022-11-07 ケーエルエー コーポレイション 物体の表面の光学的三次元トポグラフィ計測システム

Also Published As

Publication number Publication date
BRPI0914878A2 (pt) 2015-11-24
CN102057397A (zh) 2011-05-11
JP4865930B2 (ja) 2012-02-01
EP2300983A1 (en) 2011-03-30
WO2009149178A1 (en) 2009-12-10
EP2300983B1 (en) 2012-05-09
ATE557367T1 (de) 2012-05-15
US8310532B2 (en) 2012-11-13
US20110109736A1 (en) 2011-05-12

Similar Documents

Publication Publication Date Title
JP4865930B2 (ja) 構造化された照射および均一な照射の両方を用いて光学的に切片化された画像を生成するためのシステムおよび方法
JP5412394B2 (ja) 標本観察装置
US8019136B2 (en) Optical sectioning microscopy
CN110057319B (zh) 一种大范围反射率变化物体的高速三维测量方法
CN109884018B (zh) 一种基于神经网络的亚微米级无透镜显微成像方法及系统
JP6112872B2 (ja) 撮像システム、画像処理方法、および撮像装置
JP2007526457A (ja) 深度情報を含む画像の生成方法と装置
JP2006221190A (ja) 共焦点走査型顕微鏡システム
US20220042923A1 (en) Structured illumination optical inspection platform for transparent materials
WO2018144949A1 (en) Optical sectioning
JP2005317818A (ja) パターン検査装置およびパターン検査方法
US9014506B2 (en) Image processing method, program, image processing apparatus, image-pickup optical apparatus, and network device
WO2020026093A1 (en) Device and process for capturing microscopic plenoptic images with turbulence attenuation
JP2010025809A (ja) モアレ縞測定装置
CN116310101A (zh) 基于过曝光连通域强度自适应分布的高动态三维测量方法
JP2021511871A (ja) マルチコアファイバイメージング
Ye et al. Compressive confocal microscopy: 3D reconstruction algorithms
JP5461064B2 (ja) 形状推定システム、形状推定方法、プログラム及び記録媒体
KR101186103B1 (ko) 측정 대상물의 3d 높이 정보를 측정하는 측정 방법 및 장치
US20170237885A1 (en) Method and Apparatus for High Contrast Imaging
KR101391180B1 (ko) 레이저 스캔 구조조명 이미징 방법
KR102104238B1 (ko) 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법
JP2013188361A (ja) 画像処理装置
JP7081790B2 (ja) 観察装置、観察方法、及び照明装置
Artigas Imaging confocal microscopy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101207

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20101207

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20110512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110519

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110811

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111014

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111110

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees