JP2011501226A - 物体の一連の断面画像から当該物体のボリュームを再現するための方法および装置 - Google Patents

物体の一連の断面画像から当該物体のボリュームを再現するための方法および装置 Download PDF

Info

Publication number
JP2011501226A
JP2011501226A JP2010530508A JP2010530508A JP2011501226A JP 2011501226 A JP2011501226 A JP 2011501226A JP 2010530508 A JP2010530508 A JP 2010530508A JP 2010530508 A JP2010530508 A JP 2010530508A JP 2011501226 A JP2011501226 A JP 2011501226A
Authority
JP
Japan
Prior art keywords
cross
volume
sequence
orientation
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010530508A
Other languages
English (en)
Other versions
JP5501240B2 (ja
Inventor
ベルナール シャルモン
アラン トルーヴ
ヨン ユ
ジャピン ワン
オリヴァー ルノー
スペンサー ショーテ
Original Assignee
サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィク
アンスティトゥー パストゥール
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィク, アンスティトゥー パストゥール filed Critical サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィク
Publication of JP2011501226A publication Critical patent/JP2011501226A/ja
Application granted granted Critical
Publication of JP5501240B2 publication Critical patent/JP5501240B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本発明は、不確かさおよび取得平面を免れ得ない異なる位置および/または向きに対応する一連の断面画像から物体の形状を再現するための方法であって、(a)再現すべき形状を分解することができる有限関数基底を選択するステップ、(b)各々の断面の位置および/または実際の向きとその位置および/または向きとの間の範囲の第1の定量化関数を選択するステップ、(c)再現された形状の空間コヒーレンスのための第2の定量化関数を選択するステップ、(d)断面画像と再現された形状の該当する断面との間の範囲のための第3の定量化関数を選択するステップ、(e)その値が前記第1、第2、および第3の量子化関数の値に依存する総コスト関数を選択するステップ、および(f)前記全体コスト関数を最小化することによって、断面の実際の位置および/または向きを、物体の画像を前記関数基底へと分解するための係数と一緒に推定するステップを含む方法に関する。

Description

本発明は、物体の一連の断面画像から当該物体のボリュームを再現する方法であって、前記断面の物体に対する位置が、不確かな様相で知られている方法に関する。
本発明は、とくには、共焦点顕微鏡法に適用されるが、これに限られるわけではない。
物体の一連の二次元断面画像から、その物体のボリュームの三次元画像を再現することは、とくには生物学および医学における強力な研究ツールである。
再現という課題を解決するために、多数の数学的方法が開発されてきている。それらの方法は、通常は、再現すべき物体に対する切断面の位置および向きが、正確に知られているという仮定に基づいている。残念ながら、そのような仮定は、とくには再現すべき物体が微視的な寸法を呈する場合に、常に満足されるわけではない。
S.BrantおよびM.Mevorahによる対象「Camera motion recovery without correspondence from microrotation sets in wide−field light microscopy」(Proceedings of the Statistical Methods in Multi−image and Video Processing Workshop−ECCV 2006、Graz、Austria、2006年5月)が、切断面の位置の不安定さを考慮に入れる再現技法を概説している。この方法によれば、切断面の回転移動が、一次元の時間系列の形態で表現される一連の画像の自己相関関数から推定され、切断面の平行移動が、画像をセグメント化し、それらの重心を配置し直すことによって推定される。その後に、これらの推定が、ベイズ反転(Bayesian inversion)によって精緻化される。この方法の有効性は、とくには断面画像が走査式共焦点顕微鏡法または他の蛍光による画像化の技法によって得られる場合に、常には現実的でない仮定に依存している。
走査式共焦点顕微鏡法は、細胞などの物体の断面の画像を取得可能にする周知の顕微鏡検査技術であり、前記断面は、顕微鏡の焦点面に対応する。焦点面を連続的にずらすことによって、一連の二次元画像が取得され、それらから物体のボリュームを三次元に再現することができる。
この技法は、付着細胞など、基材へと固定することができる物品にしか適用することができない。残念ながら、多数の細胞(とくには、免疫系の細胞)は付着性でなく、したがって、この方法では再現が不可能である。
文献EP1413911が、一式の電極を有する容器が装着された顕微鏡を記載しており、電極によって、浮遊状態の物体を前記容器内で操作することができる。顕微鏡の焦点面を静止した状態に保ちつつ、浮遊状態にある前記物体を平行移動および/または回転移動させることによって、前記物体の一連の断面画像を取得することが可能になる。
回転移動によって得られる一連の断面の取得は、軸上収差(共焦点顕微鏡の軸方向の分解能が横方向の回転ほどには良好でない(約半分である)という事実に起因するアーチファクト)を最小にするように機能するため、とくに有利である。
この技法の主たる限界は、容器内の物体の動きを、ブラウン運動などのさまざまな理由で、不完全な方法でしか制御することができない点にある。結果として、上記物体のボリュームにおける断面の位置および/または向きが、不確かさを免れない。この状況を、無作為な平行移動および/または回転移動が物体の公称の平行移動および/または回転移動に重畳すると考えることによって、モデル化することができる。
そのような状況においては、従来技術において公知の再現技法を適用することが不可能である。
移動の不確かさを考慮に入れる第1の試みが、Proc.Statistical Methods in Multi−image and Video Processing Workshop、ECCV 2006のS.BrandtおよびM.Mevorahによる対象「Camera motion recovery without correspondence from microrotation sets in wide−field light microscopy」に記載されている。しかしながら、この刊行物において提案されている方法は、無作為な平行移動および/または回転移動について満足できる推定を提供しておらず、結果として、観察対象の物体について、満足できる再現を可能にしていない。
本発明の目的は、一連の断面画像に基づいて物体のボリュームを再現することを可能にする方法であって、たとえそのような物体のボリュームにおける断面の位置および/または向きが不確かさを免れない場合でも適用可能な方法を提供することにある。
したがって、一態様において、本発明は、物体に対する取得平面の位置および/または向きが異なる物体の一連の断面画像であって、前記位置および/または向きが不確かさを免れ得ない一連の断面画像から、前記物体のボリュームを再現する方法であって、
a)再現すべきボリュームを分解することができる関数の有限基底を選択するステップ、
b)前記物体に対する各々の断面の実際の位置および/または向きと公称の位置および/または向きとの間の差を量子化するための第1の定量化関数を選択するステップ、
c)再現されたボリュームの空間コヒーレンスを量子化するための第2の定量化関数を選択するステップ、
d)物体の断面画像と再現されたボリュームの該当する断面との間の差を量子化するための第3の定量化関数を選択するステップ、
e)前記第1、第2、および第3の量子化関数の値に依存する値の総コスト関数を選択するステップ、および
f)前記全体コスト関数を最小化することによって、断面の実際の位置および/または向きを、物体の画像を前記関数基底へと分解するための係数と一緒に推定するステップ
を含むことを特徴とする方法を提供する。
前記物体は、通常は三次元であるが、本発明は、一次元の断面の連続からの二次元の物体の再現にも適用可能である。したがって、用語「ボリューム」は、広く理解されるべきである。
本発明の特定の実施の形態においては、
・再現すべきボリュームを分解することができる前記関数の有限基底が、ガウス関数によって構成されていてよい。
・再現すべきボリュームを分解することができる前記関数の有限基底が、自己再生核ヒルベルト空間を定める基底であってよい。そのような状況においては、再現されたボリュームの空間コヒーレンスを量子化するための前記第2の定量化関数が、前記自己再生核ヒルベルト空間のノルムに比例することができる。
・各々の断面の実際の位置および/または向きと公称の位置および/または向きとの間の差を量子化するための前記第1の定量化関数が、ユークリッドノルムおよび/または測地線ノルムに基づくことができる。
・各々の断面の実際の位置および/または向きと公称の位置および/または向きとの間の差を量子化するための前記第1の定量化関数は、前記物体の断面画像の取得に使用される器具に特徴的な少なくとも1つの較正パラメータに依存することができる。
・前記第2の定量化関数が、空間コヒーレンスを較正するための少なくとも1つの較正パラメータに依存することができ、前記第3の定量化関数が、前記差を較正するための少なくとも1つの較正パラメータに依存することができ、当該方法が、前記ステップf)の前に、前記物体の前記一連の断面画像から少なくとも前記差および空間コヒーレンスの較正パラメータを一緒に推定するステップd’)をさらに含んでいる。
・ステップd’)は、前記物体の前記一連の断面画像に基づく最尤法によって、少なくとも前記差および空間コヒーレンスの較正パラメータを一緒に推定することを含むことができる。とくには、前記最尤法による推定が、再現されたボリュームの空間コヒーレンスを量子化するための前記第2の定量化関数、および物体の断面画像と再現されたボリュームの該当する断面との間の差を量子化するための前記第3の定量化関数が、ガウス分布に従うという仮定に基づくことができる。
・前記全体コスト関数は、前記第1、第2、および第3の定量化関数の一次結合であってよい。
・前記全体コスト関数を最小化することによって、断面の実際の位置および/または向きを、物体の画像を前記関数基底へと分解するための係数と一緒に推定する前記ステップf)を、勾配降下法を使用することによって実行することができる。
・前記物体の断面を、先験的には知られていない無作為な回転−平行移動が重畳している画像取得平面の連続的な公称の平行移動によって得ることができる。
・変形例においては、前記物体の断面を、先験的には知られていない無作為な回転−平行移動が重畳している共通の軸を中心とする画像取得平面の連続的な公称の回転移動によって得ることができる。そのような状況下では、前記ステップa)〜f)を、画像取得平面の連続的な公称の回転によって得られる少なくとも2つの一連の断面について有利に繰り返すことができ、前記2つの一連の断面に対応する回転軸は、実質的に互いに直角であり、前記2つの一連の断面から得られる物体のボリュームの再現を、補間(例えば、スプライン平滑化)によって融合させることができる。
別の態様において、本発明は、物体の複数の断面画像シーケンスから、前記物体のボリュームを再現する方法であって、各々のシーケンスが、取得平面の連続的な公称の平行移動によって得られる断面によって構成されており、前記取得平面の公称の向きが、各々のシーケンスごとに異なっておりかつ不完全な様相で既知である方法を提供する。この方法は、物体の断面の複数の「スタック」を利用するため、マルチプルスタック(M.S.)プロトコルと称される。異なるスタックの相対の向きが不完全にしか知られていないだけでなく、各々のスタックにおいても、先験的には知られていない無作為な回転−平行移動が、取得平面の公称の平行移動に重畳している。
そのような方法は、
A)上述のような方法によって前記シーケンスの各々の断面の観察平面の相対的な位置および向きを推定するステップ、
B)異なるシーケンスの間のオフセットおよび向きの差ならびに前記物体に対するオフセットおよび向きの差を推定するステップ、
C)断面画像シーケンスの間のオフセットおよび向きの差を補償するステップ、および
D)単一のセットを構成すると考えられる前記シーケンスの断面画像からの補間によって前記ボリュームを再現するステップ
を含んでいる。
特定の実施例においては、
・前記物体の異なる断面画像シーケンスの間のオフセットおよび向きの差を推定するステップB)を、主成分分析によって実行することができる。この主成分分析を、とくには前記断面画像シーケンスの2値化版に対して実行することができる。より正確には、各々の断面画像シーケンスを、基準として選択されるシーケンスの2値化しきい値と一緒に推定される2値化しきい値を使用して2値化することができ、前記推定が、基準シーケンス以外の各々のシーケンスについて、該シーケンスの分散共分散行列の固有値と前記基準シーケンスの分散共分散行列の固有値との間の差の関数を最小化することによって実行される。とくには、前記差の関数を、
Figure 2011501226
によって与えることができ、
ここで、λおよびλ’が、それぞれ該当の2値化シーケンスおよび基準2値化シーケンスの分散共分散行列の固有値である一方で、τおよびτ’が、それぞれの2値化しきい値である。
本発明の別の態様は、異なる性質である物体の複数の断面画像シーケンスを使用することによって、前記物体のボリュームを再現する方法である。とくには、第1のシーケンスを、観察平面を前記物体に対して平行移動させることによって得ることができ(「スタック」が生成される)、少なくとも1つの第2のシーケンスを、観察平面を前記物体に対して回転移動させることによって得ることができる。上述した方法と同様に、先験的には知られていない無作為な回転−平行移動が、種々の断面に関する観察平面の前記平行移動または回転移動に重畳する可能性がある。そのような方法は、
i)上述のような方法を使用して、前記第1の画像シーケンスから前記ボリュームを予備的に再現するステップ、
ii)前記第1および第2のシーケンスの断面の位置および向きを推定し、該推定に基づいて空間内に前記断面を再配置するステップ、および
iii)前記再配置された断面の第2のシーケンスから、補間によって前記ボリュームを再現するステップ
を含んでいる。
換言すると、画像の第1のシーケンスによって構成される「スタック」が、回転移動によって得られる断面(第2のシーケンス)の配置を可能にするためだけに機能する予備的な再現を実行するために使用される。上述の軸上収差の現象ゆえに、第2のシーケンスがもたらす良好な空間分解能という利点を利用するために、第2のシーケンスがボリュームの再現に使用される。
この方法は、2つの異なる種類の取得を組み合わせているため、「2プロトコル」法と称される。
変形例においては、観察平面を前記物体に対して平行移動させることによって得られる物体の複数の第1の断面画像シーケンスを使用することができる。そのような状況において、本方法は、
i)上述の「M.S.」プロトコルを使用して、前記第1の画像シーケンスから前記ボリュームを予備的に再現するステップ、
ii)前記第2のシーケンスの断面の位置および向きを推定し、該推定に基づいて空間内に前記断面を再配置するステップ、および
iii)前記再配置された断面の第2の画像シーケンスに基づく補間によって前記ボリュームを再現するステップ
を含む。
変形例においては、物体の第1の断面画像シーケンスを、観察平面を該物体に対して回転移動させることによって得ることができる一方で、物体の第2の断面画像シーケンスが、前記観察平面を物体に対して平行移動させることによって得られる。換言すると、「スタック」の役割と回転移動によって得られるシーケンスの役割とが逆にされる。次いで、この方法は、
i)上述の方法によって、前記第1の画像シーケンスから前記ボリュームを予備的に再現するステップ、
ii)前記第2のシーケンスの断面の位置および向きを推定し、該推定に基づいて空間内に前記断面を再配置するステップ、および
iii)前記再配置された断面の第2のシーケンスから、補間によって前記ボリュームを再現するステップ
を含む。
この変形例は、軸方向の分解能が横方向の分解能よりも良好である場合に有利である。
「2プロトコル」式の方法の特定の実施例においては、
・前記第2のシーケンスの断面の位置および向きを推定し、該推定に基づいて空間内に前記断面を再配置する前記ステップii)が、物体の断面画像と前記予備的に再現されたボリュームの該当の断面との間の差を量子化するための定量化関数を最小にすることを含むことができる。
・物体の断面画像と前記予備的に再現されたボリュームの該当の断面との間の差を量子化するための定量化関数を最小にすることは、前記第2のシーケンスまたは各々の第2のシーケンスの断面のすべてが前記観察平面の一定であるが未知である変位および/または平行移動によって得られたという仮定に基づいて、予備的な推定を行う第1の段階と、種々の断面に関して一定であると仮定した観察平面の平行移動または回転移動に重畳した無作為な回転−平行移動を推定することを含む洗練を行う第2の段階とを含むことができる。
・前記再配置された断面の第2の画像シーケンスから前記ボリュームを再現する前記ステップiii)を、スプライン平滑化式の補間によって実行することができる。
「M.S.」および「2プロトコル」式の方法を、取得平面の公称の移動に重畳する無作為な平行移動−回転移動が存在しなくても使用できることに、気が付くことが有利である。
上述の方法は、とくには前記物体の断面画像シーケンスが共焦点顕微鏡法によって取得される状況に適用される。さらにより詳しくは、これらの方法は、前記物体が共焦点顕微鏡の容器内に配置され、該物体の断面画像シーケンスが該物体を容器に対して移動させることによって取得される状況に適用される。
しかしながら、本発明は、顕微鏡の焦点面が移動する一方で、物体が静止したままであるより慣習的な状況にも適用可能である。取得平面と物体との間に相対移動が存在することが重要である。
さらには、本発明は、顕微鏡法の分野には限定されない。
さらに別の態様において、本発明は、物体に対する取得平面の位置および/または向きが相違する該物体の一連の断面画像を取得するための手段と、前記物体の前記一連の断面画像から前記物体のボリュームを再現するためのデータ処理手段とを備えている物体のボリュームを再現するための装置であって、種々の断面に対応する取得平面の位置および/または向きが、不確かさを免れ得ず、前記データ処理手段が、後述のとおりの方法を実行するように構成されていることを特徴とする装置を提供する。
前記物体の一連の断面画像を取得するための前記手段は、とくには、前記物体を収容するための容器と、前記物体を容器に対して移動させるための手段とを備える共焦点顕微鏡を備えることができる。
本発明の他の特徴、詳細、および利点は、例として提示される添付の図面を参照して行われる説明を検討することで、明らかになる。
複数の一次元の断面からの二次元の物体の再現の単純な例を示している。 複数の一次元の断面からの二次元の物体の再現の単純な例を示している。 複数の一次元の断面からの二次元の物体の再現の単純な例を示している。 複数の一次元の断面からの二次元の物体の再現の単純な例を示している。 本発明の第1の実施例における再現方法のフロー図を示している。 本発明の第2の実施例における再現方法(「M.S.」プロトコル)のフロー図を示している。 本発明の第3の実施例における再現方法(「2プロトコル」)のフロー図を示している。 共焦点顕微鏡によって観察された複数の断面画像であって、取得平面を細胞に対して回転させることによって取得された複数の断面画像を示している。 それぞれ取得平面を前記細胞に対して平行移動(図6Aおよび図7A)および回転移動(図6Bおよび図7B)させることによって取得された一連の断面画像からの前記細胞の再現を示している。 それぞれ取得平面を前記細胞に対して平行移動(図6Aおよび図7A)および回転移動(図6Bおよび図7B)させることによって取得された一連の断面画像からの前記細胞の再現を示している。 それぞれ取得平面を前記細胞に対して平行移動(図6Aおよび図7A)および回転移動(図6Bおよび図7B)させることによって取得された一連の断面画像からの前記細胞の再現を示している。 それぞれ取得平面を前記細胞に対して平行移動(図6Aおよび図7A)および回転移動(図6Bおよび図7B)させることによって取得された一連の断面画像からの前記細胞の再現を示している。 本発明の再現方法を実行するための装置を示している。
図1A〜図1Dが、本発明の目的を直感的に理解するための役に立つ。
図1Aは、二次元の物体を示しており、より詳しくは、数字の「5」の白黒画像を示している。
図1Bは、二次元の物体を「探査」する複数の取得線を示している。これらの線は、公称的には、ベース線を角度Nψ(Nは、整数)だけ回転させることによって得られ、実際には、公称的には純粋な回転である上記の移動に無作為な回転−平行移動が重畳していることを、見て取ることができる。
図1Cは、各々の取得線の位置および向きが公称の位置および向きに一致すると仮定することによって得られた物体の再現を示している。一次元画像の取得を乱す無作為な回転−平行移動ゆえに、画像がきわめて劣化していることを、見て取ることができる。
最後に、図1Dは、本発明の方法によって実行された再現を示している。この再現は、各々の取得線の位置および向きに影響を及ぼす不確かさにもかかわらず、実質的に完璧である。当然ながら、これは単なるシミュレーションであり、したがって、取得線の実際の位置および向きが先験的に既知であるが、図1Dの画像は、そのような知識を利用せずに得られている(そのような知識は、実際の状況下では入手できないであろう)。
本発明の方法を正確に説明するために、取得平面を物体に対して変位および/または回転させることによって当該物体の一連の断面I={I、i=1、・・・、n}を取得可能にする器具(例えば、共焦点顕微鏡)が検討される。移動は、連続的または不連続であってよい。取得平面が移動する一方で、物体が静止したままであるのか、あるいはその反対であるのかは、あまり問題でなく、取得平面による物体のボリュームの「探査」を可能にする相対移動が存在することが重要である。
器具によって生じる取得平面の移動は、多少なりとも不安定である。例えば、器具が連続的な回転移動を実行するように設定されている場合に、回転の軸の位置が、最初に設定された位置の周囲で時間とともに変化する可能性がある。さらには、軸が寄生の平行移動を受ける可能性がある。その結果、一連の断面Iに対して、この移動が、一連の微細移動Φ={φ=(R,T)、i=1、・・・、n}を生じさせ、ここでRおよびTは、それぞれ断面Iの位置を定める微細回転および微細平行移動である。この一連の微細移動が、器具の調節の際に設定される公称の回転移動Φ={φ =(R,0)、i=1、・・・、n}の劣化版または「ノイジー」バージョンを構成する。
同様に、連続的な平行移動を実行するように設定された器具については、平行移動の軸の位置が、最初に設定された位置の周囲で時間とともに変化する可能性がある。一連の断面Iに対して、この移動が、一連の微細移動Φ={φ=(R,T)、i=1、・・・、n}を生じさせ、ここでRおよびTは、それぞれ断面Iの位置を定める微細回転および微細平行移動である。この一連の微細移動が、器具の調節の際に設定される公称の平行移動Φ={φ =(0,T)、i=1、・・・、n}の劣化版または「ノイジー」バージョンを構成する。
本発明の方法は、物体の一連の断面からその物体の3D画像を再現することを可能にする。再現は、その位置(Φ={φ、i=1、・・・、n}によって定められる)が正確には知られていない一連の断面
Figure 2011501226
に基づいて、「密度」のボリューム
Figure 2011501226
を割り出すことからなる。取得平面の「位置」という用語は、取得平面の向きを含む空間における取得平面の状況を完全に定めるパラメータ一式を指す。
「密度」関数は、例えば、単色画像のグレーレベルを表すことができ、そのような状況においては、は、空間座標のスカラ関数である。カラー(または、疑似カラー)の画像においては、が、例えば輝度成分および2つのクロミナンス成分を有するベクトル関数である。
最初に、器具について設定される移動がφ=(R、T)であって、純粋な回転において、T=0であり、純粋な平行移動において、R=Idであるように、器具が調節されると仮定する。本発明の基本的な考え方は、断面の位置{φ}および物体の密度の関数を、同時に推定することにある。推定による位置は、公称の移動φの近傍にある。推定によるボリュームは、ボリュームの密度の空間コヒーレンスを最適にするように決定される。これら2つの推定は、相互依存の関係にあり、位置の推定が良好であるほど、密度のコヒーレンスが良好である。この手順が、次元(典型的には、d=2または3である)の「項目」へと適用され、断面は、d−1の次元である。以下では、常にd=3であると仮定する。
図2は、本発明の第1の実施例における再現方法のフロー図である。
I={I、i=1、・・・、n}が、φによって設定される連続的な回転移動または平行移動のいずれかに対応する物体の一連の断面であるとする。基準平面Hが、すべての断面画像をこの平面内の同じ平面に配置することによって最初に選択される。
Figure 2011501226
が未知のボリュームであるとする。における各々の断面の位置を、Hをアフィン回転φ=(R、T)へと適用することによって定めることができる。Φ={φ、i=1、・・・、n}およびΦ={φ、i=1、・・・、n}であるとする。その結果、本明細書に記載の手順は、およびΦを推定するように機能する。
本方法の第1のステップa)は、再現のためのボリューム(あるいは、より正確には、このボリュームの密度を表す関数)を分解することができる関数の有限基底を選択することからなる。このステップは、空間関数を有限数の係数によって表して、解くべき最適化問題に有限の次元を与えるように機能する。この基底を、例えば、一群のガウス関数によって構成することができる。
その後に、ステップb)において、関数J(Φ)が、公称の移動Φに対する取得平面の「実際」の移動の間の差を量子化するために選択される。例えば、
Figure 2011501226
であり、ここで
Figure 2011501226
であり、
Figure 2011501226
である。
パラメータσおよびσが、φおよびφの間の間隔を支配する。これらの不確かさパラメータは、器具の特徴的な較正パラメータであり、与えられるものと仮定される。
第3のステップc)は、の密度の空間コヒーレンスを量子化するための関数を選択することからなる。この空間コヒーレンス関数の物理的な意味は、再現されるボリュームの空間的な「連続性」を表現することにあり、一般に、再現されるボリュームが「寸断」されておらず、すなわち関数が多数の不連続を呈することがなく、の変化がより緩やかである「連続的」なボリュームであることが期待される。当然ながら、再現すべき物体の空間コヒーレンスの程度は、先験的には知られていない。したがって、有利には、空間コヒーレンス関数は、さらに推定される必要がある1つ以上の較正パラメータに依存することができる。この点が、以下で明らかにされる。
本発明の変形例においては、ステップa)において選択される関数の有限基底が、自己再生核を有するヒルベルト空間を定める基底であってよく、再現されるボリュームの空間コヒーレンスを量子化するための前記第2の関数が、自己再生核を有する前記ヒルベルト空間のノルムに比例することができる。
例えば、再現されるボリュームの空間コヒーレンスを量子化するための第2の関数を、
Figure 2011501226
によって与えることができ、ここで、
Figure 2011501226
は、「自己再生核」に関するノルムである。
Figure 2011501226
基底関数または「空間的相互作用関数」ρは、例えばガウス関数であってよい。Nは、が計算される格子のノードの数である。パラメータ{α}が、基底関数{k(s、・)}におけるの座標である。パラメータσおよびλが、上述の較正パラメータを較正し、推定を必要とする。
本方法のステップd)は、物体の断面画像Iと再現されるボリュームの対応する断面
Figure 2011501226
との間の差を量子化するための第3の関数の選択を含む。例えば、
Figure 2011501226
であり、ここで、σεは、物体に依存し、したがって推定されなければならない別の較正パラメータである。
ステップa)からd)の順序があまり重要でないことを、理解すべきである。
較正パラメータσ、λ、およびσεは、ステップd’)において推定される。これを行うために、取得された断面と該断面の物体における対応物との間の差
Figure 2011501226
(ここで、SはHに属する)が、ガウス関係N(0、σε )の適用において分布していると仮定される。また、Iが、ガウス関係
Figure 2011501226
に従って分布していると仮定され、共分散行列Γθは、
Figure 2011501226
である。
ここで、
Figure 2011501226
は、空間Hの次元に等しい次元のベクトルであり、要素が1に完全に等しい一方で、1s=tは、s=tであれば1に等しく、さもなければ0に等しい。
したがって、最大尤度の原理が、
Figure 2011501226
において
Figure 2011501226
を最大にする値
Figure 2011501226
におけるパラメータθ=(μ、σ 、λ、σε )を一緒に推定するために使用される。
続くステップe)は、先のステップにおいて定められる3つの量子化関数に依存する全体コスト関数または「コヒーレンス関数」を選択することを含む。例えば、一次結合
Figure 2011501226
を選択することができる。
その後に、ステップf)において、例えば連続してΦの最小化およびの最小化の間を交互する勾配降下に基づく手順を使用することによって、再現されるボリューム
Figure 2011501226
および断面の位置
Figure 2011501226
を得るために最小化され、この手順は、Φで初期化される。
移動が回転であり、Rの回転の軸が取得平面にない場合、物体は、取得平面が横切ることが決してない円錐または双円錐形状の領域を有し、この領域の再現は不可能になる。そのような状況においては、
・第2の一連の回転I’が、先の回転の軸に多少なりとも直交する回転の軸を中心にして考慮され、
・先のステップa)〜f)が、この第2の一連の回転について繰り返される。この第2の再現を、
Figure 2011501226
と書くことができる。
このようにして、各々が再現不可能なゾーンを呈する2つの画像が得られる。完全な再現を得るために、
・再現されたボリュームを重ねて「再配置」し、
・とくには「スプライン」式の平滑化によって、
Figure 2011501226
の結合によって構成されるデータのすべてを
Figure 2011501226
行の式において連続的に補間する
ことが可能である。
「平滑化」および「補間」の概念を、さらに詳しく説明する必要がある。ボリュームの再現は、三次元空間における密度フィールドを推定することを意味する。断面の位置に位置する点について、f(x)が、点における断面の値を近似し、これがいわゆる平滑化操作である。断面の間に位置する点について、f(x)が、何も存在しない場所の値を生成し、これがいわゆる補間である。実際、2つの操作は密接に結び付いており、補間操作は、三次元空間に正則関数f(x)を生成する平滑化操作に根ざしている。上述した有限次元の関数基底への密度関数の分解が、平滑化/補間の形態を構成する。
少なくとも原理的には、再現されたボリュームを、図3を参照して以下で説明される方法に類似する方法によって再配置することができ、再現されたボリュームが分割され、それらの重心および慣性主軸が一致させられる。しかしながら、2つのボリュームに2つの異なる再現されないゾーンが存在することにより、このオフセッティングが難しくなることが、考慮されなければならない。
図2のアルゴリズムは、一般に、取得平面のあらゆる種類の(公称の)移動にあてはまり、すなわち一定または変化しうる角度での純粋な回転、一定または変化しうるピッチでの純粋な平行移動、あるいは回転移動および平行移動の組み合わせに当てはまる。図3および図4は、取得手順の特定の組み合わせを利用するより具体的な方法に関する。
図3は、本明細書において「マルチプルスタック」プロトコルまたはM.S.と称されるアルゴリズムのフロー図である。このプロトコルによれば、器具が、物体を所定の向きにて物体の全長に沿って「走査」するために純粋な平行移動で取得平面を移動させるように調節される。その後に、この操作が、少なくとも1つの他の向きについて繰り返される。平行移動でのこれらの取得が、お互いに対して再配置されたときにボリュームの推定を可能にする一式の「スタック」をもたらす。
2つの困難が存在する。第1に、各々の個別の一連の平行移動(各々のスタック)が、取得平面の無作為な回転−平行移動によって影響され、第2に、異なるスタックの相対的な位置および向きが、完全には知られていない。
Figure 2011501226
が、φ=(Id、T)によって装置について設定される平行移動に対応する物体の第1の一連の断面であるとする。
Figure 2011501226
などが、設定φ’、φ’’、などを有する器具に対応する別の一連の平行移動であるとする。
本方法の第1のステップA)は、該当のスタックの一連の断面画像の各々を「配置」するために、図2の方法を適用することからなる。このステップは、所与のスタックにおける断面の相互の位置および向きを決定するように機能するが、異なるスタック間の相対的な向きは決定しない。
このステップは、一連の断面画像が、公称の移動に重畳する無作為な回転−平行移動による影響を知覚可能なほどには受けていないと考えられる場合には、省略可能である。
その後に、1つのスタック
Figure 2011501226
が、「基準スタック」として選択され、この基準スタックに対する他のスタック
Figure 2011501226
などのオフセットおよび向きの相違が、ステップB)において推定され、次いで、ステップD)におけるボリュームの再現を可能にするために、ステップC)において補償される。
一般的なスタック
Figure 2011501226
を基準スタック
Figure 2011501226
へと「再配置」するために、手順は以下のとおりである。
・断面を2値化するために、しきい値設定τを有する関数が選択され、
Figure 2011501226
が2値化断面
Figure 2011501226
へと、
Figure 2011501226
であるように変換される。濃色の背景上の淡色の物体においては、そのような関数は、例えば
Figure 2011501226
であり、そうでない場合に0であってよい。τ’が、同じ方法で定められる
Figure 2011501226
の2値化パラメータであるとする。しきい値パラメータτおよびτ’を決定する必要がある。
・各々のペア(τ、τ’)について、
Figure 2011501226
の主成分分析が、
Figure 2011501226
であるような画素の座標で構成された
Figure 2011501226
の点の集団について実行される。集団の分散共分散行列の固有値が、{λ、k=1、2、3}と記述される(同様に、
Figure 2011501226
の集団に関する値は、{λ’、k=1、2、3}と記述される)。
・その後に、(τ、τ’)が、関数
Figure 2011501226
を最小化することによって推定される。
・先に得られたペアを使用することによって、2つの対応する集団の再配置を、それらの重心を一致させ、それらの分散共分散行列の固有値も一致させることによって、行うことができる。この再配置操作のアフィン適用は、φ’=(R’、T’)と記述され、
Figure 2011501226
へと再配置されたスタックは、
Figure 2011501226
などと記述される。
これらの種々の操作が、基準スタック以外のすべてのスタックについて繰り返される。しきい値パラメータτが、各々の場合において推定され、その値が、手順の各々の反復において同じではないことに留意されたい。
最後に、ステップD)において、今やただ1つのセットと考えられる再配置されたスタックが、三次元における「スプライン」平滑化によって補間される。
「2プロトコル」法と称される図4の方法は、回転によって得られた少なくとも1つの一連の断面
Figure 2011501226
が利用可能であり、平行移動によって得られた少なくとも1つの一連の断面
Figure 2011501226
が利用可能である場合に適用される。最初に、平行移動の一連の断面が、予備的な再現
Figure 2011501226
を得るために使用される。その後に、断面
Figure 2011501226
の位置が、
Figure 2011501226
に配置することによって得られ、最終的な再現は
Figure 2011501226
に基づく。このプロトコルは、
Figure 2011501226
によってもたらされる情報が
Figure 2011501226
によってもたらされる情報よりも少ない場合に、とくに適している。例えば、分解能が軸方向(取得平面に垂直)よりも横方向(すなわち、取得平面内)において高い場合、最終的な再現において回転での一連の断面を使用し、平行移動での一連の断面を予備的な再現にのみ使用することが好ましい。
Figure 2011501226
が、一定の角度φでの取得平面の回転に対応する物体の一連の断面であるとする。
Figure 2011501226
が、先の回転軸に多少なりとも直交する回転軸を中心とする連続的な回転移動に対応する第2の一連の断面であるとする。基準平面Hが選択され、回転におけるすべての断面が、前記平面内の同じ平面に置かれる。
Figure 2011501226
、平行移動に対応する物体の一連の断面または「スタック」であるとする。随意により、平行移動における第2の一連の断面
Figure 2011501226
を得ることも可能であり、さらなる一連の断面
Figure 2011501226
を得ることも可能である。平行移動が安定でない場合、断面の各々が、図2のアルゴリズムを適用することによって該当のスタックに配置される。この配置は、存在するシーケンスの数と同数のスタックをもたらす。
Figure 2011501226
が再現すべき未知のボリュームであるとする。回転による断面
Figure 2011501226
の各々のにおける位置が、以下のように推定される必要があるアフィン回転φ=(R、T)をHへと適用することによって定められる。
ステップA):予備的な再現。ただ1つのスタック
Figure 2011501226
で、例えば三次元スプライン平滑化を使用することによって
Figure 2011501226
について連続的にスタックを補間するために十分であり、結果は
Figure 2011501226
と記述される初期の再現を構成する。
複数のスタックが利用可能である場合、図3のアルゴリズムが使用される。スタックの配置に関する不確かさゆえに、この手順は、スタック
Figure 2011501226
などの各々について、基準スタック
Figure 2011501226
に対する位置を計算し、これらの位置をスタックを前記基準スタックに再配置するために使用する。これらの再配置されたスタックのすべてが、三次元スプライン平滑化を使用して補間され、結果が
Figure 2011501226
と記述される初期の再現を構成する。
ステップB):位置の推定および第2の一連の断面の推定、ならびにそれらの空間的な再配置。
このステップは、2つの段階で実行される。すなわち、予備的な推定において、取得平面の回転移動が正確にφ=(R、0)であると仮定され(すなわち、不確かさが一時的に無視され)、洗練段階において、先ほど無視された不確かさが考慮される。
第1の段階においては、断面の位置が段階的に定められる。最初に、平面Hに保存された断面が、それらをそれらの空間内の回転位置に置くために展開され、その結果、第1の切断面Pの回転位置が、Hへと加えられるアフィン回転Ψ=(R、T)の結果(P=R+T)である一方で、続く切断面Pは、第1の切断面へとRを連続的に適用することによって得られる(P=(Ri−1)。その後に、この回転における断面のセットが、
Figure 2011501226
に配置される。回転移動が安定であると仮定されているため、
Figure 2011501226
における
Figure 2011501226
の位置は、Pへと適用される単一のアフィン回転Ψ=(R、T)によって与えられる。最後に、断面の位置が、
Figure 2011501226
を最小化することによって推定されるパラメータφ=(Ψ、Ψ)によって定められ、ここで、式PはΨに依存している。
ステップB)の第2の段階において、推定が、不安定さを考慮に入れるために洗練される。先の推定からもたらされる位置が、P と記述される。最終的な位置はP に近く、P へと加えられるアフィン回転φ=(R、T)によって定められる。Φ={φ、i=1、・・・、n}が、
Figure 2011501226
を最小化することによって推定される。
再現ステップC)は、例えば三次元スプライン平滑化を使用することによって、配置された断面
Figure 2011501226
Figure 2011501226
において連続的に補間することによって実行され、結果が
Figure 2011501226
と記述されるボリュームの再現を構成する。
の回転の軸が取得平面にない場合、取得平面が横切ることが決してない物体の領域が存在し、したがってこの領域の再現が不可能である。そのような状況においては、ステップA)およびB)がシーケンス
Figure 2011501226
について繰り返され、次いで断面
Figure 2011501226
のすべてが、三次元スプライン平滑化を使用して
Figure 2011501226
において連続的に補間され、結果がやはり
Figure 2011501226
と記述されるボリュームの再現を構成する。
より一般的には、回転における複数の「第2のシーケンス」を使用することが可能である。
上記の説明においては、予備的な再現が、平行移動での1つ以上の断面のシーケンスから得られ、最終的な再現が、回転での1つ以上の断面のシーケンスから得られている。この反対も可能であるが、上述のように、異なる軸を中心とする回転での2つの断面のシーケンスの画像を使用することは、困難である可能性がある。
本発明は、とくには共焦点顕微鏡法へと適用可能であるが、これに限られるわけではない。例として、この分野において、以下が可能になる。
・蛍光共焦点顕微鏡法によって得られる一連の二次元画像に基づき、個々の生きている非付着の細胞の三次元での仮想の再現が可能になり、
・顕微鏡法に固有の軸上収差の除去および空間分解能の改善が可能になる。
細胞の三次元の再現のための従来からの技法は、細胞を透明な表面に固定することを必要とする。細胞が、手作業にてさまざまな向きに配置される。各々の向きにおいて、「zスタック」プロトコルとして知られるプロトコルを使用して、垂直方向の平行移動で断面のシーケンスが取得される。次いで、それらのスタックを融合させることで、細胞の三次元の再現がもたらされるが、その再現は、それでもなお軸上収差および分解能の不足から完全には逃れることができない。さらに、この方法は、非付着の細胞へは適用が困難または不可能である。
4000種類の細胞を研究者にとって利用できるようにしているAmerican Type Cell Culture Collection(ATCC)において、そのうちの約1500種は非付着である。その中でも、280種は、三次元分析の欠如ゆえに十分に活用されていない人間の細胞である。
上述の文献EP1413911が、水溶液中に懸濁している細胞を捕捉し、顕微鏡のレンズの下方で回転移動または平行移動させることができる「細胞マニピュレータ」器具が装着された顕微鏡を記載している。この移動により、細胞をさまざまな向きのもとで調査することができる。この器具の中央部は、レンズの下方に置かれる捕捉「ケージ」である。ケージ内に生成される電界が、ケージにおいて調節することができる電界の設定に応じて、細胞を捕捉して移動させるように機能する。この器具の第1の実験的な利点は、懸濁している物品の分析を可能にする点にあり、これは非付着の細胞(免疫系の細胞など)においてとくに有利である。
残念ながら、再現には、細胞の向きが比較的正確に知られている必要がある。しかしながら、文献EP1413911の「マニピュレータ」は、細胞の向きを大まかにしか調節することができないため、この新規な技法をルーチン的に使用することは不可能である。
「細胞マニピュレータ」は、「回転」での取得を可能し、したがって光学顕微鏡につきものであり、焦点面に垂直な方向(軸)の分解能が焦点面内(xy)の分解能の半分であるという事実に関係している「軸上収差」による影響を受けないようにすることができるという利点も呈する。この影響ゆえに、球形の物体が、長軸がOz方向を向いている楕円形であるように見える。これまでのところ、この問題が、三次元顕微鏡画像化の主たる妨げを構成している。なぜならば、そのような画像化は、基本的にzスタック式の取得に基づくからである。しかしながら、文献EP1413911の装置によってもたらされる利点は、細胞の移動に関する不確かさの克服を可能にする再現方法が存在しないため、これまでは「仮想」のままであった。
本発明の主たる貢献は、ここに存在する。
図5は、文献EP1413911の共焦点顕微鏡によって見た取得平面を細胞に対して回転させることによって得られた複数の断面画像を示している。
図6Aおよび図7Aは、zスタックプロトコル(一連の断面画像が、細胞を焦点面に対して平行移動させることによって得られる)の適用において本発明の方法に従って実行された同じ細胞の再現の2つの図である。
図6Bおよび図6Cは、同じ細胞の再現に対応する2つの図であるが、再現が、最終的な再現を細胞を焦点面に対して回転させることによって取得される一連の断面画像に基づいて実行する「2プロトコル」法(図4を参照)を使用して、本発明の方法に従って実行されている。図6A/図6Bおよび図7A/図7Bの比較が、「回転」にて取得された一連の画像を使用することによって可能にされるとおり、軸上収差の減少が取り除かれることを示している。
図8は、細胞マニピュレータCと本発明の再現方法を実行するためのデータ処理装置TDとが備えられた共焦点顕微鏡Mのきわめて図式的な図である。

Claims (30)

  1. 物体に対する取得平面の位置および/または向きが異なる物体の一連の断面画像であって、前記位置および/または向きが不確かさを免れ得ない一連の断面画像から、前記物体のボリュームを再現する方法であって、
    a)再現すべきボリュームを分解することができる関数の有限基底を選択するステップ、
    b)前記物体に対する各々の断面の実際の位置および/または向きと公称の位置および/または向きとの間の差を量子化するための第1の定量化関数を選択するステップ、
    c)再現されたボリュームの空間コヒーレンスを量子化するための第2の定量化関数を選択するステップ、
    d)物体の断面画像と再現されたボリュームの該当する断面との間の差を量子化するための第3の定量化関数を選択するステップ、
    e)前記第1、第2、および第3の量子化関数の値に依存する値の総コスト関数を選択するステップ、および
    f)前記全体コスト関数を最小化することによって、断面の実際の位置および/または向きを、物体の画像を前記関数基底へと分解するための係数と一緒に推定するステップ
    を含むことを特徴とする方法。
  2. 前記物体が、三次元の物体である、請求項1に記載の方法。
  3. 再現すべきボリュームを分解することができる前記関数の有限基底が、ガウス関数によって構成されている、請求項1または2に記載の方法。
  4. 再現すべきボリュームを分解することができる前記関数の有限基底が、自己再生核ヒルベルト空間を定める基底である請求項1から3のいずれかに記載の方法。
  5. 再現されたボリュームの空間コヒーレンスを量子化するための前記第2の定量化関数が、前記自己再生核ヒルベルト空間のノルムに比例する、請求項4に記載の方法。
  6. 各々の断面の実際の位置および/または向きと公称の位置および/または向きとの間の差を量子化するための前記第1の定量化関数が、ユークリッドノルムおよび/または測地線ノルムに基づく、請求項1から5のいずれかに記載の方法。
  7. 各々の断面の実際の位置および/または向きと公称の位置および/または向きとの間の差を量子化するための前記第1の定量化関数が、前記物体の断面画像の取得に使用される器具に特徴的な少なくとも1つの較正パラメータに依存する、請求項1から6のいずれかに記載の方法。
  8. 前記第2の定量化関数が、空間コヒーレンスを較正するための少なくとも1つの較正パラメータに依存し、前記第3の定量化関数が、前記差を較正するための少なくとも1つの較正パラメータに依存し、
    当該方法が、前記ステップf)の前に、
    前記物体の前記一連の断面画像から少なくとも前記差および空間コヒーレンスの較正パラメータを一緒に推定するステップd’)
    をさらに含んでいる、請求項1から7のいずれかに記載の方法。
  9. ステップd’)が、前記物体の前記一連の断面画像に基づく最尤法によって、少なくとも前記空間コヒーレンスおよび差の較正パラメータを一緒に推定することを含んでいる、請求項8に記載の方法。
  10. 前記最尤法による推定が、再現されたボリュームの空間コヒーレンスを量子化するための前記第2の定量化関数、および物体の断面画像と再現されたボリュームの該当する断面との間の差を量子化するための前記第3の定量化関数が、ガウス分布に従うという仮定に基づく、請求項9に記載の方法。
  11. 前記全体コスト関数が、前記第1、第2、および第3の定量化関数の一次結合である、請求項1から10のいずれかに記載の方法。
  12. 前記全体コスト関数を最小化することによって、断面の実際の位置および/または向きを、物体の画像を前記関数基底へと分解するための係数と一緒に推定する前記ステップf)が、勾配降下法を使用して実行される、請求項1から11のいずれかに記載の方法。
  13. 前記物体の断面が、画像取得平面の連続的な公称の平行移動によって得られるが、先験的には知られていない無作為な回転−平行移動が前記平行移動に重畳している、請求項1から12のいずれかに記載の方法。
  14. 前記物体の断面が、共通の軸を中心とする画像取得平面の連続的な公称の回転移動によって得られるが、先験的には知られていない無作為な回転−平行移動が前記回転移動に重畳している、請求項1から12のいずれか一項に記載の方法。
  15. 前記ステップa)〜f)が、画像取得平面の連続的な公称の回転によって得られる少なくとも2つの一連の断面について繰り返され、
    前記2つの一連の断面に対応する回転軸は、実質的に互いに直角であり、
    前記2つの一連の断面から得られる物体のボリュームの再現が、補間によって融合させられる、請求項14に記載の方法。
  16. 物体の複数の断面画像シーケンスから、前記物体のボリュームを再現する方法であって、
    各々のシーケンスが、取得平面の連続的な公称の平行移動によって得られる断面によって構成されており、前記公称の平行移動に、先験的には知られていない無作為な回転−平行移動が重畳しており、前記取得平面の公称の向きが、各々のシーケンスごとに異なっておりかつ不完全な様相で既知である方法であり、
    A)請求項1から13のいずれかに記載の方法によって前記シーケンスの各々の断面の観察平面の相対的な位置および向きを推定するステップ、
    B)異なるシーケンスの間のオフセットおよび向きの差ならびに前記物体に対するオフセットおよび向きの差を推定するステップ、
    C)断面画像シーケンスの間のオフセットおよび向きの差を補償するステップ、および
    D)単一のセットを構成すると考えられる前記シーケンスの断面画像からの補間によって前記ボリュームを再現するステップ
    を含んでいる方法。
  17. 前記物体の異なる断面画像シーケンスの間のオフセットおよび向きの差を推定するステップB)が、主成分分析によって実行される、請求項16に記載の方法。
  18. 前記主成分分析が、前記断面画像シーケンスの2値化版に対して実行される、請求項17に記載の方法。
  19. 各々の断面画像シーケンスが、基準として選択されるシーケンスの2値化しきい値と一緒に推定される2値化しきい値を使用して2値化され、
    前記推定が、基準シーケンス以外の各々のシーケンスについて、該シーケンスの分散共分散行列の固有値と前記基準シーケンスの分散共分散行列の固有値との間の差の関数を最小化することによって実行される、請求項18に記載の方法。
  20. 前記差の関数が、
    Figure 2011501226
    によって与えられ、
    ここで、λおよびλ’が、それぞれ該当の2値化シーケンスおよび基準2値化シーケンスの分散共分散行列の固有値である一方で、τおよびτ’が、それぞれの2値化しきい値である、請求項19に記載の方法。
  21. ・観察平面を物体に対して平行移動させることによって得られる該物体の第1の断面画像シーケンス、および
    ・観察平面を前記物体に対して回転移動させることによって得られる前記物体の少なくとも1つの第2の断面画像シーケンス
    を含んでおり、
    先験的には知られていない無作為な回転−平行移動が、種々の断面に関する観察平面の前記平行移動または回転移動に重畳している前記物体の複数の断面画像シーケンスから、前記物体のボリュームを再現する方法であって、
    i)請求項1から13のいずれかに記載の方法を使用して、前記第1の画像シーケンスから前記ボリュームを予備的に再現するステップ、
    ii)前記第1および第2のシーケンスの断面の位置および向きを推定し、該推定に基づいて空間内に前記断面を再配置するステップ、および
    iii)前記再配置された断面の第2のシーケンスから、補間によって前記ボリュームを再現するステップ
    を含んでいる方法。
  22. ・観察平面を物体に対して平行移動させることによって得られる該物体の複数の第1の断面画像シーケンス、および
    ・観察平面を前記物体に対して回転移動させることによって得られる前記物体の少なくとも1つの第2の断面画像シーケンス
    を含んでおり、
    先験的には知られていない無作為な回転−平行移動が、種々の断面に関する観察平面の前記平行移動または回転移動に重畳している前記物体の複数の断面画像シーケンスから、前記物体のボリュームを再現する方法であって、
    i)請求項16から20のいずれかに記載の方法を使用して、前記第1の画像シーケンスから前記ボリュームを予備的に再現するステップ、
    ii)前記第2のシーケンスの断面の位置および向きを推定し、該推定に基づいて空間内に前記断面を再配置するステップ、および
    iii)前記再配置された断面の第2の画像シーケンスに基づく補間によって前記ボリュームを再現するステップ
    を含んでいる方法。
  23. ・観察平面を物体に対して回転移動させることによって得られる該物体の第1の断面画像シーケンス、および
    ・観察平面を前記物体に対して平行移動させることによって得られる前記物体の少なくとも1つの第2の断面画像シーケンス
    を含んでおり、
    先験的には知られていない無作為な回転−平行移動が、種々の断面に関する観察平面の前記平行移動または回転移動に重畳している前記物体の複数の断面画像シーケンスから、前記物体のボリュームを再現する方法であって、
    i)請求項1から12、14、または15のいずれかに記載の方法によって、前記第1の画像シーケンスから前記ボリュームを予備的に再現するステップ、
    ii)前記第2のシーケンスの断面の位置および向きを推定し、該推定に基づいて空間内に前記断面を再配置するステップ、および
    iii)前記再配置された断面の第2のシーケンスから、補間によって前記ボリュームを再現するステップ
    を含んでいる方法。
  24. 前記第2のシーケンスの断面の位置および向きを推定し、該推定に基づいて空間内に前記断面を再配置する前記ステップii)が、物体の断面画像と前記予備的に再現されたボリュームの該当の断面との間の差を量子化するための定量化関数を最小にすることを含んでいる、請求項21から23のいずれかに記載の方法。
  25. 物体の断面画像と前記予備的に再現されたボリュームの該当の断面との間の差を量子化するための定量化関数を最小にすることが、
    ・前記第2のシーケンスまたは各々の第2のシーケンスの断面のすべてが前記観察平面の一定であるが未知である変位および/または平行移動によって得られたという仮定に基づいて、予備的な推定を行う第1の段階、および
    ・種々の断面に関して一定であると仮定した観察平面の平行移動または回転移動に重畳した無作為な回転−平行移動を推定することを含む洗練を行う第2の段階
    を含んでいる請求項24に記載の方法、
  26. 前記再配置された断面の第2の画像シーケンスから前記ボリュームを再現する前記ステップiii)が、スプライン平滑化式の補間によって実行される、請求項21から25のいずれか一項に記載の方法。
  27. 前記物体の前記断面画像シーケンスが、共焦点顕微鏡法によって取得される、請求項1から26のいずれかに記載の方法。
  28. 前記物体が、共焦点顕微鏡の容器内に配置され、該物体の前記断面画像シーケンスが、該物体を容器に対して移動させることによって取得される請求項27に記載の方法。
  29. ・物体に対する取得平面の位置および/または向きが相違する該物体の一連の断面画像を取得するための手段、および
    ・前記物体の前記一連の断面画像から、前記物体のボリュームを再現するためのデータ処理手段
    を備えている物体のボリュームを再現するための装置であって、
    ・種々の断面に対応する取得平面の位置および/または向きが、不確かさを免れ得ず、
    ・前記データ処理手段が、請求項1から28のいずれかに記載の方法を実行するように構成されている
    ことを特徴とする装置。
  30. 前記物体の一連の断面画像を取得するための前記手段が、前記物体を収容するための容器と、前記物体を容器に対して移動させるための手段とを備える共焦点顕微鏡を備えている、請求項29に記載の装置。
JP2010530508A 2007-10-24 2008-10-22 物体の一連の断面画像から当該物体のボリュームを再現するための方法および装置 Expired - Fee Related JP5501240B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0707480 2007-10-24
FR0707480A FR2923054B1 (fr) 2007-10-24 2007-10-24 Procede et dispositif de reconstruction du volume d'un objet a partir d'une sequence d'images de coupes dudit objet
PCT/FR2008/001483 WO2009087318A2 (fr) 2007-10-24 2008-10-22 Procede et dispositif de reconstruction du volume d'un objet a partir d'une sequence d'images de coupes dudit objet

Publications (2)

Publication Number Publication Date
JP2011501226A true JP2011501226A (ja) 2011-01-06
JP5501240B2 JP5501240B2 (ja) 2014-05-21

Family

ID=39481579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010530508A Expired - Fee Related JP5501240B2 (ja) 2007-10-24 2008-10-22 物体の一連の断面画像から当該物体のボリュームを再現するための方法および装置

Country Status (5)

Country Link
US (1) US20100309304A1 (ja)
EP (1) EP2212733B1 (ja)
JP (1) JP5501240B2 (ja)
FR (1) FR2923054B1 (ja)
WO (1) WO2009087318A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015118378A (ja) * 2013-12-18 2015-06-25 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 顕微鏡およびspim顕微鏡検査方法
JP2015524578A (ja) * 2012-07-18 2015-08-24 ザ、トラスティーズ オブ プリンストン ユニバーシティ マルチスケールスペクトルナノスコピー
JP2017508529A (ja) * 2014-03-02 2017-03-30 ブイ.ティー.エム.(バーチャル テープ メジャー)テクノロジーズ リミテッド 内視鏡測定システム及び方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6588675B2 (ja) * 2017-03-10 2019-10-09 富士フイルム株式会社 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム
US11164015B2 (en) 2018-05-08 2021-11-02 Ford Global Technologies, Llc Simultaneous diagnosis and shape estimation from a perceptual system derived from range sensors
CN110246212B (zh) * 2019-05-05 2023-02-07 上海工程技术大学 一种基于自监督学习的目标三维重建方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0627383A (ja) * 1992-07-08 1994-02-04 Olympus Optical Co Ltd 画像表示方法および画像表示装置
JPH06259533A (ja) * 1993-03-05 1994-09-16 Olympus Optical Co Ltd 光学像再構成装置
JP2003281593A (ja) * 2002-03-20 2003-10-03 Mitsubishi Electric Corp 硬貨識別装置と硬貨登録装置と硬貨判定装置、並びに硬貨判定方法
WO2004063991A1 (ja) * 2003-01-14 2004-07-29 The Circle For The Promotion Of Science And Engineering 画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法及び多パラメータ高精度同時推定プログラム
JP2005345761A (ja) * 2004-06-03 2005-12-15 Olympus Corp 走査型光学顕微鏡装置及び走査型光学顕微鏡像から物体像の復元法
JP2006350434A (ja) * 2005-06-13 2006-12-28 Toshiba Corp 手形状認識装置及びその方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016173A (en) * 1989-04-13 1991-05-14 Vanguard Imaging Ltd. Apparatus and method for monitoring visually accessible surfaces of the body
US6289235B1 (en) * 1998-03-05 2001-09-11 Wake Forest University Method and system for creating three-dimensional images using tomosynthetic computed tomography
AU2001251539A1 (en) * 2000-04-11 2001-10-23 Cornell Research Foundation Inc. System and method for three-dimensional image rendering and analysis
AU2002302950A1 (en) * 2001-05-14 2002-11-25 Ramot University Authority For Applied Research And Industrial Development Ltd. Method of and apparatus for quantum clustering
US7127096B2 (en) * 2001-11-20 2006-10-24 Accuimage Diagnostics Corp. Method and software for improving coronary calcium scoring consistency
US6990222B2 (en) * 2001-11-21 2006-01-24 Arnold Ben A Calibration of tissue densities in computerized tomography
US7054475B2 (en) * 2001-12-28 2006-05-30 General Electric Company Apparatus and method for volumetric reconstruction of a cyclically moving object
DE60202374T2 (de) * 2002-10-25 2005-12-08 Evotec Technologies Gmbh Methode und Vorrichtung zur Aufnahme dreidimensionaler Abbildungen von schwebend gehaltenen Mikroobjekten unter Verwendung hochauflösender Mikroskopie
DE102005027963B3 (de) * 2005-06-16 2006-12-07 Siemens Ag Verfahren und Vorrichtung zur Rekonstruktion eines 3D-Bilddatensatzes eines bewegten Objektes
US7398047B2 (en) * 2005-06-22 2008-07-08 Xerox Corporation Image tracking control algorithm
US7970214B2 (en) * 2007-01-25 2011-06-28 University Of Utah Research Foundation Rotate and slant projector for fast fully-3D iterative tomographic reconstruction
US7835561B2 (en) * 2007-05-18 2010-11-16 Visiongate, Inc. Method for image processing and reconstruction of images for optical tomography

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0627383A (ja) * 1992-07-08 1994-02-04 Olympus Optical Co Ltd 画像表示方法および画像表示装置
JPH06259533A (ja) * 1993-03-05 1994-09-16 Olympus Optical Co Ltd 光学像再構成装置
JP2003281593A (ja) * 2002-03-20 2003-10-03 Mitsubishi Electric Corp 硬貨識別装置と硬貨登録装置と硬貨判定装置、並びに硬貨判定方法
WO2004063991A1 (ja) * 2003-01-14 2004-07-29 The Circle For The Promotion Of Science And Engineering 画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法及び多パラメータ高精度同時推定プログラム
JP2005345761A (ja) * 2004-06-03 2005-12-15 Olympus Corp 走査型光学顕微鏡装置及び走査型光学顕微鏡像から物体像の復元法
JP2006350434A (ja) * 2005-06-13 2006-12-28 Toshiba Corp 手形状認識装置及びその方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015524578A (ja) * 2012-07-18 2015-08-24 ザ、トラスティーズ オブ プリンストン ユニバーシティ マルチスケールスペクトルナノスコピー
JP2015118378A (ja) * 2013-12-18 2015-06-25 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 顕微鏡およびspim顕微鏡検査方法
JP2017508529A (ja) * 2014-03-02 2017-03-30 ブイ.ティー.エム.(バーチャル テープ メジャー)テクノロジーズ リミテッド 内視鏡測定システム及び方法

Also Published As

Publication number Publication date
WO2009087318A2 (fr) 2009-07-16
FR2923054A1 (fr) 2009-05-01
EP2212733B1 (fr) 2017-06-21
WO2009087318A3 (fr) 2009-09-17
JP5501240B2 (ja) 2014-05-21
FR2923054B1 (fr) 2009-12-11
EP2212733A2 (fr) 2010-08-04
US20100309304A1 (en) 2010-12-09

Similar Documents

Publication Publication Date Title
Russ Computer-assisted microscopy: the measurement and analysis of images
JP5501240B2 (ja) 物体の一連の断面画像から当該物体のボリュームを再現するための方法および装置
Umbaugh Computer imaging: digital image analysis and processing
CN109360235B (zh) 一种基于光场数据的混合深度估计方法
Umbaugh Digital image processing and analysis: human and computer vision applications with CVIPtools
JP5011168B2 (ja) 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20200082557A1 (en) Device and method for producing a three-dimensional image of an object
WO2020041517A1 (en) Systems and methods for enhanced imaging and analysis
EP3420393B1 (en) System for generating a synthetic 2d image with an enhanced depth of field of a biological sample
CN110070517B (zh) 基于退化成像机理和生成对抗机制的模糊图像合成方法
CN109584156A (zh) 显微序列图像拼接方法及装置
EP1533751B1 (en) A method for correcting distortions in multi-focus image stacks
Fortun et al. Reconstruction from multiple particles for 3D isotropic resolution in fluorescence microscopy
CN114549669B (zh) 一种基于图像融合技术的彩色三维点云获取方法
CN113945175A (zh) 一种岩石的三维数据获取方法及装置
KR102253320B1 (ko) 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템
Routier-Kierzkowska et al. New stereoscopic reconstruction protocol for scanning electron microscope images and its application to in vivo replicas of the shoot apical meristem
Krishna et al. Machine learning based de-noising of electron back scatter patterns of various crystallographic metallic materials fabricated using laser directed energy deposition
Guo et al. Silhouette-based 3D model for zebrafish High-throughput imaging
Sahay et al. Shape extraction of low‐textured objects in video microscopy
WO2018230615A1 (ja) 画像処理装置、コンピュータプログラム及び画像補完方法
CN108305269B (zh) 一种双目图像的图像分割方法及系统
Baumann et al. Three‐dimensional component labeling of digital confocal microscope images enumerates replication centers in BrdUrd labeled fibroblasts
Martišek et al. Multifocal image processing
Averkin et al. Using the method of depth reconstruction from focusing for microscope images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130917

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131216

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140311

R150 Certificate of patent or registration of utility model

Ref document number: 5501240

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees