JP2012133796A - 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム - Google Patents
立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム Download PDFInfo
- Publication number
- JP2012133796A JP2012133796A JP2012036457A JP2012036457A JP2012133796A JP 2012133796 A JP2012133796 A JP 2012133796A JP 2012036457 A JP2012036457 A JP 2012036457A JP 2012036457 A JP2012036457 A JP 2012036457A JP 2012133796 A JP2012133796 A JP 2012133796A
- Authority
- JP
- Japan
- Prior art keywords
- target
- stereoscopic image
- unit
- image reconstruction
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000009826 distribution Methods 0.000 claims abstract description 101
- 238000003384 imaging method Methods 0.000 claims abstract description 83
- 238000004364 calculation method Methods 0.000 claims abstract description 59
- 230000005540 biological transmission Effects 0.000 claims description 108
- 238000012545 processing Methods 0.000 claims description 98
- 238000010894 electron beam technology Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/02—Details
- H01J37/22—Optical or photographic arrangements associated with the tube
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
- G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/419—Imaging computed tomograph
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/22—Treatment of data
- H01J2237/221—Image processing
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/26—Electron or ion microscopes
- H01J2237/2611—Stereoscopic measurements and/or imaging
Landscapes
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pulmonology (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】対象の外郭を示す形状情報だけでなく内部構造に関する情報をも含む立体画像を再構成する。
【解決手段】対象の立体画像を再構成する立体画像再構成装置であって、濃淡で示された複数の透過型画像を撮像する撮像部と、透過型画像において複数の特徴領域を選択する特徴領域選択部と、複数の特徴領域のそれぞれの、透過型画像上の位置に基づいて、複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、複数の透過型画像を重ね合わせて対象の立体構造を示す立体画像を再構成する場合に、複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部とを備える立体画像再構成装置を提供する。
【選択図】図1
【解決手段】対象の立体画像を再構成する立体画像再構成装置であって、濃淡で示された複数の透過型画像を撮像する撮像部と、透過型画像において複数の特徴領域を選択する特徴領域選択部と、複数の特徴領域のそれぞれの、透過型画像上の位置に基づいて、複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、複数の透過型画像を重ね合わせて対象の立体構造を示す立体画像を再構成する場合に、複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部とを備える立体画像再構成装置を提供する。
【選択図】図1
Description
本発明は、立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラムに関する。特に本発明は、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラムに関する。本出願は、下記の日本出願に関連する。文献の参照による組み込みが認められる指定国については、下記の出願に記載された内容を参照により本出願に組み込み、本出願の一部とする。
特願2004−354563 出願日 2004年12月7日
特願2004−354563 出願日 2004年12月7日
従来、透過型電子顕微鏡を用いて複数の角度から対象を撮像した複数の透過型画像を、撮像方向に引き延ばして重ね合わせた場合の、濃淡の重なりに基づいて、対象の立体構造を示す立体画像を再構成する立体画像再構成装置が提案されている。また、複数の透過型画像を引き延ばして重ね合わせた場合の濃淡の重なりだけでなく、当該複数の透過型画像から算出した対象の外郭を示す形状情報に更に基づいて、より精度よく対象の立体画像を再構成する立体画像再構成装置が提案されている(例えば、特許文献1参照。)。
しかしながら、電子顕微鏡試料支持法の特殊性により、複数の透過型画像を引き延ばして重ね合わせることにより得られた濃淡の重なりによって示される領域には、実際には対象が存在していない、ゴーストと呼ばれる領域も含まれており、当該濃淡の重なりのみに基づいて再構成される立体画像の精度は低かった。また、対象の外郭を示す形状情報に更に基づいて再構成された立体画像には、対象の内部構造を示す情報が含まれていないので、特許文献1に記載の立体画像再構成装置は、対象の内部構造を知るという目的には利用できなかった。
そこで本発明は、上記の課題を解決することができる立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
上記課題を解決するために、本発明の第1の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置であって、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像部と、複数の透過型画像のそれぞれにおいて、対象に含まれる複数の特徴領域を選択する特徴領域選択部と、複数の透過型画像のそれぞれにおいて選択された複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、複数の透過型画像を重ね合わせて対象の立体構造を示す立体画像を再構成する場合に、対象全体における複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部とを備える。
当該立体画像再構成装置は、対象の立体構造の概略を示す情報を入力する立体構造情報入力部と、入力された立体構造の概略に基づき、複数の透過型画像のそれぞれに対して、対象を強調する画像処理を行う強調処理部とを更に備え、特徴領域選択部は、複数の透過型画像のそれぞれにおいて、強調処理部によって強調された対象に含まれる複数の特徴領域を選択してもよい。特徴領域分布算出部は、複数の透過型画像のそれぞれにおける、複数の特徴領域のそれぞれに含まれる対象の輪郭の位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出してもよい。撮像部は、内部が染色された、或いは染色せずとも密度分布に基づく立体構造を有する対象を含む複数の透過型画像を撮像してもよい。当該立体画像再構成装置は、複数の特徴領域のうち、既知の立体構造を有する特徴領域における、立体画像再構成部によって再構成された当該特徴領域の立体画像の濃淡が、当該既知の立体構造に収束する画像処理操作を算出する収束処理算出部と、複数の特徴領域のうち、未知の立体構造を有する特徴領域における、立体画像再構成部によって再構成された当該特徴領域の立体画像の濃淡に対して、収束処理算出部によって算出された画像処理操作を実行する収束処理部とを更に備えてもよい。
立体画像再構成部は、特徴領域分布算出部により算出された複数の特徴領域の空間的な分布に基づいて対象における電子線の透過方向の厚みを算出する厚み算出部、および、厚み算出部により算出された対象の厚み内の領域を複数の微小領域に分割し、撮像部により撮像された複数の透過型画像による濃淡に整合するべく、複数の微小領域の各々に濃淡を割り付ける微小領域割付部を有してもよい。微小領域割付部は、対象の厚み内の微少領域に対応して複数の透過型画像を複数の微小領域に分割し、複数の透過型画像の複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当て、厚み内の微小領域の各々には濃淡の二値のいずれかを割り付けて、透過型画像を撮像した角度から見た厚み内の微小領域の濃淡の二値の合計が、透過型画像における対応する微小領域の濃淡の整数値に一致するように、厚み内の微小領域に濃淡の二値のいずれかを割り付けてもよい。当該立体画像再構成装置は、対象の立体構造における既知の情報を入力する立体構造情報入力部をさらに備え、微小領域割付部は、立体構造情報入力部により入力された既知の情報に整合させて、複数の微小領域に濃淡を割り付けてもよい。
上記課題を解決するために、本発明の第2の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置であって、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像部と、対象について予め定められた厚み内の領域を複数の微小領域に分割し、撮像部により撮像された複数の透過型画像による濃淡に整合するべく、複数の微小領域の各々に濃淡を割り付けることにより、対象の立体画像を再構成する微小領域割付部とを備える。微小領域割付部は、対象の厚み内の微少領域に対応して複数の透過型画像を複数の微小領域に分割し、複数の透過型画像の複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当て、厚み内の微小領域の各々には濃淡の二値のいずれかを割り付けて、透過型画像を撮像した角度から見た厚み内の微小領域の濃淡の二値の合計が、透過型画像における対応する微小領域の濃淡の整数値に一致するように、厚み内の微小領域に濃淡の二値のいずれかを割り付けてもよい。当該立体画像再構成装置は、対象の立体構造における既知の情報を入力する立体構造情報入力部をさらに備え、微小領域割付部は、立体構造情報入力部により入力された既知の情報に整合させて、複数の微小領域に濃淡を割り付けてもよい。
また、本発明の第3の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成方法であって、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像段階と、複数の透過型画像のそれぞれにおいて、対象に含まれる複数の特徴領域を選択する特徴領域選択段階と、複数の透過型画像のそれぞれにおいて選択された複数の特徴領域のそれぞれの位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する特徴領域分布算出段階と、複数の透過型画像を重ね合わせて対象の立体構造を示す立体画像を再構成する場合に、対象全体における複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成段階とを備える。
また、本発明の第4の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成方法であって、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像段階と、対象について予め定められた厚み内の領域を複数の微小領域に分割し、撮像段階により撮像された複数の透過型画像による濃淡に整合するべく、複数の微小領域の各々に濃淡を割り付けることにより、対象の立体画像を再構成する微小領域割付段階とを備える。
また、本発明の第5の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置としてコンピュータを機能させる立体画像再構成プログラムであって、コンピュータを、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像部と、複数の透過型画像のそれぞれにおいて、対象に含まれる複数の特徴領域を選択する特徴領域選択部と、複数の透過型画像のそれぞれにおいて選択された複数の特徴領域のそれぞれの位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、複数の透過型画像を重ね合わせて対象の立体構造を示す立体画像を再構成する場合に、対象全体における複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部とを備える立体画像再構成装置として機能させる。
また、本発明の第6の形態においては、対象を撮像した画像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置としてコンピュータを機能させる立体画像再構成プログラムであって、コンピュータを、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する撮像部と、対象について予め定められた厚み内の領域を複数の微小領域に分割し、撮像部により撮像された複数の透過型画像による濃淡に整合するべく、複数の微小領域の各々に濃淡を割り付けることにより、対象の立体画像を再構成する微小領域割付部とを備える立体画像再構成装置として機能させる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明によれば、対象の外郭を示す形状情報だけでなく、対象の内部構造に関する情報をも含む立体画像を再構成することができる。
10 立体画像再構成装置、20 立体画像再構成装置、30 立体画像再構成装置、100 撮像部、110 立体構造情報入力部、120 強調処理部、130 特徴領域選択部、140 特徴領域分布算出部、150 立体画像再構成部、160 収束処理算出部、170 収束処理部、180 出力部、200 対象、202 対象、210〜220 軸、300a〜c 透過型画像、302a〜b 透過型画像、400a〜c 濃淡分布情報
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の実施形態に係る立体画像再構成装置10の機能構成の一例を示すブロック図である。立体画像再構成装置10は、例えば細胞の蛋白質等である対象を撮像した画像に基づいて、対象の立体構造を示す立体画像を再構成する。
本発明の実施形態に係る立体画像再構成装置10は、対象の外郭を示す形状情報だけでなく、対象の内部構造に関する情報をも含む立体画像を再構成することを目的とする。また、本発明の実施形態に係る立体画像再構成装置10は、従来の立体画像再構成装置に比べて、より少ない枚数の画像に基づいて、精度の高い立体画像を再構成することを更なる目的とする。
立体画像再構成装置10は、撮像部100、立体構造情報入力部110、強調処理部120、特徴領域選択部130、特徴領域分布算出部140、立体画像再構成部150、収束処理算出部160、収束処理部170、及び出力部180を備える。撮像部100は、例えば透過型電子顕微鏡であってよく、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する。ここで、撮像部100は、例えば、ネガティブ染色法等によって内部が染色された、或いは染色せずとも密度分布に基づく立体構造を有する対象を含む、複数の透過型画像を撮像してよい。そして、撮像部100は、撮像した複数の透過型画像を、強調処理部120及び立体画像再構成部150に出力する。
立体構造情報入力部110は、例えば利用者の操作等に基づいて、対象の立体構造の概略を入力する。そして、立体構造情報入力部110は、入力した立体構造の概略を示す情報を、強調処理部120及び収束処理算出部160に出力する。強調処理部120は、立体構造情報入力部110によって入力された、対象の立体構造の概略に基づき、撮像部100によって撮像された複数の透過型画像のそれぞれに対して、対象を強調する画像処理を実行する。そして、強調処理部120は、対象を強調する画像処理を実行した複数の透過型画像を、特徴領域選択部130に出力する。
特徴領域選択部130は、強調処理部120から受け取った複数の透過型画像のそれぞれにおいて、対象に含まれる複数の特徴領域を選択する。そして、特徴領域選択部130は、複数の透過型画像、及び複数の透過型画像のそれぞれにおいて選択した複数の特徴領域のそれぞれを示す情報、例えば特徴領域の位置、形状、及び大きさ等を、特徴領域分布算出部140に出力する。特徴領域分布算出部140は、複数の透過型画像と、複数の透過型画像のそれぞれにおいて特徴領域選択部130により選択された複数の特徴領域のそれぞれを示す情報を、特徴領域選択部130から受け取る。そして、特徴領域分布算出部140は、複数の透過型画像のそれぞれにおいて選択された複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する。そして、特徴領域分布算出部140は、算出した複数の特徴領域のそれぞれの分布を示す情報を、立体画像再構成部150に出力する。
立体画像再構成部150は、撮像部100から受け取った複数の透過型画像を重ね合わせて対象の立体構造を再構成する。この場合に、立体画像再構成部150は、特徴領域分布算出部140により算出された、対象全体における複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する。そして、立体画像再構成部150は、再構成した立体画像を収束処理算出部160に出力する。
収束処理算出部160は、特徴領域選択部130によって選択された複数の特徴領域のうち、既知の立体構造を有する特徴領域における、立体画像再構成部150によって再構成された当該特徴領域の立体構造の濃淡が、当該既知の立体構造に収束する画像処理操作を算出する。そして、収束処理算出部160は、再構成された立体画像と、算出した画像処理操作を示す情報とを、収束処理部170に出力する。収束処理部170は、特徴領域選択部130によって選択された複数の特徴領域のうち、未知の立体構造を有する特徴領域における、立体画像再構成部150によって再構成された当該特徴領域の立体画像の濃淡に対して、収束処理算出部160によって算出された画像処理操作を実行する。そして、収束処理部170は、画像処理を実行した立体画像を、出力部180に出力する。出力部180は、例えばLCDパネル等の表示装置やハードディスクドライブ等の記憶装置であってよく、収束処理部170から受け取った立体画像を外部に出力して、利用者に提供する。
本発明の実施形態に係る立体画像再構成装置10によれば、複数の角度から対象を撮像した複数の透過型画像のそれぞれにおける、複数の特徴領域の空間的な分布に基づいて、対象全体に濃淡を割り付けた立体画像を再構成することができる。これにより、従来の立体画像再構成装置とは異なり、立体構造を有する対象の外殻を示す形状情報だけでなく、内部構造に関する情報をも含む立体画像を、利用者に提供することができる。
また、内部が染色された、或いは染色せずとも密度分布に基づく立体構造を有する対象を、透過型電子顕微鏡を用いて撮像すると共に、対象中の特定の内部構造の空間位置を、例えばパターン認識等の別手法により推定した情報に従って制限を加えることにより、従来の、濃淡情報の組み合わせのみにより立体画像を再構成する場合に比べて、試料と撮像方向との角度を変えて得る傾斜画像の数が非常に少数で済むため、画像の撮像によって対象の構造が破壊される程度を低く抑えつつ、立体画像を再構成することができる。
なお、本図において、収束処理算出部160は、立体構造情報入力部110によって入力された立体構造の概略を示す情報に基づいて、既知の立体構造を有する特徴領域における立体構造の濃淡が当該既知の立体構造に収束する画像処理操作を算出するとして説明したが、これに代えて、収束処理算出部160は、強調処理部120が用いる立体構造の概略とは異なる、例えば利用者によって別途入力された情報等に基づいて、画像処理操作を算出してもよい。
図2は、本発明の実施形態に係る撮像部100により撮像される透過型画像の第1の例である透過型画像300aを示す。図3は、本発明の実施形態に係る撮像部100により撮像される透過型画像の第2の例である透過型画像300bを示す。図4は、本発明の実施形態に係る撮像部100により撮像される透過型画像の第3の例である透過型画像300cを示す。撮像部100は、少なくとも3つの互いに異なる角度から対象200を撮像する。本実施形態において、撮像部100は、A方向から対象200を撮像することにより透過型画像300aを出力する。また、撮像部100は、B方向から対象200を撮像することにより透過型画像300bを出力する。また、撮像部100は、C方向から対象200を撮像することにより透過型画像300cを出力する。ここで、図3及び図4に示すように、A方向とB方向とがなす角度と、A方向とC方向とがなす角度とは、互いに等しい角度θとなることが好ましい。また、B方向及びC方向は、同一の軸210を回転中心としてA方向を回転させた方向であってよく、また、互いに異なる軸、例えば軸210と軸220とのそれぞれを回転中心としてA方向を回転させた方向であってもよい。
図5は、本発明の実施形態に係る立体画像再構成部150による複数の透過型画像の重ね合わせ処理の一例を示す。立体画像再構成部150は、撮像部100により撮像された複数の透過型画像のそれぞれを、当該透過型画像の撮像方向に引き延ばして、複数の濃淡分布情報を生成する。そして、立体画像再構成部150は、生成した複数の濃淡分布情報を、それぞれの濃度分布情報に対応する透過型画像における撮像方向の間の角度の関係を維持したまま重ね合わせる。
具体的には、立体画像再構成部150は、撮像部100が対象200をA方向から撮像した透過型画像300aを、A方向に引き延ばして、濃淡分布情報400aを生成する。また、立体画像再構成部150は、撮像部100が対象200をB方向から撮像した透過型画像300bを、B方向に引き延ばして、濃淡分布情報400bを生成する。また、立体画像再構成部150は、撮像部100が対象200をC方向から撮像した透過型画像300cを、C方向に引き延ばして、濃淡分布情報400cを生成する。そして、立体画像再構成部150は、生成した濃淡分布情報400a、濃淡分布情報400b、及び濃淡分布情報400cのそれぞれを、A方向、B方向、及びC方向の間の角度の関係を維持したまま重ね合わせる。なお、本図においては、A方向、B方向、及びC方向を含む平面における濃度分布情報の縦断面が示されている。
ここで、立体画像再構成部150は、重ね合わせた濃淡分布情報のうち、すべての濃淡分布情報が重なり合う領域である領域410を、対象200が存在している領域であるとして検出する。但し、領域400には、実際には対象200が存在していない、ゴーストと呼ばれる領域も含まれているので、立体画像再構成部150は、領域400を検出したのみでは、対象200の立体構造を示す立体画像を高い精度で再構成することはできない。
図6は、本発明の実施形態に係る立体画像再構成部150による立体画像の再構成処理の一例を示す。特徴領域選択部130は、複数の透過型画像のそれぞれにおいて、複数の特徴領域を選択する。具体的には、撮像部100が、対象に対する角度が単調増加、或いは単調減少する順序で、複数の透過型画像を撮像した場合において、特徴領域選択部130は、一の透過型画像において選択した特徴領域が、当該一の透過型画像に前後して撮像された他の透過型画像において、何れの領域に対応するかを検出する。ここで、特徴領域選択部130は、例えば、相互相関処理と呼ばれる公知の画像処理技術を用いることにより、それぞれの透過型画像において対応する特徴領域を検出してよい。また、特徴領域選択部130は、当該一の透過型画像における特徴領域として、例えば、他の領域に比べて、画像における濃淡の変化がより大きい領域を選択してよい。そして、特徴領域選択部130は、前述した、前後して撮像された2枚の透過型画像において対応する特徴領域を検出する処理を、複数の透過型画像に含まれる前後して撮像された2枚の透過型画像の組のそれぞれにおいて順次実行することにより、当該複数の透過型画像において、複数の特徴領域のそれぞれを追跡する。
続いて、特徴領域分布算出部140は、複数の透過型画像のそれぞれにおいて、特徴領域選択部130により選択された複数の特徴領域のそれぞれの位置に基づいて、当該複数の特徴領域のそれぞれの、対象全体における空間的な位置を算出する。具体的には、特徴領域分布算出部140は、同一点を異なる角度から観測した場合の視差に基づいて、当該同一点の高さ情報を算出するステレオ計測法と呼ばれる公知の手法を用いることにより、互いに異なる角度から撮像された複数の透過型画像における、複数の特徴領域のそれぞれの位置の変化から、当該複数の特徴領域のそれぞれの、対象全体における空間的な位置を算出する。例えば、本図において、特徴領域分布算出部140は、複数の特徴領域の空間的な位置を、点500a、点500b、及び点500cとして算出する。ここで、点500a、点500b、及び点500cは、図2に示したA方向から見た場合に、重なって見える点であるとする。但し、本図においては、説明を簡潔にするべく、3個の特徴領域のみが示されているが、特徴領域分布算出部140が空間的な位置を算出する特徴領域の数は3個に限定されず、より多数の特徴領域について空間的な位置を算出することが、より高い精度で対象200の立体画像を再構成する上では好ましい。
なお、特徴領域分布算出部140は、複数の特徴領域のそれぞれにおける重心位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出してよい。また、これに代えて、特徴領域分布算出部140は、複数の透過型画像のそれぞれにおける、複数の特徴領域のそれぞれに含まれる対象の輪郭の位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出してもよい。多くの場合、透過型画像に含まれる対象の輪郭を示す部分画像は、他の部分画像に比べて特徴が明確であるので、対象の輪郭の位置に基づくことによって、当該対象領域の位置の変化を、高い精度で算出することができる。これにより、複数の特徴領域のそれぞれの空間的な位置を高い精度で算出して、対象の立体画像を、より高い精度で再構成することができる。
続いて、立体画像再構成部150は、撮像された複数の透過型画像を撮像方向に引き延ばすことにより得られた濃淡分布情報に基づいて検出した、対象200が存在する領域410と、特徴領域分布算出部140により算出された、複数の特徴領域の空間的な位置とに基づいて、対象200の立体画像を再構成する。具体的には、立体画像再構成部150は、領域410のうち、本図に示した点500a、点500b、及び点500cのそれぞれの近傍に、対象200の少なくとも一部が存在しているとして、それぞれの点の近傍に、領域410の全体における濃淡を均等に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成する。本例では、対象200をA方向から見た場合には、複数の特徴領域の空間的な位置である、点500a、点500b、及び点500cが重なって見えるので、透過型画像300aのみを用いた場合には、対象200に3個の特徴領域が存在しているのか、或いは1個の特徴領域のみが存在しているのかを判断することはできない。しかし、立体画像再構成装置10によれば、A方向だけでなく、B方向やC方向といった、複数の異なる角度から対象を撮像した複数の透過型画像に基づいて、特徴領域のそれぞれの空間的な位置を算出することにより、対象200に、点500a、点500b、及び点500cのそれぞれが存在していることを検出することができる。そして、立体画像再構成装置10は、このようにして取得した、対象200の内部構造を示す情報に基づいて、対象200全体に濃淡を割り付けた立体画像を再構成することができる。
本発明の実施形態に係る立体画像再構成装置10によれば、複数の透過型画像を引き延ばして重ね合わせることにより検出した領域だけでなく、ステレオ計測法等により算出した、複数の特徴領域の空間的な位置に更に基づいて、対象の立体画像を再構成することができる。従って、複数の透過型画像を引き延ばして重ね合わせることにより検出した領域のみに基づいて、対象の立体画像を再構成する場合や、対象の外殻の形状情報に基づいて対象の立体画像を再構成する場合に比べて、それぞれの透過型画像から、より多くの情報を取得して、対象の立体画像を再構成することができる。即ち、立体画像再構成装置10によれば、従来の立体画像再構成装置に比べて、より少ない枚数の透過型画像から、立体画像を再構成することができる。これにより、画像を撮像する際の、対象に透過させる電子線によって対象の構造が破壊される程度を低く抑えながらも、精度の高い立体画像を再構成することができる。また、これにより、多数の画像を撮像している間に構造が変化してしまうような、構造が不安定である対象を用いる場合であっても、精度の高い立体画像を再構成することができる。
図7は、本発明の実施形態に係る強調処理部120における処理の一例を示す。強調処理部120は、撮像部100によって撮像された透過型画像を、立体構造情報入力部110によって入力された対象の立体構造の概略に基づいて、例えば公知のモルフォロジカルフィルタ(Morphological Filter)処理と呼ばれる技術等を用いて画像処理することにより、当該透過型画像における対象を強調する。なお、対象の立体構造の概略とは、例えば、対象が線状である場合における、対象の太さを示す情報等であってよく、利用者によって入力された情報であってよい。以降、本図を用いて、強調処理部120における画像処理の例について説明する。
図7(a)は、撮像部100によって撮像された透過型画像の、ある断層線上における位置と輝度との関係を示している。なお、本例において、透過型画像は、256階調のグレースケール画像として撮像されている。図7(b)は、立体構造情報入力部110によって入力された、対象の立体構造の概略を示す。本例において、対象は、線状の構造を有しており、図7(b)は、対象の典型的な太さTを示している。
そして、強調処理部120は、撮像された透過型画像と、入力された対象の立体構造の概略とに基づいて、透過型画像のうち、対象以外の部分、即ち背景ノイズを検出する。具体的には、強調処理部120は、撮像された透過型画像のうち、対象の構造における典型的な太さTとの差が、例えば利用者等によって予め定められた基準値以下である太さの構造として認識される領域、即ち、図7(a)に示した、領域600、領域610、及び領域620を、対象の一部を示す領域として検出する。そして、強調処理部120は、撮像された透過型画像から、対象の一部を示す領域として検出した部分を取り除いた画像である背景画像を生成する。図7(c)は、このようにして強調処理部120が生成した背景画像における、図7(a)の場合と同一の断層線上における位置と輝度との関係を示している。
そして、強調処理部120は、撮像された透過型画像から、取得した背景画像を差し引くことにより、対象を示す画像である対象画像を生成する。具体的には、強調処理部120は、撮像された透過型画像に含まれる画素のそれぞれの輝度から、背景画像に含まれる、対応する画素の輝度を差し引くことにより得られた画像を、対象画像とする。図7(d)は、このようにして強調処理部120が生成した対象画像における、図7(a)の場合と同一の断層線上における位置と輝度との関係を示している。
そして、強調処理部120は、生成した対象画像に対して二値化処理を行う。具体的には、強調処理部120は、生成した対象画像に含まれる、対象を示す領域のそれぞれについて、当該領域における輝度の最大値を、例えば255等とするように、当該領域におけるコントラストを強調することにより、対象を強調した対象強調画像を生成する。図7(e)は、このようにして強調処理部120が生成した対象強調画像における、図7(a)の場合と同一の断層線上における位置と輝度との関係を示している。
強調処理部120は、以上のようにして、撮像された透過型画像に対して対象を強調する画像処理を実行した画像を、特徴領域選択部130及び立体画像再構成部150に出力する。
本発明の実施形態に係る立体画像再構成装置10によれば、撮像した透過型画像における濃淡情報から、対象を示す濃淡情報とは異なる背景ノイズを除去して、対象を強調することができる。これにより、対象の立体画像を、より高い精度で再構成することができる。
図8は、本発明の実施形態に係る収束処理算出部160における処理の一例を示す。本例において、立体画像再構成部150により再構成された、ある特徴領域の立体画像の濃淡は、図8(a)に示すように、点700a、点700b、及び点700cという3個の点を含んでいる。しかし、例えば立体構造情報入力部110によって入力された、当該特徴領域における既知の立体構造は、1個の点のみを含んでいたとする。つまり、本例においては、当該特徴領域における再構成された立体画像の濃淡にブレが発生している。
この場合、まず、収束処理算出部160は、当該特徴領域において再構成された立体画像の濃淡が、既知の立体構造に収束する画像処理操作を算出する。具体的には、収束処理算出部160は、点700aを基準として立体画像の濃淡を収束させるべく、図8(b)に示すように、点700a及び点700cのそれぞれが、点700aの位置に収束する画像処理操作を算出する。ここで、画像処理操作とは、例えば、特徴領域の少なくとも一部に対する拡大、縮小、回転、変形等の、多様な画像処理を含んでいてよい。そして、収束処理部170は、本図に示した特徴領域とは異なる、立体構造が未知である他の特徴領域において再構成された立体画像の濃淡に対して、収束処理算出部160によって算出された画像処理操作を実行する。
透過型電子顕微鏡を用いて複数の角度から対象を撮像する場合、装置上の制約や、対象の試料の特性等により、当該角度に制限が生じる場合がある。具体的には、図3及び図4において示した角度θが、±60度程度の範囲内に限定される。そして、当該範囲外の角度における対象の投影像が不足することにより、再構成された立体画像の断層像面において、本来、方向に依らず均一な分解能を有するべき再構成像が、高さ方向の分解能のみ劣化するという問題が発生する。このため、全ての断層像が一方向に伸びていたり、または、実際とは異なる、誤った構造や形態を表したりする立体画像が再構成されてしまい、十分に高い解像度で対象の立体構造を示す立体画像を再構成することができない場合がある。しかし、本発明の実施形態に係る立体画像再構成装置10によれば、立体構造が既知である特徴領域における立体画像の濃淡を、当該既知である立体構造に収束させる画像処理操作を算出して、立体構造が未知である他の特徴領域における立体構造の濃淡に対して、当該画像処理操作を実行することができる。これにより、再構成した立体画像に対して、対象全体において濃淡の修正を行うことができるので、より高い解像度で対象の立体構造を示す、品質の高い立体画像を出力することができる。
図9は、本発明の実施形態に係る立体画像再構成装置10を用いる立体画像再構成方法における処理の流れの一例を示すフローチャートである。まず、撮像部100が、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する(S1000)。続いて、立体構造情報入力部110は、対象の立体構造の概略を示す情報を入力する(S1010)。続いて、強調処理部120は、入力された立体構造の概略に基づき、撮像された複数の透過型画像のそれぞれに対して、対象を強調する画像処理を実行する(S1020)。
続いて、特徴領域選択部130は、複数の透過型画像のそれぞれにおいて、強調処理部によって強調された対象に含まれる複数の特徴領域を選択する(S1030)。続いて、特徴領域分布算出部140は、複数の透過型画像のそれぞれにおいて選択された複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する(S1040)。続いて、立体画像再構成部150は、複数の透過型画像を重ね合わせて対象の立体構造を再構成する(S1050)。ここで、立体画像再構成部150は、対象全体における複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する。
続いて、収束処理算出部160は、複数の特徴領域のうち、既知の立体構造を有する特徴領域における、再構成された当該特徴領域の立体構造の濃淡が、当該既知の立体構造に収束する画像処理操作を算出する(S1060)。続いて、収束処理部170は、複数の特徴領域のうち、未知の立体構造を有する特徴領域における、再構成された当該特徴領域の立体画像の濃淡に対して、収束処理算出部160によって算出された画像処理操作を実行する(S1070)。そして、出力部180は、収束処理部170によって画像処理が実行された立体画像を外部に出力して、利用者に提供する(S1080)。
図10は、本発明の実施形態に係るコンピュータ1500のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ1500は、ホストコントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィックコントローラ1575、及び表示装置1580を有するCPU周辺部と、入出力コントローラ1584によりホストコントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する入出力部と、入出力コントローラ1584に接続されるROM1510、フレキシブルディスクドライブ1550、及び入出力チップ1570を有するレガシー入出力部とを備える。
ホストコントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505及びグラフィックコントローラ1575とを接続する。CPU1505は、ROM1510及びRAM1520に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ1575は、CPU1505等がRAM1520内に設けたフレームバッファ上に生成する画像データを取得し、表示装置1580上に表示させる。これに代えて、グラフィックコントローラ1575は、CPU1505等が生成する画像データを格納するフレームバッファを、内部に含んでもよい。
入出力コントローラ1584は、ホストコントローラ1582と、比較的高速な入出力装置である通信インターフェイス1530、ハードディスクドライブ1540、CD−ROMドライブ1560を接続する。通信インターフェイス1530は、ネットワークを介して他の装置と通信する。ハードディスクドライブ1540は、コンピュータ1500内のCPU1505が使用するプログラム及びデータを格納する。CD−ROMドライブ1560は、CD−ROM1595からプログラム又はデータを読み取り、RAM1520を介してハードディスクドライブ1540に提供する。
また、入出力コントローラ1584には、ROM1510と、フレキシブルディスクドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、コンピュータ1500が起動時に実行するブートプログラムや、コンピュータ1500のハードウェアに依存するプログラム等を格納する。フレキシブルディスクドライブ1550は、フレキシブルディスク1590からプログラム又はデータを読み取り、RAM1520を介してハードディスクドライブ1540に提供する。入出力チップ1570は、フレキシブルディスクドライブ1550や、例えばパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して各種の入出力装置を接続する。
RAM1520を介してハードディスクドライブ1540に提供される立体画像再構成プログラムは、フレキシブルディスク1590、CD−ROM1595、又はICカード等の記録媒体に格納されて利用者によって提供される。立体画像再構成プログラムは、記録媒体から読み出され、RAM1520を介してコンピュータ1500内のハードディスクドライブ1540にインストールされ、CPU1505において実行される。コンピュータ1500にインストールされて実行される立体画像再構成プログラムは、CPU1505等に働きかけて、コンピュータ1500を、図1から図9にかけて説明した立体画像再構成装置10として機能させる。
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDやPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ1500に提供してもよい。
図11は、本発明の他の実施形態に係る立体画像再構成装置20の機能構成の一例を示すブロック図である。立体画像再構成装置20は、撮像部100、立体構造情報入力部110、特徴領域選択部130、特徴領域分布算出部140、立体画像再構成部150、及び出力部180を備える。立体画像再構成部150は、厚み算出部152、微小領域割付部154、逆投影部156を備える。
撮像部100は、立体画像再構成装置10の撮像部100と同一の構成、機能を有する。撮像部100は、対象を複数の角度から撮像して、複数の透過型画像を取得し、特徴領域選択部130及び厚み算出部152に出力する。立体構造情報入力部110は、例えば利用者の操作等に基づいて、対象の立体構造における既知の情報を入力する。そして、立体構造情報入力部110は、入力された立体構造の概略を示す情報を、微小領域割付部154に出力する。
特徴領域選択部130は、撮像部100から受け取った複数の透過型画像のそれぞれにおいて、対象に含まれる複数の特徴領域を選択する。そして、特徴領域選択部130は、複数の透過型画像、及び複数の透過型画像のそれぞれにおいて選択した複数の特徴領域のそれぞれを示す情報、例えば特徴領域の位置、形状、及び大きさ等を、特徴領域分布算出部140に出力する。特徴領域分布算出部140は、複数の透過型画像と、複数の透過型画像のそれぞれにおいて特徴領域選択部130により選択された複数の特徴領域のそれぞれを示す情報を、特徴領域選択部130から受け取る。そして、特徴領域分布算出部140は、複数の透過型画像のそれぞれにおいて選択された複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的な分布を算出する。そして、特徴領域分布算出部140は、算出した複数の特徴領域のそれぞれの分布を示す情報を、厚み算出部152に出力する。
厚み算出部152は、特徴領域分布算出部140により算出された複数の特徴領域の空間的な分布に基づいて対象における電子線の透過方向の厚みを算出する。厚み算出部152は、特徴領域の空間的な分布、および、算出した厚みを微小領域割付部154に出力する。
微小領域割付部154は、厚み算出部152により算出されたその対象の厚み内の領域を複数の微小領域に分割する。さらに、微小領域割付部154は、撮像部100により撮像された複数の透過型画像による濃淡に整合するべく、その複数の微小領域の各々に濃淡を割り付けた立体画像を再構成する。この場合に、微小領域割付部154は、まず、その対象の厚み内の微少領域に対応して複数の透過型画像を複数の微小領域に分割する。さらに微小領域割付部154は、分割した複数の透過型画像の複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当てる。そして、微小領域割付部154は、その対象の厚み内の微小領域の各々に、濃淡の二値のいずれかを割り付けて、その透過型画像を撮像した角度から見た厚み内の微小領域の濃淡の二値の合計が、その透過型画像における対応する微小領域の濃淡の整数値に一致するように、その厚み内の微小領域に濃淡の二値のいずれかを割り付ける。微小領域割付部154は、同様にして、対象全体について、厚み内の微小領域に濃淡の二値のいずれかを割り付けることにより、その対象全体についての密度分布を取得する。微小領域割付部154は、取得した密度分布を逆投影部156に供給する。
逆投影部156は、取得した対象202の密度分布上に、透過型画像の濃淡を割り付けて、対象202の立体画像を再構成する。逆投影部156は、再構成した立体画像を出力部180に出力する。
図12は、本発明の実施形態に係る立体画像再構成装置20を用いる立体画像再構成方法における処理の流れの一例を示すフローチャートである。図13は、本発明の実施形態に係る撮像部100により撮像される対象202を模式的に示す図である。図14は、本発明の実施形態に係る撮像部100により撮像される透過型画像302a、302bを示す図である。なお、本フローチャートのステップS1052以降は、上記図13、図14に加え、図15から図17を参照して説明する。
撮像部100は、図13に示すように、対象202に対して一の角度(0°)から電子線を透過させることにより、図14(a)に示す対象202を含む透過型画像302aを撮像する(S1000)。撮像部100は、また、対象202に対して平面上の他の角度(10°)から電子線を透過させることにより、図14(b)に示す対象202を含む透過型画像302bを撮像する(同ステップ)。以下、同様に、撮像部100は、対象202の特定の平面に対して10度ずつ角度を変えて、複数の透過型画像を撮像する。なお、以下、説明の便宜上、透過型画像302a、b以外の非図示の透過型画像についてはその説明を一部省略する。
続いて、立体構造情報入力部110は、対象202の既知の情報を入力する(S1010)。例えば、対象202がファイバー状の内部構造であることが既知の情報として知られている場合には、そのファイバー状の構造の長さ、太さ等がユーザから立体構造情報入力部110に入力される。続いて、特徴領域選択部130は、透過型画像302a、bのそれぞれにおいて、対象202に含まれる複数の特徴領域を選択する(S1030)。続いて、特徴領域分布算出部140は、透過型画像302a、bのそれぞれにおいて選択された複数の特徴領域のそれぞれの、透過型画像302a、bにおける位置に基づいて、対象202全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象202全体における複数の特徴領域の空間的な分布を算出する(S1040)。なお、ステップS1010、S1030、S1040は、図1から図10に示す立体画像再構成装置10の動作と同様である。
図15は、本発明の実施形態に係る厚み算出部152により算出される対象202の厚みを模式的に示す平面図である。図16は、本発明の実施形態に係る撮像部100により撮像される透過型画像302a、302bのヒストグラムを示す図である。図17は、本発明の実施形態に係る微小領域割付部154により濃淡が割り付けられる微小領域割付画像である。
厚み算出部152は、図15に示すように、特徴領域分布算出部140により算出された対象202全体における複数の特徴領域の空間的な分布に基づいて、対象202における電子線の透過方向の厚みdを算出する(S1052)。なお、図15は、算出された厚みの一例であって、対象202を撮像した角度(0°)と断面Lを含む平面上において平行する図13に示す補助線Aにおける対象202の厚みdを示す。また、厚み算出部152は、また、図17の微小領域割付画像における微小領域ΔpΔqに対応して、図15の厚みdを微小領域ΔpΔqに分割する。
続いて、微小領域割付部154は、図15に示す厚み内の微少領域ΔpΔqに対応して、図16(a)に示す透過型画像302aの線分L上の領域を複数の微小領域Δp(例えばΔp×Δpの大きさの画素)に分割する(S1054)。同様に、微小領域割付部154は、図15に示す厚み内の微少領域ΔpΔqに対応して、図16(b)に示す透過型画像302bの線分L上の領域を複数の微小領域Δpに分割する(同ステップ)。
続いて、微小領域割付部154は、透過型画像302aの線分L上の微小領域ΔpにおけるS番目の画素(画素S)について、図16(a)に示すように、濃淡に比例した整数値として画素値NS,0を割り当てる(S1056)。一例として、微小領域割付部154は、透過型画像302aの線分L上の画素Sを白黒の256階調であらわした場合の画素値をNS,0とする。同様に、微小領域割付部154は、その線分L上の他の画素S−1等について、濃淡に比例した整数値として画素値NS−1,0等を割り当てる。さらに同様に、微小領域割付部154は、透過型画像302bの線分L上の微小領域Δpのそれぞれに対応する画素についても、図16(b)に示すように、濃淡に比例した整数値を画素値として割り当てる。
微小領域割付部154は、微小領域割付画像の微小領域に濃淡の二値を割り付ける(S1058)。この場合に、まず、微小領域割付部154は、二次元の画面を微小領域ΔpΔqに分割した微小領域割付画像を準備する。次に、特定の角度(0°)について、微小領域割付部154は、図15の厚みdに含まれる微小領域に対応する図17(a)の微小領域ΔpΔq(図17(a)における一点鎖線の領域内)に、図16(a)の画素Sに対して割り当てられた画素値NS,0に対応した二値を割り付ける。この場合に、微小領域割付部154は、透過型画像302aが撮像された角度(0°)から見た厚み方向の微小領域群PS,0に含まれる微小領域ΔpΔqの当該二値の合計KS,0が、透過型画像302aの線分L上の画素Sの画素値NS,0に一致するように、二値を割り付ける。
例えば、図17(a)に示す例において、微小領域割付部154は、角度(0°)における画素Sの画素値NS,0に「4」を割り当てていたとする。この場合に、微小領域割付部154は、微小領域群PS,0に含まれる微小領域ΔpΔqの当該二値の合計KS,0が「4」となる拘束条件の下で、角度(0°)における微小領域群PS,0に含まれる複数の微小領域ΔpΔqのうち、4つの微小領域800c、d、e、fに構造が存在することを示す白(図面上は黒、値は1であってもよい。)を割り付ける。この場合に、微小領域割付部154は、厚みdに対応する領域に含まれる微小領域のうちの4つの微小領域を、一旦、ランダムに選択して白を割り付けてもよい。
次に、微小領域割付部154は、上記角度(0°)に係る拘束条件を満たしつつ、他の角度(10°)について、微小領域割付画像の微小領域に濃淡の二値を割り付ける。この場合に、微小領域割付部154は、上記角度(0°)の場合に割り付けた白の微小領域の位置を、上記拘束条件を満たしつつ変更する。
例えば、微小領域割付部154は、図17(a)における微小領域群PS,0の二値の合計KS,0を保ちつつ、図17(b)における微小領域群PS,10の二値の合計KS,10が画素値NS,10になるべく、図17(a)で一旦、割り付けた微小領域800fを802eに割り付けなおす。なお、図17(b)においては、図17(a)の一点鎖線を省略しているが、図17(b)においても、図15の厚みdに含まれる微小領域に対応する微小領域ΔpΔqに白が割り付けられることが好ましい。
同様に、微小領域割付部154は、二つの角度(0°、10°)の両方について線分L上の画素Sの拘束条件を満たして、微小領域割付画像の微小領域に白を割り付ける。さらに、他の角度についても、これらの角度について線分L上の画素Sの拘束条件を満たして、微小領域割付画像の微小領域に白を割り付ける。
このようにして微小領域割付部154は、線分L上の他の画素について、それぞれの画素に対応する、厚み内の各微小領域ΔpΔqに濃淡の二値のいずれかを割り付ける。さらに、微小領域割付部154は、断面L上以外、つまり線分L上以外の厚み内の微小領域ΔpΔq全体について、二値のいずれかを割り付ける。
続いて、微小領域割付部154は、線分L上、および、線分L上以外の厚み内の微小領域ΔpΔq全体に割り付けた二値の分布から、断面Lと垂直な方向、つまり厚み方向と垂直な方向の微小領域ΔpΔq全体の二値の分布を取得する。つまり微小領域割付部154は、対象202全体の微小領域ΔpΔqの二値の分布である密度分布を取得する。微小領域割付部154は、取得した密度分布を逆投影部156に供給する。続いて、逆投影部156は、取得した対象202の密度分布上に透過型画像の濃淡を割り付けて、対象202の立体画像を再構成する(S1060)。
具体的には、まず、逆投影部156は、白の座標を中心に正規分布を展開して重み関数を生成する。逆投影部156は、生成した重み関数により算出される重み値に従って、透過型画像の濃淡を逆投影して割り付けることにより、対象202の立体画像を再構成する。これにより、複数の特徴領域のそれぞれの空間的な位置と、複数の微小領域に係る濃淡のそれぞれの空間的な位置とを高精度に算出し、対象202の立体画像をより高い精度で再構成することができる。さらに、複数の透過型画像の複数の微小領域のそれぞれの濃淡に比例した整数値に一致するように、厚み内の微小領域の各々に濃淡に二値を割り付けるので、高速に対象202の立体画像を再構成することができる。続いて、逆投影部156は、再構成した立体画像を出力部180に出力する。そして、出力部180は、逆投影部156によって画像処理が実行された立体画像を外部に出力して、利用者に提供する(S1080)。
なお、ステップS1058において、微小領域割付部154は、ステップS1040において算出した特徴領域の分布、および、ステップS1052において算出した厚みに基づいて、各微小領域ΔpΔqに二値を割り付ける。換言すれば、濃淡に基づく点分布に関する拘束条件に加え、特徴領域に関する拘束条件、および、厚みに関する拘束条件によって、立体画像を再構成する。また、これらに加え、微小領域割付部154は、ステップS1010にて入力された既知の情報に整合させて、各微小領域ΔpΔqに二値を割り付けてもよい。例えば、対象202がファイバー状の内部構造で形成されていることが既知である場合に、ファイバー状の構造の長さおよび太さ等が入力された場合に、微少領域割付部154は、白の微小領域をランダムに割り振ることに替えて、白の微小領域の集合がファイバー状の構造の長さおよび太さと同程度になるように、二値を割り付ける。これにより、対象202に係る既知の情報を基づいて、複数の特徴領域のそれぞれの空間的な位置と、複数の微小領域に係る濃淡のそれぞれの空間的な位置とをより高精度に算出し、対象202の立体画像をより高い精度で再構成することができる。
なお、図17に示す白の微小領域の割り付けが複数の透過型画像に係る拘束条件によって収束する条件として、マルチステレオ計測等によって初期設定の白の微小領域をある誤差範囲で分布させること、隣接する白の微小領域どうしの最大距離に制限を設けること、実際の透過画像が微小領域割付画像の投影像またはその近似画像として解釈した場合に整合することである。上記第3の条件において、実際の透過画像と微小領域割り付け画像の投影像との差を小さくする確率論的手法として、ステップS1054において、モンテカルロ的手法を用いたが、遺伝的アルゴリズム等他の手法であってもよい。
図18は、本発明のさらに他の実施形態に係る立体画像再構成装置30の機能構成の一例を示すブロック図である。立体画像再構成装置30は、対象202に特徴領域が少なく、厚みを特定することが困難な場合であっても、対象202の立体画像を再構成することができる。立体画像再構成装置30は、撮像部100、立体構造情報入力部110、微小領域割付部154、逆投影部156、及び出力部180を備える。立体画像再構成装置30の撮像部100および立体構造情報入力部110は、図11から図17の立体画像再構成装置20同一の構成、機能を有するので、説明を省略する。
立体画像再構成装置30の微小領域割付部154は、対象について予め定められた厚み内の領域を複数の微小領域に分割し、撮像部100により撮像された複数の透過型画像による濃淡に整合するべく、その複数の微小領域の各々に濃淡を割り付ける。例えば、微小領域割付部154は、まず、予め定められた厚み内の微少領域に対応して複数の透過型画像を複数の微小領域に分割し、分割した複数の透過型画像の複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当てる。そして、微小領域割付部154は、微小領域割付画像における予め定められた厚み内の微小領域の各々に、濃淡の二値のいずれかを割り付けて、その透過型画像を撮像した角度から見た厚み内の微小領域の濃淡の二値の合計が、その透過型画像における対応する微小領域の濃淡の整数値に一致するように、その厚み内の微小領域に濃淡の二値のいずれかを割り付ける。このようにして、微小領域割付部154は、対象202全体の微小領域ΔpΔqの二値の分布である密度分布を取得する。ここで、微小領域割付部154は、立体構造情報入力部110から対象の立体構造における既知の情報を取得し、その既知の情報に整合させて、複数の微小領域に濃淡を割付ける。そして、微小領域割付部154は、取得した密度分布を逆投影部156に供給する。逆投影部156は、取得した対象202の密度分布上に、透過型画像の濃淡を割り付けて、対象202の立体画像を再構成する。逆投影部156は、再構成した立体画像を出力部180に出力する。なおここで、予め定められた厚みの一例は、所定の大きさを有する矩形の微小領域割付画像の全体である。また、予め定められた厚みの他の例は、対象の厚さまたは形状の概略が分かっている場合における、当該厚さまたは形状である。
図19は、本発明の実施形態に係る立体画像再構成装置30を用いる立体画像再構成方法における処理の流れの一例を示すフローチャートである。なお、立体画像再構成装置30を用いる立体画像再構成方法は、立体画像再構成装置20を用いる立体画像再構成方法と共通する処理を有する。よって、本フローチャートにおいて、この共通する処理は説明を一部省略する。
撮像部100は、図13に示すように、対象202に対して、対象202の一の断面Lを含む平面上の一の角度(0°)、および、他の角度(10°)から電子線を透過させることにより、図14(a)(b)に示す対象202を含む透過型画像302a、bを撮像する(S1000)。
続いて、立体構造情報入力部110は、対象202の既知の情報を入力する(S1010)続いて、微小領域割付部154は、図15に示す厚み内の微少領域ΔpΔqに対応して透過型画像302a、bの線分L上の領域を複数の微小領域Δpに分割する(S1054)。続いて、微小領域割付部154は、透過型画像302a、bの線分L上の微小領域Δpについて、濃淡に比例した整数値として画素値を割り当てる(S1056)。続いて、微小領域割付部154は、微小領域割付画像の厚み内、例えば矩形の微小領域割付画像の全体に含まれる微小領域ΔpΔqについて、二値のいずれかを割り付ける(S1058)。これにより、複数の透過画像の複数の微小領域のそれぞれの濃淡に比例した整数値に一致するように、厚み内の微小領域の各々に濃淡に二値を割り付けるので、高速に対象202の立体画像を再構成することができる。
なお、また、微小領域割付部154は、ステップS1010にて入力された既知の情報に整合させて、各微小領域ΔpΔqに二値を割り付ける。これにより、対象202に係る既知の情報を基づいて複数の微小領域に係る濃淡のそれぞれの空間的な位置をより高精度に算出し、対象202の立体画像をより高い精度で再構成することができる。
続いて、微小領域割付部154は、線分L上、および、線分L上以外の厚み内の微小領域ΔpΔq全体に割り付けた二値の分布から、密度分布を取得する。微小領域割付部154は、取得した密度分布を逆投影部156に供給する。逆投影部156は、取得した対象202の密度分布上に、透過型画像の濃淡を割り付けて、対象202の立体画像を再構成する(S1060)。続いて、逆投影部156は、再構成した立体画像を出力部180に出力する。そして、出力部180は、微小領域割付部154によって画像処理が実行された立体画像を外部に出力して、利用者に提供する(S1080)。
以上説明した立体画像再構成装置20、30は、透過型画像に係る点分布の拘束条件からの立体画像を再構成するので、CTスキャン等の他の方法と同じ枚数の透過型画像から、より高精度の立体画像を再構成することができ、また、上記他の方法の10分の1の枚数程度の透過型画像から、上記方法と同程度の精度の立体画像を再構成することができる。これにより、立体画像再構成装置20、30は、例えば、死角があって全方向からの透過型画像が得られない等の不完全な透過型画像から立体画像を再構成することができる。また、立体画像再構成装置20、30は、上記点分布の拘束条件に加え、例えば、「孤立点は不許可」、「所定の分散の範囲内」等の既知の情報の拘束条件を設定することにより、不完全な透過型画像を補完し立体画像を再構成、または、より高精度に立体画像を再構成することができる。
なお、立体画像再構成装置20、30を用いる立体画像再構成方法において、撮像する透過型画像の枚数、対象202の厚み内の微少領域ΔpΔqの粒度は、対象202の構造が既知であるか否か、または、既知である場合にはその概略構造に応じて設定することが好ましい。例えば、本実施形態においては、撮像部100は、これらに応じて、10度より大きい角度ステップ、または、10度より小さい角度ステップで透過型画像を撮像してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
Claims (15)
- 対象を撮像した画像に基づいて前記対象の立体構造を示す立体画像を再構成する立体画像再構成装置であって、
前記対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、前記対象を含む複数の透過型画像を撮像する撮像部と、
前記複数の透過型画像のそれぞれにおいて、前記対象に含まれる複数の特徴領域を選択する特徴領域選択部と、
前記複数の透過型画像のそれぞれにおいて選択された前記複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づいて、前記対象全体における前記複数の特徴領域のそれぞれの空間的な位置を算出することにより、前記対象全体における前記複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、
前記複数の透過型画像を重ね合わせて前記対象の立体構造を示す立体画像を再構成する場合に、前記対象全体における前記複数の特徴領域の空間的な分布に基づいて、前記複数の透過型画像により示される濃淡を、前記複数の特徴領域のそれぞれの位置に割り付けて、前記複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、前記対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部と
を備える立体画像再構成装置。 - 前記対象の立体構造の概略を示す情報を入力する立体構造情報入力部と、
入力された前記立体構造の概略に基づき、前記複数の透過型画像のそれぞれに対して、前記対象を強調する画像処理を行う強調処理部と
を更に備え、
前記特徴領域選択部は、前記複数の透過型画像のそれぞれにおいて、前記強調処理部によって強調された前記対象に含まれる前記複数の特徴領域を選択する
請求項1に記載の立体画像再構成装置。 - 前記特徴領域分布算出部は、前記複数の透過型画像のそれぞれにおける、前記複数の特徴領域のそれぞれに含まれる前記対象の輪郭の位置に基づいて、前記対象全体における前記複数の特徴領域のそれぞれの空間的な位置を算出する請求項1に記載の立体画像再構成装置。
- 前記撮像部は、内部が染色された、或いは染色せずとも密度分布に基づく立体構造を有する前記対象を含む前記複数の透過型画像を撮像する請求項2または3に記載の立体画像再構成装置。
- 前記複数の特徴領域のうち、既知の立体構造を有する特徴領域における、前記立体画像再構成部によって再構成された当該特徴領域の立体画像の濃淡が、当該既知の立体構造に収束する画像処理操作を算出する収束処理算出部と、
前記複数の特徴領域のうち、未知の立体構造を有する特徴領域における、前記立体画像再構成部によって再構成された当該特徴領域の立体画像の濃淡に対して、前記収束処理算出部によって算出された画像処理操作を実行する収束処理部と
を更に備える請求項1に記載の立体画像再構成装置。 - 前記立体画像再構成部は、
前記特徴領域分布算出部により算出された前記複数の特徴領域の空間的な分布に基づいて前記対象における前記電子線の透過方向の厚みを算出する厚み算出部、および、
前記厚み算出部により算出された前記対象の厚み内の領域を複数の微小領域に分割し、前記撮像部により撮像された前記複数の透過型画像による濃淡に整合するべく、前記複数の微小領域の各々に濃淡を割り付ける微小領域割付部、
を有する請求項1に記載の立体画像再構成装置。 - 前記微小領域割付部は、前記対象の厚み内の微少領域に対応して前記複数の透過型画像を複数の微小領域に分割し、前記複数の透過型画像の前記複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当て、前記厚み内の微小領域の各々には濃淡の二値のいずれかを割り付けて、前記透過型画像を撮像した角度から見た前記厚み内の前記微小領域の濃淡の二値の合計が、前記透過型画像における対応する前記微小領域の濃淡の整数値に一致するように、前記厚み内の前記微小領域に濃淡の二値のいずれかを割り付ける請求項6に記載の立体画像再構成装置。
- 前記対象の立体構造における既知の情報を入力する立体構造情報入力部をさらに備え、
前記微小領域割付部は、前記立体構造情報入力部により入力された前記既知の情報に整合させて、前記複数の微小領域に濃淡を割り付ける請求項6に記載の立体画像再構成装置。 - 対象を撮像した画像に基づいて前記対象の立体構造を示す立体画像を再構成する立体画像再構成装置であって、
前記対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、前記対象を含む複数の透過型画像を撮像する撮像部と、
前記対象について予め定められた厚み内の領域を複数の微小領域に分割し、前記撮像部により撮像された前記複数の透過型画像による濃淡に整合するべく、前記複数の微小領域の各々に濃淡を割り付けることにより、前記対象の立体画像を再構成する微小領域割付部と
を備える立体画像再構成装置。 - 前記微小領域割付部は、前記対象の厚み内の微少領域に対応して前記複数の透過型画像を複数の微小領域に分割し、前記複数の透過型画像の前記複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当て、前記厚み内の前記微小領域の各々には濃淡の二値のいずれかを割り付けて、透過型画像を撮像した角度から見た前記厚み内の前記微小領域の濃淡の二値の合計が、前記透過型画像における対応する前記微小領域の濃淡の整数値に一致するように、前記厚み内の前記微小領域に濃淡の二値のいずれかを割り付ける請求項9に記載の立体画像再構成装置。
- 前記対象の立体構造における既知の情報を入力する立体構造情報入力部をさらに備え、
前記微小領域割付部は、前記立体構造情報入力部により入力された前記既知の情報に整合させて、前記複数の微小領域に濃淡を割り付ける請求項9に記載の立体画像再構成装置。 - 対象を撮像した画像に基づいて前記対象の立体構造を示す立体画像を再構成する立体画像再構成方法であって、
前記対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、前記対象を含む複数の透過型画像を撮像する撮像段階と、
前記複数の透過型画像のそれぞれにおいて、前記対象に含まれる複数の特徴領域を選択する特徴領域選択段階と、
前記複数の透過型画像のそれぞれにおいて選択された前記複数の特徴領域のそれぞれの位置に基づいて、前記対象全体における前記複数の特徴領域のそれぞれの空間的な位置を算出することにより、前記対象全体における前記複数の特徴領域の空間的な分布を算出する特徴領域分布算出段階と、
前記複数の透過型画像を重ね合わせて前記対象の立体構造を示す立体画像を再構成する場合に、前記対象全体における前記複数の特徴領域の空間的な分布に基づいて、前記複数の透過型画像により示される濃淡を、前記複数の特徴領域のそれぞれの位置に割り付けて、前記複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、前記対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成段階と
を備える立体画像再構成方法。 - 対象を撮像した画像に基づいて前記対象の立体構造を示す立体画像を再構成する立体画像再構成方法であって、
前記対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、前記対象を含む複数の透過型画像を撮像する撮像段階と、
前記対象について予め定められた厚み内の領域を複数の微小領域に分割し、前記撮像段階により撮像された前記複数の透過型画像による濃淡に整合するべく、前記複数の微小領域の各々に濃淡を割り付けることにより、前記対象の立体画像を再構成する微小領域割付段階と
を備える立体画像再構成方法。 - 対象を撮像した画像に基づいて前記対象の立体構造を示す立体画像を再構成する立体画像再構成装置としてコンピュータを機能させる立体画像再構成プログラムであって、
前記コンピュータを、
前記対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、前記対象を含む複数の透過型画像を撮像する撮像部と、
前記複数の透過型画像のそれぞれにおいて、前記対象に含まれる複数の特徴領域を選択する特徴領域選択部と、
前記複数の透過型画像のそれぞれにおいて選択された前記複数の特徴領域のそれぞれの位置に基づいて、前記対象全体における前記複数の特徴領域のそれぞれの空間的な位置を算出することにより、前記対象全体における前記複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、
前記複数の透過型画像を重ね合わせて前記対象の立体構造を示す立体画像を再構成する場合に、前記対象全体における前記複数の特徴領域の空間的な分布に基づいて、前記複数の透過型画像により示される濃淡を、前記複数の特徴領域のそれぞれの位置に割り付けて、前記複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、前記対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部と
を備える立体画像再構成装置として機能させる立体画像再構成プログラム。 - 対象を撮像した画像に基づいて前記対象の立体構造を示す立体画像を再構成する立体画像再構成装置としてコンピュータを機能させる立体画像再構成プログラムであって、
前記コンピュータを、
前記対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、前記対象を含む複数の透過型画像を撮像する撮像部と、
前記対象について予め定められた厚み内の領域を複数の微小領域に分割し、前記撮像部により撮像された前記複数の透過型画像による濃淡に整合するべく、前記複数の微小領域の各々に濃淡を割り付けることにより、前記対象の立体画像を再構成する微小領域割付部と
を備える立体画像再構成装置として機能させる立体画像再構成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012036457A JP2012133796A (ja) | 2004-12-07 | 2012-02-22 | 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004354563 | 2004-12-07 | ||
JP2004354563 | 2004-12-07 | ||
JP2012036457A JP2012133796A (ja) | 2004-12-07 | 2012-02-22 | 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006546736A Division JP4974680B2 (ja) | 2004-12-07 | 2005-12-07 | 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012133796A true JP2012133796A (ja) | 2012-07-12 |
Family
ID=36577959
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006546736A Expired - Fee Related JP4974680B2 (ja) | 2004-12-07 | 2005-12-07 | 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム |
JP2012036457A Pending JP2012133796A (ja) | 2004-12-07 | 2012-02-22 | 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006546736A Expired - Fee Related JP4974680B2 (ja) | 2004-12-07 | 2005-12-07 | 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7853069B2 (ja) |
JP (2) | JP4974680B2 (ja) |
WO (1) | WO2006062132A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2018070322A1 (ja) * | 2016-10-11 | 2019-07-25 | 国立大学法人 東京大学 | 立体物形成指示装置、立体物の製造方法、及びプログラム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4974680B2 (ja) * | 2004-12-07 | 2012-07-11 | 国立大学法人 東京大学 | 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム |
US7806144B2 (en) | 2006-10-17 | 2010-10-05 | Baxter International Inc. | Flow restrictor for infusion system |
JP5567908B2 (ja) * | 2009-06-24 | 2014-08-06 | キヤノン株式会社 | 3次元計測装置、その計測方法及びプログラム |
EP2708874A1 (en) * | 2012-09-12 | 2014-03-19 | Fei Company | Method of performing tomographic imaging of a sample in a charged-particle microscope |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4149248A (en) * | 1975-12-23 | 1979-04-10 | Varian Associates, Inc. | Apparatus and method for reconstructing data |
US4365339A (en) * | 1975-12-23 | 1982-12-21 | General Electric Company | Tomographic apparatus and method for reconstructing planar slices from non-absorbed and non-scattered radiation |
US4149247A (en) * | 1975-12-23 | 1979-04-10 | Varian Associates, Inc. | Tomographic apparatus and method for reconstructing planar slices from non-absorbed and non-scattered radiation |
JPH0618570B2 (ja) * | 1985-03-28 | 1994-03-16 | 株式会社日立製作所 | 2次元断層像撮影装置 |
US5552602A (en) * | 1991-05-15 | 1996-09-03 | Hitachi, Ltd. | Electron microscope |
JP3287858B2 (ja) * | 1991-05-15 | 2002-06-04 | 株式会社日立製作所 | 電子顕微鏡装置及び電子顕微方法 |
US5866905A (en) * | 1991-05-15 | 1999-02-02 | Hitachi, Ltd. | Electron microscope |
US6051834A (en) * | 1991-05-15 | 2000-04-18 | Hitachi, Ltd. | Electron microscope |
US5414261A (en) * | 1993-07-01 | 1995-05-09 | The Regents Of The University Of California | Enhanced imaging mode for transmission electron microscopy |
JP3304681B2 (ja) * | 1995-04-25 | 2002-07-22 | 株式会社日立製作所 | 電子顕微鏡及び3次元原子配列観察方法 |
SE9601229D0 (sv) * | 1996-03-07 | 1996-03-29 | B Ulf Skoglund | Apparatus and method for providing reconstruction |
JPH11250850A (ja) * | 1998-03-02 | 1999-09-17 | Hitachi Ltd | 走査電子顕微鏡及び顕微方法並びに対話型入力装置 |
JP3337460B2 (ja) * | 2000-09-27 | 2002-10-21 | 理化学研究所 | 3次元形状復元方法 |
EP1353294A1 (en) * | 2000-12-15 | 2003-10-15 | Eisaku Katayama | Mage processor, image processing method, recording medium and program |
WO2002056259A1 (fr) * | 2001-01-05 | 2002-07-18 | Center For Advanced Science And Technology Incubation, Ltd. | Appareil support de verification tridimensionnelle, procede de verification de structure tridimensionnelle, support d'enregistrement et programme |
JP3603204B2 (ja) * | 2001-03-12 | 2004-12-22 | 株式会社東京大学Tlo | 立体構造検証支援装置、立体構造検証支援方法、及びプログラム |
DE10126641A1 (de) * | 2001-05-31 | 2002-12-12 | Siemens Ag | Verfahren zum Betrieb eines Computertomographen |
JP2004132944A (ja) * | 2002-08-16 | 2004-04-30 | Foundation For The Promotion Of Industrial Science | 製造誤差評価システム及び方法並びにプログラム |
JP4974680B2 (ja) * | 2004-12-07 | 2012-07-11 | 国立大学法人 東京大学 | 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム |
US7538329B2 (en) * | 2005-02-02 | 2009-05-26 | Nomadics, Inc. | Energy-transfer nanocomposite materials and methods of making and using same |
-
2005
- 2005-12-07 JP JP2006546736A patent/JP4974680B2/ja not_active Expired - Fee Related
- 2005-12-07 WO PCT/JP2005/022471 patent/WO2006062132A1/ja active Application Filing
-
2007
- 2007-06-06 US US11/810,632 patent/US7853069B2/en not_active Expired - Fee Related
-
2012
- 2012-02-22 JP JP2012036457A patent/JP2012133796A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2018070322A1 (ja) * | 2016-10-11 | 2019-07-25 | 国立大学法人 東京大学 | 立体物形成指示装置、立体物の製造方法、及びプログラム |
US11214008B2 (en) | 2016-10-11 | 2022-01-04 | Jun Yamazaki | Three-dimensional object formation instruction apparatus, three-dimensional object production method, and program |
JP7074344B2 (ja) | 2016-10-11 | 2022-05-24 | 淳 山崎 | 立体物形成指示装置、立体物の製造方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US7853069B2 (en) | 2010-12-14 |
US20070253612A1 (en) | 2007-11-01 |
JPWO2006062132A1 (ja) | 2008-06-12 |
JP4974680B2 (ja) | 2012-07-11 |
WO2006062132A1 (ja) | 2006-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109360235B (zh) | 一种基于光场数据的混合深度估计方法 | |
US10726557B2 (en) | Method and system for preparing text images for optical-character recognition | |
EP3788591B1 (en) | Focus-weighted, machine learning classifier error prediction for microscope slide images | |
JP4870779B2 (ja) | デジタル画像露光量及びトーンスケールの調節 | |
RU2419881C2 (ru) | Анизометрический синтез текстуры | |
JP5291084B2 (ja) | パンクロマティック画素を組み込むエッジマッピング | |
JP2022522279A (ja) | 優先点を識別して保持する点群の併合方法 | |
JP2012133796A (ja) | 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム | |
KR101032446B1 (ko) | 영상의 정점 검출 장치 및 방법 | |
WO2022127225A1 (zh) | 图像拼接方法、装置、设备和存储介质 | |
US20070206025A1 (en) | Image Processor and Method, Computer Program, and Recording Medium | |
CN116503388B (zh) | 缺陷检测方法、装置及存储介质 | |
US20210312599A1 (en) | Automatic synthesis of a content-aware sampling region for a content-aware fill | |
TWI439961B (zh) | Conversion algorithm for voids generated after converting 2D images | |
CN113506305B (zh) | 三维点云数据的图像增强方法、语义分割方法及装置 | |
US20170148212A1 (en) | Color-based dynamic sub-division to generate 3d mesh | |
JP2015057682A (ja) | 画像生成装置および画像生成方法 | |
US10964094B1 (en) | Visualization system that transforms 2D images of objects slices into 3D point clouds | |
CN110533040A (zh) | 一种环形区域二值化图像处理方法及装置 | |
TWI823963B (zh) | 一種光學成像處理方法及存儲介質 | |
US20220222769A1 (en) | Dynamic allocation of system of chip resources for efficient signal processing | |
JP2006107018A (ja) | 画像解析方法及び装置、画像処理方法及びシステム、これらの動作プログラム | |
JP2018005337A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
EP4162441A1 (en) | Multi-channel extended depth-of-field method for automated digital cytology | |
CN117649493A (zh) | 一种图像重建方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A073 Effective date: 20130730 |