JP2001344599A - Full focal image compositing method and its device - Google Patents
Full focal image compositing method and its deviceInfo
- Publication number
- JP2001344599A JP2001344599A JP2000170407A JP2000170407A JP2001344599A JP 2001344599 A JP2001344599 A JP 2001344599A JP 2000170407 A JP2000170407 A JP 2000170407A JP 2000170407 A JP2000170407 A JP 2000170407A JP 2001344599 A JP2001344599 A JP 2001344599A
- Authority
- JP
- Japan
- Prior art keywords
- image
- noise
- information
- omnifocal
- synthesizing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 230000008859 change Effects 0.000 claims description 62
- 230000002194 synthesizing effect Effects 0.000 claims description 61
- 238000011156 evaluation Methods 0.000 claims description 43
- 230000015572 biosynthetic process Effects 0.000 claims description 39
- 238000003786 synthesis reaction Methods 0.000 claims description 39
- 230000009467 reduction Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 4
- 239000002131 composite material Substances 0.000 abstract description 17
- 230000002542 deteriorative effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 13
- 239000002245 particle Substances 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000010884 ion-beam technique Methods 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100533652 Homo sapiens SLIRP gene Proteins 0.000 description 1
- 101000680262 Homo sapiens Transmembrane protein 60 Proteins 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 102100025491 SRA stem-loop-interacting RNA-binding protein, mitochondrial Human genes 0.000 description 1
- 102100022076 Transmembrane protein 60 Human genes 0.000 description 1
- 101000872823 Xenopus laevis Probable histone deacetylase 1-A Proteins 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000012431 wafers Nutrition 0.000 description 1
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、荷電粒子線装置に
係り、特に焦点の合っている部分が異なる複数の画像か
ら全体的に焦点の合っている画像を合成する全焦点画像
合成方法及び装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a charged particle beam apparatus and, more particularly, to an all-focus image synthesizing method and apparatus for synthesizing an in-focus image from a plurality of images having different in-focus portions. About.
【０００２】[0002]
【従来の技術】電子顕微鏡画像に対して、三次元的構造
を観察するための技術には、特開平５−１２８９８９
号，特開平５−２９９０４８号，特開平９−９２１９５
号などがある。2. Description of the Related Art A technique for observing a three-dimensional structure with respect to an electron microscope image is disclosed in Japanese Patent Application Laid-Open No. 5-128899.
JP-A-5-299048, JP-A-9-92195
Issue.
【０００３】また、焦点の合っている部分が異なる複数
の画像から全体的に焦点の合っている画像を合成する全
焦点画像合成方法の従来技術は、光学的に撮影された画
像に対する技術として、特開平５−３３３２７１号，特
開平９−２６３１２号，特開平６−１１３１８３号，特
開２０００−３９５６６号，特開平５−２２７４６０
号，特開平１０−２９０３８９号，特開平１１−２６１
７９７号，特開平１１−２８３０３５号，特開平１１−
２８７６１８号、など多数ある。Further, the prior art of an all-focus image synthesizing method for synthesizing an in-focus image from a plurality of images having different in-focus portions is a technique for an optically photographed image. JP-A-5-333271, JP-A-9-26312, JP-A-6-113183, JP-A-2000-39566, JP-A-5-227460
JP-A-10-290389, JP-A-11-261
797, JP-A-11-283035, JP-A-11-283
287618 and many others.
【０００４】ノイズ量を評価する従来技術としては、Jo
hn Immerkaer, “Fast Noise Variance Estimation”, Computer Vision and Image U
nderstanding, Ｖol．６４，Ｎo．２，１９９６，ｐ．
３００−３０２、がある。As a conventional technique for evaluating the amount of noise, Jo
hn Immerkaer, “Fast Noise Variance Estimation”, Computer Vision and Image U
nderstanding, Vol. 64, No. 2, 1996, p.
300-302.
【０００５】[0005]
【発明が解決しようとする課題】半導体ウェハの多層化
に伴い、試料が三次元的広がりを持つようになり、また
電子顕微鏡の分解能向上により焦点深度が浅くなってき
ており、三次元的構造を観察するニーズが高まってい
る。電子顕微鏡で得られた画像に対して三次元的構造を
観察するための従来技術は、立体像を観察するもの（特
開平5−128989号）、等高線や鳥瞰図を用いるもの（特
開平５−２９９０４８号）などであり、簡便な方法では
ない。焦点の合っている部分が異なる複数の画像から、
全体的に焦点の合っている画像を合成する全焦点画像合
成の技術は、簡便な方法であり、電子顕微鏡画像に適用
したいというニーズが高まっている。With the increase in the number of semiconductor wafers, the sample has a three-dimensional spread, and the depth of focus has been reduced due to the improvement in the resolution of the electron microscope. The need to observe is growing. Conventional techniques for observing a three-dimensional structure with respect to an image obtained by an electron microscope include a technique for observing a three-dimensional image (Japanese Patent Application Laid-Open No. 5-28989) and a technique using contour lines and a bird's-eye view (Japanese Patent Application Laid-Open No. 5-299048). No.), which is not a simple method. From multiple images with different focus areas,
An all-in-focus image synthesizing technique for synthesizing an in-focus image is a simple method, and there is an increasing need to apply the technique to an electron microscope image.
【０００６】しかし、電子顕微鏡の画像はノイズが極め
て多いため、ノイズに対する考慮が必須である。光学的
に撮影された画像はノイズは比較的少ないため、従来の
光学画像に対する全焦点画像合成技術はノイズに対する
考慮がない。従来法で電子顕微鏡の画像を合成させる
と、人工的なアーチファクトが発生してしまい、不自然
な全焦点画像となってしまう問題がある。However, since the image of the electron microscope has a lot of noise, it is necessary to consider the noise. Optically captured images have relatively little noise, so conventional omnifocal image synthesis techniques for optical images do not consider noise. When the images of the electron microscope are synthesized by the conventional method, there is a problem that an artificial artifact is generated and an unnatural all-focus image is obtained.
【０００７】本発明の目的は、ノイズの多い入力画像に
対しても、人工的な合成画像に見えない自然な全焦点画
像合成方法及び装置を提供することである。It is an object of the present invention to provide a natural omnifocal image synthesizing method and apparatus which does not look like an artificial synthesized image even for an input image having much noise.
【０００８】[0008]
【課題を解決するための手段】本発明は、異なる焦点で
読み取った複数の入力画像のノイズを削減し、ノイズが
削減されたノイズ削減画像のノイズ量を評価すると共
に、前記ノイズ削減画像の焦点合致度を評価して信号変
化量評価値を算出し、算出された信号変化量評価値に基
づいて信号変化量評価最大値と合成情報を生成し、前記
信号変化量評価最大値と前記ノイズ量評価値からノイズ
の影響度を判定して良好度情報を生成する全焦点画像合
成手段を複数有し、複数の全焦点画像合成手段から生成
された複数の前記良好度情報と前記合成情報に基づいて
合成画像を生成する方法またはそれを用いた装置とす
る。SUMMARY OF THE INVENTION The present invention reduces the noise of a plurality of input images read at different focal points, evaluates the amount of noise in the noise reduced image in which the noise has been reduced, and adjusts the focus of the noise reduced image. A signal change amount evaluation value is calculated by evaluating the degree of matching, a signal change amount evaluation maximum value and synthetic information are generated based on the calculated signal change amount evaluation value, and the signal change amount evaluation maximum value and the noise amount are generated. A plurality of omnifocal image synthesizing means for judging the degree of influence of noise from the evaluation value and generating goodness information, based on the plurality of goodness information and the synthetic information generated from the plurality of omnifocal image synthesizing means; And a device using the method.
【０００９】[0009]
【発明の実施の形態】図１は、本発明にかかわる全焦点
合成の概念を表わした図である。１１０，１２０，１３
０は、焦点を変えて撮影した複数枚の入力画像であり、
１４０は信号変化量評価、１４１，１４２，１４３は、
それぞれ１１０，１２０，１３０に対応する信号変化
量、１５０は合成画像、１６０は深さ画像である。１１
０，１２０，１３０のある対応する画素１点をとり、そ
の近傍で１１０はぼけており、１２０は焦点が合ってお
り、１３０はぼけているとする。ぼけている部分は、近
傍の信号があまり変化しないのに対し、焦点の合ってい
る部分は、近傍の信号が大きく変化しており、１４０に
より信号変化量を評価すると、信号変化量は１４１，１
４２，１４３のようになって、焦点の合っている画像１
２０の信号変化量１４２が最も大きな値となる。従っ
て、最も信号変化量が大きかった１４２に対応する１２
０の画素を合成画像１５０の対応する位置における画素
とする。また、最も信号変化量が大きかった１４２に対
応する１２０の画像に対する深さ情報を深さ画像１６０
の対応する位置における画素とする。深さ情報は、入力
画像の焦点距離を画素値として表わせば、撮像物体の実
際の深さがわかって好ましいが、例えば、入力画像１１
０，１２０，１３０にそれぞれ＃１，＃２，＃３のよう
に番号をつけ、その番号を深さ情報としてもよい。要
は、どの入力画像を選択したかを区別できればよい。以
上の操作を、全部の画素に対して行うと、最終的に合成
画像１５０が、全体的に焦点の合った画像に合成される
ことになる。DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 is a diagram showing the concept of all-focus synthesis according to the present invention. 110, 120, 13
0 is a plurality of input images taken while changing the focus,
140 is the signal change amount evaluation, 141, 142 and 143 are
Signal change amounts corresponding to 110, 120, and 130, 150 is a composite image, and 160 is a depth image. 11
It is assumed that one corresponding pixel at 0, 120, and 130 is taken and 110 is out of focus, 120 is in focus, and 130 is out of focus. In the blurred portion, the nearby signal does not change much, whereas in the focused portion, the nearby signal changes greatly. When the signal change amount is evaluated by 140, the signal change amount is 141, 1
Image 1 in focus, as at 42, 143
The signal change amount 142 of 20 has the largest value. Therefore, 12 corresponding to 142 having the largest signal change amount
The pixel of 0 is a pixel at a corresponding position of the composite image 150. The depth information for the 120 images corresponding to 142 having the largest signal change amount is stored in the depth image 160.
Pixel at the position corresponding to. The depth information is preferably represented by expressing the focal length of the input image as a pixel value so that the actual depth of the imaged object is known.
Numbers 0, 120, and 130 may be assigned as # 1, # 2, and # 3, respectively, and the numbers may be used as depth information. In short, it is only necessary to be able to distinguish which input image has been selected. When the above operation is performed on all the pixels, the composite image 150 is finally composited into an image that is entirely in focus.
【００１０】図２は、本発明の第２の実施例を示したも
のである。FIG. 2 shows a second embodiment of the present invention.
【００１１】入力画像２００は、前処理手段２１０で処
理された後、全焦点画像合成手段２２０，２３０に入力
され、異なった全焦点画像合成が成されて、合成情報及
び良好度情報２２１，２３１が生成される。合成手段２
４０は、合成情報及び良好度情報２２１，２３１より、
前処理後入力画像２１１の対応する画素の中から合成の
目的により適した画素を画素ごとに選択して、合成画像
２５０，深さ画像２６０を生成する。以上のように、複
数の全焦点画像合成から、それぞれの好ましい点をつな
ぎ合わせて、より好ましい画像を合成することができ
る。この例では、全焦点画像合成手段が２つの例を示し
たが、３つ以上に拡張することは容易である。The input image 200 is processed by the pre-processing means 210 and then input to all-focus image synthesizing means 220 and 230, where different all-focus image synthesizing is performed, and the synthesizing information and goodness information 221 and 231 are obtained. Is generated. Synthetic means 2
40 is based on the combination information and the goodness information 221 and 231.
A pixel suitable for the purpose of synthesis is selected for each pixel from the corresponding pixels of the preprocessed input image 211, and a synthesized image 250 and a depth image 260 are generated. As described above, it is possible to combine more preferable images from a plurality of omnifocal image synthesis by connecting respective preferable points. In this example, two omnifocal image synthesizing means are shown, but it is easy to extend the number to three or more.
【００１２】図３は、本発明の第３の実施例を示したも
のである。本実施例は、第２の実施例における「好まし
さ」を「ノイズの影響を受けにくいこと」であると限定
した場合の実施構成をより詳しく開示したものになって
いる。FIG. 3 shows a third embodiment of the present invention. This embodiment discloses in more detail an embodiment in which the “preference” in the second embodiment is limited to “not easily affected by noise”.
【００１３】全焦点画像合成手段２２０と全焦点画像合
成手段２３０は同様の構成であるので、全焦点画像合成
手段２２０について動作を説明する。入力画像は、前処
理手段２１０で前処理された後、ノイズ低減手段Ａ３０
０でノイズを削減される。ノイズ低減手段の具体例とし
ては、ノイズ低減フィルタや平滑化縮小があるが、ここ
では平滑化縮小を例にとって説明する。ノイズ低減画像
３０１は、ノイズ量評価手段３１０によりノイズ量評価
値３１１を算出され、同時に信号変化量評価手段Ａ３２
０にて、焦点の合致度を表わす信号変化量評価値３２１
を算出される。焦点判定手段３４０は、信号変化量評価
値３２１より信号変化量最大値３４２と合成情報３４１
を生成する。信号変化量最大値３４２はノイズ判定手段
３３０に送られ、ノイズ判定手段により、ノイズの影響
の程度を表わす良好度情報３３１を出力する。全焦点画
像合成手段２３０も同様に動作するが、ノイズ低減手段
Ｂ３５０をノイズ低減手段Ａ３００よりもより大きく平
滑化縮小するとすると、全焦点画像合成手段２３０の結
果は、全焦点画像合成手段２２０の結果にくらべて、ノ
イズ低減効果が大きいが、ただし空間分解能が落ちるこ
とになる。従って、全焦点画像合成手段２２０により、
ノイズの影響のない良好な部分は少ないが空間分解能は
高い結果が得られ、全焦点画像合成手段２３０により、
ノイズの影響のない良好な部分は多いが空間分解能は低
い結果が得られる。これらを合成手段２４０で、ノイズ
の影響の少ない方の合成画像の画素を、画素ごとに選択
してよりノイズの影響の少ない合成画像を合成すること
で、ノイズの影響のない良好な部分が多くかつ空間分解
能は高い合成画像２５０を合成できる。この例では、全
焦点画像合成手段が２つの例を示したが、３つ以上に拡
張することは容易である。Since the omnifocal image synthesizing means 220 and the omnifocal image synthesizing means 230 have the same configuration, the operation of the omnifocal image synthesizing means 220 will be described. After the input image is preprocessed by the preprocessing unit 210, the noise reduction unit A30
Zero reduces noise. Specific examples of the noise reduction unit include a noise reduction filter and smoothing reduction. Here, the smoothing reduction will be described as an example. In the noise reduced image 301, the noise amount evaluation value 311 is calculated by the noise amount evaluation unit 310, and at the same time, the signal change amount evaluation unit A32
At 0, the signal change evaluation value 321 representing the degree of focus coincidence
Is calculated. The focus determination unit 340 calculates the maximum signal change amount 342 and the combined information 341 from the signal change amount evaluation value 321.
Generate The signal change maximum value 342 is sent to the noise determination unit 330, and the noise determination unit outputs goodness information 331 indicating the degree of the influence of noise. The omnifocal image synthesizing means 230 operates in the same manner, but if the noise reducing means B350 is smoothed and reduced more than the noise reducing means A300, the result of the omnifocal image synthesizing means 230 will be the result of the omnifocal image synthesizing means 220. The noise reduction effect is larger than that of, but the spatial resolution is reduced. Therefore, by the all-focus image synthesizing means 220,
There are few good parts without the influence of noise, but a high spatial resolution is obtained.
There are many good parts free from the influence of noise, but low spatial resolution. These are selected by the synthesizing unit 240 for each pixel of the synthesized image having less influence of noise, and the synthesized image having less influence of noise is synthesized. In addition, a synthesized image 250 having a high spatial resolution can be synthesized. In this example, two omnifocal image synthesizing means are shown, but it is easy to extend the number to three or more.
【００１４】図４は、焦点判定手段３４０の構成例を示
している。FIG. 4 shows an example of the configuration of the focus determination means 340.
【００１５】最大値格納手段４１０には、前画像までの
信号変化量最大値４１１が入っており、最大値演算手段
４２０により、前画像までの信号変化量最大値４１１と
今回の画像に関する信号変化量３２１とで大きい方を選
択して、今回の画像も含めての信号変化量最大値３４２
を算出し、これで最大値格納手段４１０に格納されてい
る最大値を更新する。一方、引算手段４３０により、前
画像までの信号変化量最大値４１１と今回の画像に関す
る信号変化量３２１の差を求め、２値化手段４４０で０
より大きいか否かを判定する。従って、信号変化量３２
１をｆ、前画像までの信号変化量最大値４１１をｆma
x、合成情報３４１をｇで表わすと、 ｆ＞ｆmaxのとき、ｇ＝１ ｆ＜ｆmaxのとき、ｇ＝０ となり、前回までの信号変化量最大値４１１より今回の
画像に関する信号変化量３２１が大きい場合にｇ＝１と
なる。つまり、合成情報３４１は、今回の画像の画素を
合成画像の画素として選択すべきである画素に対してｇ
＝１となっている。The maximum value storage means 410 stores the signal change maximum value 411 up to the previous image, and the maximum value calculation means 420 stores the signal change maximum value 411 up to the previous image and the signal change related to the current image. The larger one is selected for the amount 321 and the maximum signal change amount 342 including the current image is selected.
Is calculated, and the maximum value stored in the maximum value storage means 410 is updated. On the other hand, the difference between the maximum signal change amount 411 up to the previous image and the signal change amount 321 relating to the current image is obtained by the subtraction means 430, and the difference value 440
It is determined whether it is greater than. Therefore, the signal change amount 32
1 is f, and the maximum signal change amount 411 up to the previous image is fma
When x and the combined information 341 are represented by g, when f> fmax, g = 1 when f <fmax, g = 0, and the signal change amount 321 for the current image is larger than the signal change amount maximum value 411 up to the previous time. When it is large, g = 1. That is, the synthesis information 341 indicates that a pixel of the current image should be selected as a pixel of the synthesized image by g
= 1.
【００１６】図５は、ノイズ判定手段３３０の構成例を
示している。ノイズ判定手段３３０は、ノイズ量評価値
３１１，信号変化量最大値３４２を入力し、良好度情報
331を出力する。良好度情報３３１をｖ、信号変化量最
大値３４２をｆmax、ノイズ量評価値３１１をＮで表わ
すと、信号変化量最大値ｆmax がノイズ量評価値Ｎより
大きい場合は、ノイズの影響が少なく、良好度が高いの
で、ｖは１とする。また、信号変化量最大値ｆmax がノ
イズ量評価値Ｎより小さい場合は、ノイズの影響が大き
く、良好でないので、ｖを０とする。但し、信号変化量
最大値３４２とノイズ量評価値３１１が同じ次元の尺度
になっている保証はないので、ノイズ量評価値３１１に
比例定数Ｋをかけて補正する。以上により、ノイズ判定
手段330の機能をまとめると、 ｆ（ｘ，ｙ）＞Ｋ*ｎのとき、ｖ（ｘ，ｙ）＝１ ｆ（ｘ，ｙ）≦Ｋ*ｎのとき、ｖ（ｘ，ｙ）＝０ となる。出力となる良好度情報３３１は、ノイズの影響
が少なく良好度が高い時に１となり、ノイズの影響が大
きく良好でない時に０となる情報になる。FIG. 5 shows an example of the configuration of the noise determination means 330. The noise determination unit 330 inputs the noise amount evaluation value 311 and the signal change maximum value 342, and
Outputs 331. When the goodness information 331 is represented by v, the signal change maximum value 342 by fmax, and the noise amount evaluation value 311 by N, when the signal change maximum value fmax is larger than the noise amount evaluation value N, the influence of noise is small. Since the degree of goodness is high, v is set to 1. If the signal change maximum value fmax is smaller than the noise amount evaluation value N, the influence of noise is large and the noise is not good, so v is set to 0. However, since there is no guarantee that the signal change maximum value 342 and the noise amount evaluation value 311 have the same dimensional scale, the noise amount evaluation value 311 is corrected by multiplying by the proportionality constant K. As described above, the functions of the noise determination unit 330 can be summarized as follows: When f (x, y)> K * n, v (x, y) = 1 When f (x, y) ≦ K * n, v (x , Y) = 0. The goodness information 331 to be output is 1 when the influence of noise is small and the goodness is high, and becomes 0 when the influence of noise is large and the goodness is not good.
【００１７】図６は、合成手段２４０の構成例を示して
いる。合成手段２４０は、合成情報３４１，３４３、良
好度情報３３１，３３３、前処理後入力画像２１１を入
力し、合成画像２５０，深さ画像２６０を出力する。良
好度情報３３１，３３３は、ノイズの影響量を示す情報
で、ノイズの影響が少ない部分を１（白）、ノイズの影
響が多い部分を０（黒）、のように表わすものである。
図３において、ノイズ低減手段Ｂ３５０をノイズ低減手
段Ａ３００よりもより大きく平滑化縮小するとすると、
良好度情報３３３のノイズの影響が少ない１（白）の部
分は、良好度情報３３１のノイズの影響が少ない１
（白）の部分より拡大しているはずである。合成情報３
４１及び３４３が図に示すような形であったとすると、
良好度情報３３１が１の部分では、合成情報３４１を使
うのが望ましく、良好度情報３３１が０かつ良好度情報
３３３が１の部分では、合成情報３４３を使うのが望ま
しい。さらに、良好度情報３３１が０かつ良好度情報３
３３が０の部分は、どの情報も信じられない部分である
が、何か選択しなければならないので良好度情報333の
情報を用いる。すると、ノイズの影響の少ない部分のみ
を組み合わせて作られた最終的合成情報６００は、図に
示すようになる。合成画像２５０は、最終的合成情報６
００が１の部分は、前処理後入力画像２１１の画素に更
新し、最終的合成情報６００が０の部分は合成画像２５
０の元の画素を更新せずにそのままにする。また、深さ
画像２６０は、最終的合成情報６００が１の部分は、前
処理後入力画像２１１の深さ情報に更新し、最終的合成
情報６００が０の部分は深さ画像２６０の元の画素を更
新せずにそのままにする。このようにして、ノイズの影
響の少ない部分は空間分解能を高いまま、またノイズの
影響が大きい部分は空間分解能を下げてノイズを減らし
た形で、組み合わせることでノイズに対して最適な合成
をすることができる。FIG. 6 shows an example of the configuration of the synthesizing means 240. The synthesizing unit 240 receives the synthesizing information 341 and 343, the goodness information 331 and 333, and the pre-processed input image 211, and outputs a synthesized image 250 and a depth image 260. The goodness information 331, 333 is information indicating the amount of influence of noise, and expresses a portion less affected by noise as 1 (white) and a portion affected more as 0 (black).
In FIG. 3, if the noise reduction unit B350 is smoothed and reduced more than the noise reduction unit A300,
The 1 (white) portion of the goodness information 333 that is less affected by noise is 1 that is less affected by noise of the goodness information 331.
It should be larger than the (white) part. Synthetic information 3
Assuming that 41 and 343 are shaped as shown in the figure,
It is desirable to use the combined information 341 when the goodness information 331 is 1 and to use the combined information 343 when the goodness information 331 is 0 and the goodness information 333 is 1. Furthermore, the goodness information 331 is 0 and the goodness information 3
The part where 33 is 0 is a part in which no information can be believed, but the information of the goodness information 333 is used because something must be selected. Then, the final composite information 600 created by combining only the portions that are less affected by noise is as shown in the figure. The composite image 250 is the final composite information 6
The part where 00 is 1 is updated to the pixel of the preprocessed input image 211, and the part where the final combination information 600 is 0 is the part of the composite image 25.
Leave the original pixel of 0 unchanged without updating. In the depth image 260, the portion where the final composite information 600 is 1 is updated to the depth information of the preprocessed input image 211, and the portion where the final composite information 600 is 0 is the original of the depth image 260. Leave the pixel unchanged. In this way, the parts that are less affected by noise remain high in spatial resolution, and the parts that are more affected by noise are reduced in spatial resolution to reduce noise, and are optimally combined with noise by combining them. be able to.
【００１８】図７は、第２の実施例をソフトウェアで実
現した場合のフローチャートを示している。ノイズ低減
２００または２５０，ノイズ評価２１０，信号変化量評
価２２０または２６０，ノイズ判定２３０，焦点判定２
４０を、ノイズ低減変更７００でノイズ低減の度合いを
変更しながら繰り返す。その後、合成２５０を行った
後、次の画像７１０で対象を次の画像に変え、画像が無
くなるまで全体を繰り返す。FIG. 7 shows a flowchart when the second embodiment is realized by software. Noise reduction 200 or 250, noise evaluation 210, signal change amount evaluation 220 or 260, noise determination 230, focus determination 2
Step 40 is repeated while changing the degree of noise reduction by the noise reduction change 700. Then, after performing the synthesis 250, the target is changed to the next image in the next image 710, and the whole process is repeated until there is no more image.
【００１９】つまり、図３における全焦点画像合成２２
０と２３０は、図３のように構成として記述すると別の
部分として表わされるが、図７のように、ソフトウェア
で実現した場合のフローチャートでは、繰り返しの条件
を変えた同じモジュールとして構成することが可能であ
る。このような場合でも、繰り返して実行していること
から、複数の全焦点画像合成手段が存在すると考えなけ
ればならない。That is, the omnifocal image synthesis 22 in FIG.
Although 0 and 230 are expressed as separate parts when described as a configuration as shown in FIG. 3, as shown in FIG. 7, in a flowchart realized by software, they can be configured as the same module with different repetition conditions. It is possible. Even in such a case, it must be considered that there are a plurality of all-in-focus image synthesizing means because they are repeatedly executed.
【００２０】図８は前処理手段２１０の第１の構成例で
ある。入力画像２０１と入力画像２０２において、撮像
した対象の位置がずれている場合、入力画像２０１と入
力画像２０２の直接対応した画素について全焦点画像合
成を行っても、正しい結果とはならない。従って、入力
画像２０１の例えば中央部の適当な大きさの領域８０１
をとり、これをテンプレートとして、入力画像２０２に
対してテンプレートマッチングを行う。FIG. 8 shows a first configuration example of the preprocessing means 210. If the position of the imaged target is shifted between the input image 201 and the input image 202, even if omnifocal image synthesis is performed on pixels directly corresponding to the input image 201 and the input image 202, a correct result will not be obtained. Accordingly, for example, an area 801 of an appropriate size in the center of the input image 201
, And using this as a template, template matching is performed on the input image 202.
【００２１】その結果、領域８０２がマッチングしたと
すると、領域８０１と領域８０２を重ね合わせ、入力画
像２０１と入力画像２０２の重なり合う矩形領域（ＡＮ
Ｄ領域）８０３を考え、入力画像２０１と入力画像２０
２の、ＡＮＤ領域８０３に重なり合わない部分をそれぞ
れ切り落として、位置合わせ後入力画像８０４，８０５
とする。この位置合わせ後入力画像８０４，８０５を入
力として全焦点画像合成を行うことにより、正しく対応
した画素について全焦点画像合成を行うことができる。
この例では、入力画像が２つの例を示したが、３つ以上
に拡張することは容易である。As a result, if the area 802 is matched, the area 801 and the area 802 are superimposed, and the rectangular area (AN
D region) 803, the input image 201 and the input image 20
2 are cut off portions that do not overlap with the AND area 803, and the input images 804 and 805 after alignment are cut off.
And By performing the omnifocal image synthesis using the input images 804 and 805 after the alignment as input, it is possible to perform the omnifocal image synthesis on the pixels corresponding to the correct positions.
In this example, the example in which the number of input images is two is shown, but it is easy to expand the number to three or more.
【００２２】図９は前処理手段２１０の第２の構成例で
ある。図８と同様、入力画像２０１と入力画像２０２に
おいて、撮像した対象の位置がずれている場合、入力画
像２０１と入力画像２０２の直接対応した画素について
全焦点画像合成を行っても、正しい結果とはならない。
従って、入力画像２０１の例えば中央部の適当な大きさ
の領域８０１をとり、これをテンプレートとして、入力
画像２０２に対してテンプレートマッチングを行う。そ
の結果、領域８０２がマッチングしたとすると、領域８
０１と領域８０２を重ね合わせ、入力画像２０１と入力
画像２０２の両方を含む矩形領域（ＯＲ領域）９０３を
考え、入力画像２０１と入力画像202の、ＯＲ領域９０
３と重なり合わない部分をそれぞれ付加して、画素値を
０またはそれぞれの入力画像の平均値などで埋め、位置
合わせ後入力画像９０４，905とする。この位置合わせ
後入力画像９０４，９０５を入力として全焦点画像合成
を行うことにより、正しく対応した画素について全焦点
画像合成を行うことができる。この例では、入力画像が
２つの例を示したが、３つ以上に拡張することは容易で
ある。FIG. 9 shows a second configuration example of the preprocessing means 210. As in FIG. 8, when the position of the captured target is shifted between the input image 201 and the input image 202, even if the omnifocal image synthesis is performed on the pixels directly corresponding to the input image 201 and the input image 202, the correct result is obtained. Not be.
Therefore, for example, an area 801 of an appropriate size at the center of the input image 201 is taken, and template matching is performed on the input image 202 using this as a template. As a result, if the area 802 matches, the area 8
01 and the area 802 are overlapped, and a rectangular area (OR area) 903 including both the input image 201 and the input image 202 is considered, and the OR area 90 of the input image 201 and the input image 202 is considered.
The portions that do not overlap with 3 are added, and the pixel values are filled with 0 or the average value of the respective input images to obtain input images 904 and 905 after positioning. By performing the omnifocal image synthesis using the input images 904 and 905 after the alignment as input, it is possible to perform the omnifocal image synthesis for correctly corresponding pixels. In this example, the example in which the number of input images is two is shown, but it is easy to expand the number to three or more.
【００２３】図１０は、前処理手段２１０の第３の構成
例である。入力画像ｆ１と入力画像ｆ２において、ｆ１
の画素値の平均値がａ、ｆ２の画素値の平均値がｂのよ
うに、輝度レベルが合わないまま、全焦点合成を行う
と、ｆ１の画素を選んだ部分と、ｆ２の画素を選んだ部
分の境界がくっきり見えてしまい、好ましい合成結果に
ならない。従って、画素値の平均値がｃになるよう、入
力画像ｆ１と入力画像ｆ２について、それぞれ輝度の変
換を行う。FIG. 10 shows a third configuration example of the preprocessing means 210. In the input image f1 and the input image f2, f1
When the all-focus combination is performed while the luminance levels are not matched, as in the case of the average pixel value of a and the average value of the pixel values of f2 such as b, the portion where the pixel of f1 is selected and the pixel of f2 are selected. The boundaries of the ridges are clearly visible, and the result is not good. Therefore, the luminance conversion is performed for each of the input image f1 and the input image f2 so that the average pixel value becomes c.
【００２４】 ｆ１（ｘ，ｙ）＝ｆ１（ｘ，ｙ）＋ｃ−ａ ｆ２（ｘ，ｙ）＝ｆ２（ｘ，ｙ）＋ｃ−ｂ このようにすることにより、入力画像ｆ１と入力画像ｆ
２の画素値の平均値はいずれもｃとなって一致するの
で、この入力画像ｆ１と入力画像ｆ２を用いて全焦点合
成を行うと、ｆ１の画素を選んだ部分と、ｆ２の画素を
選んだ部分の境界が目立たず、好ましい合成結果にな
る。この例では、入力画像が２つの例を示したが、３つ
以上に拡張することは容易である。F1 (x, y) = f1 (x, y) + c−a f2 (x, y) = f2 (x, y) + c−b By doing so, the input image f1 and the input image f
Since all of the average values of the pixel values of 2 are c and coincide with each other, when the all-focus synthesis is performed using the input image f1 and the input image f2, the portion where the pixel of f1 is selected and the pixel of f2 are selected. The boundary of the elliptical portion is not conspicuous, resulting in a favorable synthesis result. In this example, the example in which the number of input images is two is shown, but it is easy to expand the number to three or more.
【００２５】図１２は、本発明の第３の実施例を示した
ものである。FIG. 12 shows a third embodiment of the present invention.
【００２６】入力画像は、前処理手段２１０で前処理さ
れた後、ノイズ低減手段３００でノイズを削減される。
ノイズ低減手段の具体例としては、ノイズ低減フィルタ
や平滑化縮小がある。ノイズ低減画像３０１は、ノイズ
量評価手段３１１によりノイズ量評価値３１１を算出さ
れ、同時に信号変化量評価手段３２０にて、焦点の合致
度を表わす信号変化量評価値３２１を算出される。焦点
判定手段３４０は、信号変化量評価値３２１より合成情
報３４１を生成する。合成手段１２４０は、合成情報３
４１から合成画像２５０，深さ画像２６０を合成する。After the input image is pre-processed by the pre-processing unit 210, the noise is reduced by the noise reduction unit 300.
Specific examples of the noise reduction unit include a noise reduction filter and smoothing reduction. For the noise reduction image 301, the noise amount evaluation value 311 is calculated by the noise amount evaluation unit 311, and at the same time, the signal change amount evaluation value 321 representing the degree of focus matching is calculated by the signal change amount evaluation unit 320. The focus determination unit 340 generates the composite information 341 from the signal change amount evaluation value 321. The synthesizing unit 1240 generates the synthesizing information 3
From 41, a composite image 250 and a depth image 260 are composited.
【００２７】このように、全焦点画像合成の中で、信号
変化量評価手段３２０で信号変化量を評価する前に、ノ
イズ低減手段３００により入力画像に含まれるノイズを
低減させておくことにより、ノイズの影響の少ない合成
画像２５０を合成できる。As described above, in the omnifocal image synthesis, the noise included in the input image is reduced by the noise reduction unit 300 before the signal change evaluation unit 320 evaluates the signal change amount. It is possible to synthesize a synthesized image 250 that is less affected by noise.
【００２８】図１３は、本発明の第４の実施例を示した
ものである。FIG. 13 shows a fourth embodiment of the present invention.
【００２９】全焦点画像合成手段２３０は、デフォルト
合成情報生成手段１３０１だけから成る。入力画像は、
前処理手段２１０で前処理された後、ノイズ低減手段３
００でノイズを削減される。ノイズ低減画像３０１は、
ノイズ量評価手段３１１によりノイズ量評価値３１１を
算出され、同時に信号変化量評価手段Ａ３２０にて、焦
点の合致度を表わす信号変化量評価値３２１を算出され
る。焦点判定手段340は、信号変化量評価値３２１より
信号変化量最大値３４２と合成情報３４１を生成する。
信号変化量最大値３４２はノイズ判定手段３３０に送ら
れ、ノイズ判定手段により、ノイズの影響の程度を表わ
す良好度情報３３１を出力する。デフォルト合成情報生
成手段１３０１は、常に固定のデフォルト画像が選ばれ
るよう、デフォルト画像が入力されている時には全ての
画素を１とする合成情報３４３を、デフォルト画像以外
が入力されている時には全ての画素を０とする合成情報
３４３を出力する。The omnifocal image synthesizing means 230 comprises only default synthesizing information generating means 1301. The input image is
After the pre-processing by the pre-processing means 210, the noise reduction means 3
00 reduces noise. The noise reduction image 301 is
The noise amount evaluation value 311 is calculated by the noise amount evaluation unit 311, and at the same time, the signal change amount evaluation value 321 indicating the degree of coincidence of the focus is calculated by the signal change amount evaluation unit A 320. The focus determination unit 340 generates the signal change maximum value 342 and the combined information 341 from the signal change evaluation value 321.
The signal change maximum value 342 is sent to the noise determination unit 330, and the noise determination unit outputs goodness information 331 indicating the degree of the influence of noise. The default synthesis information generating means 1301 outputs synthesis information 343 in which all pixels are set to 1 when a default image is input and all pixels when a non-default image is input so that a fixed default image is always selected. Is output as the combination information 343 with the value of.
【００３０】従って、全焦点画像合成手段２２０によ
り、ノイズの影響のない良好な部分は少ないが空間分解
能は高い結果が得られ、全焦点画像合成手段２３０によ
り、固定のデフォルト画像が選択される。これらを合成
手段２４０で、ノイズの影響のない部分は全焦点画像合
成手段２２０の結果の画素を、ノイズの影響のある部分
はデフォルト画像の画素を、画素ごとに選択して合成画
像を合成することで、ノイズの影響のない良好な部分が
多くかつ空間分解能は高い合成画像２５０を合成でき
る。Therefore, the omnifocal image synthesizing means 220 can obtain a result having a small number of good portions free from the influence of noise but a high spatial resolution, and the omnifocal image synthesizing means 230 selects a fixed default image. These are selected by the synthesizing unit 240, and the portion which is not affected by noise is selected for each pixel by the result of the all-focus image synthesizing unit 220, and the portion which is affected by noise is selected for each pixel of the default image to synthesize a synthesized image. As a result, it is possible to synthesize a synthesized image 250 having many good portions free from the influence of noise and having high spatial resolution.
【００３１】図１１は、第５の実施例を示している。全
焦点画像合成１１１０は、入力画像２０１，信号変化量
最大値画像１１０１，合成結果画像１１０２，深さ画像
1103を入力し、信号変化量最大値画像１１１１，合成結
果画像１１１２，深さ画像１１１３を出力する。信号変
化量最大値画像１１０１は、図４の信号変化量最大値ｆ
max ４１１、合成結果画像１１０２は図２の合成画像２
５０、深さ画像1103は深さ画像２６０にそれぞれ対応し
ている。全焦点画像合成１１２０，１１３０の入出力も
１１１０の入出力と同様である。次に動作を説明する。
まず、全焦点画像合成１１１０は、入力画像２０１に対
し、信号変化量を調べて、信号変化量最大値画像１１０
１と比較し、合成結果画像１１０２を１１１２へ、深さ
画像１１０３を１１１３へ更新する。次に、全焦点画像
合成１１２０は、入力画像202に対し、信号変化量を調
べて、信号変化量最大値画像１１１１と比較し、合成結
果画像１１１２を１１２２へ、深さ画像１１１３を１１
２３へ更新する。さらに、全焦点画像合成１１３０は、
入力画像２０３に対し、信号変化量を調べて、信号変化
量最大値画像１１２１と比較し、合成結果画像１１２２
を１１３２へ、深さ画像１１２３を１１３３へ更新す
る。このように、入力画像を１枚ずつ入力させながら、
今までの合成結果に今回入力した入力画像１枚を反映さ
せた合成結果を生成する構成にすることにより、次の入
力画像を入力する入力処理と、入力が終わった画像に対
する全焦点画像合成処理を並行して行うことが可能とな
り、全焦点画像合成１１１０，１１２０，１１３０の処
理が、入力画像を入力する処理に隠すことができる。例
えば入力画像が１０数枚から成るような場合、１０数枚
をすべて入力してから、１０数枚分の全焦点画像合成処
理を処理するのとくらべて、大幅に短い時間で処理を終
わらせることが可能となる。FIG. 11 shows a fifth embodiment. The all-focus image synthesis 1110 includes an input image 201, a maximum signal change amount image 1101, a synthesis result image 1102, and a depth image.
1103, and outputs a signal change maximum value image 1111, a synthesis result image 1112, and a depth image 1113. The signal change maximum value image 1101 is the signal change maximum value f of FIG.
max 411, the composite result image 1102 is the composite image 2 in FIG.
Reference numeral 50 and the depth image 1103 correspond to the depth image 260, respectively. The input and output of the all-focus image synthesis 1120 and 1130 are the same as the input and output of 1110. Next, the operation will be described.
First, the omnifocal image synthesis 1110 checks the signal change amount with respect to the input image 201, and determines the signal change amount maximum value image 110.
Compared with 1, the synthesis result image 1102 is updated to 1112, and the depth image 1103 is updated to 1113. Next, the omnifocal image synthesis 1120 checks the signal change amount of the input image 202, compares it with the signal change amount maximum value image 1111, converts the synthesis result image 1112 to 1122, and the depth image 1113 to 11
Update to 23. Further, the omnifocal image composition 1130
The signal change amount of the input image 203 is checked, compared with the signal change amount maximum value image 1121, and the synthesized result image 1122 is checked.
To 1132 and the depth image 1123 to 1133. In this way, while inputting the input images one by one,
An input process for inputting the next input image and an omnifocal image synthesizing process for the input image are completed by generating a synthesis result in which one input image input this time is reflected on the synthesis result up to now. Can be performed in parallel, and the processing of all-focus image synthesis 1110, 1120, and 1130 can be hidden in the processing of inputting an input image. For example, if the input image is composed of several tens of images, the process is completed in a much shorter time than when all the tens of images are input and the omnifocal image synthesis processing of the tens of images is processed. It becomes possible.
【００３２】次に、上述した全焦点画像合成方法及び装
置を適用した荷電粒子線装置の一実施例について図１４
を用いて説明します。Next, an embodiment of a charged particle beam apparatus to which the above-described all-focus image synthesizing method and apparatus is applied is shown in FIG.
I will explain using.
【００３３】本実施例の説明では、荷電粒子線装置の１
つである走査電子顕微鏡を例にとって説明するが、これ
に限られるものではなく、例えばイオンビームを試料上
に走査して試料像を得るＦＩＢ(Focused Ion Beam)装置
のような他の荷電粒子線装置であっても良い。In the description of this embodiment, one of the charged particle beam devices
The following description will be made by taking a scanning electron microscope as an example, but the present invention is not limited to this. For example, another charged particle beam such as a FIB (Focused Ion Beam) device that scans an ion beam on a sample to obtain a sample image It may be a device.
【００３４】図１４は、本発明が適用される走査電子顕
微鏡を示す図である。この走査電子顕微鏡には自動焦点
制御機能が組み込まれている。図１４において、５０１
は試料台、５０２は試料台上の撮影対象試料、５０４は
陰極、５０５は走査コイル、５０６は電子レンズ、５０
８は走査コイル制御回路、５０９はレンズ制御回路であ
る。FIG. 14 is a view showing a scanning electron microscope to which the present invention is applied. This scanning electron microscope has a built-in automatic focus control function. In FIG.
Denotes a sample stage, 502 denotes a sample to be photographed on the sample stage, 504 denotes a cathode, 505 denotes a scanning coil, 506 denotes an electron lens, and 50 denotes a scanning coil.
8, a scanning coil control circuit; and 509, a lens control circuit.
【００３５】電子ビーム５１４は、走査コイル５０５に
よって試料５０２上を走査され、試料５０２から発せら
れた電子は検出器５０３で検出される。検出器５０３か
らの信号Ｓ１がＡＤ変換器５０７に入力されてデジタル
信号Ｓ２へと変換される。Ｓ２のデジタル信号は、画像
処理プロセッサ５１０に入力され、画像の微分処理等の
画像処理と特徴量の抽出が行われ、その結果は制御用計
算機５１１へ送られる。The electron beam 514 is scanned on the sample 502 by the scanning coil 505, and the electrons emitted from the sample 502 are detected by the detector 503. The signal S1 from the detector 503 is input to the AD converter 507 and converted into a digital signal S2. The digital signal of S2 is input to the image processing processor 510, where image processing such as image differentiation processing and extraction of a feature amount are performed, and the result is sent to the control computer 511.
【００３６】また、処理された画像は、表示装置５１２
へ送られ表示される。制御用計算機５１１からの焦点制
御信号Ｓ３は、レンズ制御回路５０９に入力され電子レ
ンズ５０６の励磁電流を調節することで焦点制御を行う
ことができる。The processed image is displayed on a display device 512.
Sent to and displayed. The focus control signal S3 from the control computer 511 is input to the lens control circuit 509, and the focus control can be performed by adjusting the excitation current of the electronic lens 506.
【００３７】５１３は、制御用計算機５１１に接続され
る入力手段である。以上の様に構成されている走査電子
顕微鏡での自動焦点制御は、電子レンズの焦点条件を自
動的に最適値に設定する制御であり、その方法は、電子
レンズの条件を変化させながら、複数枚のフレーム走査
を行い得られた２次電子や反射電子の検出信号から焦点
評価値を算出、評価し、最適値を電子レンズの条件に設
定するものである。An input means 513 is connected to the control computer 511. The automatic focus control in the scanning electron microscope configured as described above is a control for automatically setting the focus condition of the electron lens to an optimal value. The focus evaluation value is calculated and evaluated from the detection signals of the secondary electrons and the reflected electrons obtained by scanning the frame, and the optimum value is set as the condition of the electron lens.
【００３８】このような荷電粒子線装置に本発明の全焦
点画像合成を適用することにより、全体にわたってぼけ
のない画像を獲得できる荷電粒子線装置を提供すること
ができる。By applying the omnifocal image synthesis of the present invention to such a charged particle beam apparatus, it is possible to provide a charged particle beam apparatus capable of acquiring an image without blurring as a whole.
【００３９】[0039]
【発明の効果】本発明によれば、ノイズの多い入力画像
に対しても、人工的な合成画像に見えない自然な全焦点
画像合成方法及び装置を提供できる。According to the present invention, it is possible to provide a natural omnifocal image synthesizing method and apparatus which does not look like an artificial synthesized image even for an input image having much noise.
【図１】本発明の全焦点画像合成の一概念を示した図で
ある。FIG. 1 is a diagram showing one concept of omnifocal image synthesis of the present invention.
【図２】本発明の全焦点画像合成の第１の実施例を示し
た図である。FIG. 2 is a diagram showing a first embodiment of omnifocal image synthesis according to the present invention.
【図３】本発明の全焦点画像合成の第２の実施例を示し
た図である。FIG. 3 is a diagram showing a second embodiment of omnifocal image synthesis according to the present invention.
【図４】本発明の焦点判定手段の一構成例を示した図で
ある。FIG. 4 is a diagram showing an example of a configuration of a focus determination unit of the present invention.
【図５】本発明のノイズ判定手段の一構成例を示した図
である。FIG. 5 is a diagram illustrating a configuration example of a noise determination unit according to the present invention.
【図６】本発明の合成手段の一構成例を示した図であ
る。FIG. 6 is a diagram showing a configuration example of a synthesizing unit of the present invention.
【図７】本発明の全焦点画像合成の第２の実施例のフロ
ーチャートである。FIG. 7 is a flowchart of a second embodiment of omnifocal image synthesis according to the present invention.
【図８】本発明の全焦点画像合成の第２の実施例を示し
た図である。FIG. 8 is a diagram showing a second embodiment of omnifocal image synthesis according to the present invention.
【図９】本発明の全焦点画像合成の前処理手段２１０の
一構成例を示した図である。FIG. 9 is a diagram showing a configuration example of an all-focus image synthesizing pre-processing unit 210 according to the present invention.
【図１０】本発明の全焦点画像合成の前処理手段２１０
の他の構成例を示した図である。FIG. 10 shows a pre-processing unit 210 for synthesizing an all-focus image according to the present invention.
FIG. 11 is a diagram showing another configuration example.
【図１１】本発明の全焦点画像合成の第５の実施例を示
した図である。FIG. 11 is a diagram showing a fifth embodiment of the omnifocal image synthesis of the present invention.
【図１２】本発明の全焦点画像合成の第３の実施例を示
した図である。FIG. 12 is a diagram showing a third embodiment of the omnifocal image composition of the present invention.
【図１３】本発明の全焦点画像合成の第４の実施例を示
した図である。FIG. 13 is a diagram showing a fourth embodiment of the all-in-focus image composition of the present invention.
【図１４】本発明の荷電粒子線装置の一実施例を示した
図である。FIG. 14 is a view showing one embodiment of the charged particle beam apparatus of the present invention.
２００…入力画像、２１０…前処理手段、２１１…前処
理後入力画像、２２０，２３０…全焦点画像合成手段、
２２１，２３１…合成画像及び良好度情報、２４０…合
成手段、２５０…合成画像。200: input image, 210: pre-processing means, 211: input image after pre-processing, 220, 230: all-focus image synthesizing means,
221, 231: combined image and goodness information, 240: combining means, 250: combined image.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｚ 5/232 5/232 Ａ 5/243 5/243 5/262 5/262 // Ｈ０４Ｎ 5/21 5/21 Ｂ (72)発明者 高根 淳 茨城県ひたちなか市大字市毛882番地 株 式会社日立製作所計測器グループ内 Ｆターム(参考） 5B057 AA03 BA02 BA19 CA08 CA12 CA16 CB08 CB12 CB16 CE02 CE08 CE12 DA03 DA07 DB02 DB09 DC23 DC32 DC36 5C021 PA17 PA53 PA56 PA66 PA77 RB07 XB06 YA01 5C022 AA01 AB21 AB37 AB68 CA02 5C023 AA07 AA11 BA01 BA03 BA07 BA12 CA03 EA03 EA05 5C076 AA12 AA19 AA31 BA06 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 5/225 H04N 5/225 Z 5/232 5/232 A 5/243 5/243 5/262 5 / 262 // H04N 5/21 5/21 B (72) Inventor Atsushi Takane 882, Oji-shi, Oita-shi, Hitachinaka-shi, Ibaraki F-term in the measuring instrument group of Hitachi, Ltd. F-term (reference) 5B057 AA03 BA02 BA19 CA08 CA12 CA16 CB08 CB12 CB16 CE02 CE08 CE12 DA03 DA07 DB02 DB09 DC23 DC32 DC36 5C021 PA17 PA53 PA56 PA66 PA77 RB07 XB06 YA01 5C022 AA01 AB21 AB37 AB68 CA02 5C023 AA07 AA11 BA01 BA03 BA07 BA12 CA03 EA03 EA05 5C076 AA12 AA19AA
Claims (7)
ノイズを削減し、 ノイズが削減されたノイズ削減画像のノイズ量を評価す
ると共に、前記ノイズ削減画像の焦点合致度を評価して
信号変化量評価値を算出し、 算出された信号変化量評価値に基づいて信号変化量評価
最大値と合成情報を生成し、 前記信号変化量評価最大値と前記ノイズ量評価値からノ
イズの影響度を判定して良好度情報を生成する全焦点画
像合成手段を複数有し、 複数の全焦点画像合成手段から生成された複数の前記良
好度情報と前記合成情報に基づいて合成画像を生成する
全焦点画像合成方法。1. A method for reducing noise in a plurality of input images read at different focuses, evaluating a noise amount of the noise reduced image in which noise has been reduced, and evaluating a degree of focus matching of the noise reduced image to change a signal. Calculating the signal evaluation value, generating a signal change evaluation maximum value and synthetic information based on the calculated signal change evaluation value, and calculating a noise influence degree from the signal change evaluation maximum value and the noise amount evaluation value. A plurality of omnifocal image synthesizing means for judging and generating goodness information; an omnifocal for generating a synthetic image based on the plurality of goodness information generated from the plurality of omnifocal image synthesizing means and the synthetic information; Image composition method.
て、 複数の前記良好度情報と前記合成情報から、画素毎にノ
イズ影響度の少ない合成情報を複数の中から選択し、選
択された合成情報を合成して合成画像を生成する全焦点
画像合成方法。2. The omnifocal image synthesizing method according to claim 1, wherein from among the plurality of pieces of goodness information and the plurality of pieces of synthesizing information, a piece of synthesizing information having a small noise influence for each pixel is selected from a plurality of pieces. An all-focus image synthesizing method for synthesizing synthesis information to generate a synthetic image.
て、 前記複数の入力画像のノイズを削減する前に、複数の入
力画像の位置合わせ及び輝度合わせを行なう全焦点画像
合成方法。3. The all-in-focus image synthesizing method according to claim 1, wherein the position and brightness of the plurality of input images are adjusted before noise of the plurality of input images is reduced.
て、 前記複数の全焦点画像合成手段の少なくとも１つは、前
記入力画像内の予め定められたデフォルト画像が選択さ
れる全焦点画像合成方法。4. The omnifocal image synthesizing method according to claim 1, wherein at least one of said plurality of omnifocal image synthesizing means selects a predetermined default image in said input image. Method.
ノイズを削減してノイズ削減画像を生成するノイズ低減
手段と、前記ノイズ削減画像のノイズ量を評価してノイ
ズ量評価値を算出するノイズ量評価手段と、前記ノイズ
量評価値の算出と共に前記ノイズ削減画像の焦点合致度
を評価して信号変化量評価値を算出する信号変化量評価
手段と、前記信号変化量評価値を評価して信号変化量評
価最大値と合成情報を生成する焦点判定手段と、前記信
号変化量評価最大値と前記ノイズ量評価値からノイズの
影響度を判定して良好度情報を生成するノイズ判定手段
とを備える複数の全焦点画像合成手段と、 前記複数の全焦点画像合成手段から生成された複数の前
記良好度情報と前記合成情報に基づいて合成画像を生成
する合成手段を有する全焦点画像合成装置。5. A noise reduction means for reducing noise of a plurality of input images read at different focuses to generate a noise reduction image, and a noise for evaluating a noise amount of the noise reduction image and calculating a noise amount evaluation value. Signal amount evaluating means for calculating a signal change amount evaluation value by evaluating a focus matching degree of the noise reduction image together with calculating the noise amount evaluation value; and evaluating the signal change amount evaluation value. Focus determination means for generating a signal change amount evaluation maximum value and synthetic information, and noise determination means for determining the degree of influence of noise from the signal change amount evaluation maximum value and the noise amount evaluation value to generate goodness information. An omnifocal image having a plurality of omnifocal image synthesizing means; and a synthesizing means for generating a synthetic image based on the plurality of goodness information generated from the plurality of omnifocal image synthesizing means and the synthesizing information. Image synthesis device.
て、 前記複数の入力画像が前記ノイズ削減手段に入力される
前に、前記複数の入力画像の位置合わせまたは輝度合わ
せ、もしくわ位置合わせ及び輝度合わせを行なう前処理
手段を有する全焦点画像合成装置。6. The omnifocal image synthesizing apparatus according to claim 5, wherein before the plurality of input images are input to the noise reduction unit, the plurality of input images are aligned, or the brightness is adjusted. And an omnifocal image synthesizing device having preprocessing means for performing luminance adjustment.
て、 前記複数の入力画像を前記全焦点画像合成手段へ入力す
る入力処理と並行して入力された入力画像を前記全焦点
画像合成手段にて全焦点画像合成処理する全焦点画像合
成装置。7. The omnifocal image synthesizing device according to claim 5, wherein an input image input in parallel with an input process of inputting the plurality of input images to the omnifocal image synthesizing device is provided. An omnifocal image synthesizing device that performs omnifocal image synthesizing processing at
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000170407A JP3956584B2 (en) | 2000-06-02 | 2000-06-02 | Omnifocal image composition method and apparatus |
| US09/612,302 US6538249B1 (en) | 1999-07-09 | 2000-07-07 | Image-formation apparatus using charged particle beams under various focus conditions |
| US10/356,498 US6653633B2 (en) | 1999-07-09 | 2003-02-03 | Charged particle beam apparatus |
| US10/681,116 US6936818B2 (en) | 1999-07-09 | 2003-10-09 | Charged particle beam apparatus |
| US11/108,731 US7109485B2 (en) | 1999-07-09 | 2005-04-19 | Charged particle beam apparatus |
| US11/515,732 US7329868B2 (en) | 1999-07-09 | 2006-09-06 | Charged particle beam apparatus |
| US12/005,387 US7642514B2 (en) | 1999-07-09 | 2007-12-27 | Charged particle beam apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000170407A JP3956584B2 (en) | 2000-06-02 | 2000-06-02 | Omnifocal image composition method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001344599A true JP2001344599A (en) | 2001-12-14 |
| JP3956584B2 JP3956584B2 (en) | 2007-08-08 |
Family
ID=18673135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000170407A Expired - Fee Related JP3956584B2 (en) | 1999-07-09 | 2000-06-02 | Omnifocal image composition method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3956584B2 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003083907A (en) * | 2001-09-12 | 2003-03-19 | Hitachi Ltd | Defect inspecting method and its apparatus |
| US6963067B2 (en) | 2003-01-06 | 2005-11-08 | Hitachi High-Technologies Corporation | Scanning electron microscope and sample observing method using it |
| JP2005537545A (en) * | 2002-08-28 | 2005-12-08 | ビーエーイー システムズ エアクラフト コントロールズ，インコーポレイティド | Image fusion system and method |
| JP2007514248A (en) * | 2003-12-16 | 2007-05-31 | シーレーテ エルエルシー | Lens defect correction |
| JP2010020758A (en) * | 2008-06-13 | 2010-01-28 | Fujifilm Corp | Image processing apparatus, imaging apparatus, image processing method and program |
| JP2010061678A (en) * | 2003-02-28 | 2010-03-18 | Aperio Technologies Inc | System and method for browsing virtual slide |
| WO2013088861A1 (en) | 2011-12-16 | 2013-06-20 | オリンパスメディカルシステムズ株式会社 | Depth expansion device |
| US8620047B2 (en) | 2005-01-27 | 2013-12-31 | Leica Biosystems Imaging, Inc. | Viewing three dimensional digital slides |
| JP2014207110A (en) * | 2013-04-12 | 2014-10-30 | 株式会社日立ハイテクノロジーズ | Observation apparatus and observation method |
| KR101495584B1 (en) | 2012-07-05 | 2015-02-25 | 가시오게산키 가부시키가이샤 | Image processing apparatus, image processing method and storage medium for acquiring an omnifocal image |
| JP2015506730A (en) * | 2011-12-09 | 2015-03-05 | バードナー，スティーブン | A method for combining multiple eye images into a plenoptic multifocal image |
| WO2015159778A1 (en) * | 2014-04-18 | 2015-10-22 | オリンパス株式会社 | Image processing device, image processing method and image processing program |
| WO2020012825A1 (en) * | 2018-07-13 | 2020-01-16 | 富士フイルム株式会社 | Image generation device, image generation method, and image generation program |
-
2000
- 2000-06-02 JP JP2000170407A patent/JP3956584B2/en not_active Expired - Fee Related
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003083907A (en) * | 2001-09-12 | 2003-03-19 | Hitachi Ltd | Defect inspecting method and its apparatus |
| JP2005537545A (en) * | 2002-08-28 | 2005-12-08 | ビーエーイー システムズ エアクラフト コントロールズ，インコーポレイティド | Image fusion system and method |
| US6963067B2 (en) | 2003-01-06 | 2005-11-08 | Hitachi High-Technologies Corporation | Scanning electron microscope and sample observing method using it |
| JP2010061678A (en) * | 2003-02-28 | 2010-03-18 | Aperio Technologies Inc | System and method for browsing virtual slide |
| JP2012059290A (en) * | 2003-02-28 | 2012-03-22 | Aperio Technologies Inc | System and method for browsing virtual slide |
| JP2007514248A (en) * | 2003-12-16 | 2007-05-31 | シーレーテ エルエルシー | Lens defect correction |
| US8953859B2 (en) | 2005-01-27 | 2015-02-10 | Leica Biosystems Imaging, Inc. | Viewing three dimensional digital slides |
| US9349208B2 (en) | 2005-01-27 | 2016-05-24 | Leica Biosystems Imaging, Inc. | Viewing three dimensional digital slides |
| US8620047B2 (en) | 2005-01-27 | 2013-12-31 | Leica Biosystems Imaging, Inc. | Viewing three dimensional digital slides |
| JP2010020758A (en) * | 2008-06-13 | 2010-01-28 | Fujifilm Corp | Image processing apparatus, imaging apparatus, image processing method and program |
| JP4524717B2 (en) * | 2008-06-13 | 2010-08-18 | 富士フイルム株式会社 | Image processing apparatus, imaging apparatus, image processing method, and program |
| JP2015506730A (en) * | 2011-12-09 | 2015-03-05 | バードナー，スティーブン | A method for combining multiple eye images into a plenoptic multifocal image |
| US8743186B2 (en) | 2011-12-16 | 2014-06-03 | Olympus Medical Systems Corp. | Focal depth expansion device |
| WO2013088861A1 (en) | 2011-12-16 | 2013-06-20 | オリンパスメディカルシステムズ株式会社 | Depth expansion device |
| KR101495584B1 (en) | 2012-07-05 | 2015-02-25 | 가시오게산키 가부시키가이샤 | Image processing apparatus, image processing method and storage medium for acquiring an omnifocal image |
| US9386223B2 (en) | 2012-07-05 | 2016-07-05 | Casio Computer Co., Ltd. | Image processing apparatus, image processing method and storage medium for acquiring an omnifocal image by combining multiple images with a specific order |
| JP2014207110A (en) * | 2013-04-12 | 2014-10-30 | 株式会社日立ハイテクノロジーズ | Observation apparatus and observation method |
| WO2015159778A1 (en) * | 2014-04-18 | 2015-10-22 | オリンパス株式会社 | Image processing device, image processing method and image processing program |
| JP2015207860A (en) * | 2014-04-18 | 2015-11-19 | オリンパス株式会社 | image processing apparatus, image processing method and image processing program |
| WO2020012825A1 (en) * | 2018-07-13 | 2020-01-16 | 富士フイルム株式会社 | Image generation device, image generation method, and image generation program |
| JPWO2020012825A1 (en) * | 2018-07-13 | 2021-07-15 | 富士フイルム株式会社 | Image generator, image generator and image generator |
| JP7030986B2 (en) | 2018-07-13 | 2022-03-07 | 富士フイルム株式会社 | Image generator, image generator and image generator |
| US11574384B2 (en) | 2018-07-13 | 2023-02-07 | Fujifilm Corporation | Image generation device, image generation method, and image generation program to generate a combination region image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3956584B2 (en) | 2007-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7003238B2 (en) | Image processing methods, devices, and devices | |
| US6346994B1 (en) | Image processing system and its smoothing method for correcting color fog and backlight of a digital image | |
| US7990429B2 (en) | Imaging device with blur enhancement | |
| US9071761B2 (en) | Information processing apparatus, information processing method, program, and imaging apparatus including optical microscope | |
| KR100200363B1 (en) | Apparatus to enlarge the dynamic range | |
| JP3956584B2 (en) | Omnifocal image composition method and apparatus | |
| JP4818393B2 (en) | Image processing method and image processing apparatus | |
| EP0622748A2 (en) | A method for generating artificial shadow | |
| US6819794B2 (en) | Image processing apparatus, image processing method, storage medium and program | |
| EP3131281B1 (en) | Image processing apparatus and method, recording medium on which temporarily computer-readable image processing program has been stored, and image pickup apparatus | |
| JP3733260B2 (en) | Image processing apparatus and image processing method | |
| WO2008102296A2 (en) | Method for enhancing the depth sensation of an image | |
| JP3938122B2 (en) | Pseudo three-dimensional image generation apparatus, generation method, program therefor, and recording medium | |
| JP2000188768A (en) | Automatic gradation correction method | |
| US7387386B2 (en) | Ophthalmologic image processing apparatus | |
| JP2000102033A (en) | Automatic gradation correction method | |
| JPH11296680A (en) | Image processor provided with contrast improving function and charged particle ray device | |
| JP2003065969A (en) | Apparatus and method for inspecting pattern | |
| JP2018160024A (en) | Image processing device, image processing method and program | |
| US6963364B2 (en) | Method of improving a signal in a sequence of images acquired with a digital color video camera | |
| JP3914810B2 (en) | Imaging apparatus, imaging method, and program thereof | |
| JP5147912B2 (en) | Image processing method, image processing apparatus, program, and recording medium | |
| JP2024006056A (en) | Image processing device, image capturing device, image processing method, and program | |
| JP2021164059A (en) | Image processing apparatus, image processing method, and program | |
| JP4236642B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040514 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060418 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070405 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070417 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070430 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |