JP2010117229A - Height information acquisition apparatus, height information acquisition method, and program - Google Patents
Height information acquisition apparatus, height information acquisition method, and program Download PDFInfo
- Publication number
- JP2010117229A JP2010117229A JP2008290386A JP2008290386A JP2010117229A JP 2010117229 A JP2010117229 A JP 2010117229A JP 2008290386 A JP2008290386 A JP 2008290386A JP 2008290386 A JP2008290386 A JP 2008290386A JP 2010117229 A JP2010117229 A JP 2010117229A
- Authority
- JP
- Japan
- Prior art keywords
- height
- pixel
- height information
- specimen
- information acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 80
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 238000001000 micrograph Methods 0.000 claims description 71
- 238000011156 evaluation Methods 0.000 claims description 16
- 239000000470 constituent Substances 0.000 abstract 2
- 230000003287 optical effect Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012892 rational function Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Description
本発明は計測技術に関し、特に、観察対象である標本の高さ情報を、該標本の顕微鏡画像に基づいて取得する技術に関する。 The present invention relates to a measurement technique, and more particularly to a technique for acquiring height information of a specimen to be observed based on a microscope image of the specimen.
顕微鏡のような、焦点深度の浅い光学系を持つ装置では、観察対象の把握が困難であるため、観察対象の全焦点画像、三次元形状データ、及び三次元画像を得ることのできる装置が求められている。ここで、全焦点画像とは、観察対象の全ての領域に焦点が合った画像である。また、三次元形状データとは、観察対象の顕微鏡画像を構成している全ての画素に、当該画素で表現されている観察対象の高さ情報が割り当てられたデータ群のことであり、コンピュータグラフィックスで観察対象の三次元表示を可能とする。更に、三次元画像とは、三次元形状データの各画素に、例えば全焦点画像の各画素の輝度情報を割り当てる等して、観察対象の三次元形状に色彩が与えられた画像である。 In a device having an optical system with a shallow depth of focus, such as a microscope, it is difficult to grasp an observation target. Therefore, a device capable of obtaining an omnifocal image, three-dimensional shape data, and a three-dimensional image of an observation target is required. It has been. Here, the omnifocal image is an image in which all regions to be observed are in focus. The three-dimensional shape data is a data group in which the height information of the observation target expressed by the pixel is assigned to all the pixels constituting the microscope image of the observation target. This enables 3D display of the observation object. Further, the three-dimensional image is an image in which color is given to the three-dimensional shape to be observed by assigning, for example, luminance information of each pixel of the omnifocal image to each pixel of the three-dimensional shape data.
共焦点光学系を用いて観察対象の高さ計測やパターン投影などを行う、アクティブ法に属する三次元計測装置は、レーザ光等の光照射装置を必要とするため、大型で高コストであるため、その概形を観察するだけで十分な場合には不向きである。 The three-dimensional measuring device belonging to the active method, which uses the confocal optical system to measure the height of an observation object or projects a pattern, requires a light irradiation device such as a laser beam, and is therefore large and expensive. It is not suitable when just observing the outline is sufficient.
パッシブ法に属する三次元形状の計測方法に、Shape from Focus法と呼ばれる手法がある。この手法は、焦点位置の異なる複数の画像を用いて被写体の三次元形状を計測するものであり、ある焦点位置で撮像した画像において、焦点位置に近い領域は鮮明であり、焦点位置から離れた領域では惚けて写ることを利用して計測するものである。 There is a method called Shape from Focus method as a three-dimensional shape measurement method belonging to the passive method. This method measures the three-dimensional shape of a subject using a plurality of images with different focal positions, and in an image captured at a certain focal position, the region close to the focal position is clear and away from the focal position. The area is measured by making use of the fact that it is lost.
具体的には、観察対象の高さ方向に焦点位置の異なる複数の画像における同一位置の各画素（注目画素）について、近傍の画素とでの輝度の微分値が最大となるものを特定する。そして、特定された各画素が属している画像の取得時における焦点位置を、その注目画素の高さ情報とすることで、三次元形状データを得ることができる。また、全焦点画像は、観察対象の高さ方向に焦点位置の異なる複数の画像における各注目画素について、近傍の画素とでの輝度の微分値が最大となったときの輝度値を割り当てて画像を形成すればよい。 Specifically, for each pixel (target pixel) at the same position in a plurality of images having different focal positions in the height direction of the observation target, a pixel having a maximum luminance differential value with a neighboring pixel is specified. Then, the three-dimensional shape data can be obtained by using the focal position at the time of acquiring the image to which each identified pixel belongs as the height information of the target pixel. In addition, the omnifocal image is an image obtained by assigning a luminance value when the differential value of luminance with a neighboring pixel is maximum for each target pixel in a plurality of images having different focal positions in the height direction of the observation target. May be formed.
この手法は、前述の光照射装置のような特別な装置を必要としないので、極めて小型で且つ低コストで装置を構成することができる。また、アクティブ法より計測精度が低いものの、観察対象の概形の観察のみを目的とする場合には十分である場合が多い。 Since this method does not require a special device such as the above-described light irradiation device, the device can be configured with extremely small size and low cost. In addition, although the measurement accuracy is lower than that of the active method, it is often sufficient for the purpose of only observing the outline of the observation target.
しかしながら、Shape from Focus法は、画像内の濃淡変化の乏しい領域では誤計測が非常に多くなり、適切な計測が困難になるという問題がある。
この問題に関し、特許文献１には輝度変化が所定値未満の領域では測定結果を使用せず、その代わりに、当該領域周囲の、高さ情報を測定できた領域の当該高さ情報に基づく補間によって、当該領域の高さ情報を得るという技術が開示されている。
However, the Shape from Focus method has a problem in that an erroneous measurement becomes very large in a region where a change in shading in an image is scarce, and it is difficult to perform an appropriate measurement.
Regarding this problem, Patent Document 1 does not use the measurement result in the region where the luminance change is less than the predetermined value, but instead performs interpolation based on the height information of the region around the region where the height information can be measured. The technique of obtaining the height information of the area is disclosed.
この技術を、図７を用いてより具体的に説明する。図７において、高さを直接求めることができなかった画素１００の高さｚを、その画素の近傍に配置されている複数個の画素１０１から算出する。ここで、第ｉ番目の画素１０１について、画素１００との距離をｌｉとし、その高さをＺｉとしたときに、画素１００の高さｚを、下記の［数１］式による線形補間により算出するというものがこの技術である。 This technique will be described more specifically with reference to FIG. In FIG. 7, the height z of the pixel 100 for which the height could not be obtained directly is calculated from the plurality of pixels 101 arranged in the vicinity of the pixel. Here, regarding the i-th pixel 101, when the distance from the pixel 100 is li and the height is Zi, the height z of the pixel 100 is calculated by linear interpolation according to the following [Equation 1]. This technology is what you do.
しかしながら、上掲した特許文献１に開示の技術では、補間の基礎とする近傍画素ｉを探索する処理時間への配慮がなく、また、近傍画素ｉに異常値が含まれていると、補間で求めた画素ｐの高さｚの値が、この異常値に引きずられることがある。 However, in the technique disclosed in Patent Document 1 listed above, there is no consideration for the processing time for searching for a neighboring pixel i as a basis of interpolation, and if an abnormal value is included in the neighboring pixel i, interpolation is performed. The obtained value of the height z of the pixel p may be dragged by this abnormal value.
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、観察対象である標本の濃淡変化が乏しい領域の適切な高さ情報を得ることである。 The present invention has been made in view of the above-described problems, and a problem to be solved is to obtain appropriate height information of a region where the change in shading of a specimen to be observed is poor.
本発明の態様のひとつである高さ情報取得装置は、標本の高さ方向に焦点位置が互いに異なり視野範囲は同一である該標本の複数の顕微鏡画像に基づいて該標本の高さ情報を取得する高さ情報取得装置であって、該顕微鏡画像を構成している全画素のうちの一部の画素群である第一画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の顕微鏡画像に基づいて取得する第一高さ情報取得手段と、該顕微鏡画像を複数の小領域に分割する分割手段と、該複数の小領域の各々に対し、該小領域に表されている該標本の部位の高さの代表値を、該第一画素群に属している画素について該第一高さ情報取得手段が取得した高さに基づき生成する高さ情報代表値生成手段と、該顕微鏡画像を構成している全画素のうち該第一画素群に属していない画素群である第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該高さ情報代表値生成手段が該複数の小領域の各々に対して生成した該高さの代表値に基づいた補間演算により算出して取得する第二高さ情報取得手段と、を有するというものである。 A height information acquisition apparatus according to one aspect of the present invention acquires height information of a specimen based on a plurality of microscopic images of the specimen, which have different focal positions in the height direction of the specimen and have the same visual field range. A height information acquisition apparatus, wherein each pixel belonging to a first pixel group, which is a part of a group of all pixels constituting the microscope image, is represented by the pixel. First height information acquisition means for acquiring the height of the part of the specimen based on the plurality of microscope images, division means for dividing the microscope image into a plurality of small areas, and each of the plurality of small areas On the other hand, a representative value of the height of the part of the specimen represented in the small area is generated based on the height acquired by the first height information acquisition unit for the pixels belonging to the first pixel group. Height information representative value generating means and all pixel pixels constituting the microscope image For each pixel belonging to the second pixel group, which is a pixel group not belonging to the first pixel group, the height information representative value generation means indicates the height of the part of the sample represented by the pixel. And a second height information acquisition unit that calculates and acquires an interpolation calculation based on the representative value of the height generated for each of the plurality of small regions.
なお、上述した高さ情報取得装置において、該高さ情報代表値生成手段は、該小領域に表されている該標本の部位の高さの代表値を、該第一画素群に属している画素のうち該小領域に含まれているものについて該第一高さ情報取得手段が取得した高さの代表値を求めることによって生成するように構成してもよい。 In the above-described height information acquisition device, the height information representative value generation unit belongs to the first pixel group, the representative value of the height of the part of the specimen represented in the small region. You may comprise so that it may generate | occur | produce by calculating | requiring the representative value of the height which this 1st height information acquisition means acquired about what is contained in this small area | region among pixels.
なお、このとき、該高さ情報代表値生成手段は、該第一画素群に属している画素が含まれていない小領域については、該小領域に隣接する小領域のうち該高さの代表値が生成されているものの該代表値の合計の平均値を算出して、この算出結果を該小領域についての該高さの代表値として生成するように構成してもよい。 At this time, the height information representative value generation means, for a small area that does not include a pixel belonging to the first pixel group, represents the height of the small areas adjacent to the small area. An average value of the total of the representative values of the generated values may be calculated, and the calculation result may be generated as a representative value of the height for the small region.
また、前述した高さ情報取得装置において、該第二高さ情報取得手段は、該第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の小領域のうち該画素に中心位置が隣接するものについての該高さの代表値に基づいた補間演算により算出して取得するように構成してもよい。 Further, in the above-described height information acquisition device, the second height information acquisition means, for each pixel belonging to the second pixel group, the height of the part of the specimen represented by the pixel, You may comprise so that it may calculate and acquire by the interpolation calculation based on the representative value of this height about a thing with a center position adjacent to this pixel among these small area | regions.
なお、このとき、該第二高さ情報取得手段は、該第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の小領域のうち該画素に中心位置が隣接するものについての該高さの代表値に基づく補間演算であって該画素の位置と該中心位置との位置関係に応じた該補間演算により算出して取得するように構成してもよい。 At this time, for each pixel belonging to the second pixel group, the second height information acquisition means calculates the height of the part of the specimen represented by the pixel of the plurality of small regions. Interpolation calculation based on the representative value of the height of the pixel whose center position is adjacent to the pixel is calculated and acquired by the interpolation calculation according to the positional relationship between the pixel position and the center position. You may comprise.
また、前述した高さ情報取得装置において、該第二高さ情報取得手段は、更に、該第一画素群に属している各画素についても、該画素で表されている該標本の部位の高さを、該高さ情報代表値生成手段により該複数の小領域の各々に対して生成された該高さの代表値に基づいた補間演算により算出して取得するように構成してもよい。 In the above-described height information acquisition device, the second height information acquisition unit further includes, for each pixel belonging to the first pixel group, the height of the part of the specimen represented by the pixel. The height information representative value generation unit may calculate and acquire the height by an interpolation calculation based on the height representative value generated for each of the plurality of small regions.
また、前述した高さ情報取得装置において、該小領域の形態の設定を取得する小領域設定取得手段を更に有し、該分割手段は、該顕微鏡画像を、該小領域設定取得手段が取得した設定に係る形態の小領域に分割する、ように構成してもよい。 The height information acquisition apparatus described above further includes a small region setting acquisition unit that acquires the setting of the form of the small region, and the dividing unit acquires the microscope image by the small region setting acquisition unit. You may comprise so that it may divide | segment into the small area | region of the form which concerns on a setting.
また、前述した高さ情報取得装置において、該複数の顕微鏡画像の各々を構成する各画素について、該画素で表されている該標本の部位の合焦の程度を示す数値であって該数値が高いほど合焦の程度が高いことを表す合焦評価値を算出する合焦評価値算出手段を更に有し、該第一画素群には、該複数の顕微鏡画像の各々での位置が同一である画素の各々についての合焦評価値のうち最大のものが所定の閾値以上であった画素が属している、ように構成してもよい。 Further, in the height information acquisition device described above, for each pixel constituting each of the plurality of microscope images, the numerical value indicates a degree of focusing of the part of the specimen represented by the pixel, and the numerical value is The first pixel group further includes a focus evaluation value calculation unit that calculates a focus evaluation value that indicates that the higher the degree of focus, the higher the focus level, and the first pixel group has the same position in each of the plurality of microscope images. You may comprise so that the pixel to which the largest thing was more than a predetermined threshold among the focusing evaluation values about each of a certain pixel may belong.
なお、このとき、該合焦評価値算出手段は、該顕微鏡画像を構成する各画素の合焦評価値として、該顕微鏡画像において該画素に隣接している各隣接画素と該画素との輝度の微分値を算出するように構成してもよい。 At this time, the focus evaluation value calculation means calculates the brightness of each pixel adjacent to the pixel in the microscope image as the focus evaluation value of each pixel constituting the microscope image. You may comprise so that a differential value may be calculated.
また、前述した高さ情報取得装置において、該顕微鏡画像を構成している全画素について取得された該標本の部位の高さの情報に基づき、各画素に対し、該高さに対応する該焦点位置である該顕微鏡画像における該画素の輝度値を割り当てることで、該標本の全焦点画像を生成する全焦点画像生成手段を更に有するように構成してもよい。 Further, in the above-described height information acquisition device, the focus corresponding to the height is set for each pixel based on the height information of the part of the specimen acquired for all the pixels constituting the microscope image. You may comprise further the omnifocal image generation means which produces | generates the omnifocal image of this sample by assigning the luminance value of this pixel in this microscope image which is a position.
また、前述した高さ情報取得装置において、該全焦点画像生成手段により生成された該標本の全焦点画像を構成する各画素についての該全焦点画像上における位置情報と、該各画素について取得された該標本の部位の高さの情報とに基づき、該全焦点画像の三次元表示画像を生成する三次元画像生成手段を更に有するように構成してもよい。 Further, in the above-described height information acquisition device, the position information on the omnifocal image for each pixel constituting the omnifocal image of the specimen generated by the omnifocal image generation unit and the information acquired for each pixel are acquired. Further, it may be configured to further include a three-dimensional image generation means for generating a three-dimensional display image of the omnifocal image based on the height information of the part of the specimen.
また、本発明の別の態様のひとつである高さ情報取得方法は、標本の高さ方向に焦点位置が互いに異なり視野範囲は同一である該標本の複数の顕微鏡画像に基づいて該標本の高さ情報を取得する高さ情報取得方法であって、該顕微鏡画像を構成している全画素のうちの一部の画素群である第一画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の顕微鏡画像に基づいて取得し、該顕微鏡画像を複数の小領域に分割し、該複数の小領域の各々に対し、該小領域に表されている該標本の部位の高さの代表値を、該第一画素群に属している画素について取得した高さに基づき生成し、
該顕微鏡画像を構成している全画素のうち該第一画素群に属していない画素群である第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の小領域の各々に対して生成した該高さの代表値に基づいた補間演算により算出して取得する、というものである。
In addition, the height information acquisition method according to another aspect of the present invention includes a height information of the sample based on a plurality of microscopic images of the sample having different focal positions in the height direction of the sample and the same visual field range. A height information acquisition method for acquiring height information, wherein each pixel belonging to a first pixel group, which is a partial pixel group among all pixels constituting the microscope image, is represented by the pixel. The height of the portion of the specimen being obtained is acquired based on the plurality of microscope images, the microscope image is divided into a plurality of small regions, and each of the plurality of small regions is displayed in the small region. A representative value of the height of the portion of the specimen being generated based on the height acquired for the pixels belonging to the first pixel group,
For each pixel belonging to the second pixel group, which is a pixel group not belonging to the first pixel group, out of all pixels constituting the microscope image, the height of the part of the specimen represented by the pixel This is calculated and acquired by an interpolation operation based on the representative value of the height generated for each of the plurality of small regions.
また、本発明の更なる別の態様のひとつであるプログラムは、標本の高さ方向に焦点位置が互いに異なり視野範囲は同一である該標本の複数の顕微鏡画像に基づいて該標本の高さ情報を取得する処理をコンピュータに行わせるためのプログラムであって、該顕微鏡画像を構成している全画素のうちの一部の画素群である第一画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の顕微鏡画像に基づいて取得する第一高さ情報取得処理と、該顕微鏡画像を複数の小領域に分割する分割処理と、該複数の小領域の各々に対し、該小領域に表されている該標本の部位の高さの代表値を、該第一画素群に属している画素について該第一高さ情報取得処理により取得した高さに基づき
生成する高さ情報代表値生成処理と、該顕微鏡画像を構成している全画素のうち該第一画素群に属していない画素群である第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該高さ情報代表値生成処理により該複数の小領域の各々に対して生成した該高さの代表値に基づいた補間演算により算出して取得する第二高さ情報取得処理と、をコンピュータに行わせる、というものである。
Further, the program according to another aspect of the present invention provides information on the height of the specimen based on a plurality of microscopic images of the specimen having different focal positions in the height direction of the specimen and having the same visual field range. For each pixel belonging to the first pixel group, which is a partial pixel group among all the pixels constituting the microscope image, A first height information acquisition process for acquiring the height of the part of the specimen represented by the plurality of microscope images, a division process for dividing the microscope image into a plurality of small regions, For each of the small areas, a representative value of the height of the part of the specimen represented in the small area was acquired by the first height information acquisition process for the pixels belonging to the first pixel group Height information representative value generation process generated based on height And for each pixel belonging to the second pixel group, which is a pixel group not belonging to the first pixel group, of all the pixels constituting the microscope image, the part of the specimen represented by the pixel Second height information acquisition process for calculating and acquiring the height of the image by interpolation calculation based on the representative value of the height generated for each of the plurality of small regions by the height information representative value generation process And letting the computer do it.
本発明によれば、以上のようにすることにより、観察対象である標本の濃淡変化が乏しい領域の適切な高さ情報が得られるという効果を奏する。 According to the present invention, it is possible to obtain appropriate height information in a region where the change in density of the sample to be observed is scarce by doing as described above.
以下、本発明の実施の形態を図面に基づいて説明する。
まず図１について説明する。図１は、本発明を実施する高さ情報取得装置の構成を示している。この高さ情報取得装置は、標本の高さ方向に焦点位置が互いに異なり視野は同一である標本の複数の顕微鏡画像に基づいて、この標本の高さ情報を取得するものである。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, FIG. 1 will be described. FIG. 1 shows the configuration of a height information acquisition apparatus that implements the present invention. This height information acquisition device acquires the height information of a specimen based on a plurality of microscopic images of the specimen having different focal positions in the height direction of the specimen and the same field of view.
図１において、入力部２００は、例えばマウス装置やキーボード装置等を備えて構成されている。図１の装置のユーザは、不図示のＧＵＩ（グラフィカル・ユーザ・インタフェース）画面の表示に応じて入力部２００を操作して各種の指示を与えると、入力部２００は、この指示を取得して制御部２０１に送付する。 In FIG. 1, the input unit 200 includes, for example, a mouse device, a keyboard device, and the like. When the user of the apparatus in FIG. 1 gives various instructions by operating the input unit 200 according to a GUI (graphical user interface) screen (not shown), the input unit 200 acquires the instructions. It is sent to the control unit 201.
制御部２０１は、所定の撮像指示を入力部２００から受け取ると、標本２０３が載置されている標本台２０２をＺ方向（拡大光学系２０４の光軸方向）へ所定距離ずつ移動させる制御を行う。更に、制御部２０１は、標本台２０２が所定距離ずつ移動する度に、拡大光学系２０４を介することで得られる標本２０３の顕微鏡画像を撮像させる制御をＣＣＤ（電荷結合素子）カメラ２０５に対して行う。なお、このときの所定距離は、例えば拡大光学系２０４の焦点深度程度のピッチとし、制御部２０１は、標本２０３の最底面と最高面とが拡大光学系２０４の焦点位置を通過するまで、標本台２０２のＺ方向への移動とＣＣＤカメラ２０５での撮像との制御を繰り返す。 When the control unit 201 receives a predetermined imaging instruction from the input unit 200, the control unit 201 performs control to move the sample table 202 on which the sample 203 is placed by a predetermined distance in the Z direction (the optical axis direction of the magnifying optical system 204). . Further, the control unit 201 controls the CCD (charge coupled device) camera 205 to take a microscope image of the specimen 203 obtained through the magnifying optical system 204 every time the specimen stage 202 moves by a predetermined distance. Do. Note that the predetermined distance at this time is, for example, a pitch that is about the depth of focus of the magnifying optical system 204, and the control unit 201 keeps the specimen until the bottom surface and the top surface of the specimen 203 pass the focal position of the magnifying optical system 204. The control of the movement of the table 202 in the Z direction and the imaging with the CCD camera 205 is repeated.
制御部２０１によるこの制御により、標本２０３の高さ方向（Ｚ方向）に焦点位置が互いに異なり視野範囲は同一である標本２０３の複数の顕微鏡画像が取得される。なお、このような顕微鏡画像を取得するためには、例えば、拡大光学系２０４としてテレセントリック光学系を用いるようにすればよい。また、各顕微鏡画像に対して位置の補正を行うことで、このような顕微鏡画像を取得するようにしてもよい。 By this control by the control unit 201, a plurality of microscope images of the specimen 203 having different focal positions in the height direction (Z direction) of the specimen 203 and the same visual field range are acquired. In order to acquire such a microscope image, for example, a telecentric optical system may be used as the magnifying optical system 204. Further, such a microscope image may be acquired by correcting the position of each microscope image.
メモリユニット２０６は、例えば半導体メモリ素子やハードディスク装置を備えて構成されている。ＣＣＤカメラ２０５は、顕微鏡画像を撮像する度に、得られた顕微鏡画像を画像データとしてメモリユニット２０６に記憶させて保存させる。なお、このときに、顕微鏡画像の撮像時における標本台２０２のＺ方向の位置を示す情報を、高さ情報として、その顕微鏡画像に対応付けてメモリユニット２０６に記憶させて保存させる処理を制御部２０１が行う。 The memory unit 206 includes, for example, a semiconductor memory element and a hard disk device. Each time the CCD camera 205 captures a microscope image, the obtained microscope image is stored in the memory unit 206 as image data and stored. At this time, the control unit performs processing for storing, in the memory unit 206, information indicating the position of the specimen table 202 in the Z direction at the time of capturing a microscope image as height information in association with the microscope image. 201.
画像処理部２０７は、標本２０３の複数の顕微鏡画像のメモリユニット２０６への記憶が全て完了すると画像処理を開始し、その顕微鏡画像をメモリユニット２０６から読み出して、標本２０３の高さ情報の取得処理を含む各種の画像処理を施す。そして、この処理後の画像を、画像データとしてメモリユニット２０６に記憶させて保存させる。 The image processing unit 207 starts image processing when all of the plurality of microscope images of the specimen 203 are stored in the memory unit 206, reads the microscope image from the memory unit 206, and acquires the height information of the specimen 203. Various image processing including The processed image is stored in the memory unit 206 as image data and saved.
表示部２０８は、例えば液晶ディスプレイ装置、あるいはＣＲＴ（ブラウン管）ディスプレイ装置等で構成され、画像処理部２０７による画像処理後の画像をメモリユニット２
０６から読み出して表示する。
The display unit 208 is composed of, for example, a liquid crystal display device, a CRT (CRT) display device, or the like, and displays an image after image processing by the image processing unit 207 as a memory unit 2.
Read from 06 and display.
なお、画像処理部２０７は、例えば、ごく標準的なハードウェア構成のコンピュータ、すなわち、演算処理装置と、メインメモリと、記憶装置と、インタフェース部と、を有しているコンピュータを備えて構成することができる。ここで、演算処理装置は、例えばＭＰＵ（Micro Processor Unit）であり、制御プログラムの実行によってこのコンピュータ全体の動作制御を司る。メインメモリは、この演算処理装置が必要に応じてワークメモリとして使用する。記憶装置は、例えばハードディスク装置であり、各種のプログラムや制御データなどを記憶して保存しておく。インタフェース部は、メモリユニット２０６との間で行われる各種のデータの授受を管理する。ここで、画像処理部２０７が行う各種の画像処理をコンピュータに行わせるための制御プログラムを当該記憶装置に予め格納しておき、当該演算処理装置に当該制御プログラムを読み出させて実行させるようにする。このようにすることによって、このコンピュータが画像処理部２０７として機能するようになる。 Note that the image processing unit 207 includes, for example, a computer having a very standard hardware configuration, that is, a computer having an arithmetic processing unit, a main memory, a storage device, and an interface unit. be able to. Here, the arithmetic processing unit is, for example, an MPU (Micro Processor Unit), and controls operation of the entire computer by executing a control program. The main memory is used as a work memory by the arithmetic processing unit as necessary. The storage device is, for example, a hard disk device, and stores and stores various programs and control data. The interface unit manages various data exchanges with the memory unit 206. Here, a control program for causing the computer to perform various types of image processing performed by the image processing unit 207 is stored in the storage device in advance, and the arithmetic processing device is caused to read and execute the control program. To do. By doing so, the computer functions as the image processing unit 207.
次に図２Ａ及び図２Ｂについて説明する。図２Ａは、画像処理部２０７により行われる画像処理の第一の例の処理内容をフローチャートで示したものである。また、図２Ｂは、図２Ａの画像処理の処理内容を説明する図である。 Next, FIGS. 2A and 2B will be described. FIG. 2A is a flowchart showing the processing contents of the first example of the image processing performed by the image processing unit 207. FIG. 2B is a diagram for explaining the processing content of the image processing in FIG. 2A.
図２Ａにおいて、まず、ステップ３００では、顕微鏡画像の読み込み処理が行われる。この処理では、ＣＣＤカメラ２０５が取得した、Ｚ方向に焦点位置が互いに異なる同一シーンの（すなわち視野範囲が同一である）標本２０３の顕微鏡画像を、対応付けられている高さ情報と共に、メモリユニット２０６から全て読み込む処理が行われる。なお、図２Ｂにおけるステップ３００の図面は、このときの顕微鏡画像の読み込み枚数をｎ枚とし、各顕微鏡画像に対応付けられていた高さ情報を、それぞれ、Ｚ１、Ｚ２、…、Ｚｎであった場合を想定して描いたものである。 2A, first, in step 300, a microscope image reading process is performed. In this process, the microscope image of the specimen 203 obtained by the CCD camera 205 and having the same scene with different focal positions in the Z direction (that is, the field of view range is the same) is stored together with the height information associated with the memory unit. The process of reading all from 206 is performed. In the drawing of step 300 in FIG. 2B, the number of microscopic images read at this time is n, and the height information associated with each microscopic image is Z1, Z2,..., Zn, respectively. It is drawn assuming the case.
次に、ステップ３０１では、高さ画像の生成処理が行われる。この処理では、以下の［１］から［４］の処理が行われる。
すなわち、この処理では、［１］まず、ステップ３００で読み込んだ複数の顕微鏡画像の各々を構成する各画素について、合焦評価値を算出する処理が行われる。ここで、画素の合焦評価値とは、その画素で表されている標本２０３の部位の合焦の程度を示す数値であり、ここでは、この数値が高いほど、合焦の程度が高い（より正確に合焦している）ことを表すものとする。［２］次に、この複数の顕微鏡画像の各々での位置が同一である画素の各々についての合焦評価値のうち最大のものが所定の閾値以上であった画素のグループ（第一画素群）を求める処理が行われる。［３］そして、この第一画素群に属している画素の各々について、この画素で表されている標本２０３の部位の高さを、この複数の顕微鏡画像に基づいて取得する処理（第一高さ情報取得処理）が行われる。［４］そして、こうして高さの情報が取得された第一画素群に属している画素と、顕微鏡画像を構成する全画素のうち第一画素群に属していないもののグループ（第二画素群）に属している画素とを識別可能な態様で並べて、高さ画像を生成する処理が行われる。
Next, in step 301, a height image generation process is performed. In this process, the following processes [1] to [4] are performed.
That is, in this process, [1] First, a process for calculating a focus evaluation value is performed for each pixel constituting each of the plurality of microscope images read in step 300. Here, the in-focus evaluation value of a pixel is a numerical value indicating the degree of focusing of the part of the sample 203 represented by the pixel, and here, the higher the numerical value, the higher the degree of focusing ( More accurately focused). [2] Next, a group of pixels (first pixel group) in which the maximum focus evaluation value for each of the pixels having the same position in each of the plurality of microscope images is equal to or greater than a predetermined threshold value ) Is performed. [3] Then, for each pixel belonging to the first pixel group, a process of acquiring the height of the part of the specimen 203 represented by the pixel based on the plurality of microscope images (first height Information acquisition processing) is performed. [4] Then, the pixels belonging to the first pixel group from which the height information is acquired in this way, and the group of all pixels constituting the microscope image that do not belong to the first pixel group (second pixel group) The pixels that belong to are arranged in an identifiable manner to generate a height image.
以上のステップ３０１の処理内容について、更に説明する。
まず、上記［１］の処理である、画素についての合焦評価値を算出する処理では、本実施形態では、顕微鏡画像においてその注目画素の各隣接画素（例えば注目画素の周囲に隣接する８つの画素）とその画素との輝度の微分値を算出する処理が行われる。この輝度の微分値が大きいほど、顕微鏡画像におけるこの画素の位置での標本２０３の像の合焦の程度が高いことは、前述したShape from Focus法の説明でも述べたように、広く知られている。なお、本実施形態において合焦評価値として利用する、この画素の輝度の微分値の算出処理では、エッジ抽出の画像処理用として周知である、ソーベル・フィルタ（Sobel Fi
lter）やラプラシアン・フィルタ（Laplacian Filter）等の微分フィルタを用いて行う。
The processing content of the above step 301 will be further described.
First, in the process of calculating the focus evaluation value for a pixel, which is the process [1], in the present embodiment, each adjacent pixel of the pixel of interest (for example, eight adjacent pixels around the pixel of interest) in the microscope image. A process of calculating a differential value of luminance between the pixel) and the pixel is performed. It is widely known that the greater the differential value of this luminance, the higher the degree of focusing of the image of the sample 203 at the position of this pixel in the microscope image, as described in the explanation of the Shape from Focus method described above. Yes. In the calculation processing of the differential value of the luminance of the pixel, which is used as the focus evaluation value in the present embodiment, a Sobel filter (Sobel Fibre), which is well-known for edge extraction image processing, is used.
lter) or a Laplacian filter.
次に、上記［２］の処理である、第一画素群を求める処理では、本実施形態では、複数の顕微鏡画像の各々での位置が同一である画素の各々について取得した輝度の微分値のうち最大のものが、所定の閾値以上であった画素を求めてグループ化する処理が行われる。なお、このときの閾値は、予め設定されている固定値としてもよく、また、図１の装置のユーザが任意に設定できるようにしてもよい。 Next, in the process of obtaining the first pixel group, which is the process [2], in the present embodiment, the luminance differential value acquired for each of the pixels having the same position in each of the plurality of microscope images is obtained. A process is performed for obtaining a pixel whose maximum is not less than a predetermined threshold and grouping the pixels. The threshold value at this time may be a fixed value set in advance, or may be arbitrarily set by the user of the apparatus of FIG.
上記［３］の処理である、第一画素群に属する画素の各々についての高さの情報を取得する処理では、本実施形態では、輝度の微分値が最大であった画素を含んでいた顕微鏡画像に対応付けられていた高さ情報が、この画素についての高さの情報として取得される。例えば、座標（ｉ，ｊ）に位置する画素において、合焦評価値（すなわち輝度の微分値）が最大であった画素を含んでいた顕微鏡画像がｍ枚目のものであったとする。すると、このとき、ｍ枚目の顕微鏡画像に対応付けられていた高さ情報Ｚｍが、座標（ｉ，ｊ）に位置する画素についての高さの情報Ｚ（ｉ，ｊ）として取得される。 In the process of obtaining the height information for each of the pixels belonging to the first pixel group, which is the process of [3], in the present embodiment, the microscope including the pixel having the maximum luminance differential value The height information associated with the image is acquired as the height information for this pixel. For example, it is assumed that the microscopic image including the pixel having the maximum focus evaluation value (that is, the differential value of luminance) in the pixel located at the coordinates (i, j) is the mth image. At this time, the height information Zm associated with the mth microscopic image is acquired as the height information Z (i, j) for the pixel located at the coordinates (i, j).
次に、上記［４］の処理である、高さ画像を生成する処理では、本実施形態では、第一画素群に属している画素を黒矩形とし、第二画素群に属している画素を白矩形として並べて高さ画像が生成する処理が行われる。図２Ｂにおけるステップ３０１の図面は、このようにして得られた高さ画像の例を示したものであり、この図面において白矩形で表現されている第二画素群に属している画素は、高さの情報が未だ取得できていない画素である。 Next, in the process of generating a height image, which is the process of [4] above, in this embodiment, the pixels belonging to the first pixel group are black rectangles, and the pixels belonging to the second pixel group are A process of generating a height image arranged as a white rectangle is performed. The drawing of step 301 in FIG. 2B shows an example of the height image obtained in this way, and the pixels belonging to the second pixel group represented by the white rectangle in this drawing are high. This is a pixel whose information has not yet been acquired.
図２Ａの説明を続ける。次に、ステップ３０２では、ステップ３００で読み込んだ顕微鏡画像を複数（ここではＮ行×Ｎ列）の小領域に分割する分割処理が行われる。本実施形態では、この小領域の形態（形状及びサイズ）は、予め設定されている固定のものとする。但し、図１の装置のユーザからのこの形態についての設定指示を取得する小領域設定取得部を画像処理部２０７に設けるようにして、ユーザが小領域の形態を指示できるようにしてもよい。なお、このようにする場合には、このステップ３０２の分割処理において、ステップ３００で読み込んだ顕微鏡画像を、当該小領域設定取得部が取得した設定に係る形態の小領域に分割する処理を行うようにする。 The description of FIG. 2A will be continued. Next, in step 302, division processing is performed to divide the microscope image read in step 300 into a plurality of (here, N rows × N columns) small regions. In the present embodiment, the form (shape and size) of the small area is fixed and set in advance. However, the image processing unit 207 may be provided with a small area setting acquisition unit that acquires a setting instruction for this form from the user of the apparatus of FIG. 1 so that the user can instruct the form of the small area. In this case, in the dividing process in step 302, the process of dividing the microscope image read in step 300 into small areas having a configuration related to the setting acquired by the small area setting acquiring unit is performed. To.
次に、ステップ３０３では、顕微鏡画像を分割して生成した小領域Ａm,n （ｍ，ｎ＝１，２，…，Ｎ）についての高さの代表値Ｄm,n を生成する処理（高さ情報代表値生成処理）が行われる。そして、続くステップ３０４では、生成された高さの代表値Ｄm,n を、小領域Ａm,n における中心位置の座標に対応付けて配置する処理が行われる。 Next, in step 303, a process for generating a representative value D m, n for a small area Am, n (m, n = 1, 2,..., N) generated by dividing a microscope image ( Height information representative value generation processing) is performed. In the subsequent step 304, processing is performed in which the generated representative value D m, n of the height is associated with the coordinates of the center position in the small area Am, n .
高さの代表値Ｄm,n は、顕微鏡画像における小領域Ａm,n に表されている標本２０３の部位についての高さの代表値であり、この値は、第一画素群に属している画素について前述のステップ３０１の［３］の処理により取得した高さに基づき生成される。 Representative value D m, n of the height is the height of the representative values for the site of the specimen 203 being represented subregion A m, the n in the microscope image, this value belongs to the first group of pixels Is generated based on the height obtained by the process of [3] in step 301 described above.
本実施形態では、第一画素群に属している画素のうち小領域Ａm,n に含まれているものについて取得した高さの情報の統計的な代表値を求め、この値を代表値Ｄm,n とする。なお、ここでは、統計的な代表値として、第一画素群に属している画素のうち小領域Ａm,n に含まれているものについて取得した高さの合計の平均値を算出し、この算出結果を高さの代表値Ｄm,n とする。なお、この代わりに、例えば、小領域Ａm,n に含まれている画素のうち第一画素群に属しているものについて取得した高さの中央値若しくは最頻値を求め、この算出結果を高さの代表値Ｄm,n としてもよい。 In the present embodiment, a statistical representative value of height information obtained for pixels included in the small region Am, n among the pixels belonging to the first pixel group is obtained, and this value is represented as a representative value D. Let m, n . Here, as the statistical representative value, an average value of the total heights obtained for the pixels belonging to the first pixel group and included in the small area Am, n is calculated. The calculation result is a representative value D m, n of the height. Instead of this, for example, the median or mode value of the heights obtained for the pixels belonging to the first pixel group among the pixels included in the small region Am, n are obtained, and this calculation result is obtained. The representative value D m, n of the height may be used.
なお、本実施形態において、第一画素群に属している画素が小領域Ａm,n に全く含まれてない場合があり、このような場合には、上述の手法では代表値Ｄm,n を生成することが
できない。図２Ｂにおけるステップ３０３−１の図面は、この場合を模式的に表現したものであり、顕微鏡画像を９行×９列に分割して得られた小領域の中心位置に高さの代表値を配置したが、一部の小領域については高さの代表値が生成できていない状態を表している。このような場合には、小領域Ａm,n に隣接する小領域（例えば上下左右に隣接する４つの小領域）のうち、高さの代表値が生成されているものの当該高さの代表値の合計の平均値を算出し、この算出結果を高さの代表値Ｄm,n とする。この代わりに、小領域Ａm,n に隣接する小領域（例えば上下左右に隣接する４つの小領域）のうち、高さの代表値が生成されているものの当該高さの代表値についての他の統計的な代表値（例えば中央値若しくは最頻値）を高さの代表値Ｄm,n としてもよい。図２Ｂにおけるステップ３０３−２の図面は、ステップ３０３−１の図面の状態に対し、このようにして全ての小領域の中心位置に高さの代表値が配置されており、全ての小領域についての高さの代表値が生成できた状態を模式的に表している。
In the present embodiment, pixels belonging to the first pixel group may not be included in the small area Am, n at all. In such a case, the representative value Dm, n is used in the above method. Cannot be generated. The drawing of step 303-1 in FIG. 2B schematically represents this case. A representative value of the height is displayed at the center position of the small area obtained by dividing the microscope image into 9 rows × 9 columns. Although it is arranged, a representative value of height cannot be generated for some small areas. In such a case, among the small areas adjacent to the small area Am, n (for example, four small areas adjacent in the vertical and horizontal directions), the representative value of the height is generated although the representative value of the height is generated. An average value of the sum of the values is calculated, and the calculation result is set as a representative value D m, n of the height. Instead, among the small areas adjacent to the small area Am, n (for example, four small areas adjacent vertically and horizontally), although the representative value of the height is generated, May be used as the representative value D m, n of the height. In the drawing of step 303-2 in FIG. 2B, the representative values of the heights are arranged at the center positions of all the small regions in this way with respect to the state of the drawing of step 303-1. The state in which the representative value of the height of can be generated is schematically shown.
次に、ステップ３０５では、前述のステップ３０１の［３］の処理では高さが取得されていない、第二画素群に属している各画素について、その画素で表されている標本２０３の部位の高さを取得する処理（第二高さ情報取得処理）が行われる。この処理では、この第二画素群に属している画素（ｉ，ｊ）で表されている標本２０３の部位の高さＺ（ｉ，ｊ）を、前述のステップ３０３で各小領域Ａm,n について生成した高さの代表値Ｄm,n に基づいた補間演算により算出して取得する処理が行われる。 Next, in step 305, for each pixel belonging to the second pixel group, the height of which has not been acquired in the process of [3] in step 301 described above, the region of the sample 203 represented by that pixel is displayed. A process of acquiring the height (second height information acquisition process) is performed. In this process, the height Z (i, j) of the part of the sample 203 represented by the pixel (i, j) belonging to the second pixel group is determined as the small area Am, A process of calculating and obtaining by the interpolation calculation based on the representative height value D m, n generated for n is performed.
本実施形態では、この高さＺ（ｉ，ｊ）を、複数の小領域のうち画素（ｉ，ｊ）に中心位置が隣接しているものについて生成されている高さの代表値に基づき、且つ、画素（ｉ，ｊ）の位置と当該中心位置との位置関係に応じた補間演算により算出して取得する。この補間演算について、図３を用いて説明する。 In the present embodiment, this height Z (i, j) is based on a representative value of the height generated for a plurality of small regions whose center position is adjacent to the pixel (i, j). In addition, the pixel is calculated and acquired by an interpolation calculation according to the positional relationship between the position of the pixel (i, j) and the center position. This interpolation calculation will be described with reference to FIG.
図３において、小領域Ａm,n 、Ａm+1,n 、Ａm,n+1 、及びＡm+1,n+1 は同一サイズの矩形である。座標（ｉ，ｊ）に配置されている画素４００は、第二画素群に属している画素、すなわち、ステップ３０１の［３］の処理では高さが取得されていない画素であり、小領域Ａm,n に含まれている。この小領域Ａm,n についての高さ代表値Ｄm,n は小領域Ａm,n の中心位置に配置されており、この小領域Ａm,n の中心位置は画素４００に隣接している。また、小領域Ａm+1,n 、Ａm,n+1 、及びＡm+1,n+1 それぞれの中心位置に高さ代表値Ｄm+1,n 、Ｄm,n+1 、及びＤm+1,n+1 の各々が配置されており、これらの中心位置も画素４００に隣接している。 In FIG. 3, the small areas A m, n , A m + 1, n , A m, n + 1 , and A m + 1, n + 1 are rectangles of the same size. The pixel 400 arranged at the coordinates (i, j) is a pixel belonging to the second pixel group, that is, a pixel whose height has not been acquired in the process of [3] in step 301, and the small region A included in m and n . This small region A m, a height representative value D m for n, n is located at the center of the small region A m, n, the small region A m, the center position of n are adjacent to the pixel 400 Yes. Further, height representative values D m + 1, n , D m, n + 1 , at the center positions of the small areas A m + 1, n , A m, n + 1 , and A m + 1 , n + 1 , And D m + 1, n + 1 are arranged, and their center positions are also adjacent to the pixel 400.
ここで、小領域Ａm,n と小領域Ａm+1,n との中心位置間の距離（すなわち各小領域の横方向（Ｘ方向）の長さ）をＳとし、小領域Ａm,n と小領域Ａm,n+1 との中心位置間の距離（すなわち各小領域の縦方向（Ｙ方向）の長さ）をＴとする。また、画素４００と小領域Ａm,n の中心位置とのｘ座標の差をαとし、ｙ座標の差をβとする。このとき、画素４００で表されている標本２０３の部位の高さＺ（ｉ，ｊ）は、下記の［数２］式による線形補間演算により算出される。 Here, the distance between the center positions of the small area Am, n and the small area Am + 1, n (that is, the length in the horizontal direction (X direction) of each small area) is S, and the small area Am, Let T be the distance between the center positions of n and the small area Am, n + 1 (that is, the length of each small area in the vertical direction (Y direction)). Further, the difference in x coordinate between the pixel 400 and the center position of the small area Am, n is α, and the difference in y coordinate is β. At this time, the height Z (i, j) of the part of the sample 203 represented by the pixel 400 is calculated by linear interpolation calculation using the following [Equation 2].
なお、画素４００で表されている標本２０３の部位の高さＺ（ｉ，ｊ）を、上述したような線形補間演算で算出する代わりに、他の補間演算、例えば高次の補間演算や、スプライン（spline）補間に代表される有理関数補間演算により算出するようにしてもよい。 Instead of calculating the height Z (i, j) of the part of the sample 203 represented by the pixel 400 by the linear interpolation calculation as described above, other interpolation calculations, for example, a higher-order interpolation calculation, You may make it calculate by the rational function interpolation calculation represented by the spline interpolation.
以上のステップ３０５の処理が完了すると、図２Ａに示した画像処理が終了する。図２
Ｂにおけるステップ３０５の図面は、ステップ３０１の図面に対し、第二画素群に属している画素も第一画素群に属している画素と同様に黒矩形として並べられており、顕微鏡画像を構成している全ての画素について高さの情報が取得できた状態を表している。
When the processing in step 305 is completed, the image processing illustrated in FIG. 2A ends. FIG.
In the drawing of step 305 in B, the pixels belonging to the second pixel group are arranged as black rectangles in the same manner as the pixels belonging to the first pixel group as compared to the drawing of step 301, and constitute a microscope image. This represents a state in which height information can be acquired for all the pixels.
以上の画像処理が画像処理部２０７で行われることにより、顕微鏡画像を構成している全ての画素について高さの情報が取得されて、標本２０３の三次元形状データの取得が完了する。このようにして取得された三次元形状データを三次元座標にプロットする画像処理を行えば、標本２０３の三次元形状の観察が可能となる。 By performing the above image processing in the image processing unit 207, height information is acquired for all the pixels constituting the microscope image, and acquisition of the three-dimensional shape data of the specimen 203 is completed. If the image processing for plotting the three-dimensional shape data acquired in this way on the three-dimensional coordinates is performed, the three-dimensional shape of the specimen 203 can be observed.
なお、図１に示した高さ情報取得装置において、図２Ａに示した画像処理の代わりに、図４に処理内容をフローチャートで示した画像処理の第二の例を画像処理部２０７に行わせるようにしてもよい。この図４の処理は、第一画素群に属している各画素についても、第二画素群に属しているものと同様に、各画素で表されている標本２０３の部位の高さを、各小領域について生成した高さの代表値に基づいた補間演算により算出して取得するようにしたものである。 In the height information acquisition apparatus shown in FIG. 1, instead of the image processing shown in FIG. 2A, the image processing unit 207 causes the image processing unit 207 to perform the second example of the image processing whose processing contents are shown in the flowchart in FIG. You may do it. In the processing of FIG. 4, for each pixel belonging to the first pixel group, the height of the part of the sample 203 represented by each pixel is set to each pixel in the same manner as that belonging to the second pixel group. It is calculated and acquired by interpolation calculation based on the representative height value generated for the small area.
図４の画像処理を説明する。
まず、図４におけるステップ５００からステップ５０４にかけての処理は、図２Ａに示した画像処理におけるステップ３００からステップ３０４にかけての処理と同一の処理である。このため、ここでは処理の説明を省略する。
The image processing of FIG. 4 will be described.
First, the processing from step 500 to step 504 in FIG. 4 is the same processing as the processing from step 300 to step 304 in the image processing shown in FIG. 2A. For this reason, description of a process is abbreviate | omitted here.
ステップ５０４の処理に続くステップ５０５では、顕微鏡画像を構成する全画素（第一画素群に属している画素及び第二画素群に属している画素）について、その画素で表されている標本２０３の部位の高さを取得する処理（第二高さ情報取得処理）が行われる。この処理では、顕微鏡画像を構成する画素（ｉ，ｊ）で表されている標本２０３の部位の高さＺ（ｉ，ｊ）を、ステップ５０３で各小領域Ａm,n について生成した高さの代表値Ｄm,n に基づいた補間演算により算出して取得する処理が行われる。この補間演算の詳細は、図３を用いて説明した第一の例におけるものと同様である。 In step 505 following the processing in step 504, for all the pixels constituting the microscope image (pixels belonging to the first pixel group and pixels belonging to the second pixel group), the sample 203 represented by the pixels is displayed. A process of acquiring the height of the part (second height information acquisition process) is performed. In this process, the height Z (i, j) of the part of the specimen 203 represented by the pixel (i, j) constituting the microscope image is generated for each small region Am, n in step 503. A process of calculating and acquiring by an interpolation calculation based on the representative value D m, n of is performed. The details of this interpolation calculation are the same as those in the first example described with reference to FIG.
以上の画像処理を画像処理部２０７で行うようにしても、顕微鏡画像を構成している全ての画素について高さの情報が取得されて、標本２０３の三次元形状データの取得が完了する。このようにして取得された三次元形状データを三次元座標にプロットする画像処理を行って表示部２０８に表示させれば、標本２０３の三次元形状の観察が可能となる。また、このようにすると、第一画素群に属している画素についての高さの情報に含まれることがある、ノイズ等の異常値が三次元形状を顕著に乱すことが軽減されて、滑らかな形状が得られるようになる。 Even when the above image processing is performed by the image processing unit 207, height information is acquired for all the pixels constituting the microscope image, and acquisition of the three-dimensional shape data of the specimen 203 is completed. By performing image processing for plotting the three-dimensional shape data acquired in this way on three-dimensional coordinates and displaying it on the display unit 208, the three-dimensional shape of the specimen 203 can be observed. In addition, in this way, abnormal values such as noise, which may be included in the height information about the pixels belonging to the first pixel group, are significantly less disturbed in the three-dimensional shape, and smooth. Shape can be obtained.
また、図１に示した高さ情報取得装置において、画像処理部２０７に行わせる画像処理を、図５に処理内容をフローチャートで示した画像処理の第三の例としてもよい。この図５の処理は、標本２０３の全焦点画像を生成するようにしたものである。 In the height information acquisition apparatus shown in FIG. 1, the image processing to be performed by the image processing unit 207 may be a third example of the image processing whose processing contents are shown in a flowchart in FIG. The processing of FIG. 5 is to generate an omnifocal image of the specimen 203.
図５の画像処理を説明する。
まず、図５におけるステップ６００からステップ６０５にかけての処理は、図２Ａに示した画像処理におけるステップ３００からステップ３０５にかけての処理と同一の処理である。このため、ここでは処理の説明を省略する。
The image processing of FIG. 5 will be described.
First, the processing from step 600 to step 605 in FIG. 5 is the same processing as the processing from step 300 to step 305 in the image processing shown in FIG. 2A. For this reason, description of a process is abbreviate | omitted here.
ステップ６０５の処理に続くステップ６０６では、標本２０３の全焦点画像の生成処理が行われる。この処理では、全ての画素について、ステップ６０５までの処理により取得された各画素についての高さに対応する焦点位置の顕微鏡画像（ステップ６００の処理によりメモリユニット２０６から読み込んだもの）を選択する。そして、選択された顕微鏡
画像における同一位置の画素の輝度値を、全ての画素に割り当てる。このようにすることで、標本２０３の全焦点画像が生成される。生成された全焦点画像の画像データをメモリユニット２０６に記憶させて保存させると、表示部２０８は、この画像データを読み出して標本２０３の全焦点画像を表示する。
In step 606 following the process in step 605, an omnifocal image generation process of the specimen 203 is performed. In this process, for all the pixels, a microscope image at the focal position corresponding to the height of each pixel acquired by the process up to step 605 (read from the memory unit 206 by the process of step 600) is selected. Then, the luminance value of the pixel at the same position in the selected microscope image is assigned to all the pixels. In this way, an omnifocal image of the specimen 203 is generated. When the image data of the generated omnifocal image is stored in the memory unit 206 and saved, the display unit 208 reads out the image data and displays the omnifocal image of the specimen 203.
また、図１に示した高さ情報取得装置において、画像処理部２０７に行わせる画像処理を、図６に処理内容をフローチャートで示した画像処理の第四の例としてもよい。この図６の処理は、標本２０３の三次元画像を生成して表示するようにしたものである。 In the height information acquisition apparatus shown in FIG. 1, the image processing to be performed by the image processing unit 207 may be a fourth example of the image processing whose processing contents are shown in a flowchart in FIG. In the process of FIG. 6, a three-dimensional image of the specimen 203 is generated and displayed.
図６の画像処理を説明する。
まず、図６におけるステップ７００からステップ７０６にかけての処理は、図５に示した画像処理におけるステップ６００からステップ６０６にかけての処理と同一の処理である。このため、ここでは処理の説明を省略する。
The image processing of FIG. 6 will be described.
First, the processing from step 700 to step 706 in FIG. 6 is the same processing as the processing from step 600 to step 606 in the image processing shown in FIG. For this reason, description of a process is abbreviate | omitted here.
ステップ７０６の処理に続くステップ７０７では、標本２０３の三次元画像の生成処理が行われる。この処理では、ステップ７０６の処理により生成された標本２０３の全焦点画像の情報（各画素の画像上での位置情報及び輝度値情報）と、ステップ６０５までの処理により取得された各画素についての高さの情報とを対応付ける。このようにすることで、標本２０３の三次元画像が生成される。生成された三次元画像の画像データをメモリユニット２０６に記憶させて保存させると、表示部２０８は、この画像データを読み出して標本２０３の三次元画像を表示する。 In step 707 following step 706, a process for generating a three-dimensional image of the specimen 203 is performed. In this processing, information on the omnifocal image of the specimen 203 generated by the processing in step 706 (position information and luminance value information on the image of each pixel) and each pixel acquired by the processing up to step 605 are obtained. Correlate with height information. In this way, a three-dimensional image of the specimen 203 is generated. When the generated image data of the three-dimensional image is stored in the memory unit 206 and saved, the display unit 208 reads out the image data and displays the three-dimensional image of the specimen 203.
なお、図６の処理では、標本２０３の全焦点画像の情報と各画素についての高さの情報とを対応付けて標本２０３の三次元画像を生成している。この代わりに、高さの情報に応じて輝度や色彩を変化させた三次元画像や、高さの情報に応じて等高線を付した三次元画像を生成するようにしてもよい。また、各画素についての高さの情報に対応付ける画像として、ステップ６０６で生成した全焦点画像の代わりに、他のアクティブ法やパッシブ法を採用して生成した全焦点画像を用いて標本２０３の三次元画像を生成するようにしてもよい。なお、ステップ６０６で生成した全焦点画像に対応付ける各画素についての高さの情報を、他のアクティブ法やパッシブ法を採用して取得して、標本２０３の三次元画像を生成することもできる。 In the process of FIG. 6, the three-dimensional image of the sample 203 is generated by associating the information on the omnifocal image of the sample 203 with the information on the height of each pixel. Instead, a three-dimensional image in which luminance and color are changed according to height information, or a three-dimensional image with contour lines added according to height information may be generated. In addition, instead of the omnifocal image generated in step 606 as an image associated with the height information about each pixel, an omnifocal image generated by using another active method or passive method is used to obtain the third order of the sample 203. An original image may be generated. Note that height information about each pixel associated with the omnifocal image generated in step 606 can be acquired by using another active method or passive method, and a three-dimensional image of the specimen 203 can be generated.
以上、本発明の実施形態を説明したが、本発明は、上述した各実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。 As mentioned above, although embodiment of this invention was described, this invention is not limited to each embodiment mentioned above, A various improvement and change are possible within the range which does not deviate from the summary of this invention.
１００、１０１、４００ 画素
２００ 入力部
２０１ 制御部
２０２ 標本台
２０３ 標本
２０４ 拡大光学系
２０５ ＣＣＤカメラ
２０６ メモリユニット
２０７ 画像処理部
100, 101, 400 pixels 200 input unit 201 control unit 202 sample stage 203 sample 204 magnification optical system 205 CCD camera 206 memory unit 207 image processing unit
Claims (13)
該顕微鏡画像を構成している全画素のうちの一部の画素群である第一画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の顕微鏡画像に基づいて取得する第一高さ情報取得手段と、
該顕微鏡画像を複数の小領域に分割する分割手段と、
該複数の小領域の各々に対し、該小領域に表されている該標本の部位の高さの代表値を、該第一画素群に属している画素について該第一高さ情報取得手段が取得した高さに基づき生成する高さ情報代表値生成手段と、
該顕微鏡画像を構成している全画素のうち該第一画素群に属していない画素群である第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該高さ情報代表値生成手段が該複数の小領域の各々に対して生成した該高さの代表値に基づいた補間演算により算出して取得する第二高さ情報取得手段と、
を有することを特徴とする高さ情報取得装置。 A height information acquisition device that acquires height information of the sample based on a plurality of microscope images of the sample, the focal positions of which are different from each other in the height direction of the sample and the same field of view range,
For each pixel belonging to the first pixel group which is a partial pixel group among all the pixels constituting the microscope image, the height of the part of the specimen represented by the pixel is set to the plurality of pixels. First height information acquisition means for acquiring based on the microscope image of
Dividing means for dividing the microscope image into a plurality of small regions;
For each of the plurality of small regions, the first height information acquisition means for the pixels belonging to the first pixel group, the representative value of the height of the part of the specimen represented in the small region. Height information representative value generating means for generating based on the acquired height;
For each pixel belonging to the second pixel group, which is a pixel group not belonging to the first pixel group, out of all pixels constituting the microscope image, the height of the part of the specimen represented by the pixel Second height information acquisition means for calculating and acquiring the height by an interpolation operation based on the representative value of the height generated for each of the plurality of small areas by the height information representative value generation means;
A height information acquisition apparatus comprising:
該分割手段は、該顕微鏡画像を、該小領域設定取得手段が取得した設定に係る形態の小領域に分割する、
ことを特徴とする請求項１から６のうちのいずれか一項に記載の高さ情報取得装置。 A small area setting acquisition means for acquiring the setting of the form of the small area;
The dividing unit divides the microscope image into small regions having a form according to the setting acquired by the small region setting acquiring unit.
The height information acquisition apparatus according to any one of claims 1 to 6, wherein
評価値を算出する合焦評価値算出手段を更に有し、
該第一画素群には、該複数の顕微鏡画像の各々での位置が同一である画素の各々についての合焦評価値のうち最大のものが所定の閾値以上であった画素が属している、
ことを特徴とする請求項１から７のうちのいずれか一項に記載の高さ情報取得装置。 For each pixel constituting each of the plurality of microscope images, a numerical value indicating the degree of focusing of the part of the specimen represented by the pixel, and the higher the numerical value, the higher the degree of focusing. A focus evaluation value calculating means for calculating a focus evaluation value;
In the first pixel group, a pixel whose maximum focus evaluation value for each of the pixels having the same position in each of the plurality of microscopic images belongs to a predetermined threshold value or more belongs.
The height information acquisition apparatus according to any one of claims 1 to 7, wherein
該顕微鏡画像を構成している全画素のうちの一部の画素群である第一画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の顕微鏡画像に基づいて取得し、
該顕微鏡画像を複数の小領域に分割し、
該複数の小領域の各々に対し、該小領域に表されている該標本の部位の高さの代表値を、該第一画素群に属している画素について取得した高さに基づき生成し、
該顕微鏡画像を構成している全画素のうち該第一画素群に属していない画素群である第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の小領域の各々に対して生成した該高さの代表値に基づいた補間演算により算出して取得する、
ことを特徴とする高さ情報取得方法。 A height information acquisition method for acquiring height information of the specimen based on a plurality of microscopic images of the specimen whose focal positions are different from each other in the height direction of the specimen and have the same visual field range,
For each pixel belonging to the first pixel group which is a partial pixel group among all the pixels constituting the microscope image, the height of the part of the specimen represented by the pixel is set to the plurality of pixels. Based on microscopic images of
Dividing the microscopic image into a plurality of small regions;
For each of the plurality of small regions, a representative value of the height of the part of the specimen represented in the small region is generated based on the height acquired for the pixels belonging to the first pixel group,
For each pixel belonging to the second pixel group, which is a pixel group not belonging to the first pixel group, out of all pixels constituting the microscope image, the height of the part of the specimen represented by the pixel Is calculated and obtained by an interpolation operation based on the representative value of the height generated for each of the plurality of small regions,
The height information acquisition method characterized by this.
該顕微鏡画像を構成している全画素のうちの一部の画素群である第一画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の顕微鏡画像に基づいて取得する第一高さ情報取得処理と、
該顕微鏡画像を複数の小領域に分割する分割処理と、
該複数の小領域の各々に対し、該小領域に表されている該標本の部位の高さの代表値を、該第一画素群に属している画素について該第一高さ情報取得処理により取得した高さに基づき生成する高さ情報代表値生成処理と、
該顕微鏡画像を構成している全画素のうち該第一画素群に属していない画素群である第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該高さ情報代表値生成処理により該複数の小領域の各々に対して生成した該高さの代表値に基づいた補間演算により算出して取得する第二高さ情報取得処理と、
をコンピュータに行わせるためのプログラム。 A program for causing a computer to perform processing for acquiring height information of a specimen based on a plurality of microscope images of the specimen whose focal positions are different from each other in the height direction of the specimen and have the same visual field range,
For each pixel belonging to the first pixel group which is a partial pixel group among all the pixels constituting the microscope image, the height of the part of the specimen represented by the pixel is set to the plurality of pixels. First height information acquisition processing acquired based on the microscope image of
A division process for dividing the microscope image into a plurality of small regions;
For each of the plurality of small areas, a representative value of the height of the part of the sample represented in the small area is obtained by the first height information acquisition process for the pixels belonging to the first pixel group. Height information representative value generation processing to be generated based on the acquired height,
For each pixel belonging to the second pixel group, which is a pixel group not belonging to the first pixel group, out of all pixels constituting the microscope image, the height of the part of the specimen represented by the pixel A second height information acquisition process for calculating and acquiring the height by an interpolation calculation based on the representative value of the height generated for each of the plurality of small regions by the height information representative value generation process;
A program that causes a computer to perform
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008290386A JP5259348B2 (en) | 2008-11-12 | 2008-11-12 | Height information acquisition device, height information acquisition method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008290386A JP5259348B2 (en) | 2008-11-12 | 2008-11-12 | Height information acquisition device, height information acquisition method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010117229A true JP2010117229A (en) | 2010-05-27 |
| JP5259348B2 JP5259348B2 (en) | 2013-08-07 |
Family
ID=42304993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008290386A Active JP5259348B2 (en) | 2008-11-12 | 2008-11-12 | Height information acquisition device, height information acquisition method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5259348B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013101592A (en) * | 2011-10-12 | 2013-05-23 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional coordinate calculation device, three-dimensional coordinate calculation method, and program |
| EP2728392A1 (en) | 2012-10-30 | 2014-05-07 | Olympus Corporation | Microscope system |
| US10404965B2 (en) | 2015-12-04 | 2019-09-03 | Olympus Corporation | Microscope system |
| CN112986239A (en) * | 2021-02-05 | 2021-06-18 | 爱威科技股份有限公司 | Layered image collection method and device, computer equipment and storage medium |
| WO2022113368A1 (en) * | 2020-11-30 | 2022-06-02 | 株式会社ニコン | Image conversion method, program, image conversion device, and image conversion system |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1068616A (en) * | 1996-08-28 | 1998-03-10 | Fuji Xerox Co Ltd | Shape measuring equipment |
| JP2003075119A (en) * | 2001-09-04 | 2003-03-12 | Olympus Optical Co Ltd | Height information measuring device |
| JP2004061410A (en) * | 2002-07-31 | 2004-02-26 | Olympus Corp | Focal image synthesizing method and its program |
| JP2004200971A (en) * | 2002-12-18 | 2004-07-15 | Nikon Corp | Image processor, image processing program, image processing method, and electronic camera |
| JP2006092401A (en) * | 2004-09-27 | 2006-04-06 | M I L:Kk | Article defect information detector and article defect information detection processing program |
| JP2008002909A (en) * | 2006-06-21 | 2008-01-10 | Olympus Corp | Three-dimensional shape measuring method and system |
| JP2008116526A (en) * | 2006-11-01 | 2008-05-22 | Matsushita Electric Ind Co Ltd | Device and method for processing microscope image |
-
2008
- 2008-11-12 JP JP2008290386A patent/JP5259348B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1068616A (en) * | 1996-08-28 | 1998-03-10 | Fuji Xerox Co Ltd | Shape measuring equipment |
| JP2003075119A (en) * | 2001-09-04 | 2003-03-12 | Olympus Optical Co Ltd | Height information measuring device |
| JP2004061410A (en) * | 2002-07-31 | 2004-02-26 | Olympus Corp | Focal image synthesizing method and its program |
| JP2004200971A (en) * | 2002-12-18 | 2004-07-15 | Nikon Corp | Image processor, image processing program, image processing method, and electronic camera |
| JP2006092401A (en) * | 2004-09-27 | 2006-04-06 | M I L:Kk | Article defect information detector and article defect information detection processing program |
| JP2008002909A (en) * | 2006-06-21 | 2008-01-10 | Olympus Corp | Three-dimensional shape measuring method and system |
| JP2008116526A (en) * | 2006-11-01 | 2008-05-22 | Matsushita Electric Ind Co Ltd | Device and method for processing microscope image |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013101592A (en) * | 2011-10-12 | 2013-05-23 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional coordinate calculation device, three-dimensional coordinate calculation method, and program |
| EP2728392A1 (en) | 2012-10-30 | 2014-05-07 | Olympus Corporation | Microscope system |
| US9482855B2 (en) | 2012-10-30 | 2016-11-01 | Olympus Corporation | Microscope system |
| US10404965B2 (en) | 2015-12-04 | 2019-09-03 | Olympus Corporation | Microscope system |
| WO2022113368A1 (en) * | 2020-11-30 | 2022-06-02 | 株式会社ニコン | Image conversion method, program, image conversion device, and image conversion system |
| CN112986239A (en) * | 2021-02-05 | 2021-06-18 | 爱威科技股份有限公司 | Layered image collection method and device, computer equipment and storage medium |
| CN112986239B (en) * | 2021-02-05 | 2024-06-07 | 爱威科技股份有限公司 | Hierarchical image acquisition method, hierarchical image acquisition device, computer equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5259348B2 (en) | 2013-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9841277B2 (en) | Graphical feedback during 3D scanning operations for obtaining optimal scan resolution | |
| JP5705096B2 (en) | Image processing apparatus and image processing method | |
| JP6363863B2 (en) | Information processing apparatus and information processing method | |
| US20180088306A1 (en) | Observation Method and Specimen Observation Apparatus | |
| US10182185B2 (en) | Image generation device, image generation method, recording medium, and method for generating an in-focus image based on feature points | |
| US6693716B2 (en) | Method and apparatus for optical measurement of a surface profile of a specimen | |
| JP6448996B2 (en) | Microscope system | |
| WO2010050136A1 (en) | Method for observing sample and electronic microscope | |
| EP3668077A1 (en) | Image processing system, server device, image processing method, and image processing program | |
| JP5259348B2 (en) | Height information acquisition device, height information acquisition method, and program | |
| JP2011158549A (en) | Endoscope apparatus and program | |
| JP6061619B2 (en) | Microscope system | |
| JP2013137635A (en) | Picture display unit and picture display method | |
| US20150226953A1 (en) | Multi-Surface Optical 3D Microscope | |
| JP2015108837A (en) | Image processing apparatus and image processing method | |
| JP2021163190A (en) | Information processing apparatus, information processing method and program | |
| CN104011531A (en) | Image processing device, image display system, image processing method, and image processing program | |
| CN109001902A (en) | Microscope focus method based on image co-registration | |
| KR101677822B1 (en) | Scanning-electron-microscope image processing device and scanning method | |
| JP2015188251A (en) | Image processing system, imaging apparatus, image processing method, and program | |
| KR102023087B1 (en) | Method for camera calibration | |
| JP7030986B2 (en) | Image generator, image generator and image generator | |
| US20210243422A1 (en) | Data processing apparatus, data processing method, and program | |
| EP3244367A1 (en) | Image-acquisition apparatus | |
| JP2004012192A (en) | Measuring microscope device, its display method, and its display program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111014 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130409 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130424 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160502 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5259348 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |