JP2017101971A - Element identification device, element identification program, and element identification method - Google Patents
Element identification device, element identification program, and element identification method Download PDFInfo
- Publication number
- JP2017101971A JP2017101971A JP2015233915A JP2015233915A JP2017101971A JP 2017101971 A JP2017101971 A JP 2017101971A JP 2015233915 A JP2015233915 A JP 2015233915A JP 2015233915 A JP2015233915 A JP 2015233915A JP 2017101971 A JP2017101971 A JP 2017101971A
- Authority
- JP
- Japan
- Prior art keywords
- groups
- element identification
- atomic
- electron microscope
- positions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、元素識別装置、元素識別プログラムおよび元素識別方法に関し、例えば、走査透過型電子顕微鏡像から元素を識別する元素識別装置、元素識別プログラムおよび元素識別方法に関する。 The present invention relates to an element identification device, an element identification program, and an element identification method. For example, the present invention relates to an element identification device, an element identification program, and an element identification method for identifying an element from a scanning transmission electron microscope image.
透過型電子顕微鏡(TEM:Transmission Electron Microscope)法は、例えば材料の原子レベルでの構造解析や組成解析を行なうときに用いられる。透過型電子顕微鏡法に、電子高エネルギー損失分光(EELS:Electron Energy- Loss Spectroscopy)法またはエネルギー分散X線分光(EDX:Energy Dispersive X-ray Spectroscopy)法を併用することで、原子レベルの元素識別が可能となっている(例えば、特許文献1および2)。 A transmission electron microscope (TEM) method is used, for example, when performing structural analysis or composition analysis at the atomic level of a material. Elemental element identification at the atomic level by using electron electron-loss spectroscopy (EELS) or energy dispersive X-ray spectroscopy (EDX) in combination with transmission electron microscopy (For example, Patent Documents 1 and 2).
TEM法とEELS法またはEDX法とを併用する方法では、原子ごとに分析を行なう。このため、画像撮影時間が長くなる。これにより、例えば試料のドリフトまたは電子線照射によるダメージが生じる。 In the method using both the TEM method and the EELS method or EDX method, analysis is performed for each atom. For this reason, the image capturing time becomes longer. As a result, for example, sample drift or damage due to electron beam irradiation occurs.
本元素識別装置、元素識別プログラムおよび元素識別方法は、短時間で元素識別を可能とすることを目的とする。 An object of the present element identification device, element identification program, and element identification method is to enable element identification in a short time.
走査透過型電子顕微鏡像における原子に対応した信号強度に基づき前記走査透過型電子顕微鏡像における原子位置をそれぞれ複数のグループに対応させ、前記複数のグループそれぞれ内において、原子位置を全て通る最短ルートを算出し、算出結果に基づき前記複数のグループ間で原子位置の一部を入れ換える演算部と、前記演算部が前記原子位置の一部を入れ換えた後、前記複数のグループ内の原子位置をそれぞれ異なる元素に識別する元素識別部と、を具備することを特徴とする元素識別装置を用いる。 Based on the signal intensity corresponding to the atoms in the scanning transmission electron microscope image, the atomic positions in the scanning transmission electron microscope image are made to correspond to a plurality of groups, respectively, and within each of the plurality of groups, the shortest route that passes through all the atom positions The calculation unit that calculates and replaces a part of the atomic positions between the plurality of groups based on the calculation result, and the atomic position in the plurality of groups is different after the calculation unit replaces a part of the atomic positions. An element identification device including an element identification unit for identifying an element is used.
コンピュータに、走査透過型電子顕微鏡像における原子に対応した信号強度に基づき前記走査透過型電子顕微鏡像における原子位置をそれぞれ複数のグループに対応させ、前記複数のグループそれぞれ内において、原子位置を全て通る最短ルートを算出し、算出結果に基づき前記複数のグループ間で原子位置の一部を入れ換え、前記原子位置の一部を入れ換えた後、前記複数のグループ内の原子位置をそれぞれ異なる元素に識別させることを特徴とする元素識別プログラムを用いる。 Based on the signal intensity corresponding to the atoms in the scanning transmission electron microscope image, the computer associates the atomic positions in the scanning transmission electron microscope image with a plurality of groups, and passes all the atomic positions in each of the plurality of groups. The shortest route is calculated, and based on the calculation result, a part of the atomic positions are replaced between the plurality of groups, and after a part of the atomic positions are replaced, the atomic positions in the plurality of groups are identified by different elements. An element identification program is used.
コンピュータに実行させる元素識別方法であって、走査透過型電子顕微鏡像における原子に対応した信号強度に基づき前記走査透過型電子顕微鏡像における原子位置をそれぞれ複数のグループに対応させ、前記複数のグループそれぞれ内において、原子位置を全て通る最短ルートを算出し、算出結果に基づき前記複数のグループ間で原子位置の一部を入れ換え、前記原子位置の一部を入れ換えた後、前記複数のグループ内の原子位置をそれぞれ異なる元素に識別させることを特徴とする元素識別方法を用いる。 An element identification method to be executed by a computer, the atomic positions in the scanning transmission electron microscope image corresponding to a plurality of groups based on the signal intensity corresponding to the atoms in the scanning transmission electron microscope image, and each of the plurality of groups And calculating a shortest route that passes through all the atom positions, replacing a part of the atom positions between the plurality of groups based on a calculation result, and replacing a part of the atom positions, and then replacing the atoms in the plurality of groups. An element identification method is used in which different elements are identified by different positions.
本元素識別装置、元素識別プログラムおよび元素識別方法によれば、短時間で元素識別を可能とすることができる。 According to this element identification device, element identification program, and element identification method, element identification can be performed in a short time.
図面を参照し、実施例について説明する。 Embodiments will be described with reference to the drawings.
図1は、実施例1における元素識別装置が用いられるシステムを示すブロック図である。図1に示すように、システムは、元素識別装置30、電子顕微鏡32、像入力装置34および画像出力装置36を備えている。元素識別装置30は、例えばコンピュータである。電子顕微鏡32は、走査透過型電子顕微鏡である。像入力装置34は、例えばコンピュータ等である。画像出力装置36は、例えば液晶表示装置等の表示装置、プリンタ等の印刷装置、またはこれらを有するコンピュータである。
FIG. 1 is a block diagram illustrating a system in which the element identification device according to the first embodiment is used. As shown in FIG. 1, the system includes an
電子顕微鏡32は、原子レベルの電子顕微鏡像を撮影し、元素識別装置30に電子顕微鏡像を出力する。像入力装置34は、電子顕微鏡32が過去に撮影した電子顕微鏡像を元素識別装置30に出力する。電子顕微鏡32および像入力装置34の少なくとも一方が設けられていればよい。元素識別装置30は、電子顕微鏡像内の元素を識別し、元素識別画像を画像出力装置36に出力する。画像出力装置36は、元素識別画像を表示する。元素識別装置30と、電子顕微鏡32、像入力装置34および画像出力装置36とは、例えばインターネット等で接続されていてもよい。元素識別装置30と、電子顕微鏡32、像入力装置34および画像出力装置36と、の画像等の入出力は可搬型記憶媒体を用いて行なってもよい。
The
図2は、実施例1において用いる電子顕微鏡の模式図である。図2に示すように、電子顕微鏡32内に試料40が設けられている。試料40の上面に電子線41が照射される。電子線41は、試料40の上面において原子レベルまで収束されている。電子線41は、試料40の上面を走査される。試料40を透過した電子は、高角度に散乱される電子43と低角度に散乱される電子45とに分類される。高角度に散乱される電子43は、試料40内で熱散漫散乱された電子である。低角度に散乱される電子45は、試料40内で電子に弾性散乱された電子である。環状の暗視野検出器42は、電子43を検出する。円状の明視野検出器44は電子45を検出する。
FIG. 2 is a schematic diagram of an electron microscope used in the first embodiment. As shown in FIG. 2, a
走査された電子線41の位置に応じ暗視野検出器42および明視野検出器44が出力する信号強度を像として形成する。暗視野検出器42が出力した信号強度の像が暗視野像であり、HAADF(High-angle Annular Dark Field) STEM像と呼ばれる。明視野検出器44が出力した信号強度の像が明視野像であり、HABF(High-angle Bright Field) STEM像と呼ばれる。HAADF STEM像の明暗を反転するとほぼHABF STEM像となる。HAADF STEM像における原子位置の信号強度は主に原子番号に由来する。すなわち、信号強度は原子番号が大きいほど大きくなる。実施例1では、HAADF STEM像を用いる。
The signal intensity output from the
図3は、実施例1に係る元素識別装置として機能するコンピュータのブロック図である。コンピュータ10は、CPU(Central Processing Unit)11、表示装置12、入力装置13、出力装置14、記憶装置15、記憶媒体用ドライブ16、通信インターフェース17および内部バス18を備えている。表示装置12は、例えば液晶パネル等の表示パネルを含み、コマンドまたはデータ等を表示する。入力装置13は、例えばキーボード、マウスおよびタッチパネル等であり、コマンドまたはデータ等を入力する。出力装置14は、例えばプリンタであり、コマンドまたはデータ等を出力する。記憶装置15は、例えばRAM(Random Access Memory)等の揮発性メモリ、またはフラッシュメモリもしくはハードディスク等の不揮発性メモリであり、プログラム、処理中または処理後のデータを記憶する。記憶媒体用ドライブ16は、記憶媒体19に格納されたプログラムをインストールする際に用いる。また、記憶媒体用ドライブ16は、電子顕微鏡像を記憶媒体19から取得する、または元素識別画像を記憶媒体19に記憶させる。通信インターフェース17は、電子顕微鏡32または像入力装置34から電子顕微鏡像データを取得する。また、通信インターフェース17は、画像出力装置36に元素識別画像を出力する。内部バス18は、コンピュータ10内の各装置を接続する。
FIG. 3 is a block diagram of a computer that functions as an element identification device according to the first embodiment. The
プログラムを格納するコンピュータ10が読み取り可能な記憶媒体19として可搬型記憶媒体を用いることができる。可搬型記憶媒体としては、例えば、CD−ROM(Compact Disc Read Only Memory)ディスク、DVD(Digital Video Disc)ディスク、ブルーレイディスクまたはUSB(Universal Serial Bus)メモリ等を用いることができる。記憶媒体19として、フラッシュメモリまたはHDD(Hard Disk Drive)等を用いてもよい。
A portable storage medium can be used as the
図4は、実施例1に係る元素識別装置の機能ブロック図である。コンピュータ10は、図3に図示した各部材とソフトウエアとの協働により図4のように機能する。像取得部20は、電子顕微鏡32または像入力装置34から電子顕微鏡像を取得する。演算部22は、電子顕微鏡像における原子に対応した信号強度に基づき、原子位置のグループ分けを行なう。詳細は後述する。元素識別部24は、分けられた複数のグループ内の原子位置をそれぞれ異なる元素に識別する。詳細は後述する。画像生成部26は、元素の識別結果に基づき元素識別画像を生成し、出力する。
FIG. 4 is a functional block diagram of the element identification device according to the first embodiment. The
図5は、実施例1におけるコンピュータが行なう処理を示すフローチャートである。図6は、実施例1における元素識別処理を示すフローチャートである。図5に示すように、像取得部20は、電子顕微鏡32または像入力装置34から電子顕微鏡像を取得する(ステップS10)。例えば、CPU11は、通信インターフェース17を介し電子顕微鏡像を取得する。演算部22は、電子顕微鏡像からピーク抽出像を演算する(ステップS12)。演算部22は、ピーク強度のヒストグラムを演算する(ステップS14)。
FIG. 5 is a flowchart illustrating processing performed by the computer according to the first embodiment. FIG. 6 is a flowchart showing the element identification process in the first embodiment. As shown in FIG. 5, the
ステップS10からS14の処理について、図7から図10を用い説明する。図7は、電子顕微鏡像の例を示す図であり、SrTiO3上にLaCoO3を成長させた試料の断面の暗視野画像(すなわちHAADF STEM像)である。図7に示すように、ドメイン56と58の境界55を挟んで、左側がSrTiO3(チタン酸ストロンチウム)のドメイン56であり、右側がLaCoO3(コバルト酸タンタル)のドメイン58である。原子像の明るさ(信号強度)は、元素の原子番号に依存する。
The processing in steps S10 to S14 will be described with reference to FIGS. FIG. 7 is a diagram showing an example of an electron microscope image, which is a dark field image (ie, HAADF STEM image) of a cross section of a sample obtained by growing LaCoO 3 on SrTiO 3 . As shown in FIG. 7, the left side is the
図8は、図7の信号強度のヒストグラムであり、信号強度(任意座標)に対する電子顕微鏡像内のピクセル(画素)数を示す。図8に示すように、ヒストグラムには2つのピークが存在する。図8の中には、Ti(チタン)、Sr(ストロンチウム)、Co(コバルト)およびLa(ランタン)の4つの元素の信号が含まれる。しかし、図8のヒストグラムから各元素に分離することは難しい。これは、図7には、原子の中心位置以外にも信号が存在するためである。 FIG. 8 is a histogram of the signal intensity of FIG. 7 and shows the number of pixels (pixels) in the electron microscope image with respect to the signal intensity (arbitrary coordinates). As shown in FIG. 8, there are two peaks in the histogram. In FIG. 8, signals of four elements of Ti (titanium), Sr (strontium), Co (cobalt), and La (lanthanum) are included. However, it is difficult to separate each element from the histogram of FIG. This is because there are signals in FIG. 7 other than the center position of the atoms.
そこで、ステップS14において、図7の電子顕微鏡像から各原子の信号強度がピークとなるピクセルを抽出してピーク抽出画像とする。図9は、図7の領域Aのピーク抽出像を示す図である。図9に示すように、各原子(TiおよびSr)におけるピークの信号のピクセルのみが白くなっている。すなわち、各原子(TiおよびSr)におけるピークの信号のピクセルのみが抽出されている。電子顕微鏡像内における抽出されたピクセルの位置を原子位置とし、抽出されたピクセルの信号強度を信号強度がピークとなる強度(すなわちピーク強度)とする。実施例1では、各原子において、最も信号強度の大きいピクセルを抽出している。例えば、各原子において信号強度をガウス分布となると仮定してフィッティングすることで、原子位置とピーク強度を演算してもよい。 Therefore, in step S14, a pixel having a peak signal intensity of each atom is extracted from the electron microscope image of FIG. FIG. 9 is a diagram showing a peak extraction image of region A in FIG. As shown in FIG. 9, only the pixel of the peak signal in each atom (Ti and Sr) is white. That is, only the pixel of the peak signal in each atom (Ti and Sr) is extracted. The position of the extracted pixel in the electron microscope image is an atomic position, and the signal intensity of the extracted pixel is the intensity at which the signal intensity reaches a peak (that is, peak intensity). In the first embodiment, the pixel having the highest signal intensity is extracted for each atom. For example, the atomic position and peak intensity may be calculated by fitting assuming that the signal intensity is Gaussian in each atom.
図10は、抽出したピーク強度のヒストグラムであり、ピーク強度(任意座標)に対するピーク抽出像のピクセル数を示す。図10に示すように、ヒストグラムには3つのピークが存在する。ピーク強度の小さいピークはTiに対応し、ピーク強度の大きいピークはLaに相当する。しかし、SrとCoのピーク強度のピークは重なっており分離できていない。 FIG. 10 is a histogram of the extracted peak intensity, and shows the number of pixels of the peak extracted image with respect to the peak intensity (arbitrary coordinates). As shown in FIG. 10, there are three peaks in the histogram. A peak with a low peak intensity corresponds to Ti, and a peak with a high peak intensity corresponds to La. However, the peak intensity peaks of Sr and Co overlap and cannot be separated.
図5に戻り、元素識別部24は、ピーク強度のヒストグラムに基づき、各原子の元素を識別する(ステップS16)。例えば、図10において、3つのピークを各元素と識別する。例えば、最もピーク強度が小さいピークを、原子番号の最も小さいTiと識別する。最もピーク強度が大きいピークを、最も原子番号の大きなLaと識別する。これにより、図10のグループ51に含まれる原子位置をTi、グループ53に含まれる原子位置をLaと識別する。
Returning to FIG. 5, the
図5に戻り、演算部22は、識別困難なピークがあるか判定する(ステップS18)。例えば、図10のように、演算部22は、構成する元素数とピーク強度のヒストグラムにおけるピーク数が異なる場合、識別困難と判定する。NoのときステップS24に進む。Yesのとき、演算部22は、識別困難な範囲を設定する(ステップS20)。図11は、図10のヒストグラムにおいて識別困難な範囲を示す図である。図11に示すように、ヒストグラムは図10と同じである。範囲50は、SrとCoのピーク強度が重なっており、ヒストグラムから元素の識別が困難な範囲である。そこで、演算部22は、範囲50を識別困難範囲と設定する。
Returning to FIG. 5, the
図5に戻り、演算部22は、元素識別処理を行なう(ステップS22)。図6に示すように、演算部22は、識別困難範囲を複数のグループに分割する(ステップS30)。図11のように、範囲50を互いに重ならず、かつ隣接する2つのグループ52と54に分割する。
Returning to FIG. 5, the
図12(a)から図12(c)は、図7の電子顕微鏡像に対応する原子位置を示す図であり、それぞれ、図11に示す範囲50、グループ52および54に含まれるピーク強度を有するピクセルの原子位置を示す図である。図12(a)に示すように、範囲50に含まれるピーク強度を有するピクセルの原子位置は全体に分布しており、SrとCoが識別されていない。図12(b)に示すように、グループ52に含まれるピーク強度の小さい原子位置は主にドメイン56に位置するが、ドメイン58に位置するものもある。図12(c)に示すように、グループ54に含まれるピーク強度の大きい原子位置はドメイン58に位置するが、ドメイン58に原子位置が表示されていない領域もある。このように、範囲50をグループ52と54に分割しただけでは、元素の識別ができていないことがわかる。
12 (a) to 12 (c) are diagrams showing atomic positions corresponding to the electron microscope image of FIG. 7, and have peak intensities included in the
図6に戻り、演算部22は、各グループ52、54において、原子位置をすべて通る一筆書きの最短距離のルートを演算する(ステップS32)。この問題は巡回セールスマン問題と呼ばれ、さまざまな解法が知られている。実施例1ではやきなまし(シュミレーテッドアニーリング)法を用いる。演算部22は、ルート上において隣接する原子位置の間隔が最近接原子間距離より長い箇所が存在するか判定する(ステップS34)。Noのとき終了する。Yesのとき、演算部22は、最近接原子間距離より長い原子位置を他グループに移動させる(ステップS36)。
Returning to FIG. 6, the
演算部22は、ルート上において隣接する原子位置間距離が一定の距離より長い経路で挟まれた原子位置がないか判定する(ステップS38)。一定の距離は、例えば最近接原子間距離の2倍とする。NoのときステップS42に進む。Yesのとき、演算部22は、この経路に挟まれた原子位置をすべて他のグループに移動する(ステップS40)。演算部22は、2つ前の原子位置の配置と同じか判定する(ステップS42)。Yesのとき終了する。NoのときステップS32に戻る。
The
まず、ステップS38およびS40を除くフローについて、説明する。図13(a)から図14(c)は、各グループに含まれる原子位置を示す図である。図13(a)は、例えば図11の範囲50に含まれる原子位置を模式的に示している。図13(b)から図14(c)は、グループ52および54に含まれる原子位置を模式的に示している。ドメイン56および58は未知の場合もあるが、元素62はドメイン56に含まれ、元素64はドメイン58に含まれているとする。境界55はドメイン56と58の境界である。
First, the flow excluding steps S38 and S40 will be described. FIG. 13A to FIG. 14C are diagrams showing atomic positions included in each group. FIG. 13A schematically shows, for example, atomic positions included in the
図13(a)に示すように、ドメイン56に元素62が6個配列され、ドメイン58に元素64が6個配列されている。範囲50に含まれる原子位置では、元素62および64が分類されていないことがわかる。図13(b)に示すように、ステップS30において範囲50を2つのグループ52および54に分割する。原子位置64aはグループ52に含まれており、ドメイン56および58と完全には分類されていない。図13(c)に示すように、ステップS32において各グループ52および54において巡回セールスマン問題を解き、原子位置をすべて通る一筆書きで最短距離のルート63および65を演算する。
As shown in FIG. 13A, six
図13(d)に示すように、ステップS34においてルート63および65上に隣接する原子位置間距離が最近接原子間距離より長い経路63aおよび65aが存在する。経路63aおよび65aは、同じドメイン56および58内の隣接する原子位置間を接続する経路としては不自然である。この場合、経路63aおよび65aが接続する原子位置64aおよび64b(丸で囲んだ原子位置)は本来のグループに属していない可能性がある。原子位置64aのように、1つの原子位置が経路63aに挟まれているとき、挟まれた原子位置64aを抽出する。経路65aのように、経路65aが単独で存在するとき、ルート65の走査方向により経路65aの両端のいずれか一方を原子位置64bとして抽出する。
As shown in FIG. 13D, there are
図14(a)に示すように、ステップS36において、原子位置64aをグループ54に移動し、原子位置64bをグループ52に移動する。原子位置64bは、グループ52に移動しなくてもよい原子位置である。しかし、図13(d)において、グループ54に原子位置64aが抜けていたため、経路65aが抽出され、結果的に原子位置64bがグループ52に移動している。図14(b)に示すように、ステップS32に戻り、原子位置をすべて通る一筆書きで最短距離のルート63および65を演算する。ステップS34においてルート63上に隣接する原子位置間距離が最近接原子間距離より長い経路63aが存在する。グループ54では長い経路は存在しない。図14(c)において、長い経路63aに接続する原子位置64bをグループ54に移動する。これにより、ドメイン56および58にそれぞれ元素62および64を分類できる。ステップS42において、この後、同じ演算を繰り返しても同じ結果となるため、演算を終了する。このように、ステップS30からS36を繰り返すことにより、元素の識別が可能となる。
As shown in FIG. 14A, the
図12(b)および図12(c)に対し、ステップS32からS42を繰り返した演算例を説明する。図15(a)から図16(b)は、元素識別処理における電子顕微鏡像に対応する原子位置を示す図である。各図において左側がグループ52、右側がグループ54に対応する。各グループ52および54内の左側がドメイン56に相当し、右側がドメイン58に相当する。実際の演算ではドメイン56および58は未知であることもあるが、わかりやすくするためドメイン56および58を用いて説明する。
An example of calculation in which steps S32 to S42 are repeated with respect to FIGS. 12B and 12C will be described. FIG. 15A to FIG. 16B are diagrams showing atomic positions corresponding to an electron microscope image in element identification processing. In each figure, the left side corresponds to the
図15(a)は、図12(a)および図12(b)の原子位置について巡回セールスマン問題を解いた結果である。グループ52および54についてルート63および65が設定されている。グループ52では、ドメイン58内にルート63上の原子位置が多く残っている。グループ54では、ドメイン56内にルート65上の原子位置が残っている。図15(b)は、ステップS32からS42を10回繰り返した結果である。グループ54では、ドメイン56内にルート65上の原子位置は境界55付近以外存在しない。しかし、グループ52ではドメイン58内にルート63上の原子位置が多数残っている。
FIG. 15A shows the result of solving the traveling salesman problem with respect to the atomic positions in FIGS. 12A and 12B.
図16(a)は、ステップS32からS42を50回繰り返した結果である。グループ52では、ドメイン58内にルート63上の原子位置のブロック67が存在する。ブロック67のルート63上の両端は経路63bを介しドメイン56に接続されている。経路63bは、ルート63上の隣接する原子位置間距離が最近接原子間距離の2倍より長い。このような経路63bに挟まれたブロック67は、ドメイン56と同じドメインに属するには不自然である。ステップS38において演算部22はYesと判定する。ステップS40において、演算部22は、経路63bで挟まれたブロック67をグループ54に移動する。
FIG. 16A shows the result of repeating steps S32 to
図16(b)に示すように、ブロック67をグル−プ54に移動すると、グループ52および54はドメイン56および58の原子位置に分類される。この後、ステップS32からS42を繰り返しても結果は変わらず収束する。よって、ステップS42において演算部22はYesと判定する。収束した後も2つの配置を繰り返すことがある。このため、ステップS42では、ステップS32からS42のループにおける2回前の原子位置の配置から変化していないかを判定することにより、収束したか否かを判定している。
As shown in FIG. 16 (b), when the
図6に戻り、ステップS42において演算部22がYesと判定したとき、終了し、図5のステップS24に進む。元素識別部24は、グループ52および54ごとに元素を識別し、元素識別画像を生成する。その後、元素識別画像を画像出力装置36に出力する(ステップS24)。例えば、グループ52内の原子位置をSrと識別し、グループ54内の原子位置をCoと判定する。ステップS16において識別したTiおよびLaの原子位置を合わせ、電子顕微鏡に対応する元素識別画像を生成する。例えば、元素識別画像は電子顕微鏡像の原子像に元素の種類に応じ色をつけた画像である。また、元素識別画像は電子顕微鏡像内の特定の元素のみの原子像を表示した画像でもよい。例えば元素識別画像として、それぞれTi、Sr、CaおよびLaに対応する原子像を表示した4つの画像を生成してもよい。また、元素識別部24は、元素識別画像を生成せず、元素識別結果を数値データとして生成してもよい。その後終了する。
Returning to FIG. 6, when the
例えば、実施例1の元素識別プログラムおよび元素識別方法を市販のパーソナルコンピュータで実行した場合、1辺が512ピクセルの電子顕微鏡像から原子位置が1000個以上の元素を数秒程度で識別できる。一方、EELS法を用いて同程度の分解能で元素を識別する場合、1ピクセル当たりのEELS分析時間が約0.1秒とすると、1辺が512ピクセルの元素識別の時間は約7時間となる。このように、実施例1では、元素識別を極めて高速で行なうことが可能となる。 For example, when the element identification program and the element identification method of Example 1 are executed by a commercially available personal computer, an element having an atomic position of 1000 or more can be identified in about several seconds from an electron microscope image having one side of 512 pixels. On the other hand, when elements are identified with the same resolution using the EELS method, if the EELS analysis time per pixel is about 0.1 seconds, the element identification time for 512 pixels per side is about 7 hours. . Thus, in Example 1, element identification can be performed at an extremely high speed.
以上、図7のように元素の種類およびドメインが既知の電子顕微鏡像を例に説明した。電子顕微鏡像の元素組成およびドメインの情報がない場合(例えば試料の結晶情報が不明な場合)であっても元素識別が可能である。例えば、ユーザが結晶情報を開示せずにインターネット等を介し、電子顕微鏡像を元素識別装置30に送信する。元素識別装置30は自動的に元素を識別し、結果をインターネット等を介しユーザの画像出力装置36に送信する。このように、ユーザは結晶情報を一切開示しなくとも、元素識別画像を得ることができる。実施例1を用い、このようなクラウドサービス等を行なうこともできる。
As described above, the electron microscope image in which the element type and domain are known as shown in FIG. 7 has been described as an example. Even when there is no element composition and domain information in the electron microscope image (for example, when the crystal information of the sample is unknown), element identification is possible. For example, the user transmits an electron microscope image to the
実施例1によれば、図6のステップS30のように、演算部22は、走査透過型電子顕微鏡像における原子に対応した信号強度に基づき像における原子位置をそれぞれ複数のグループ52および54に対応させる。ステップS32のように、複数のグループ52および54それぞれ内において、原子位置を全て通る最短ルート63および65を算出する。ステップS34およびS36のように、演算部22は、算出結果に基づき複数のグループ52および54間で原子位置の一部を入れ換える。図5のステップS22およびS24のように、元素識別部24は、入れ換え後の複数のグループ52および54内の原子位置をそれぞれ異なる元素に識別する。これより、TEM法とEELS法またはEDX法とを併用する方法に比べ、元素識別時間を短縮できる。これにより、例えば試料のドリフトまたは電子線照射によるダメージを抑制できる。また、EELS法またはEDX法のような高価な装置を用いなくてもよくなる。
According to the first embodiment, as shown in step S30 of FIG. 6, the
実施例1では、電子顕微鏡像としてHAADF STEM像を説明したが、電子顕微鏡像は、HABF STEM像でもよい。電子顕微鏡像としてHABF STEM像を用いる場合、ステップS12の前に、信号強度に−1を乗ずる等の反転処理を行なう。電子顕微鏡像は、信号強度が原子番号に依存していればよい。 In Example 1, although the HAADF STEM image was demonstrated as an electron microscopic image, a HABF STEM image may be sufficient as an electron microscopic image. When the HABF STEM image is used as the electron microscope image, inversion processing such as multiplying the signal intensity by −1 is performed before step S12. In the electron microscope image, the signal intensity may be dependent on the atomic number.
図5のステップS12のように、演算部22は、原子に対応した信号強度がピークとなる強度に基づき電子顕微鏡像における原子位置をそれぞれ複数のグループ52および54に対応させる。これにより、図10のように、信号強度による元素の識別がより容易になる。図8を用い元素識別が可能な場合、ピーク強度を抽出せず、図8の信号強度から元素識別処理を行なってもよい。
As in step S <b> 12 of FIG. 5, the
図6のステップS30および図11のように、演算部22は、元素の識別が困難な信号強度の範囲50を複数の範囲に分割する。演算部22は、信号強度が複数の範囲内の原子位置をそれぞれ複数のグループ52および54に対応させる。これにより、元素識別が困難な範囲内の元素を識別できる。
As shown in step S30 of FIG. 6 and FIG. 11, the
図6のステップS30において分割するグループの数は任意であるが、複数のグループの数は、元素の識別が困難な信号強度の範囲50において識別が困難な元素の数と同じであることが好ましい。これにより、グループを元素に1対1で対応させることができる。
Although the number of groups to be divided in step S30 in FIG. 6 is arbitrary, the number of the plurality of groups is preferably the same as the number of elements that are difficult to identify in the
ステップS34およびS36のように、演算部22は、最短ルート上において隣接する原子位置の距離が第1距離(例えば最近接原子間距離)より長い原子位置を他のグループに移動する。最短ルートにおいて隣接する原子位置の距離が最近接原子間距離より長い場合、原子位置の属するグループが正しくない可能性がある。そこで、この原子位置を他のグループに移動する。これにより、元素の識別が容易となる。第1距離は最近接原子間距離以上であればよい。第1距離が最近接原子間距離の2倍以上のとき、原子位置が属するグループが正しくないときであっても、原子位置を他のグループに移動しないことが起こりえる。よって、第1距離は最近接原子間距離以上かつ最近接原子間距離の2倍より短い一定の距離であることが好ましい。また、最近接原子間距離は、結晶方位によって異なってもよい。例えば、図14(b)のグループ54内のルート65では、斜め方向の最近接原子間距離は横方向および縦方向の最近接原子間距離より大きくてもよい。
As in steps S34 and S36, the
図16(a)において、ステップS38およびS40を行なわない場合、図16(b)に収束するまで、ステップS32からS42を繰り返すことになる。そこで、ステップS38およびS40のように、演算部22は、最短ルート上において隣接する原子位置の距離が第2距離(例えば最近接原子間距離の2倍)より長い経路で挟まれた原子位置を他のグループに移動する。図16(a)のグループ52のように、隣接する原子位置の距離が最近接原子間距離の2倍より長い経路63bで挟まれた原子位置のブロック67は、属するグループが正しくない可能性が高い。そこで、ブロック67ごとグループを移動する。これにより、ステップS38およびS40を行なわない場合に比べ、演算時間を短くできる。第2距離は最近接原子間距離の2倍以上の一定の距離であればよい。
In FIG. 16A, when steps S38 and S40 are not performed, steps S32 to S42 are repeated until convergence to FIG. 16B. Therefore, as in steps S38 and S40, the
元素識別部24は、演算部22がグループ52および54それぞれ内において、ステップS32からS42を繰り返し、ステップS42のように原子位置の一部を入れ換えが実行されなくなったときに、元素に識別する。これにより、演算の収束後に元素の識別を行なうことができる。
In the
図7のように、電子顕微鏡像は複数のドメイン56および58を含む。このような場合、元素を識別することにより、図16(b)のように、ドメイン56および58の境界55を決定できる。よって、ドメイン56および58を抽出することができる。
As shown in FIG. 7, the electron microscope image includes a plurality of
図5のステップS16のように、元素識別部24は、元素の識別が困難な信号強度の範囲50以外の信号強度から別の元素を識別する。これにより、別の元素を簡単に識別できる。
As in step S <b> 16 of FIG. 5, the
図5のステップS24のように、画像生成部26は、元素識別部24が識別した元素に基づき、電子顕微鏡像に対応し元素を識別した画像を生成する。これにより、元素識別結果を視覚的に表現できる。
As in step S <b> 24 of FIG. 5, the
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the embodiments of the present invention have been described in detail above, the present invention is not limited to such specific embodiments, and various modifications and changes can be made within the scope of the gist of the present invention described in the claims. It can be changed.
なお、以上の説明に関して更に以下の付記を開示する。
(付記1)走査透過型電子顕微鏡像における原子に対応した信号強度に基づき前記走査透過型電子顕微鏡像における原子位置をそれぞれ複数のグループに対応させ、前記複数のグループそれぞれ内において、原子位置を全て通る最短ルートを算出し、算出結果に基づき前記複数のグループ間で原子位置の一部を入れ換える演算部と、前記演算部が前記原子位置の一部を入れ換えた後、前記複数のグループ内の原子位置をそれぞれ異なる元素に識別する元素識別部と、を具備することを特徴とする元素識別装置。
(付記2)前記演算部は、前記原子に対応した信号強度がピークとなる強度に基づき前記走査透過型電子顕微鏡像における原子位置をそれぞれ複数のグループに対応させることを特徴とする付記1に記載の元素識別装置。
(付記3)前記演算部は、元素の識別が困難な信号強度の範囲を複数の範囲に分割し、信号強度が前記複数の範囲内の原子位置をそれぞれ前記複数のグループに対応させることを特徴とする付記1または2記載の元素識別装置。
(付記4)前記複数のグループの数は、前記元素の識別が困難な信号強度の範囲において識別が困難な元素の数と同じであることを特徴とする付記3記載の元素識別装置。
(付記5)前記演算部は、前記最短ルート上において隣接する原子位置の距離が最近接原子間距離以上の第1距離より長い原子位置を他のグループに移動することを特徴とする付記1から4のいずれか一項記載の元素識別装置。
(付記6)前記演算部は、前記最短ルート上において隣接する原子位置の距離が最近接原子間距離の2倍以上の第2距離より長い経路で挟まれた原子位置を他のグループに移動することを特徴とする付記5記載の元素識別装置。
(付記7)前記元素識別部は、前記演算部が前記複数のグループそれぞれ内において、前記最短ルートを算出し、前記複数のグループ間で原子位置の一部を入れ換える演算を繰り返し、前記原子位置の一部の入れ換えが実行されなくなったときに、前記複数のグループ内の原子位置をそれぞれ異なる元素に識別することを特徴とする付記1から6のいずれか一項記載の元素識別装置。
(付記8)前記走査透過型電子顕微鏡像は複数のドメインを含むことを特徴とする付記1から7のいずれか一項記載の元素識別装置。
(付記9)前記元素識別部は、前記元素の識別が困難な信号強度の範囲以外の信号強度から別の元素を識別することを特徴とする付記3または4記載の元素識別装置。
(付記10)前記元素識別部が識別した元素に基づき、前記走査透過型電子顕微鏡像に対応し元素を識別した画像を生成する画像生成部を具備することを特徴とする付記1から9のいずれか一項記載の元素識別装置。
(付記11)コンピュータに、走査透過型電子顕微鏡像における原子に対応した信号強度に基づき前記走査透過型電子顕微鏡像における原子位置をそれぞれ複数のグループに対応させ、前記複数のグループそれぞれ内において、原子位置を全て通る最短ルートを算出し、算出結果に基づき前記複数のグループ間で原子位置の一部を入れ換え、前記原子位置の一部を入れ換えた後、前記複数のグループ内の原子位置をそれぞれ異なる元素に識別させることを特徴とする元素識別プログラム。
(付記12)コンピュータに実行させる元素識別方法であって、走査透過型電子顕微鏡像における原子に対応した信号強度に基づき前記走査透過型電子顕微鏡像における原子位置をそれぞれ複数のグループに対応させ、前記複数のグループそれぞれ内において、原子位置を全て通る最短ルートを算出し、算出結果に基づき前記複数のグループ間で原子位置の一部を入れ換え、前記原子位置の一部を入れ換えた後、前記複数のグループ内の原子位置をそれぞれ異なる元素に識別させることを特徴とする元素識別方法。
In addition, the following additional notes are disclosed regarding the above description.
(Appendix 1) Based on the signal intensity corresponding to the atoms in the scanning transmission electron microscope image, the atomic positions in the scanning transmission electron microscope image are respectively associated with a plurality of groups, and all the atomic positions in each of the plurality of groups An arithmetic unit that calculates a shortest route to pass, and replaces part of the atomic positions between the plurality of groups based on the calculation result; and after the arithmetic unit replaces part of the atomic positions, the atoms in the plurality of groups An element identification device comprising: an element identification unit for identifying each position by a different element.
(Supplementary note 2) The supplementary note 1, wherein the calculation unit associates atomic positions in the scanning transmission electron microscope image with a plurality of groups based on the intensity at which the signal intensity corresponding to the atoms reaches a peak. Element identification device.
(Additional remark 3) The said calculating part divides | segments the range of the signal intensity | strength where it is difficult to identify an element into a some range, and signal intensity makes each atomic position in the said some range correspond to the said some group, respectively. The element identification device according to
(Supplementary note 4) The element identification device according to
(Additional remark 5) The said calculating part moves the atomic position where the distance of the adjacent atomic position on the said shortest route is longer than 1st distance more than the nearest interatomic distance to another group from the additional remark 1 characterized by the above-mentioned. 5. The element identification device according to any one of 4.
(Additional remark 6) The said calculating part moves the atomic position on which the distance of the adjacent atomic position on the said shortest route is pinched | interposed by the path | route longer than 2nd distance more than twice the distance between nearest atoms to another group The element identification device according to supplementary note 5, wherein
(Additional remark 7) The said element identification part repeats the calculation which the said calculating part calculates the said shortest route in each of these groups, and replaces a part of atomic position between these groups, The element identification device according to any one of appendices 1 to 6, wherein when a part of the replacement is not performed, the atomic positions in the plurality of groups are identified by different elements.
(Supplementary note 8) The element identification device according to any one of supplementary notes 1 to 7, wherein the scanning transmission electron microscope image includes a plurality of domains.
(Supplementary note 9) The element identification device according to
(Supplementary note 10) Any one of Supplementary notes 1 to 9, further comprising an image generation unit that generates an image that identifies the element corresponding to the scanning transmission electron microscope image based on the element identified by the element identification unit. An element identification device according to claim 1.
(Supplementary Note 11) A computer is caused to correspond to each atom position in the scanning transmission electron microscope image based on the signal intensity corresponding to the atom in the scanning transmission electron microscope image, and in each of the plurality of groups, an atom The shortest route that passes through all the positions is calculated, and based on the calculation result, a part of the atomic positions are replaced between the plurality of groups, and after a part of the atomic positions are replaced, the atomic positions in the plurality of groups are different from each other. An element identification program characterized by allowing an element to be identified.
(Supplementary note 12) An element identification method to be executed by a computer, wherein the atomic positions in the scanning transmission electron microscope image are respectively associated with a plurality of groups based on the signal intensity corresponding to the atoms in the scanning transmission electron microscope image, Within each of the plurality of groups, the shortest route that passes through all the atomic positions is calculated, and based on the calculation result, a part of the atomic positions is replaced between the plurality of groups, and after a part of the atomic positions are replaced, A method for identifying an element, characterized in that each atom position in a group is identified by a different element.
10 コンピュータ
20 像取得部
22 演算部
24 元素識別部
26 画像生成部
30 元素識別装置
32 電子顕微鏡
34 像入力装置
36 画像出力装置
50 識別困難範囲
52、54 グループ
55 境界
56、58 ドメイン
62、64 元素
64a、64b 原子位置
63、65 ルート
63a、63b、65a 経路
DESCRIPTION OF
Claims (10)
前記演算部が前記原子位置の一部を入れ換えた後、前記複数のグループ内の原子位置をそれぞれ異なる元素に識別する元素識別部と、
を具備することを特徴とする元素識別装置。 Based on the signal intensity corresponding to the atoms in the scanning transmission electron microscope image, the atomic positions in the scanning transmission electron microscope image are made to correspond to a plurality of groups, respectively, and within each of the plurality of groups, the shortest route that passes through all the atom positions A calculation unit that calculates and replaces part of atomic positions between the plurality of groups based on the calculation result;
After the arithmetic unit replaces a part of the atomic positions, an element identifying unit that identifies the atomic positions in the plurality of groups as different elements, and
An element identification device comprising:
走査透過型電子顕微鏡像における原子に対応した信号強度に基づき前記走査透過型電子顕微鏡像における原子位置をそれぞれ複数のグループに対応させ、
前記複数のグループそれぞれ内において、原子位置を全て通る最短ルートを算出し、
算出結果に基づき前記複数のグループ間で原子位置の一部を入れ換え、
前記原子位置の一部を入れ換えた後、前記複数のグループ内の原子位置をそれぞれ異なる元素に識別させることを特徴とする元素識別プログラム。 On the computer,
Based on the signal intensity corresponding to the atoms in the scanning transmission electron microscope image, the atomic positions in the scanning transmission electron microscope image correspond to a plurality of groups,
Within each of the plurality of groups, calculate the shortest route through all the atom positions,
Based on the calculation results, replace some of the atomic positions between the plurality of groups,
An element identification program, wherein after replacing a part of the atomic positions, the atomic positions in the plurality of groups are identified by different elements.
走査透過型電子顕微鏡像における原子に対応した信号強度に基づき前記走査透過型電子顕微鏡像における原子位置をそれぞれ複数のグループに対応させ、
前記複数のグループそれぞれ内において、原子位置を全て通る最短ルートを算出し、
算出結果に基づき前記複数のグループ間で原子位置の一部を入れ換え、
前記原子位置の一部を入れ換えた後、前記複数のグループ内の原子位置をそれぞれ異なる元素に識別させることを特徴とする元素識別方法。 An element identification method executed by a computer,
Based on the signal intensity corresponding to the atoms in the scanning transmission electron microscope image, the atomic positions in the scanning transmission electron microscope image correspond to a plurality of groups,
Within each of the plurality of groups, calculate the shortest route through all the atom positions,
Based on the calculation results, replace some of the atomic positions between the plurality of groups,
After exchanging a part of the atomic positions, the element identifying method includes identifying different atomic positions in the plurality of groups.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015233915A JP6551198B2 (en) | 2015-11-30 | 2015-11-30 | Element identification device, element identification program and element identification method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015233915A JP6551198B2 (en) | 2015-11-30 | 2015-11-30 | Element identification device, element identification program and element identification method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017101971A true JP2017101971A (en) | 2017-06-08 |
JP6551198B2 JP6551198B2 (en) | 2019-07-31 |
Family
ID=59017907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015233915A Active JP6551198B2 (en) | 2015-11-30 | 2015-11-30 | Element identification device, element identification program and element identification method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6551198B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013011474A (en) * | 2011-06-28 | 2013-01-17 | Akita Univ | EVALUATION METHOD OF FINE TISSUE STRUCTURE OF Mg-Li ALLOY |
JP2013025509A (en) * | 2011-07-20 | 2013-02-04 | Fujitsu Ltd | Program, method, and device for determining traveling route |
KR101290869B1 (en) * | 2012-04-26 | 2013-07-29 | 세종대학교산학협력단 | Apparatus for monitoring electronic structures in atom and method for thereof |
JP2015056253A (en) * | 2013-09-11 | 2015-03-23 | 富士通株式会社 | Sample analyzing program, sample analyzing apparatus, and sample analyzing method |
JP2015206102A (en) * | 2014-04-23 | 2015-11-19 | 株式会社ノリタケカンパニーリミテド | Platinum hollow nanoparticle, catalyst carrying the particle, and method for producing the catalyst |
-
2015
- 2015-11-30 JP JP2015233915A patent/JP6551198B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013011474A (en) * | 2011-06-28 | 2013-01-17 | Akita Univ | EVALUATION METHOD OF FINE TISSUE STRUCTURE OF Mg-Li ALLOY |
JP2013025509A (en) * | 2011-07-20 | 2013-02-04 | Fujitsu Ltd | Program, method, and device for determining traveling route |
KR101290869B1 (en) * | 2012-04-26 | 2013-07-29 | 세종대학교산학협력단 | Apparatus for monitoring electronic structures in atom and method for thereof |
JP2015056253A (en) * | 2013-09-11 | 2015-03-23 | 富士通株式会社 | Sample analyzing program, sample analyzing apparatus, and sample analyzing method |
JP2015206102A (en) * | 2014-04-23 | 2015-11-19 | 株式会社ノリタケカンパニーリミテド | Platinum hollow nanoparticle, catalyst carrying the particle, and method for producing the catalyst |
Non-Patent Citations (3)
Title |
---|
DILLON ET AL.: "Direct Observation of Multilayer Adsorption on Alumina Grain Boundaries", J. AM. CERAM. SOC., vol. 90, 3, JPN6019020506, 2007, pages 996 - 998, ISSN: 0004048047 * |
ITAKURA ET AL.: "Atomic-Resolution X-ray Energy-Dispersive Spectroscopy Chemical Mapping of Substitutional Dy Atoms i", JAPANESE JOURNAL OF APPLIED PHYSICS, vol. 52, JPN6019020507, 2013, pages 050201, ISSN: 0004048048 * |
柴田直哉他: "埋もれた界面中の原子1個の走査型透過電子顕微鏡直接観察", J. VAC. SOC. JPN, vol. 54, 4, JPN6019020505, 2011, pages 270 - 274, ISSN: 0004048046 * |
Also Published As
Publication number | Publication date |
---|---|
JP6551198B2 (en) | 2019-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI647442B (en) | Defect classification device and defect classification method | |
Durmaz et al. | A deep learning approach for complex microstructure inference | |
JP6731370B2 (en) | Image processing system and computer program for performing image processing | |
KR20160078955A (en) | Method and system for classifying and identifying individual cells in a microscopy image | |
US20150362446A1 (en) | Phase Analyzer, Phase Analysis Method, and Surface Analyzer | |
CN108762740B (en) | Page data generation method and device and electronic equipment | |
US20180342087A1 (en) | Image Processing Apparatus, Surface Analyzer, and Image Processing Method | |
US20230237777A1 (en) | Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium | |
WO2019155850A1 (en) | Autofocus method for scanning electron microscope | |
JP2021184766A (en) | Cell observation device and cell observation method | |
US11508047B2 (en) | Charged particle microscope device and wide-field image generation method | |
US10055638B2 (en) | Image processing device, imaging device, microscope device, image processing method, and image processing program | |
JP6551198B2 (en) | Element identification device, element identification program and element identification method | |
JP2012142143A (en) | Charged particle beam device and observation image generating method | |
JP2014240780A (en) | Sample structure analysis method, transmission electron microscope, and program | |
JP2020071619A (en) | Optical-character-recognition-result correction assisting apparatus and correction assisting program | |
WO2020158261A1 (en) | Image-matching determination method, image-matching determination device, and computer-readable recording medium on which program for executing image-matching determination method on computer is recorded | |
CN107020845A (en) | The image processing apparatus and image processing method of time needed for estimation print processing | |
KR20200117880A (en) | Using Images from Secondary Microscope Detectors to Automatically Generate Labeled Images from Primary Microscope Detectors | |
KR20220040466A (en) | charged particle beam device | |
JP6595856B2 (en) | Charged particle apparatus and measurement method | |
JP2013114893A (en) | Scanning electron microscope, and automatic focusing method for the same | |
WO2021166142A1 (en) | Pattern matching device, pattern measurement system, and non-transitory computer-readable medium | |
JP2020003837A (en) | Identification apparatus and identification method | |
JP6490852B1 (en) | Unread determination threshold setting method and unread determination threshold setting apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190604 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190617 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6551198 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |