JP4237348B2 - Microspectroscope - Google Patents

Microspectroscope Download PDF

Info

Publication number
JP4237348B2
JP4237348B2 JP26732499A JP26732499A JP4237348B2 JP 4237348 B2 JP4237348 B2 JP 4237348B2 JP 26732499 A JP26732499 A JP 26732499A JP 26732499 A JP26732499 A JP 26732499A JP 4237348 B2 JP4237348 B2 JP 4237348B2
Authority
JP
Japan
Prior art keywords
measurement
spectrum
image
contour line
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26732499A
Other languages
Japanese (ja)
Other versions
JP2001091453A (en
Inventor
利之 名越
高雅 千坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jasco Corp
Original Assignee
Jasco Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jasco Corp filed Critical Jasco Corp
Priority to JP26732499A priority Critical patent/JP4237348B2/en
Publication of JP2001091453A publication Critical patent/JP2001091453A/en
Application granted granted Critical
Publication of JP4237348B2 publication Critical patent/JP4237348B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、顕微鏡により試料の拡大像観察と被測定物のスペクトル測定を行い得る顕微分光装置、特に顕微分光装置で試料のスペクトル測定を行う際に必要となるアパーチャの設定操作の改良に関する。
【0002】
【従来の技術】
顕微鏡により試料の拡大像を観察し、さらに試料のより詳しい解析のためにスペクトルを測定する手段は、現代において様々な分野で用いられている。
このように試料からスペクトル測定を行う際には、特定部位からのスペクトルのみを測定するためにアパーチャが設定される。例えば、試料として基板を用い、その基板上に付着した汚れのスペクトルを測定するためには、試料の観察像全体では汚れの他に基板のスペクトルを採取してしまうため、アパーチャを汚れのスペクトルのみ測定するように設定するのである。
【0003】
【発明が解決しようとする課題】
従来、アパーチャの設定は試料の観察像を見ながら行っていたが、スペクトル測定対象部位の形状は様々であるのに対し、アパーチャの形状は矩形であった。このため、スペクトル測定対象部位に合わせたアパーチャの設定は難しく、困難なものであった。
また、試料のマッピングスペクトルを測定する際にもアパーチャを用いていたが測定対象部位の形状に合わせた格子点の配置は難しいものであった。
本発明は上記課題に鑑みなされたものであり、その目的は、試料のスペクトル測定対象部位の形状に合わせて、簡単に最適なアパーチャを設定し得る装置を提供することである。
【0004】
【課題を解決するための手段】
前記目的を達成するために本発明にかかる顕微分光装置は、試料の拡大像を観察し得る顕微鏡を備え、スペクトル測定を行い得る顕微分光装置において、試料の顕微鏡観察像を取り込む画像取り込み手段と、前記画像取り込み手段によって取り込まれた試料観察画像を表示する表示手段と、前記表示手段に表示された試料観察画像からスペクトルを採取するスペクトル測定対象部位を指定し、スペクトル測定を行う領域を設定するための測定領域指定手段と、前記測定領域指定手段によって設定されたスペクトル測定領域からスペクトルを採取可能に設定されるマスク手段と、試料のスペクトル測定領域からスペクトルを採取するスペクトル採取手段とを備えており、前記測定領域指定手段により試料観察画像からスペクトル測定を所望するスペクトル測定対象部位の輪郭線を指定すると、指定されたスペクトル測定対象部位の輪郭線が測定領域指定画像の一部として前記表示手段上に表示され、該表示手段に表示された前記測定領域指定画像の輪郭線を使用してスペクトル測定を行う領域を前記測定領域指定手段によって設定すると、前記設定に基づいてマスク手段の設定が行われることを特徴とする。
【0005】
また本発明において、該測定領域指定手段によってスペクトル測定対象部位の輪郭線を指定する機構が、表示手段に表示され、該測定領域指定手段の操作によって移動するポインターもしくは前記測定領域指定手段として表示手段上の表示画像から位置情報を読みとる機器を使用し、前記ポインタもしくは前記機器によって試料観察画像からスペクトル測定対象部位の輪郭線をなぞるものであることが好適である。
また本発明において、該測定領域指定手段によってスペクトル測定対象部位の輪郭線を指定する機構が、表示手段に表示され、該測定領域指定手段の操作によって移動するポインターもしくは前記測定領域指定手段として表示手段上の表示画像から位置情報を読みとる機器を使用し、前記ポインタもしくは前記機器によって試料観察画像からスペクトル測定対象部位の輪郭の一部を指定すると、指定箇所が示す明度、あるいは色彩が同じである領域を認識し、その領域の外周を輪郭線と認識するもの、もしくは指定箇所の示す明度、あるいは色彩の変化が一番少ない明度あるいは色彩で表示されている隣接表示領域を選択し、さらにその選択領域が示す明度、あるいは色彩の変化が一番少ない明度あるいは色彩で表示されている隣接表示領域を選択して行く作業を繰り返すことによって輪郭線と認識するものであることが好適である。
また本発明において、該測定領域指定手段によってスペクトル測定対象部位の輪郭線を指定する機構が、表示手段に表示され、該測定領域指定手段の操作によって移動するポインターもしくは前記測定領域指定手段として表示手段上の表示画像から位置情報を読みとる機器を使用し、前記ポインタもしくは前記機器によって試料観察画像におけるスペクトル測定対象部位の輪郭線上から3つ以上の点を指定することで指定された点を結ぶ多角形を輪郭線と認識するものであることが好適である。
【0006】
また本発明において、マスク手段が実質的にアパーチャであることが好適である。
また本発明において、測定領域指定画像に表示された輪郭線に基づいて前記輪郭線内で最大の面積となるようにアパーチャを自動設定することが好適である。また本発明において、試料のマッピングスペクトル測定を行うための測定点数とアパーチャの大きさ及び角度を測定領域指定画像に表示された輪郭線をに基づいて自動設定することが好適である。
また本発明において、該測定領域指定手段として、少なくともタッチペン、ライトペン、タッチパネル、マウスのいずれか1つを使用していることが好適である。
【0007】
【発明の実施の形態】
顕微鏡を用いて、試料の拡大像を観察し、その中の特定部位からスペクトルを測定して、物質の同定や解析を行う方法は、現代において広く用いられる手段である。この際に必ず必要となることが、特定部位のみからスペクトルを測定するためのマスク手段の設定である。このマスク手段の設定を行わなければ正確なスペクトルを得ることができないため、大変重要な作業である。
本発明は、このマスク手段の設定を簡単にする機構を備えた顕微分光装置を提供し得るものである。
【0008】
図1に本発明の一実施形態である顕微分光装置の概要図を示す。
同図に示す顕微分光装置2は、試料の拡大像を観察し得る顕微鏡4と、試料の顕微鏡観察像を取り込む画像取り込み手段6と、前記画像取り込み手段6によって取り込まれた試料観察画像を表示する表示手段8と、前記表示手段8に表示された試料観察画像からスペクトルを採取するスペクトル測定対象部位を指定し、スペクトル測定を行う領域を設定するための測定領域指定手段10と、前記測定領域指定手段10によって設定されたスペクトル測定領域からスペクトルを採取可能に設定されるマスク手段12と、試料のスペクトル測定領域からスペクトルを採取するスペクトル採取手段14とを備えている。
【0009】
本実施形態においては、スペクトル採取手段14は分光光度計よりなり、顕微鏡4は分光光度計と接続されており、この分光光度計によってスペクトルの採取が行われる。
また本実施形態においてマスク手段12は、顕微鏡4内に備えられている。
さらに本実施形態は顕微鏡4、スペクトル採取手段14である分光光度計はそれぞれパーソナルコンピュータと接続されており、パーソナルコンピュータのCPU16によってそれぞれ統括的に制御されている。
【0010】
そして前記測定領域指定手段10により試料観察画像からスペクトル測定を所望するスペクトル測定対象部位の輪郭線を指定すると、指定されたスペクトル測定対象部位の輪郭線が測定領域指定画像として前記表示手段8上に表示され、該表示手段8に表示された前記測定領域指定画像の輪郭線を使用して、スペクトル測定を行う領域を前記測定領域指定手段10によって設定すると、その設定はCPU16から制御手段18に伝えられ、制御手段18は前記設定に基づいて駆動手段20を駆動させ、マスク手段12の設定を行うのである。
以下、実際に本発明の一実施形態を使用してスペクトル測定を行い、本発明の装置をさらに詳しく説明する。
【0011】
図2に本発明を適用した赤外顕微分光装置の概要図を示す。
同図に示す赤外顕微分光装置22は、試料の拡大像を観察し得る顕微鏡24と、試料の顕微鏡観察像を取り込む画像取り込み手段として三眼ファインダ26の上方に取り付けられているCCDカメラ28と、前記CCDカメラ28によって取り込まれた試料観察画像を表示する表示手段としてのCRT30と、前記CRT30に表示された試料観察画像からスペクトルを採取するスペクトル測定対象部位を指定し、スペクトル測定を行う領域を設定するための測定領域指定手段としてのライトペン32と、前記ライトペン32によって設定されたスペクトル測定領域からスペクトルを採取可能に設定されるマスク手段として顕微鏡内に備えられたアパーチャと、試料のスペクトル測定領域からスペクトルを採取するスペクトル採取手段としての赤外分光光度計34を備えている。
そして本実施形態において顕微鏡24と赤外分光光度計34はパーソナルコンピュータ36に接続され統括制御されている。
【0012】
実際の観察には試料としてIC基板を使用した。
はじめに顕微鏡24のスーテジ上に試料をセットし、まずその拡大画像を観察した。表示された試料観察画像を観察して行くと基板上に汚れを発見した。この汚れのスペクトルを測定することとした。
【0013】
図3(a)に試料の観察画像が表示された表示画面の一例を示す。同図に示すようにCRT30の画面38上には試料観察画像表示ウインドウ40に表示された試料観察画像42が表示されており、その試料観察画像42にはスペクトル測定対象部位である汚れ44が観察されている。この汚れ44のスペクトルを測定するためにアパーチャの設定が必要であるが、本発明においてはスペクトル測定対象部位からスペクトル測定を行うためのアパーチャの設定を行うに当たり、はじめに測定領域指定手段により試料観察画像42の基板の観察画像からスペクトル測定を所望するスペクトル測定対象部位である汚れ44の輪郭線を指定するのである。
【0014】
輪郭線の指定において、本発明の装置では表示手段に表示され、該測定領域指定手段の操作によって移動するポインタもしくは前記測定領域指定手段として表示手段上の表示画像から位置情報を読みとる機器を使用する。
【0015】
本実施形態においてはライトペンを使用している。このライトペンはペンの先に光感応機構が備えられており、ライトペンを使用する際は表示画面上の微小な領域から位置識別用の信号光を発信させ、この信号光を高速で表示画面上を走査させることにより、ライトペンがどこから発した信号光を受光したかによって観察者がライトペンによって指定した部位を認識する機器である。このような機器を使用した場合は図3(a)に示すようにライトペン46によって測定対象部位である汚れ44の輪郭を画面38上から指定してやればよい。
【0016】
このライトペンと同様に使用できるものとしてはタッチペンなどが存在する。タッチペンはその指定部位を感知する感知機構をあらかじめ表示画面表面に施しておき、タッチペンの接触が感知された部位から観察者が表示画像上を指定した部位を検出するものである。タッチペンを使用した場合においてもライトペン同様、測定対象部位の画面38上から測定対象部位である汚れ44を指定してやればよい。このように測定領域指定手段としてタッチペンやライトペンを使用すれば、ペン感覚で簡単に装置を操作することができる。このように測定領域指定手段として表示手段上の表示画像から位置情報を読みとる機器を使用すれば比較的操作が簡便であるという利点を有する。
【0017】
またコンピュータで一般的に使用される機器にマウスやタッチパネルなどがある。これらは表示画面上に表示されたポインタをマウスやタッチパネルを操作することによって移動させることによって、ポインタと指定位置とが重なったときに装置に信号を送ることにより、装置に指定位置を認識させるものである。本発明ではこのようなマウスやタッチパネルなども用いることが可能である。マウスやタッチパネルを用いた際には図3(b)に示すように表示画面38上に表示されたポインタ48を測定領域指定手段を操作して測定対象部位である汚れ44の輪郭に合わせて指定してやればよい。
【0018】
このようにマウスやタッチパネルを測定領域指定手段として使用すれば、これらの機器はコンピュータに備えられていることが一般的であるため特別な外部機器を必要としないという利点がある。
このように本発明は、輪郭線を使用する測定領域指定手段としてライトペンやタッチペン、マウス、タッチパネルなどを使用することが可能である。
【0019】
本発明の装置においては、アパーチャを設定するために試料観察画像42からスペクトル測定を所望する部位、つまり汚れ44の輪郭線を前述の測定領域指定手段によって指定する機構は次の4つの場合が考えられる。一つ目は測定対象領域である汚れ44の輪郭線をなぞる機構。二つ目は試料観察画像から汚れ44の輪郭線の一部を指定すると、指定箇所が示す明度、あるいは色彩が同じである領域を認識し、その領域の外周を指定された輪郭線とする機構、三つ目は、試料観察画像から汚れ44の輪郭線の一部を指定すると、指定箇所が示す明度、あるいは色彩の変化が一番少ない明度あるいは色彩で表示されている隣接表示領域を輪郭線構成領域として選択し、さらにその選択領域が示す明度、あるいは色彩の変化が一番少ない明度あるいは色彩で表示されている隣接表示領域を輪郭線構成領域として選択して行く作業を繰り返すことによって連続した輪郭線構成領域を輪郭線とする機構、四つ目は汚れの輪郭線上から3つ以上の点を指定することで指定された点を結ぶ多角形を指定された輪郭線とするものなどである。
以下、順に説明する。
【0020】
図4に測定領域指定手段によってスペクトル測定対象部位の輪郭線指定機構の説明図を記載している。
まず一つ目の試料観察画像42からスペクトル測定対象領域である汚れ44の輪郭線をなぞる機構は、図4(a)のように、前述の測定領域指定手段によってスペクトル測定対象領域である汚れ44の輪郭線をポインタ48によって連続的に指定していくことによって図4(a)に点線で示された指定済み部位50を輪郭線とするものである。この機構によれば観察者が所望するスペクトル測定対象領域を正確に指定することができるという利点がある。
【0021】
また二つ目の試料観察画像から汚れ44の輪郭線の一部を指定すると、指定箇所が示す明度、あるいは色彩が同じである領域を認識し、その領域の外周を指定された輪郭線とする機構は、図4(b)に示すように測定領域指定手段によって汚れ44の輪郭線の一部にポインタ48を合わせ、図4(b)では例としてポイント52を指定すると、図4(c)のように指定箇所が示す明度、あるいは色彩が同じである領域54を認識し、その領域の外周56を輪郭線とするものである。この機構によれば観察者は輪郭線としたい領域の一部を指定するだけで輪郭線を指定できるため、輪郭線の指定を非常に簡単に行うことができる。
【0022】
また三つ目の試料観察画像から輪郭線の一部を指定すると、指定箇所が示す明度、あるいは色彩の変化が一番少ない明度あるいは色彩で表示されている隣接表示領域を輪郭線構成領域として選択し、さらにその選択領域が示す明度、あるいは色彩の変化が一番少ない明度あるいは色彩で表示されている隣接表示領域を輪郭線構成領域として選択して行く作業を繰り返すことによって連続した輪郭線構成領域を輪郭線とする機構は、輪郭線の指定は前記二つ目の機構と同様に図4(b)のように指定できるが、輪郭線の認識機構が異なっている。表示画像38は拡大すると図4(d)のように微小ドット群58によって構成されており、指定されたドット52が示す明度あるいは色彩を隣接表示領域であるドット60〜74の明度あるいは色彩を比較し、その変化が一番少ない明度あるいは色彩で表示されている隣接表示領域を輪郭線構成領域として選択する。ここでは仮にドット72が選択されたとする。するとさらに、そのドット72が示す明度、あるいは色彩と隣接表示領域であるドット66〜80の明度あるいは色彩を比較し、その変化が一番少ない明度あるいは色彩で表示されている隣接表示領域80を輪郭線構成領域として選択するという作業を繰り返し、図4(e)に示すような連続した輪郭線構成領域82を輪郭線とするのである。この機構によれば二つ目の機構が有する利点に加え、試料が平らでなくグラデーションがかかって表示されてしまっているようなものであっても正確に輪郭線を認識することができる。
【0023】
最後に四つ目の試料観察画像の輪郭線上から3つ以上の点を指定することで指定された点を結ぶ多角形を指定された輪郭線とする機構は、図4(f)に示すように測定領域指定手段により汚れ44の輪郭線から3つ以上の点、ここでは例として点86〜104を指定して行き、その点を結ぶ多角形84を汚れ44の輪郭線として認識するのである。この機構によれば、測定対象領域の形状が多角形状に近い形状であった場合、簡単に測定対象領域を指定することができ、また指定する点を増やすことによって一つ目の機構より簡単にしかも観察者がスペクトル測定を行いたいと所望するスペクトル測定対象領域の形状に近い状態で輪郭線を指定することが可能である。
【0024】
なお本機構を説明するに当たり図4では測定領域指定手段としてマウスを用いており、マウスポインタ48を使用して輪郭線の指定を行っているが、前記したように測定領域指定手段としてタッチパネルやライトペン、タッチペンなどを用いても同様の機構によって輪郭線の指定が可能である。
また本発明においてはスペクトル測定対象部位の輪郭線を指定する機構として前述の4つの機構を挙げたが、輪郭線を指定する機構はこれのみの限られるものではなく、他に好適に指定し得る機構があればその機構を用いても良い。
【0025】
以上説明したように測定領域指定手段によってスペクトル測定領域の輪郭線が指定されると、図5に示すように指定された輪郭線106が試料観察画像ウインドウ40に表示された試料観察画像42中に表示されると共に、その輪郭線106と同じ形状の輪郭線108が試料観察画像表示ウインドウ40とは別画像の測定領域指定画像表示ウインドウ110としてCRT38上に表示される。
【0026】
観察者はこの状態のとき、指定された輪郭線106がスペクトル測定を所望する部位の輪郭線となっているかを試料観察画像42に表示された汚れ44の輪郭と指定した輪郭線106とを比較してを確認し、もし図6に示すように輪郭線が違っている場合には、間違っている箇所112を測定領域指定手段によって指定し、正しい輪郭線114上を再び指定することで修正することができる。そしてこの修正は前記測定領域指定画像表示ウインドウに表示された輪郭線にも反映されるのである。なお、ここでは本実施形態においての修正方法を記載したが、輪郭線の修正方法はこれのみに限られるものではない。
【0027】
正確な輪郭線の指定ができていることが確認できたら、実際のアパーチャの設定に入る。図2の装置によって前記したような手順によってスペクトル測定領域の輪郭線の指定が終了したものとして、続くアパーチャの設定について説明する。
本発明において特徴的なことは、従来では試行錯誤を繰り返して設定していたアパーチャの設定を、測定領域指定画像上に矩形イメージを設定することによって、その矩形イメージと同形にアパーチャを設定することによって簡単にアパーチャの設定をすることができる点である。
【0028】
スペクトルを測定する際、その測定方法がいくつか存在する。つまり、前記指定された輪郭線内において、一点からのみスペクトルを採取する一点測定、前記指定された輪郭線内において、複数の点からスペクトルを採取する多点測定、前記指定された輪郭線内において、前記輪郭線を通過する直線でスペクトルを採取する直線測定、前記指定された輪郭線内とその周辺の、広い場所からスペクトルを採取し、広範囲なスペクトルの状態を調べるためのマッピング測定などである。本発明の装置はこれらどのような測定においても対処し得るものである。
以下これら各測定においてのアパーチャの設定方法を説明する。
【0029】
まずスペクトル測定で最も基本的な一点測定の場合について説明する。図7にアパーチャの設定中の様子を示した説明図を示す。図7に示すように、本発明においてスペクトル測定を所望する部位を含むスペクトル測定領域の輪郭線の指定が終了した後に、試料観察画像42からスペクトル測定対象領域内においてどの部位のスペクトルを測定したいのかをライトペン32によって指定すると、測定領域指定画像表示ウインドウ110に表示された輪郭線108内の指定箇所に対応する部位に、矩形イメージ116が現れる。この矩形イメージ116が実際の測定において設定されるアパーチャ像となる。
【0030】
ここで現れた矩形イメージは、図8示すようにライトペン32を使用して、大きさ、角度を自由に変えることができる。このようにして測定領域指定画像表示ウインドウ110内に表示される輪郭線108を使用して矩形イメージ116の設定を行ったCRT38の表示状態が、図9に示すものである。この矩形イメージ116の設定は輪郭線108内で行うことができ、輪郭線からはみ出さないように確認しながら大きさ、角度の調整ができるため、非常に簡単に最適な形状の矩形イメージを設定することが可能である。そしてこの矩形イメージ116に対応してアパーチャが設定されるため、従来、試行錯誤して設定していたアパーチャの設定が非常に簡単に行うことができるようになるのである。
【0031】
なお、本実施形態においては測定領域指定画像に表示された輪郭線に基づいて前記輪郭線内で最大の面積となるように矩形イメージ116の大きさ及び角度を自動設定する事が可能である。このように、本発明において一点測定を行う際には、指定した測定領域内において最大の大きさとなるアパーチャを自動設定することができるようになっていることが好適である。
【0032】
続いて多点測定の場合の設定であるが、これは一点測定の設定方法とほぼ同じである。図10にアパーチャの設定中の様子を示した概要図を示す。なお図7、8、9に対応する部位については符号100を加えて記載している。図10に示すように、本発明においてスペクトル測定を所望する部位を含むスペクトル測定対象部位の輪郭線206の指定が終了した後に、試料観察画像142からスペクトルを測定したい部位をライトペン132によって複数指定すると、測定領域指定画像表示ウインドウ210に表示された輪郭線208内の指定箇所に対応する部位に、指定した数と同じだけの矩形イメージ216が現れる。
【0033】
ここで現れた矩形イメージは、一点測定の場合と同様、矩形イメージそれぞれについてライトペン232を使用して、大きさ、角度を自由に変えることができる。このようにして測定領域指定画像表示ウインドウ210に表示されたスペクトル測定対象部位の輪郭線208を使用して矩形イメージ216の設定を行ったCRT238の表示状態が、図11に示すものである。
【0034】
本実施形態のおいて一点測定の場合と異なる点は、指定された点が複数であるため、各矩形イメージの大きさ、座標、角度の情報を示したリスト218が作成される点である。観察者はこのリストによって各矩形イメージの情報を数値的に確認することが可能である。
【0035】
このように多数の点でのアパーチャの設定を同時に行うことができることによって、一点測定で述べた効果の他に、それぞれの測定領域が重ならずに設定できることや、測定したい領域からはみ出すことなくスペクトル測定を所望した領域内にアパーチャを設定することができるようになり、従来の装置を比較すると非常に効率よく測定を行うことが可能となった。
【0036】
このように特定部位が示すスペクトルを測定する一点測定や多点測定と多少性質の異なる測定が直線測定とマッピング測定である。
直線測定とマッピング測定は、試料のスペクトルの変化状態を視覚的に捕らえることができ、言い換えれば物質の存在状態を調べることができるものであるため、スペクトル測定を所望する領域を全体的に測定することが必要となり、必然的に測定点数が複数となる上、測定領域も整然と配列されたものとなる。
【0037】
まず直線測定の場合の設定方法について説明する。図12にアパーチャ設定中の様子を示した概要図を示す。なお図7、8、9に対応する部位については符号200を加えて記載している。図12(a)に示すように、本発明においてスペクトル測定を所望する部位を含むスペクトル測定対象部位の輪郭線の指定が終了した後に、試料観察画像242からどのような直線に沿ってスペクトルを測定したいのかをライトペン232によって指定する。本実施形態におけるこの直線の指定機構は、試料観察画像からスペクトルの直線測定を所望する直線を想定し、その始点320と終点322をライトペン232によって指定するのである。
【0038】
すると、図12(b)に示すように、測定領域指定画像表示ウインドウ310内には前記直線に対応した矩形イメージ群324が自動的に設定される。この矩形イメージ群324の一つ一つの矩形イメージ326は、大きさ、角度とも一点測定や多点測定の場合のようにライトペン232によって調整することが可能であり、どれか一つの矩形イメージについて調整すれば、その調整は設定された矩形イメージ群324のすべての矩形イメージに反映されるようになっている。さらに自動設定された矩形イメージ324の数が多い場合や少ない場合、つまり測定点数の数が多い場合や少ない場合には測定点の数を観察者が修正できるようになっている。
【0039】
このようにして設定が終了した測定領域指定画像表示ウインドウ310が図12(c)に示すものである。この矩形イメージ群324は一つ一つがアパーチャ像と対応しており、この矩形イメージ326それぞれについてアパーチャが設定され、順次スペクトル測定を行うことによって直線測定を行うことが可能なのである。
【0040】
最後にマッピング測定について説明する。図13にアパーチャ設定中の様子を示した概要図を示す。なお図7、8、9に対応する部位については符号300を加えて記載している。マッピング測定は、測定を所望する領域の全体についてスペクトル測定を行うものであるから、前記した他の測定と異なり、スペクトル測定を所望する部位を含むスペクトル測定対象部位の輪郭線の指定が終了した後には、マッピング測定を行うコマンドを装置に入力する事によって、図13(a)に示すように、試料観察画像から指定され、測定領域指定画像表示ウインドウ410内に描かれた輪郭線408に基づいて、最適となる矩形イメージ群428を自動で設定し、表示される。
【0041】
この矩形イメージ群428の一つ一つの矩形イメージ430は、大きさ、角度とも前記した直線測定の場合同様、一点測定や多点測定の場合のようにライトペンによって調整することが可能であり、どれか一つの矩形イメージについて調整すれば、その調整は設定された矩形イメージ群428のすべての矩形イメージに反映されるようになっている。
【0042】
また自動設定された矩形イメージのうち、必要ないものが存在する場合は、その不要な矩形イメージを消去することや、必要な箇所に矩形イメージが設定されていなかった場合、そこに矩形イメージを設定するなどの、測定点数を調整することも可能である。
【0043】
設定が終了した測定領域指定画像410を図13(b)に示す。
このようにして設定が終了したのち、アパーチャを矩形イメージに一つ一つ対応させて行き、順次スペクトルを測定して行くことによって、マッピングスペクトルを測定することが可能なのである。
【0044】
なお、マッピングスペクトルは、比較のためにスペクトル測定対象部位の周囲のスペクトルデータを採取しておくのが一般的である。このような場合、被測定物画像からの正確な輪郭線の指定は必要とされないため、マッピング測定を行いたい範囲を囲む多角形を想定して、その頂点となる位置を指定し、その指定された点を結ぶ多角形を輪郭線として測定領域指示画像上に表示させても良い。この様子を示したものが図13(c)である。
【0045】
同図に示すように、試料観察画像342から輪郭線を指定するために、汚れ344を囲む多角形432を想定し、その多角形432を輪郭線として指定している。本実施形態ではこのような多角形を指定する際には、多角形をなぞる必要はなく各頂点を指定することによって、その頂点を結ぶ多角形が指定されたと認識するようになっている。よって観察者は多角形を指定するとき、マッピング測定を行うに当たり、汚れ344の周囲のデータをどこまで採取したいのかを考慮して入力すればよいのである。
【0046】
そして多角形が輪郭線として指定されると、図13(d)に示したように測定領域指定画像表示ウインドウ410内に、指定された多角形432と同形の輪郭線434が表示され、観察者がマッピング測定を行うコマンドを入力すれば、前記輪郭線434に合わせて矩形イメージ群436が自動設定されるので、観察者は自分が行いたいマッピング測定の目的に合わせて測定点数や矩形イメージの大きさ、角度などを微調整して測定を行えばよいのである。
【0047】
このように本発明は、指定された輪郭線に基づいて、矩形イメージが自動設定され、その矩形イメージを調整することで、マッピング測定を行うためのアパーチャ設定が可能であるから、従来、複雑な形状のスペクトル測定対象部位に対して設定することが困難であったアパーチャの格子点を視覚的に確認しながら、簡単に最適なアパーチャを設定することが可能なのである。
また輪郭線を多角形で指定する方法であれば、マッピング測定を行いたいと所望する範囲に輪郭線を簡単に指定することができ、非常に簡便にアパーチャの設定を行うことができる。
【0048】
以上4通りのスペクトル測定について説明してきたが、このように本発明は、表示手段上に表示された測定領域指定画像の輪郭線を使用して、測定領域指定手段によって、スペクトル測定を行う領域を矩形イメージによって設定することによって、その設定は、コンピュータから制御手段に伝えられ、制御手段は前記設定に基づいて顕微鏡内に備えられた駆動手段を駆動させ、矩形イメージと同形のアパーチャ像となるようにアパーチャが設定されるので、非常に簡単にアパーチャを設定できる上、設定方法も直感的でわかりやすものとすることが可能である。
本実施形態はアパーチャ設定後のスペクトル測定を行う手順は従来機と同様に行うことができるものである。
【0049】
また、本実施形態においては試料観察画像の拡大像をはり合わせて試料の全体拡大像を作成することが可能である。そして全体拡大像を観察しながらスペクトル測定対象部位を決定し、そのスペクトル測定対象部位からスペクトルを測定することが可能である。図14に試料の全体拡大像からスペクトル測定対象部位を決定し、スペクトル測定を行う過程の説明図を記載する。
【0050】
同図(a)に示す全体拡大画像138は各領域ごとに試料観察画像を取り込み、装置内の記憶装置に記憶した観察画像を張り合わせて、表示手段の画面上に表示されている。そして観察者が、試料の全体拡大画像138を観察していて、スペクトルの採取を所望する部位を見つけたときには、その部位を測定領域指定手段によって指定するのである。
【0051】
スペクトル採取希望部位が指定されると、装置は指定部位が占める領域の位置を確認し、その領域の実像を表示画面148に映し出すのである。今、仮にスペクトル採取希望部位が領域140であったとする。装置はこの領域の位置データを記憶装置から読み出し、図14(b)に示すように試料観察画像表示ウインドウ142内に領域140の実像観察像144を表示する。観察者はこの実像観察像144から前記したように、測定領域指定手段によってスペクトル測定対象部位の輪郭線を指定し、測定領域指定画像表示ウインドウ146内に表示される指定した輪郭線と同じ形状をした輪郭線を使用して、矩形イメージを設定し、前述した各種スペクトル測定を行いことができるのである。
【0052】
そして、このようにスペクトル測定対象部位の輪郭線が指定されると、再び全体拡大画像138を表示手段上に表示させた際に、図14(c)に示すように、領域140には指定されたスペクトル測定対象領域の輪郭線が表示されるように構成されている。
【0053】
このように全体拡大画像を使用してスペクトル測定する部位が観察できると、全体が見渡すことができるため特徴的な部位を発見しやすくなるという利点があるとともに、一度輪郭線を指定するとその輪郭線が全体拡大像にも表示されるため何度も同じ場所でスペクトルを撮影してしまうような間違いを防止することが可能である。
なおここで言う全体拡大像とは試料の全体像とは限らず、試料が大きい場合には、試料観察画像として表示可能な範囲の全体像であっても良い。
【0054】
以上のように設定されたアパーチャによって汚れのスペクトルを測定したところ、従来機を使用して得られた結果と比較しても矛盾のない確かな結果を得ることができた。これによって本実施形態の顕微分光光度計のアパーチャ設定が正確なものであることが確かめられた。さらに従来機で行った測定時間と比較すると、本実施形態を使用して行った測定のほうがアパーチャの設定が非常に簡単にできるため、測定時間を短縮することができていた。
【0055】
なお、本実施形態においては被測定物画像と測定領域指定画像を同一画面上に表示する形態をとったがこれのみに限られるものではなく、必要に応じて順次どちらか一つの画像を表示するものや、観察者の意志によって表示画像を指定できるような構成であっても良く、これについては特に限定はない。
また本発明を説明するに当たり、測定領域指定手段として主にライトペンを用いたが、本発明はこれのみに限られるものではなく、マウスや、タッチペン、タッチパネル、ジョイスティックなどの各種入力機器を用いることが可能である。
【0056】
【発明の効果】
以上説明したように、本発明の顕微分光装置によれば、スペクトル測定対象部位の輪郭線を指定し、その輪郭線と同じ形状の輪郭線を使用して、その中でアパーチャと対応する矩形イメージを設定することでアパーチャの設定を行えることとしたので、複雑な形状をした被測定物に対して、簡単に最適なアパーチャを設定することが可能となる。
【図面の簡単な説明】
【図1】図1は本発明の一実施形態である顕微分光装置の概要図である。
【図2】図2は本発明を適用した赤外顕微分光装置の概要図をである。
【図3】図3は試料観察像が表示された表示画面の一例である。
【図4】図4はスペクトル測定対象領域の輪郭線の指定機構を示した説明図である。
【図5】図5は試料観察画像からスペクトル測定対象領域の輪郭線が指定された際の表示画面の一例である。
【図6】図6は指定したスペクトル測定対象領域の輪郭線を修正する際の表示画面の一例である。
【図7】図7は、本発明の一実施形態における一点測定でのアパーチャの設定中の様子を示した説明図である。
【図8】図8は、本発明の一実施形態における一点測定でのアパーチャの設定中の様子を示した説明図である。
【図9】図9は、本発明の一実施形態における一点測定でのアパーチャの設定中の様子を示した説明図である。
【図10】図10は、本発明の一実施形態における多点測定でのアパーチャの設定中の様子を示した説明図である。
【図11】図11は、本発明の一実施形態における多点測定でのアパーチャの設定中の様子を示した説明図である。
【図12】図12は、本発明の一実施形態における直線測定でのアパーチャの設定中の様子を示した説明図である。
【図13】図13は、本発明の一実施形態におけるマッピング測定でのアパーチャの設定中の様子を示した説明図である。
【図14】図14は、本発明の一実施形態における全体拡大像からスペクトル測定対象領域を指定する様子を示した説明図である。
【符号の説明】
2 顕微分光装置
4 顕微鏡
6 画像取り込み手段
8 表示手段
10 測定領域指定手段
12 マスク手段
14 スペクトル採取手段
16 CPU
18 制御手段
20 駆動手段
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a microscopic spectroscopic device capable of observing a magnified image of a sample and measuring a spectrum of an object to be measured with a microscope, and more particularly to an improvement in an aperture setting operation required when performing spectroscopic measurement of a sample with a microspectroscopic device.
[0002]
[Prior art]
Means for observing a magnified image of a sample with a microscope and measuring a spectrum for more detailed analysis of the sample are used in various fields in modern times.
Thus, when performing spectrum measurement from a sample, an aperture is set to measure only the spectrum from a specific part. For example, if a substrate is used as a sample and the spectrum of dirt adhered on the substrate is measured, the entire observed image of the sample collects the spectrum of the substrate in addition to the dirt. It is set to measure.
[0003]
[Problems to be solved by the invention]
Conventionally, the aperture is set while viewing the observation image of the sample. However, the shape of the spectrum measurement target portion is various, whereas the shape of the aperture is rectangular. For this reason, it is difficult and difficult to set the aperture according to the spectrum measurement target part.
Moreover, although the aperture was used when measuring the mapping spectrum of the sample, it was difficult to arrange the lattice points according to the shape of the measurement target part.
The present invention has been made in view of the above problems, and an object of the present invention is to provide an apparatus that can easily set an optimum aperture in accordance with the shape of a spectrum measurement target portion of a sample.
[0004]
[Means for Solving the Problems]
In order to achieve the above object, a microspectroscopic device according to the present invention includes a microscope capable of observing a magnified image of a sample, and in a microspectroscopic device capable of performing spectrum measurement, image capturing means for capturing a microscopic observation image of the sample, A display unit for displaying a sample observation image captured by the image capturing unit, a spectrum measurement target part for collecting a spectrum from the sample observation image displayed on the display unit, and a region for performing spectrum measurement are set. Measuring region designating means, masking means set so that a spectrum can be collected from the spectrum measuring region set by the measuring region designating means, and spectrum collecting means for collecting a spectrum from the spectrum measuring region of the sample. Desired for spectral measurement from the sample observation image by the measurement region designating means If you specify a contour line of spectrum stbm, contour measurement area designation image of the designated spectrum stbm Part of When the measurement region designating unit sets a region for spectrum measurement using the contour line of the measurement region designating image displayed on the display unit and displayed on the display unit, the mask unit is based on the setting. Is set.
[0005]
Further, in the present invention, the mechanism for designating the contour line of the spectrum measurement target portion by the measurement area designating means is displayed on the display means and is displayed as the pointer that moves by the operation of the measurement area designating means or the measurement area designating means. Preferably, a device that reads position information from the upper display image is used, and the contour line of the spectrum measurement target region is traced from the sample observation image by the pointer or the device.
Further, in the present invention, the mechanism for designating the contour line of the spectrum measurement target portion by the measurement area designating means is displayed on the display means and is displayed as the pointer that moves by the operation of the measurement area designating means or the measurement area designating means. When using a device that reads position information from the upper display image and specifying a part of the contour of the spectrum measurement target region from the sample observation image using the pointer or the device, the brightness or color indicated by the specified location is the same. , And recognize the outer periphery of the area as an outline, or select the adjacent display area that is displayed with the brightness or color with the least change in brightness or color indicated by the specified location, and the selection area The adjacent display area that is displayed in the brightness or color with the least change in brightness or color It is preferred that by repeating the work to continue to select is to recognize the contour line.
Further, in the present invention, the mechanism for designating the contour line of the spectrum measurement target portion by the measurement area designating means is displayed on the display means and is displayed as the pointer that moves by the operation of the measurement area designating means or the measurement area designating means. Using a device that reads position information from the display image above, a polygon that connects the specified points by specifying three or more points from the contour line of the spectrum measurement target part in the sample observation image by the pointer or the device Is preferably recognized as a contour line.
[0006]
In the present invention, it is preferable that the mask means is substantially an aperture.
In the present invention, it is preferable that the aperture is automatically set based on the contour line displayed in the measurement region designation image so as to have a maximum area within the contour line. In the present invention, it is preferable that the number of measurement points and the size and angle of the aperture for measuring the mapping spectrum of the sample are automatically set based on the contour line displayed on the measurement region designation image.
In the present invention, it is preferable that at least one of a touch pen, a light pen, a touch panel, and a mouse is used as the measurement area designating unit.
[0007]
DETAILED DESCRIPTION OF THE INVENTION
A method for identifying and analyzing a substance by observing an enlarged image of a sample using a microscope and measuring a spectrum from a specific portion therein is a widely used means in the present age. In this case, it is always necessary to set a mask means for measuring a spectrum only from a specific part. This is a very important operation because an accurate spectrum cannot be obtained unless the mask means is set.
The present invention can provide a microspectroscopic device having a mechanism for simplifying the setting of the mask means.
[0008]
FIG. 1 shows a schematic diagram of a microspectroscopic device that is one embodiment of the present invention.
A microspectroscopic device 2 shown in the figure displays a microscope 4 that can observe an enlarged image of a sample, an image capturing unit 6 that captures a microscopic observation image of the sample, and a sample observation image that is captured by the image capturing unit 6. A display unit 8; a measurement region designating unit 10 for designating a spectrum measurement target region for collecting a spectrum from a sample observation image displayed on the display unit 8; and a region for performing spectrum measurement; and the measurement region designation Mask means 12 is set so that a spectrum can be collected from the spectrum measurement region set by means 10, and spectrum collection means 14 for collecting a spectrum from the spectrum measurement region of the sample.
[0009]
In the present embodiment, the spectrum collecting means 14 comprises a spectrophotometer, and the microscope 4 is connected to the spectrophotometer, and the spectrum is collected by this spectrophotometer.
In the present embodiment, the mask means 12 is provided in the microscope 4.
Further, in the present embodiment, the microscope 4 and the spectrophotometer which is the spectrum collection means 14 are connected to a personal computer, respectively, and are totally controlled by the CPU 16 of the personal computer.
[0010]
Then, when the measurement region specifying means 10 designates the contour line of the spectrum measurement target portion desired to be measured from the sample observation image, the designated contour line of the spectrum measurement target portion is displayed on the display means 8 as the measurement region designation image. When the region for spectrum measurement is set by the measurement region specifying unit 10 using the contour line of the measurement region specifying image displayed and displayed on the display unit 8, the setting is transmitted from the CPU 16 to the control unit 18. Then, the control means 18 drives the drive means 20 based on the setting, and sets the mask means 12.
Hereinafter, spectrum measurement is actually performed using an embodiment of the present invention, and the apparatus of the present invention will be described in more detail.
[0011]
FIG. 2 shows a schematic diagram of an infrared microspectroscopic device to which the present invention is applied.
An infrared microspectroscopic device 22 shown in FIG. 1 includes a microscope 24 that can observe an enlarged image of a sample, and a CCD camera 28 that is attached above a trinocular finder 26 as image capturing means for capturing a microscopic image of the sample. A CRT 30 as a display means for displaying a sample observation image captured by the CCD camera 28, a spectrum measurement target region for collecting a spectrum from the sample observation image displayed on the CRT 30, and a region for performing spectrum measurement A light pen 32 as a measurement area designating means for setting, an aperture provided in the microscope as a mask means set so as to be able to collect a spectrum from the spectrum measurement area set by the light pen 32, and a spectrum of the sample As a spectrum sampling means to collect spectra from the measurement area And a infrared spectrophotometer 34.
In this embodiment, the microscope 24 and the infrared spectrophotometer 34 are connected to a personal computer 36 and are controlled in an integrated manner.
[0012]
In actual observation, an IC substrate was used as a sample.
First, a sample was set on the stage of the microscope 24, and first an enlarged image thereof was observed. Observing the displayed sample observation image, we found dirt on the substrate. The spectrum of this soil was measured.
[0013]
FIG. 3A shows an example of a display screen on which an observation image of the sample is displayed. As shown in the figure, a sample observation image 42 displayed in the sample observation image display window 40 is displayed on the screen 38 of the CRT 30. In the sample observation image 42, a stain 44, which is a spectral measurement target portion, is observed. Has been. In order to measure the spectrum of the dirt 44, it is necessary to set an aperture. In the present invention, in setting the aperture for performing spectrum measurement from the spectrum measurement target portion, first, the sample observation image is measured by the measurement region designating means. The contour line of the dirt 44, which is the spectral measurement target part for which spectral measurement is desired, is designated from the observation images of the 42 substrates.
[0014]
In specifying the contour line, the apparatus of the present invention uses a pointer that is displayed on the display means and moves by the operation of the measurement area specifying means, or a device that reads position information from the display image on the display means as the measurement area specifying means. .
[0015]
In this embodiment, a light pen is used. This light pen is equipped with a light sensitive mechanism at the tip of the pen. When using the light pen, signal light for position identification is transmitted from a small area on the display screen, and this signal light is displayed at high speed on the display screen. This is a device that recognizes a part designated by the light pen by the observer depending on where the signal light emitted from the light pen is received by scanning the top. When such a device is used, the outline of the dirt 44 that is the measurement target region may be designated from the screen 38 with the light pen 46 as shown in FIG.
[0016]
Touch pens and the like can be used in the same manner as this light pen. The touch pen is provided with a sensing mechanism that senses a designated part in advance on the surface of the display screen, and detects a part designated on the display image by the observer from the part sensed by the touch pen. Even when the touch pen is used, the dirt 44 that is the measurement target part may be designated from the measurement target part screen 38 as in the case of the light pen. In this way, if a touch pen or a light pen is used as the measurement area designating means, the apparatus can be easily operated as a pen. As described above, if a device that reads position information from the display image on the display means is used as the measurement region specifying means, there is an advantage that the operation is relatively simple.
[0017]
Devices commonly used in computers include a mouse and a touch panel. These are devices that move the pointer displayed on the display screen by operating a mouse or touch panel, and send a signal to the device when the pointer and the specified position overlap, allowing the device to recognize the specified position. It is. In the present invention, such a mouse or a touch panel can also be used. When a mouse or a touch panel is used, the pointer 48 displayed on the display screen 38 is designated in accordance with the outline of the dirt 44 that is the measurement target part by operating the measurement area designating means as shown in FIG. Just do it.
[0018]
If a mouse or a touch panel is used as a measurement area designating means in this way, there is an advantage that these devices are generally provided in a computer and thus no special external device is required.
As described above, the present invention can use a light pen, a touch pen, a mouse, a touch panel, or the like as a measurement area designating unit that uses an outline.
[0019]
In the apparatus of the present invention, the following four cases can be considered as the mechanism for designating the region where the spectrum measurement is desired from the sample observation image 42 in order to set the aperture, that is, the outline of the dirt 44 by the measurement region designating means. It is done. The first is a mechanism for tracing the outline of the dirt 44 that is the measurement target area. Second, when a part of the outline of the dirt 44 is designated from the sample observation image, a region having the same brightness or color indicated by the designated portion is recognized, and the outer periphery of the region is designated as the designated outline. Third, when a part of the outline of the dirt 44 is specified from the sample observation image, the adjacent display area displayed with the brightness or color with the least change in color or the color indicated by the specified location is outlined. Continuing by repeating the process of selecting as a constituent area and selecting the adjacent display area displayed with the lightness or color with the least change in color or color as the selected area as the contour constituent area. A mechanism that uses the contour configuration area as the contour line, and the fourth is a polygon that connects the specified points by specifying three or more points from the dirt contour line. That.
Hereinafter, it demonstrates in order.
[0020]
FIG. 4 shows an explanatory diagram of the outline designating mechanism of the spectrum measurement target region by the measurement region designating means.
First, as shown in FIG. 4A, the mechanism for tracing the contour line of the stain 44 that is the spectrum measurement target region from the first sample observation image 42 is the spectrum 44 that is the spectrum measurement target region. The designated portion 50 indicated by the dotted line in FIG. 4A is used as the contour line by continuously designating the contour line by the pointer 48. According to this mechanism, there is an advantage that the spectrum measurement target region desired by the observer can be specified accurately.
[0021]
When a part of the outline of the dirt 44 is designated from the second sample observation image, an area having the same brightness or color indicated by the designated location is recognized, and the outer periphery of the area is designated as the designated outline. The mechanism moves the pointer 48 to a part of the outline of the dirt 44 by the measurement area designating means as shown in FIG. 4B, and designates the point 52 as an example in FIG. 4B. In this way, the region 54 having the same brightness or color indicated by the designated location is recognized, and the outer periphery 56 of the region is used as the outline. According to this mechanism, the observer can designate the contour line only by designating a part of the region desired to be the contour line, so that the contour line can be designated very easily.
[0022]
When a part of the contour line is specified from the third sample observation image, the adjacent display area displayed with the lightness or color with the least change in color or color indicated by the specified location is selected as the contour composition area. In addition, by repeating the operation of selecting the adjacent display area displayed with the lightness or color with the least change in brightness or color as the selected area as the outline configuration area, the continuous outline configuration area The contour line can be designated as shown in FIG. 4B in the same way as the second mechanism, but the contour recognition mechanism is different. When the display image 38 is enlarged, it is constituted by a group of minute dots 58 as shown in FIG. 4D, and the brightness or color indicated by the designated dot 52 is compared with the brightness or color of the dots 60 to 74 which are adjacent display areas. Then, the adjacent display area displayed with the lightness or the color with the least change is selected as the outline forming area. Here, it is assumed that the dot 72 is selected. Then, the brightness or color indicated by the dot 72 is compared with the brightness or color of the dots 66 to 80 as the adjacent display area, and the adjacent display area 80 displayed with the lightness or color with the least change is outlined. The operation of selecting as a line configuration area is repeated, and a continuous contour configuration area 82 as shown in FIG. According to this mechanism, in addition to the advantage of the second mechanism, it is possible to accurately recognize the contour line even if the sample is not flat but displayed with gradation.
[0023]
Finally, a mechanism for designating a polygon connecting the designated points by designating three or more points from the contour line of the fourth sample observation image is as shown in FIG. 4 (f). Then, three or more points, for example, points 86 to 104 are designated from the outline of the dirt 44 by the measurement area designation means, and the polygon 84 connecting the points is recognized as the outline of the dirt 44. . According to this mechanism, when the shape of the measurement target area is a shape close to a polygon, it is possible to easily specify the measurement target area, and it is easier than the first mechanism by increasing the number of points to be specified. Moreover, it is possible to designate the contour line in a state close to the shape of the spectrum measurement target region that the observer wants to perform spectrum measurement.
[0024]
In describing this mechanism, in FIG. 4, a mouse is used as the measurement area designation means, and the contour line is designated using the mouse pointer 48. As described above, the touch panel or the light is used as the measurement area designation means. Even if a pen, a touch pen, or the like is used, the contour line can be designated by the same mechanism.
Further, in the present invention, the above-described four mechanisms are given as the mechanism for designating the contour line of the spectrum measurement target part. However, the mechanism for designating the contour line is not limited to this, and can be suitably designated elsewhere. If there is a mechanism, that mechanism may be used.
[0025]
As described above, when the contour line of the spectrum measurement region is designated by the measurement region designating means, the designated contour line 106 is displayed in the sample observation image 42 displayed in the sample observation image window 40 as shown in FIG. At the same time, an outline 108 having the same shape as the outline 106 is displayed on the CRT 38 as a measurement region designation image display window 110 that is a separate image from the sample observation image display window 40.
[0026]
In this state, the observer compares the contour of the dirt 44 displayed on the sample observation image 42 with the designated contour 106 to determine whether the designated contour 106 is the contour of the region where spectrum measurement is desired. If the contour is different as shown in FIG. 6, the wrong portion 112 is designated by the measurement area designating means, and the correct contour 114 is designated again to correct it. be able to. This correction is also reflected in the contour line displayed in the measurement area designation image display window. Although the correction method in the present embodiment has been described here, the contour correction method is not limited to this.
[0027]
When it is confirmed that an accurate contour has been specified, the actual aperture setting is entered. Assuming that the specification of the outline of the spectrum measurement region has been completed by the above-described procedure by the apparatus of FIG.
What is characteristic in the present invention is that the aperture setting, which has been set by repeating trial and error in the past, is set to the same shape as the rectangular image by setting the rectangular image on the measurement area designating image. With this, the aperture can be easily set.
[0028]
There are several measurement methods for measuring a spectrum. That is, in the designated contour line, one-point measurement for collecting a spectrum from only one point, in the designated contour line, multi-point measurement for collecting a spectrum from a plurality of points, in the designated contour line , Straight line measurement that collects a spectrum with a straight line passing through the contour line, mapping measurement to collect a spectrum from a wide place in and around the designated contour line, and investigate a wide spectrum state . The device of the present invention can cope with any of these measurements.
The aperture setting method for each of these measurements will be described below.
[0029]
First, the case of the most basic single point measurement in spectrum measurement will be described. FIG. 7 is an explanatory diagram showing a state in which the aperture is being set. As shown in FIG. 7, in the present invention, after the designation of the outline of the spectrum measurement region including the region where the spectrum measurement is desired is completed, which part of the spectrum measurement target region is desired to be measured from the sample observation image 42 Is designated by the light pen 32, a rectangular image 116 appears at a part corresponding to the designated part in the contour 108 displayed in the measurement area designated image display window 110. This rectangular image 116 becomes an aperture image set in actual measurement.
[0030]
The rectangular image that appears here can be freely changed in size and angle using a light pen 32 as shown in FIG. The display state of the CRT 38 in which the rectangular image 116 is set using the contour line 108 displayed in the measurement area designation image display window 110 in this manner is shown in FIG. The rectangular image 116 can be set within the contour line 108, and the size and angle can be adjusted while confirming that the rectangular image 116 does not protrude from the contour line. Is possible. Since the aperture is set corresponding to the rectangular image 116, the setting of the aperture, which has been set by trial and error in the past, can be performed very easily.
[0031]
In the present embodiment, the size and angle of the rectangular image 116 can be automatically set based on the contour line displayed in the measurement region designation image so as to have the maximum area within the contour line. Thus, when performing one-point measurement in the present invention, it is preferable that the aperture having the maximum size in the designated measurement region can be automatically set.
[0032]
This is the setting for multipoint measurement, which is almost the same as the setting method for single point measurement. FIG. 10 is a schematic diagram showing how the aperture is being set. In addition, about the site | part corresponding to FIG.7,8,9, the code | symbol 100 is added and described. As shown in FIG. 10, in the present invention, after the specification of the contour line 206 of the spectrum measurement target part including the part for which spectrum measurement is desired is completed, a plurality of parts whose spectra are to be measured are designated by the light pen 132 from the sample observation image 142. Then, as many rectangular images 216 as the designated number appear in the part corresponding to the designated part in the outline 208 displayed in the measurement region designated image display window 210.
[0033]
The rectangular image that appears here can be freely changed in size and angle by using the light pen 232 for each rectangular image, as in the case of single point measurement. A display state of the CRT 238 in which the rectangular image 216 is set using the outline 208 of the spectrum measurement target region displayed in the measurement region designation image display window 210 in this way is shown in FIG.
[0034]
In the present embodiment, the difference from the case of one-point measurement is that a list 218 indicating the size, coordinates, and angle information of each rectangular image is created because there are a plurality of designated points. The observer can check the information of each rectangular image numerically by this list.
[0035]
Since apertures can be set at a number of points at the same time, in addition to the effects described in single-point measurement, each measurement region can be set without overlapping, and the spectrum can be set without protruding from the region to be measured. An aperture can be set in a region where measurement is desired, and it has become possible to perform measurement very efficiently when compared with conventional devices.
[0036]
In this way, the one-point measurement for measuring the spectrum indicated by the specific part and the measurement somewhat different from the multi-point measurement are the linear measurement and the mapping measurement.
In linear measurement and mapping measurement, the change state of the spectrum of the sample can be captured visually, in other words, the existence state of the substance can be examined. Therefore, the entire region where the spectrum measurement is desired is measured. Inevitably, the number of measurement points is inevitably plural, and the measurement areas are arranged in an orderly manner.
[0037]
First, a setting method in the case of linear measurement will be described. FIG. 12 is a schematic diagram showing the state during aperture setting. In addition, about the site | part corresponding to FIG.7,8,9, the code | symbol 200 is added and described. As shown in FIG. 12 (a), after the specification of the contour line of the spectrum measurement target part including the part where spectrum measurement is desired in the present invention, the spectrum is measured along any straight line from the sample observation image 242. Use the light pen 232 to specify what you want to do. The straight line designation mechanism in the present embodiment assumes a straight line for which a spectral straight line measurement is desired from the sample observation image, and designates the start point 320 and the end point 322 with the light pen 232.
[0038]
Then, as shown in FIG. 12B, a rectangular image group 324 corresponding to the straight line is automatically set in the measurement region designation image display window 310. Each rectangular image 326 of the rectangular image group 324 can be adjusted by the light pen 232 as in the case of single point measurement or multipoint measurement in terms of size and angle. If adjusted, the adjustment is reflected in all the rectangular images of the set rectangular image group 324. Furthermore, when the number of automatically set rectangular images 324 is large or small, that is, when the number of measurement points is large or small, the observer can correct the number of measurement points.
[0039]
The measurement area designation image display window 310 that has been set in this way is shown in FIG. Each rectangular image group 324 corresponds to an aperture image, and an aperture is set for each of the rectangular images 326, and linear measurement can be performed by sequentially performing spectrum measurement.
[0040]
Finally, mapping measurement will be described. FIG. 13 is a schematic diagram showing a state during aperture setting. In addition, about the site | part corresponding to FIG.7,8,9, the code | symbol 300 is added and described. Since the mapping measurement is a spectrum measurement for the entire region where the measurement is desired, unlike the other measurements described above, after the specification of the contour line of the spectrum measurement target part including the part where the spectrum measurement is desired is completed. , Based on the contour line 408 designated from the sample observation image and drawn in the measurement area designation image display window 410 as shown in FIG. The optimal rectangular image group 428 is automatically set and displayed.
[0041]
Each rectangular image 430 in the rectangular image group 428 can be adjusted with a light pen in both the size and angle as in the case of the linear measurement described above, as in the case of single point measurement or multipoint measurement. If any one of the rectangular images is adjusted, the adjustment is reflected in all the rectangular images in the set rectangular image group 428.
[0042]
In addition, if there is an unnecessary rectangular image that is set automatically, delete the unnecessary rectangular image, or if a rectangular image is not set at the required location, set the rectangular image there. It is also possible to adjust the number of measurement points such as.
[0043]
FIG. 13B shows the measurement region designation image 410 that has been set.
After the setting is completed in this way, the mapping spectrum can be measured by associating the apertures one by one with the rectangular image and sequentially measuring the spectrum.
[0044]
For the mapping spectrum, it is common to collect spectrum data around the spectrum measurement target part for comparison. In such a case, it is not necessary to specify the exact contour line from the measured object image. Therefore, assuming the polygon surrounding the area where the mapping measurement is to be performed, the position of the apex is specified and the specified Alternatively, a polygon connecting the points may be displayed as an outline on the measurement region instruction image. This is shown in FIG. 13 (c).
[0045]
As shown in the figure, in order to designate a contour line from the sample observation image 342, a polygon 432 surrounding the dirt 344 is assumed, and the polygon 432 is designated as the contour line. In this embodiment, when such a polygon is designated, it is not necessary to trace the polygon, and by designating each vertex, it is recognized that the polygon connecting the vertices is designated. Therefore, when the observer designates a polygon, it is only necessary to input how much data around the stain 344 is to be collected in performing mapping measurement.
[0046]
When the polygon is designated as an outline, an outline 434 having the same shape as the designated polygon 432 is displayed in the measurement area designation image display window 410 as shown in FIG. When a command for performing mapping measurement is input, the rectangular image group 436 is automatically set in accordance with the contour line 434, so that the observer can measure the number of measurement points and the size of the rectangular image in accordance with the purpose of mapping measurement he / she wants to perform. The measurement can be performed with fine adjustment of the angle and the like.
[0047]
As described above, according to the present invention, since a rectangular image is automatically set based on a designated contour line, and aperture adjustment for performing mapping measurement can be performed by adjusting the rectangular image, conventionally, a complicated complex image is required. It is possible to easily set the optimum aperture while visually confirming the lattice points of the aperture, which has been difficult to set for the shape measurement target region.
In addition, if the contour line is designated by a polygon, the contour line can be easily designated in a desired range for performing mapping measurement, and the aperture can be set very easily.
[0048]
As described above, the four types of spectrum measurement have been described. Thus, the present invention uses the contour line of the measurement region designation image displayed on the display unit to determine the region where the spectrum measurement is performed by the measurement region designation unit. By setting with the rectangular image, the setting is transmitted from the computer to the control means, and the control means drives the driving means provided in the microscope based on the setting so that the aperture image has the same shape as the rectangular image. Since the aperture is set, the aperture can be set very easily, and the setting method can be made intuitive and easy to understand.
In the present embodiment, the procedure for performing the spectrum measurement after setting the aperture can be performed in the same manner as the conventional machine.
[0049]
Further, in the present embodiment, it is possible to create an overall enlarged image of the sample by combining the enlarged images of the sample observation image. Then, it is possible to determine a spectrum measurement target part while observing the entire magnified image, and measure the spectrum from the spectrum measurement target part. FIG. 14 shows an explanatory diagram of the process of determining a spectrum measurement target part from the entire magnified image of the sample and performing the spectrum measurement.
[0050]
The entire enlarged image 138 shown in FIG. 5A is displayed on the screen of the display means by taking the sample observation image for each region and pasting the observation images stored in the storage device in the apparatus. Then, when the observer observes the entire magnified image 138 of the sample and finds a site where the spectrum is desired to be collected, the site is designated by the measurement region designating means.
[0051]
When the desired region for spectrum acquisition is designated, the apparatus confirms the position of the region occupied by the designated region, and displays a real image of the region on the display screen 148. Now, suppose that the desired region for spectrum collection is the region 140. The apparatus reads the position data of this area from the storage device, and displays the real image observation image 144 of the area 140 in the sample observation image display window 142 as shown in FIG. As described above, the observer designates the contour line of the spectrum measurement target portion by the measurement region designation means from the real image observation image 144, and has the same shape as the designated contour line displayed in the measurement region designation image display window 146. Using the contour line, a rectangular image can be set and various spectrum measurements described above can be performed.
[0052]
Then, when the contour line of the spectrum measurement target part is designated in this way, when the whole enlarged image 138 is displayed again on the display means, the region 140 is designated as shown in FIG. The contour line of the spectrum measurement target area is displayed.
[0053]
In this way, observing the part to be spectrum measured using the whole magnified image has the advantage that it is easy to find the characteristic part because the whole can be overlooked. Is also displayed on the entire enlarged image, so that it is possible to prevent mistakes such as taking a spectrum at the same place many times.
The whole enlarged image referred to here is not limited to the whole image of the sample, and may be a whole image in a range that can be displayed as a sample observation image when the sample is large.
[0054]
When the spectrum of dirt was measured with the aperture set as described above, it was possible to obtain consistent results that were consistent even when compared with the results obtained using a conventional machine. As a result, it was confirmed that the aperture setting of the microspectrophotometer of this embodiment is accurate. Furthermore, compared with the measurement time performed by the conventional machine, the measurement performed using the present embodiment can make the setting of the aperture much simpler, and thus the measurement time can be shortened.
[0055]
In the present embodiment, the object image and the measurement region designation image are displayed on the same screen. However, the present invention is not limited to this, and one of the images is sequentially displayed as necessary. The display image may be specified depending on the viewer's intention or the will of the observer, and there is no particular limitation on this.
In describing the present invention, a light pen is mainly used as a measurement area designating means. However, the present invention is not limited to this, and various input devices such as a mouse, a touch pen, a touch panel, and a joystick are used. Is possible.
[0056]
【The invention's effect】
As described above, according to the microspectroscopic device of the present invention, the contour line of the spectrum measurement target part is designated, the contour line having the same shape as the contour line is used, and the rectangular image corresponding to the aperture therein Since the aperture can be set by setting, it is possible to easily set the optimum aperture for the object to be measured having a complicated shape.
[Brief description of the drawings]
FIG. 1 is a schematic view of a microspectroscopic device according to an embodiment of the present invention.
FIG. 2 is a schematic view of an infrared microspectroscopic device to which the present invention is applied.
FIG. 3 is an example of a display screen on which a sample observation image is displayed.
FIG. 4 is an explanatory diagram showing a mechanism for designating a contour line of a spectrum measurement target region.
FIG. 5 is an example of a display screen when a contour line of a spectrum measurement target region is designated from a sample observation image.
FIG. 6 is an example of a display screen when a contour line of a designated spectrum measurement target region is corrected.
FIG. 7 is an explanatory diagram showing a state in which an aperture is set in one-point measurement according to an embodiment of the present invention.
FIG. 8 is an explanatory diagram showing a state in which an aperture is set in one-point measurement according to an embodiment of the present invention.
FIG. 9 is an explanatory diagram showing a state in which an aperture is set in one-point measurement according to an embodiment of the present invention.
FIG. 10 is an explanatory diagram showing a state in which an aperture is set in multipoint measurement according to an embodiment of the present invention.
FIG. 11 is an explanatory diagram showing a state in which an aperture is set in multipoint measurement according to an embodiment of the present invention.
FIG. 12 is an explanatory diagram showing a state in which an aperture is being set in linear measurement according to an embodiment of the present invention.
FIG. 13 is an explanatory diagram showing a state in which an aperture is being set in mapping measurement according to an embodiment of the present invention.
FIG. 14 is an explanatory diagram showing a state in which a spectrum measurement target region is designated from an entire enlarged image according to an embodiment of the present invention.
[Explanation of symbols]
2 Microspectroscope
4 Microscope
6 Image capture means
8 Display means
10 Measurement area designation means
12 Mask means
14 Spectrum collection means
16 CPU
18 Control means
20 Driving means

Claims (5)

試料の拡大像を観察し得る顕微鏡を備え、スペクトル測定を行い得る顕微分光装置において、
試料の顕微鏡観察像を取り込む画像取り込み手段と、
前記画像取り込み手段によって取り込まれた試料観察画像を表示する表示手段と、
前記表示手段に表示された試料観察画像からスペクトルを採取するスペクトル測定対象部位を指定し、スペクトル測定領域を設定するための測定領域指定手段と、
前記測定領域指定手段によって設定されたスペクトル測定領域からスペクトルを採取可能に設定されるマスク手段と、
試料のスペクトル測定領域からスペクトルを採取するスペクトル採取手段と、
試料観察画像からスペクトル測定対象部位の一部を指定することによりスペクトル測定を所望するスペクトル測定対象部位の輪郭線が指定される輪郭線指定手段と、を備えており、
前記測定領域指定手段によってスペクトル測定対象部位の輪郭線を指定する機構が、前記表示手段に表示され、
前記測定領域指定手段の操作によって移動するポインターもしくは前記測定領域指定手段として表示手段上の表示画像から位置情報を読みとる機器を使用し、前記ポインターもしくは前記機器によって試料観察画像からスペクトル測定対象部位の輪郭の一部を指定すると、
前記輪郭線指定手段は、指定箇所が示す明度、あるいは色彩が同じである領域を認識し、その領域の外周を輪郭線として認識し、
もしくは前記ポインターもしくは前記機器によりスペクトル測定対象部位の一部を指定すると、
前記輪郭線指定手段は、該試料観察画像は微小ドット群により構成されており、該スペクトル対象部位の一部に対応するドットが指定され、指定又は選択されたドットの周囲のドットを隣接表示領域とし、該指定されたドットの示す明度、あるいは色彩の差が一番少ない隣接表示領域内のドットを選択し、さらに該選択されたドットが示す明度、あるいは色彩の差が一番少ない隣接表示領域内のドットを選択していく作業を繰り返すことによって輪郭線として認識し、
前記輪郭線指定手段により認識されたスペクトル測定対象部位の輪郭線が測定領域指定画像の一部として前記表示手段上に表示され、
該表示手段に表示された前記測定領域指定画像の輪郭線を使用してスペクトル測定領域を前記測定領域指定手段によって設定すると、前記設定に基づいてマスク手段の設定が行われることを特徴とする顕微分光装置。
With a microscope that can observe a magnified image of a sample,
Image capturing means for capturing a microscopic image of the sample;
Display means for displaying the sample observation image captured by the image capturing means;
A spectrum measurement target region for collecting a spectrum from the sample observation image displayed on the display means is designated, and a measurement region designation means for setting a spectrum measurement region;
Mask means set so that a spectrum can be collected from the spectrum measurement area set by the measurement area designating means;
A spectrum collecting means for collecting a spectrum from a spectrum measurement region of the sample;
A contour line designating unit for designating a contour line of a spectrum measurement target part for which spectrum measurement is desired by designating a part of the spectrum measurement target part from a sample observation image,
A mechanism for designating a contour line of a spectrum measurement target part by the measurement region designating means is displayed on the display means,
A pointer that is moved by an operation of the measurement region designating unit or a device that reads position information from a display image on a display unit is used as the measurement region designating unit, and a contour of a spectrum measurement target region is measured from a sample observation image by the pointer or the device. If you specify a part of
The outline designating means recognizes an area having the same brightness or color indicated by the designated location, recognizes the outer periphery of the area as an outline,
Alternatively, when a part of the spectrum measurement target part is designated by the pointer or the device,
In the contour designating means, the sample observation image is composed of a group of minute dots, dots corresponding to a part of the spectrum target part are designated, and dots around the designated or selected dots are displayed in adjacent display areas. And selecting a dot in the adjacent display area having the smallest brightness or color difference indicated by the designated dot, and further displaying an adjacent display area having the smallest brightness or color difference indicated by the selected dot. Recognize it as a contour line by repeating the process of selecting the dots in it,
The contour line of the spectrum measurement object recognized by the contour line designating unit is displayed on the display unit as a part of the measurement region designating image,
The microscope is set based on the setting when the spectrum measurement region is set by the measurement region specifying unit using the contour line of the measurement region specifying image displayed on the display unit. Spectrometer.
請求項1記載の顕微分光装置において、マスク手段がアパーチャであることを特徴とする顕微分光装置。A microsurgical spectrometer according to claim 1, microscopic spectrometer, characterized in that the masking means there Pacha. 請求項記載の顕微分光装置において、測定領域指定画像に表示された輪郭線に基づいて前記輪郭線内で最大の面積となるようにアパーチャを自動設定することを特徴とする顕微分光装置。 3. The microspectroscopic device according to claim 2, wherein the aperture is automatically set so as to have a maximum area within the contour line based on the contour line displayed in the measurement region designation image. 請求項またはのいずれかに記載の顕微分光装置において、試料のマッピングスペクトル測定を行うための測定点数とアパーチャの大きさを測定領域指定画像に表示された輪郭線に基づいて自動設定することを特徴とする顕微分光装置。A microsurgical spectrometer according to claim 2 or 3, be set automatically based on the measurement points and the aperture size outline displayed in the measurement area specifying images for performing mapping spectral measurement of the sample Microspectroscopic device characterized by 請求項1乃至のいずれかに記載の顕微分光装置において、該測定領域指定手段として、少なくともタッチペン、ライトペン、タッチパネル、マウスのいずれか1つを使用していることを特徴とする顕微分光装置。A microsurgical spectrometer according to any one of claims 1 to 4, as the measurement area specifying device, at least a touch pen, a light pen, a touch panel, microspectroscopy apparatus characterized by using one of the mouse .
JP26732499A 1999-09-21 1999-09-21 Microspectroscope Expired - Fee Related JP4237348B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26732499A JP4237348B2 (en) 1999-09-21 1999-09-21 Microspectroscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26732499A JP4237348B2 (en) 1999-09-21 1999-09-21 Microspectroscope

Publications (2)

Publication Number Publication Date
JP2001091453A JP2001091453A (en) 2001-04-06
JP4237348B2 true JP4237348B2 (en) 2009-03-11

Family

ID=17443248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26732499A Expired - Fee Related JP4237348B2 (en) 1999-09-21 1999-09-21 Microspectroscope

Country Status (1)

Country Link
JP (1) JP4237348B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007074929A1 (en) * 2005-12-27 2007-07-05 Olympus Corporation Device and method for capturing image of a sample originating from organism
JP2008082950A (en) * 2006-09-28 2008-04-10 Olympus Corp Microspectroscopic system
JP6278601B2 (en) * 2013-02-15 2018-02-14 オリンパス株式会社 Microscope system and program
JP6210393B1 (en) * 2016-05-10 2017-10-11 株式会社Msテクノロジー Color measuring apparatus and color measuring method

Also Published As

Publication number Publication date
JP2001091453A (en) 2001-04-06

Similar Documents

Publication Publication Date Title
JP3962104B2 (en) Method for operating an infrared microscope and apparatus for acquiring infrared data
JP5172696B2 (en) Method for operating a measurement system with a scanning probe microscope and measurement system
CN102662229B (en) Microscope having touch screen
US7394926B2 (en) Magnified machine vision user interface
US8350905B2 (en) Microscope system, image generating method, and program for practicing the same
US20070086620A1 (en) Probe observing device and surface texture measuring device
US20140152794A1 (en) Measurement Microscope Device, Image Generating Method, Measurement Microscope Device Operation Program, And Computer-Readable Recording Medium
CN108527362A (en) Equipment, robot setting method and computer readable recording medium storing program for performing is arranged in robot
US20100141752A1 (en) Microscope System, Specimen Observing Method, and Computer Program Product
CN107463789A (en) A kind of integrated medical display self-checking device and its calibration method
Alvarez-Buylla et al. Simple microcomputer system for mapping tissue sections with the light microscope
DE112012005524T5 (en) Method and apparatus for using gestures to control a laser tracker
US8200004B2 (en) Method for inspecting a surface of a wafer with regions of different detection sensitivity
JP4237348B2 (en) Microspectroscope
JP3887807B2 (en) Image measuring device
US20080282197A1 (en) Microscopic-Measurement Apparatus
JP4477714B2 (en) Simple operation microscope
CN110068271A (en) The PIN needle position degree detection method of the large size product of sub-pixel precision
JP4035206B2 (en) Device for acquiring IR data
CN108253891A (en) Optical scanner height measuring device
JP4536421B2 (en) Magnification observation apparatus, magnification image observation method, magnification observation operation program, and computer-readable recording medium or recorded apparatus
JP4004663B2 (en) Infrared microscope
US6943826B1 (en) Apparatus for debugging imaging devices and method of testing imaging devices
JPH11271209A (en) Scanning sight meter
JP2007192552A (en) Spectral measuring instrument

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080909

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081218

R150 Certificate of patent or registration of utility model

Ref document number: 4237348

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 3

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081110

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131226

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees