JP2016011844A - 分光画像撮像システム、及び分光画像撮像システムの制御方法 - Google Patents
分光画像撮像システム、及び分光画像撮像システムの制御方法 Download PDFInfo
- Publication number
- JP2016011844A JP2016011844A JP2014132267A JP2014132267A JP2016011844A JP 2016011844 A JP2016011844 A JP 2016011844A JP 2014132267 A JP2014132267 A JP 2014132267A JP 2014132267 A JP2014132267 A JP 2014132267A JP 2016011844 A JP2016011844 A JP 2016011844A
- Authority
- JP
- Japan
- Prior art keywords
- wavelength
- light
- spectral
- image
- emitted light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 194
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000008859 change Effects 0.000 claims abstract description 53
- 238000003384 imaging method Methods 0.000 claims description 50
- 238000000701 chemical imaging Methods 0.000 claims description 28
- 230000005284 excitation Effects 0.000 abstract description 81
- 239000000758 substrate Substances 0.000 description 48
- 239000002131 composite material Substances 0.000 description 34
- 238000001514 detection method Methods 0.000 description 14
- 238000009434 installation Methods 0.000 description 14
- 239000012535 impurity Substances 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 239000000956 alloy Substances 0.000 description 4
- 229910045601 alloy Inorganic materials 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 229910004298 SiO 2 Inorganic materials 0.000 description 2
- 229910010413 TiO 2 Inorganic materials 0.000 description 2
- BJQHLKABXJIVAM-UHFFFAOYSA-N bis(2-ethylhexyl) phthalate Chemical compound CCCCC(CC)COC(=O)C1=CC=CC=C1C(=O)OCC(CC)CCCC BJQHLKABXJIVAM-UHFFFAOYSA-N 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002269 spontaneous effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 229910001316 Ag alloy Inorganic materials 0.000 description 1
- ZLMJMSJWJFRBEC-UHFFFAOYSA-N Potassium Chemical compound [K] ZLMJMSJWJFRBEC-UHFFFAOYSA-N 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- CDBYLPFSWZWCQE-UHFFFAOYSA-L Sodium Carbonate Chemical compound [Na+].[Na+].[O-]C([O-])=O CDBYLPFSWZWCQE-UHFFFAOYSA-L 0.000 description 1
- 239000005388 borosilicate glass Substances 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- KPUWHANPEXNPJT-UHFFFAOYSA-N disiloxane Chemical class [SiH3]O[SiH3] KPUWHANPEXNPJT-UHFFFAOYSA-N 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 239000005355 lead glass Substances 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 239000011591 potassium Substances 0.000 description 1
- 229910052700 potassium Inorganic materials 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Landscapes
- Spectrometry And Color Measurement (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
Description
特許文献1に記載の装置は、光源部から出射された光を励起光フィルターに入射させ、励起光フィルターを透過した励起光をダイクロイックミラーで試料側に反射させる。また、試料から発せられた蛍光は、ダイクロイックミラー及び励起光カットフィルターを透過して、接眼レンズや撮像ユニット等の観察手段に入射される。
しかしながら、特許文献1に記載されるような従来の装置構成を採用した場合、複数の波長の蛍光を観察するためには、励起光フィルターや励起光カットフィルターを交換する必要があり、交換作業の手間がかかるうえ、交換に時間を要する。このため、複数の波長の蛍光についての分光画像を取得して、対象の経時変化を確認することは困難であった。
しかしながら、通常、試料に応じて励起光の波長が異なるので、試料を変更する度に上記フィルターを交換する必要があり、やはり交換作業の手間がかかるという課題がある。この交換作業の手間を省くには、チャンネル数を増大させることが考えられるが、チャンネル数を増大させると装置が大型化するという課題がある。
本発明では、第1出射光の波長を順次変更し、かつ、第1出射光の波長に応じて第2出射光の波長を順次変更しながら、第2出射光の分光画像を順次取得する。この際、第1出射光の波長の変更に同期して、第2出射光の波長を変更する。そして、取得された分光画像を用いて処理画像を生成する。
このような構成では、第1分光フィルターの第1出射光の波長、及び第2分光フィルターの第2出射光の波長をそれぞれ変更することができる。これにより、波長を変更する際に各分光フィルター(例えば、従来の装置における励起光フィルター及び励起光カットフィルター)を交換しなくともよく、複数の波長について分光画像を容易に取得することができる。また、これにより、複数の波長について分光画像を取得するため、波長数に応じた分光フィルターを設ける必要がなく、装置の小型化を図ることができる。
また、第1出射光及び第2出射光のそれぞれの波長を同期して変更することができるため、照明光である第1出射光の波長に応じて、第2出射光の波長を確実に変更することができる。したがって、第1出射光及び第2出射光の変更に応じて順次取得された分光画像を用いて生成された処理画像(例えば、複数波長のそれぞれに対応する分光画像を合成した合成画像)を連続して表示させることで、リアルタイム画像を表示させることができ、これにより対象の経時変化をリアルタイムに観察することができる。
以上から、本発明によれば、リアルタイム画像の表示に必要な処理画像を容易に取得可能な分光画像撮像システムを提供することができ、かつ、この分光画像撮像システムの小型化を図ることができる。
本発明では、変更順に沿って複数のグループに区分された第2出射光の各波長の分光画像を順次取得する。そして、各グループで、変更順における最後の波長の分光画像を取得する度に処理画像を生成する。
このような構成では、複数波長について、分光画像を順次取得する際に、全波長の分光画像が更新された後にのみ処理画像を生成する場合と比べて、処理画像の生成間隔を短縮することができる。これにより、処理画像を連続して表示させた際のリアルタイム画像のフレームレートを増大させることができる。したがって、リアルタイム画像で対象を観察する際に、対象の経時変化をより詳細に、かつ滑らかな変化として観察することができる。
このような構成では、所定数の分光画像が取得される度に処理画像が生成される。このため、複数波長について、分光画像を順次取得する際に、全波長の分光画像が更新された後にのみ処理画像を生成する場合と比べて、処理画像の生成間隔を短縮することができる。これにより、処理画像を連続して表示させた際のリアルタイム画像のフレームレートを増大させることができる。したがって、リアルタイム画像で対象を観察する際に、対象の経時変化をより詳細に、かつ滑らかな変化として観察することができる。
本発明において、所定期間で生成される処理画像の数が閾値以上となるとは、例えば、処理画像の生成数、すなわち処理画像を連続して表示させた際のリアルタイム画像のフレームレートが、対象の経時変化を適性に観察可能な所定の閾値以上となることを意味する。このフレームレートは、分光画像の取得に要する時間や、処理画像の生成頻度等に応じて設定される。
ここで、所定期間における処理画像の生成数が閾値未満の場合、生成された処理画像を順に表示させても、フレーム間での対象の変化が大きすぎて、対象の経時変化を詳細に観察することができない場合がある。
これに対して、本発明では、生成される処理画像の数が所定期間で閾値以上となる間隔で、第1出射光及び第2出射光の波長が順次変更される。
このような構成では、例えば、1秒間に5フレーム以上といった閾値以上の数の処理画像を生成し、これをリアルタイム画像として表示することができる。これにより、対象の経時変化を観察する際に、所定期間における処理画像の生成数が閾値未満の場合と比べて、より確実に対象の経時変化を観察することができる。
本発明において、第2出射光の光量が所定範囲内となるとは、例えば、第2出射光を受光して分光画像を取得する撮像部において、第2出射光が適性露光となる範囲である。すなわち、第2出射光の光量が、撮像部において露光不足となる光量よりも大きく、露光過多となる光量よりも小さくなる。
本発明では、第2出射光の光量が所定範囲内となるように、第1出射光の波長に応じて光源部の発光強度を調整する。これにより、光源部が、波長に応じて光量が異なる場合でも、適性露光となる範囲で分光画像を取得することができる。
本発明では、第1出射光の波長を順次変更し、第2出射光の波長を第1出射光の波長に応じた波長に順次変更しながら、撮像部によって、第2出射光の分光画像を順次取得し、処理画像を生成する。この際、第1出射光の波長を第1波長から第2波長に変更するのに同期して、第2出射光の波長を第3波長から第4波長に変更する。
このような構成では、上記分光画像撮像システムに係る発明と同様に、リアルタイム画像の表示に必要な処理画像を容易に取得可能な分光画像撮像システムを提供することができ、かつ、この分光画像撮像システムの小型化を図ることができる。
本発明では、上記分光画像撮像システムに係る発明と同様に、リアルタイム画像の表示に必要な処理画像を容易に取得可能とすることができ、かつ、分光画像撮像システムの小型化を図ることができる。
以下、本発明の分光画像撮像システムに係る第一実施形態の分光画像撮像装置について、図面に基づいて説明する。
図1は、本実施形態の分光画像撮像装置1における概略構成を示す図である。
図1に示すように、本実施形態の分光画像撮像装置1は、光源部11と、第1波長可変干渉フィルター5と、ダイクロイックミラー12と、対物レンズ13と、第2波長可変干渉フィルター6と、撮像部14と、制御部20とを備えている。
この分光画像撮像装置1は、光源部11からの光を分光して得た所定波長の励起光L1を、観察対象である試料Aに照射し、当該励起光L1で照明された試料Aから発せられた、上記励起光L1に対応する波長の蛍光L3を撮像部14で撮像して分光画像を取得する。
光源部11は、第1波長可変干渉フィルター5に向かう方向に光を照射する。光源部11から出射される光は、試料Aにおいて蛍光を発するための励起光を含む。本発明では、試料Aを他の種別の試料に交換した際でも蛍光観察を実施するため、観察対象となる複数の試料に対応した励起光を含む光を出射させることが好ましい。具体的には、光源部11は、例えば、380nm〜700nmの可視光から近赤外光を含む白色光を出力する白色光源を備える構成とすることが好ましい。
図2は、本実施形態における波長可変干渉フィルターの平面図、図3は、図2のA−A線における断面図である。
第1波長可変干渉フィルター5は、本発明の第1分光フィルターに相当し、光源部11からの出射される光の光路上に配置され、光源部11から出射される光のうち励起光(本発明の第1出射光に相当)L1を出射する(図1参照)。この第1波長可変干渉フィルター5は、ファブリーペローエタロンであり、一対の基板(固定基板51、可動基板52)を備えている。これらの基板51,52は、それぞれ例えば、ソーダガラス、結晶性ガラス、石英ガラス、鉛ガラス、カリウムガラス、ホウケイ酸ガラス、無アルカリガラスなどの各種ガラスや、水晶などにより形成されている。なお、本実施形態では、測定対象の赤外域における分光画像を取得するものであるため、基板51,52として、赤外域の光を透過可能なシリコン等により構成されていてもよい。
そして、これらの固定基板51及び可動基板52は、例えばシロキサンを主成分とするプラズマ重合膜などにより構成された接合膜53により接合されることで、一体的に構成されている。
また、本実施形態における第1波長可変干渉フィルター5では、固定基板51(可動基板52)の基板厚み方向から見た図2に示すような平面視(以降、フィルター平面視と称する)において、固定基板51及び可動基板52の平面中心点Oは、固定反射膜54及び可動反射膜55の中心点と一致し、かつ後述する可動部521の中心点と一致する。
固定基板51には、例えばエッチング等により電極配置溝511および反射膜設置部512が形成されている。また、固定基板51の頂点C1には、切欠部514が形成されており、第1波長可変干渉フィルター5を固定基板51側から見た際に、後述する可動電極パッド564Pが露出する。
また、固定基板51には、電極配置溝511から、固定基板51の外周縁の頂点C1,頂点C2に向かって延出する電極引出溝511Bが設けられている。
そして、固定基板51には、固定電極561の外周縁から、頂点C2方向に延出する固定引出電極563が設けられている。この固定引出電極563の延出先端部(固定基板51の頂点C2に位置する部分)は、図示略のドライバ回路を介して制御部20に接続される固定電極パッド563Pを構成する。
なお、本実施形態では、電極設置面511Aに1つの固定電極561が設けられる構成を示すが、例えば、平面中心点Oを中心とした同心円となる2つの電極が設けられる構成(二重電極構成)などとしてもよい。
この反射膜設置部512には、図2及び図3に示すように、固定反射膜54が設置されている。この固定反射膜54としては、例えばAg等の金属膜や、Ag合金等の合金膜を用いることができる。また、例えば高屈折層をTiO2、低屈折層をSiO2とした誘電体多層膜を用いてもよい。さらに、誘電体多層膜上に金属膜(又は合金膜)を積層した反射膜や、金属膜(又は合金膜)上に誘電体多層膜を積層した反射膜、単層の屈折層(TiO2やSiO2等)と金属膜(又は合金膜)とを積層した反射膜などを用いてもよい。
可動基板52は、図2に示すようなフィルター平面視において、平面中心点Oを中心とした円形状の可動部521と、可動部521と同軸であり可動部521を保持する保持部522と、保持部522の外側に設けられた基板外周部525と、を備えている。
また、可動基板52には、図2に示すように、頂点C2に対応して、切欠部524が形成されており、第1波長可変干渉フィルター5を可動基板52側から見た際に、固定電極パッド563Pが露出する。
可動反射膜55は、可動部521の可動面521Aの中心部に、固定反射膜54と反射膜間ギャップG1を介して対向して設けられる。この可動反射膜55としては、上述した固定反射膜54と同一の構成の反射膜が用いられる。
なお、本実施形態では、上述したように、電極間ギャップのギャップ量が反射膜間ギャップG1のギャップ量よりも大きい例を示すがこれに限定されない。例えば、測定対象光として赤外線や遠赤外線を用いる場合等、測定対象光の波長域によっては、反射膜間ギャップG1のギャップ量が、電極間ギャップのギャップ量よりも大きくなる構成としてもよい。
なお、本実施形態では、ダイアフラム状の保持部522を例示するが、これに限定されず、例えば、平面中心点Oを中心として、等角度間隔で配置された梁状の保持部が設けられる構成などとしてもよい。
ダイクロイックミラー12は、図1に示すように、第1波長可変干渉フィルター5の透過光である励起光L1を反射し、それ以外の光を透過する。このダイクロイックミラー12は、第1波長可変干渉フィルター5の透過光である励起光L1の進行方向に対して45度で傾斜して配置されている。
対物レンズ13は、ダイクロイックミラー12によって反射された励起光L1の光路上に配置され、試料Aが載置される載置部(図示略)に対向する。この対物レンズ13は、複数のレンズにより構成され、励起光L1を試料Aに集光させ、試料Aの像を撮像部14で結像させる。なお、励起光L1が入射された試料Aからの反射光L2には励起光L1に応じた波長の蛍光が含まれている。
第2波長可変干渉フィルター6は、ファブリーペローエタロンであり、本発明の第2分光フィルターに相当する。この第2波長可変干渉フィルター6は、第1波長可変干渉フィルター5と同様の構成を有する。第2波長可変干渉フィルター6は、試料Aで反射され、対物レンズ13及びダイクロイックミラー12を透過した反射光L2から、励起光L1に応じた波長の蛍光(本発明の第2出射光に相当)L3を出射する。
撮像部14は、第1波長可変干渉フィルター5を透過した蛍光L3を受光し、蛍光L3の波長の分光画像を取得する。この撮像部14としては、例えば、CCD(Charge Coupled Device)素子等の撮像素子により蛍光を撮像するである。なお、撮像部14は、入射された光を、ビームスプリッター等により分岐させ、一方を撮像素子に導き、他方を接眼レンズに導く構成を採用し、肉眼での観察を可能としてもよい。
表示部15は、撮像部14によって撮像された分光画像に基づいた画像(後述するリアルタイム画像)等を表示する。この表示部15は、画像を表示可能な構成であればいかなるものであってもよく、例えば液晶パネルや有機ELパネルなどを例示できる。
次に、分光画像撮像装置1の制御部20について説明する。
制御部20は、例えばCPUやメモリー等が組み合わされることで構成され、分光画像撮像装置1の全体動作を制御する。この制御部20は、図1に示すように、光源制御部21と、フィルター制御部22と、光量取得部23と、画像生成部24と、表示制御部25と、記憶部26と、を備えている。
なお、記憶部26は、分光画像撮像装置1を制御するための各種プログラムや、各種データが記憶されている。当該データは、例えば、第1波長可変干渉フィルター5を透過する励起光L1の波長と、当該波長に対応して静電アクチュエーター56に印加する駆動電圧との関係を示すV−λデータが記憶されている。また、第2波長可変干渉フィルター6を透過する蛍光L3の波長についても同様に、当該波長と静電アクチュエーター(不図示)に印加する駆動電圧との関係を示すV−λデータが記憶されている。
また、記憶部26は、第1波長可変干渉フィルター5を透過させる励起光L1の波長と、第2波長可変干渉フィルター6を透過させる蛍光L3の波長とを対応づけたデータを記憶している。
フィルター制御部22は、第1波長可変干渉フィルター5により取り出す励起光L1の目的波長をV−λデータに基づいて設定し、設定した目的波長に対応する駆動電圧を、第1波長可変干渉フィルター5の静電アクチュエーター56に印加させる。また、フィルター制御部22は、第2波長可変干渉フィルター6についても同様に、蛍光L3の目的波長をV−λデータに基づいて設定し、設定した目的波長に対応する駆動電圧を、第2波長可変干渉フィルター6の静電アクチュエーターに印加させる。
表示制御部25は、画像生成部24によって生成された合成画像をリアルタイム画像として表示部15に表示させる。なお、それ以外にも分光測定結果等の各種の画像を表示部15に表示させる。
上述の分光画像撮像装置1の動作の具体例について、図面に基づいて以下に説明する。
図4は、分光画像撮像装置1による動作の一例を示すフローチャートである。
図4に示すように、分光画像撮像装置1では、フィルター制御部22は、各波長可変干渉フィルター5,6の設定対象波長である、励起光L1の波長λai及び蛍光L3の波長λbiをそれぞれ取得する(ステップS1)。すなわち、励起光L1の波長λai及び蛍光L3の波長λbiの組の複数が、それぞれ変数iに対応づけられている。ここで、設定波長の選択は、例えば、図示しない操作部等に対するユーザーの操作に基づいて行われる。なお、励起光L1の波長λai及び蛍光L3の波長λbiの複数組を含む測定パターンを予め設定しておき、当該設定された測定パターンからユーザーが選択するように構成してもよい。
以下の説明では、一例として、変数iの最大値が5(iは1以上かつ5以下の整数)の場合、すなわち5つの励起光L1の波長のそれぞれに対応した、5つの蛍光L3の波長の分光画像を順次取得するものとする。
そして、フィルター制御部22は、第1波長可変干渉フィルター5の反射膜間ギャップG1の寸法を励起光L1の波長λaiに対応する値に設定すると同時に、第2波長可変干渉フィルター6の反射膜間ギャップの寸法を蛍光L3の波長λbiに対応する値に設定する(ステップS3)。すなわち、フィルター制御部22は、現在の変数iの設定値に基づいて、各波長可変干渉フィルター5,6を同期させて駆動する。
このステップS5において、NOと判定された場合は、制御部20は、変数iに1を加算し(ステップS6)、ステップS3に戻る。
本実施形態では、第1波長可変干渉フィルター5の透過光である励起光L1(第1出射光)の波長を順次変更し、第2波長可変干渉フィルター6の透過光である蛍光L3(第2出射光)の波長を、励起光L1の波長に応じた波長に順次変更しながら、蛍光L3の分光画像を順次取得する。この際、励起光L1の波長の変更に同期して蛍光L3の波長を変更する。そして、取得された分光画像を用いて合成画像を生成する。
このような構成では、波長可変干渉フィルター5,6を透過する光の波長(励起光L1の波長、蛍光L3の波長)をそれぞれ同期して変更する。例えば第1波長可変干渉フィルター5の代りに励起光フィルターを用い、第2波長可変干渉フィルター6の代りに励起光カットフィルターを用いるような従来の装置では、励起光や蛍光の波長を変更する際に、これらのフィルターを交換する必要があった。また、このようなフィルター交換を行わないためには、複数のフィルターを並置し、複数チャンネルの分光画像を取得可能に構成しておく必要がある。
これに対して、上記構成では、励起光フィルター及び励起光カットフィルターの交換が不要であり、複数波長についての分光画像を容易に取得できる。また、複数の上記フィルターを並置しておく必要がなく、装置の小型化を図ることができる。
また、励起光L1及び蛍光L3のそれぞれの波長を同期して変更することができるため、取得対象の分光画像の波長を、励起光L1に応じた蛍光L3の波長に、確実に変更することできる。したがって、合成画像を生成する際に、蛍光L3の波長成分のみを含む精度の高い分光画像を順次得ることができ、高精度の合成画像をリアルタイム表示させることができる。このように、蛍光L3の成分のみを用いた合成画像をリアルタイム表示することで、対象に含まれる観察対象成分(蛍光が発する成分)の経時変化を、リアルタイムに観察することができる。
これに対して、本実施形態では、1秒間に5フレーム以上といったように、所定期間において閾値以上の数の合成画像を生成するように、励起光L1及び前記蛍光L3の波長を順次変更する。すなわち、リアルタイム画像のフレームレートを所定値以上としている。
これにより、合成画像をリアルタイム画像として順次表示させて対象の経時変化を観察する際に、所定期間における合成画像の生成数が閾値未満の場合と比べて、対象の経時変化を詳細に観察することができる。
なお、リアルタイム画像は、1秒間あたり5フレーム以上生成され、更新されることが好ましい。これにより、分光画像撮像装置1の観察対象である試料Aの経時変化をより確実に観察することができる。また、リアルタイム画像は、1秒間あたり10フレーム以上生成され更新されることがより好ましい。これにより、10フレーム未満の場合と比べて、試料Aの経時変化をより詳細、かつより滑らかな変化として観察することができる。
以下、本発明に係る第二実施形態について説明する。
第一実施形態では、蛍光L3の全波長についての分光画像が取得されたタイミングで、リアルタイム画像が更新される構成について説明した。
これに対して、第二実施形態では、蛍光L3の全波長が複数のグループに区分されている。そして、蛍光L3の波長を順次変更した際に、各グループに属する波長の全てについて分光画像が取得されたタイミング(すなわち、各グループの最後の分光画像の取得タイミング)で、合成画像を生成し、リアルタイム画像を更新する点で第一実施形態と相違している。
図5に示すように、ステップS4において、撮像部14によって、蛍光L3の波長λbiに対応する分光画像が取得された後、画像生成部24は、リアルタイム画像の更新タイミングであるかを判定する(ステップS10)。
具体的には、本実施形態では、例えば、蛍光L3の5つの波長λbi(i=1,2,3,4,5)を、変更順に、3つの波長λb1、λb2、λb3(i=1,2,3)が属する第1のグループ、2つの波長λb4、λb5(i=4,5)が属する第2のグループに区分する。そして、変更順において、各グループの最後の波長に対応する分光画像(すなわちi=3,5に対応する分光画像)を取得したタイミングで、リアルタイム画像を更新する。ステップS10では、画像生成部24は、変数i=iu(本実施形態ではiu=3,5)か否かを判定する。
一方、ステップS10において、変数i≠iuであり、リアルタイム画像の更新タイミングではないと判定された場合と、ステップS8においてリアルタイム画像を表示した後とでは、ステップS5に進み、画像生成部24は、変数iがimaxか否かを判定する。ステップS5において、YESと判定された場合は、ステップS9を実行し、NOと判定された場合は、ステップS6を実行する。
本実施形態では、蛍光L3の波長は、順次変更される順番に沿って2つのグループに区分されている。そして、順次、蛍光L3の波長を変更しながら、分光画像を取得する。そして、各グループの最後の波長の分光画像が取得される度に合成画像を生成する。
このような構成では、全波長の分光画像が取得された後にのみ合成画像を生成する場合と比べて、合成画像の生成間隔を短縮できる、すなわちリアルタイム画像のフレームレートを増大させることができる。したがって、リアルタイム画像で対象を観察する際に、対象の経時変化をより詳細に、かつ滑らかな変化として観察することができる。
ここで、複数のグループに区分する方法としては、蛍光を発する対象の種類(例えば、蛋白質、脂質、糖質等)で区分する方法が例示できる。この場合、同一グループに属する分光画像を連続して取得することで、これら分光画像間の取得タイミングの差を小さくすることができる。したがって、同種の対象に対応する分光画像を比較するような場合、同種の分光画像間での時差による誤差を低減でき、より高精度な比較結果を得ることができる。
以下、本発明に係る第三実施形態について説明する。
第二実施形態では、各グループの最後の波長に対応する分光画像が取得されたタイミングにおいて、リアルタイム画像が更新される構成について説明した。
これに対して、第三実施形態では、所定数の分光画像が取得されたタイミングにおいて、リアルタイム画像を更新する点で第二実施形態と相違している。
図6に示すように、ステップS4において、撮像部14によって、蛍光L3の波長λbiに対応する分光画像が取得された後、画像生成部24は、分光画像を所定数取得したか否かを判定することにより、リアルタイム画像の更新タイミングであるかを判定する(ステップS11)。
本実施形態では、分光画像の取得数が所定数か否かの判定は、例えば、分光画像の取得数を計数し、所定数に到達する度にリセットされるカウンターの値を参照することで、実施される。なお、上記所定数は、例えば、リアルタイム画像のフレームレートが所定値以上となるように設定すればよい。
一方、ステップS11において、所定数の分光画像が取得されていないと判定された場合と、ステップS8においてリアルタイム画像を表示した後とでは、ステップS5に進む。
本実施形態では、所定数の分光画像を取得される度に合成画像を生成する。
このような構成では、全波長の分光画像が取得された後にのみ合成画像を生成する場合と比べて、合成画像の生成間隔を短縮できる、すなわちリアルタイム画像のフレームレートを増大させることができる。したがって、リアルタイム画像で対象を観察する際に、対象の経時変化をより詳細に、かつ滑らかな変化として観察することができる。
また、合成画像の生成タイミングを、例えば、分光画像の取得数を計数するカウンターを設け、当該カウンターの計数値を参照する等の簡単な構成で実現可能である。
以下、本発明に係る第四実施形態について説明する。
第四実施形態では、励起光L1や蛍光L3の波長に応じて光源部11の光量を調整する点で第一実施形態と相違している。
図7は、第四実施形態における分光画像撮像装置1による動作の一例を示すフローチャートである。
図7に示すように、ステップS4で分光画像を取得する前に、例えば、ステップS3において、フィルター制御部22が、第1波長可変干渉フィルター5及び第2波長可変干渉フィルター6の各反射膜間ギャップの寸法を設定する前に、光源部11の発光強度を、現在の励起光L1の設定波長λaiに応じた値に調整する(ステップS11)。発光強度の調整は、例えば、光源部11の印加電圧を調整することで行う。
光源部11は、波長に応じて光量が異なるスペクトル特性を有する。このため、光源部11の発光強度を一定とした状態で、励起光L1の波長λaiを変更すると、当該波長λaiに応じて励起光L1の光量値が変動する。そして、励起光L1の光量値が大きくなると蛍光L3の光量値も大きくなり、励起光L1の光量値が小さくなると蛍光L3の光量値も小さくなる。したがって、取得した分光画像間で光量値の差が生じ、合成画像を生成した際に、光量値が小さい波長に対応する部分が、光量値が大きい波長に対応する部分に対して不鮮明となる場合がある。また、撮像部14は、受光量の適正範囲があり、蛍光L3の光量値が小さいため露光不足となったり、蛍光L3の光量値が大きいため露光過多となったりする場合がある。
これに対して、本実施形態では、蛍光L3の光量が所定範囲内となるように、励起光L1の波長に応じて、光源部11の発光強度を調整する。このような構成では、上記のように、光源部の発行強度を制御することで、撮像部14の適性露光となる範囲となる鮮明な分光画像を取得することができる。したがって、表示部15に表示させる合成画像も鮮明となり、蛍光観察をより実施しやすくなる。
以下、本発明に係る第五実施形態について説明する。
上記各実施形態では、第1波長可変干渉フィルター5の設定波長(励起光の波長)に対して、第2波長可変干渉フィルター6の設定波長(蛍光の波長)が一対一で対応づけられている構成について説明した。
これに対して、第五実施形態の分光画像撮像装置は、第1波長可変干渉フィルター5の1つの設定波長に対して、第2波長可変干渉フィルター6の複数の設定波長が対応づけられている。このような分光画像撮像装置は、例えば、半導体基板等に付着している可能性がある不純物を検出するような場合に好適に利用できる。すなわち、不純物の種類に応じて自発蛍光の値が異なり、かつ、不純物の種類が多いような場合に、1つの励起光に対して複数の波長の蛍光が発生する場合がある。このような場合でも、1つの波長の励起光に対して複数の波長の蛍光を対応づけておくことで不純物を検出することができる。
図8に示すように、本実施形態の分光画像撮像装置30は、撮像モジュール31と、制御部34と、これら各部材を収納する外装筐体35と、を備えている。
分光画像撮像装置30は、対向配置された載置部40の載置面401に載置された対象Aに所定波長の励起光(照明光)L4を照射し、対象からの光を分光して得た分光画像を複数波長について取得する。この分光画像撮像装置30を用いて、例えば、半導体基板上に付着した不純物等が発する蛍光L5の分光画像を取得する。そして、この分光画像を用いて、不純物の存在を検出したり、種類を特定することができる。なお、載置部40は、対象Aを所定の速度で移動可能に構成されてもよい。
撮像モジュール31は、制御部34の制御に応じて、対象に励起光L4を照射する光源ユニット32と、当該対象からの光を分光して分光画像を取得する撮像ユニット33とを備える。
光源ユニット32は、光源部321と、第1波長可変干渉フィルター5と、光出射部322とを備え、光源部321からの光のうち第1波長可変干渉フィルター5を透過した所定波長の励起光L4が、光出射部322によって対象Aに照射される。
光源部321は、上述のように検出対象となる不純物等の物質において蛍光を発するための励起光を含む光(例えば、第一実施形態の光源部11と同様に、例えば、380nm〜700nmの範囲の波長を含む白色光)を出射する。
光出射部322は、例えば、対象の所定領域を照明可能なように第1波長可変干渉フィルター5の透過光を拡散する負のレンズを備える。
光入射部331は、図8に示すように、複数のレンズを備え、当該複数のレンズにより視野角が所定角度以下に制限されており、視野角内の対象Aの像を、撮像部332に結像する。この光入射部331は、テレセントリック光学系を採用することが好ましい。このようなテレセントリック光学系では、入射光の光軸を、主光線に対して平行な方向に揃えることができ、第2波長可変干渉フィルター6の各反射膜に対して垂直に光を入射させることが可能となる。このテレセントリック光学系では、焦点位置に設けられた絞りの径を制御することで、視野角を制御することが可能となる。なお、入射光の入射角度は、レンズ設計等により異なるが、光学軸から20度以下に制限されることが好ましい。
撮像部332は、例えばCCDやCMOS等のイメージセンサー等を用いることができる。
制御部34は、例えばCPUやメモリー等が組み合わされることで構成され、分光画像撮像装置30の全体動作を制御する。この制御部34は、図示は省略するが、第一実施形態の制御部20と同様に、光源制御部21と、フィルター制御部22と、光量取得部23と、画像生成部24と、表示制御部25と、記憶部26と、を備えている(図1参照)。記憶部26には、検出対象の不純物等の蛍光特性に応じて、検出対象と、当該検出対象の励起光L4の波長及び蛍光L5の波長とを関連付けたデータが記憶されている。
ここで、複数種類の検出対象が存在する場合、1つの励起光の波長に対して、複数の蛍光L5の波長が設定される場合がある。以下の説明では、励起光L4の波長λaiに、複数の蛍光L5の波長λbijが対応づけられているものとするが、1つの蛍光L5の波長が対応づけられている励起光L4の波長を含でもよい。
上述の分光画像撮像装置30の動作の具体例について、図面に基づいて以下に説明する。
図9は、分光画像撮像装置1による動作の一例を示すフローチャートである。
図9に示すように、分光画像撮像装置30では、各波長可変干渉フィルター5,6の設定対象波長である、励起光L4の波長λai及び蛍光L5の波長λbijを取得する(ステップS21)。
そして、分光画像撮像装置1は、分光画像の取得に先立ち、変数i及びjを初期化し1に設定する(ステップS22)。
次に、フィルター制御部22は、フィルター制御部22は、第1波長可変干渉フィルター5及び第2波長可変干渉フィルター6を同期させて駆動し、第1波長可変干渉フィルター5及び第2波長可変干渉フィルター6の各反射膜間ギャップの寸法を、それぞれの設定波長に対応する値に設定する(ステップS23)。
第1波長可変干渉フィルター5及び第2波長可変干渉フィルター6のそれぞれの反射膜間のギャップ寸法が設定された後に、撮像部332は、蛍光L5の波長λbijに対応する分光画像を取得する(ステップS24)。取得された分光画像が記憶部26に記憶される。
具体的には、ステップS24の後、画像生成部24は、変数jが最大値jmaxか否かを判定する(ステップS25)。これにより、現在設定されている変数iの値に対応する励起光L4の波長λaiについて、全ての波長λbijについて新たな分光画像が取得されたか否かを判定する。
このステップS25において、NOと判定された場合は、制御部34は、変数jに1を加算し(ステップS26)、ステップS23に戻る。
このステップS27において、NOと判定された場合は、制御部34は、変数iに1を加算し(ステップS28)、ステップS23に戻る。
次に、表示制御部25は、生成された合成画像を、リアルタイム画像として図示しない表示部に表示させる(ステップS30)。
リアルタイム表示が行われた後、制御部34は、ユーザーからの終了指示を受けたか否かを判定する(ステップS31)。制御部20は、終了指示を受けたと判定した場合(ステップS31;YES)、処理を終了させる。一方、制御部20は、終了指示を受けていないと判定した場合(ステップS31;NO)、ステップS22に戻る。
本実施形態では、1つの励起光の波長に対して、複数の蛍光の波長を設定している。そして、励起光の各波長について、当該励起光の波長を固定した状態で蛍光の波長を順次変更して分光画像を取得する。これにより、検査対象となる蛍光の全波長の分光画像を順次取得することができる。また、取得した分光画像を合成した合成画像を観察することで、対象の表面の不純物等を視認することができる。
また、検出対象が変更された場合でも、検出対象の蛍光特性に応じて、各波長可変干渉フィルター5,6の設定波長を変更することで、検査対象の変更に容易に対応することができる。
また、検出対象の数を増加させた場合でも、同様に、検出対象の蛍光特性に応じて、各波長可変干渉フィルター5,6の設定波長を増やすことで、容易に対応することができる。
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上記各実施形態では、励起光及び蛍光の波長数が5つである場合について例示したが、本発明はこれに限定されず複数であればよい。
上記各実施形態では、複数波長のそれぞれに対応する分光画像を合成することで合成画像を生成する構成を例示したが、本発明はこれに限定されない。例えば、分光画像を合成する際に、シャープネス処理、歪み補正処理、ガンマ補正処理、階調補正処理、及び各種フィルター処理等の各種画像処理を実施してもよい。
上記各実施形態では、光源部及び撮像部が一体的に設けられた分光画像撮像装置を例示したが、本発明はこれに限定されず、光源部及び撮像部が別体として設けられた分光画像撮像システムにも本発明を適用することができる。
Claims (7)
- 光源部と、
前記光源部から出射された光から、所定の波長の第1出射光を出射させ、かつ前記第1出射光の波長を変更可能な第1分光フィルターと、
前記第1出射光で照明された対象からの光から、前記第1出射光の波長に対応する波長の第2出射光を出射させ、かつ前記第2出射光の波長を変更可能な第2分光フィルターと、
前記第2出射光を受光して分光画像を取得する撮像部と、
前記第1出射光の波長を所定の複数波長について順次変更し、かつ、前記第1出射光の波長を変更するのに同期して、前記第2出射光の波長を所定の複数波長について順次変更するフィルター制御部と、
前記第2出射光の波長の変更に応じて順次取得された前記分光画像のうち、前記第2出射光の波長として切り替えられる前記複数波長のそれぞれに対応する最新の前記分光画像を用いて処理画像を生成する画像生成部と、を備えた
ことを特徴とする分光画像撮像システム。 - 請求項1に記載の分光画像撮像システムにおいて、
前記第2出射光の波長として切り替えられる前記複数波長は、順次変更される順番に沿って複数のグループに区分され、
前記画像生成部は、前記第2出射光の波長が順次変更されて前記分光画像が取得された際に、各グループに属する最後の前記分光画像が取得される度に前記処理画像を生成する
ことを特徴とする分光画像撮像システム。 - 請求項1に記載の分光画像撮像システムにおいて、
前記画像生成部は、所定数の前記分光画像が取得される度に前記処理画像を生成する
ことを特徴とする分光画像撮像システム。 - 請求項1から請求項3のいずれか1項に記載の分光画像撮像システムにおいて、
前記フィルター制御部は、前記画像生成部によって所定期間内で生成される前記処理画像の数が閾値以上となる間隔で、前記第1出射光及び前記第2出射光の波長を順次変更する
ことを特徴とする分光画像撮像システム。 - 請求項1から請求項4のいずれか1項に記載の分光画像撮像システムにおいて、
前記第2出射光の光量が所定範囲内となるように、前記第1出射光の波長に応じて前記光源部の発光強度を調整する光源制御部を備えた
ことを特徴とする分光画像撮像システム。 - 光源部と、
前記光源部から出射された光から、所定の波長の第1出射光を出射させ、かつ前記第1出射光の波長を変更可能な第1分光フィルターと、
前記第1出射光で照明された対象からの光から、前記第1出射光の波長に対応する波長の第2出射光を出射させ、かつ前記第2出射光の波長を変更可能な第2分光フィルターと、
前記第2出射光を受光して分光画像を取得する撮像部と、
前記第1出射光の波長を第1波長から第2波長に変更するのに同期して、前記第2出射光の波長を第3波長から第4波長に変更するフィルター制御部と、
前記撮像部によって取得された前記第3波長の分光画像及び前記第4波長の分光画像を含む処理画像を生成する画像生成部と、を備えた
ことを特徴とする分光画像撮像システム。 - 光源部と、前記光源部から出射された光から、所定の波長の第1出射光を出射させ、かつ前記第1出射光の波長を変更可能な第1分光フィルターと、前記第1出射光で照明された対象からの光から、前記第1出射光の波長に対応する波長の第2出射光を出射させ、かつ前記第2出射光の波長を変更可能な第2分光フィルターと、前記第2出射光を受光して分光画像を取得する撮像部と、を備えた分光画像撮像システムの制御方法であって、
前記第1出射光の波長を所定の複数波長について順次変更し、かつ、前記第1出射光の波長を変更するのに同期して、前記第2出射光の波長を所定の複数波長について順次変更し、
前記第2出射光の波長の変更に応じて順次取得された前記分光画像のうち、前記第2出射光の波長として切り替えられる前記複数波長のそれぞれに対応する最新の前記分光画像を用いて処理画像を生成する
ことを特徴とする分光画像撮像システムの制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014132267A JP2016011844A (ja) | 2014-06-27 | 2014-06-27 | 分光画像撮像システム、及び分光画像撮像システムの制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014132267A JP2016011844A (ja) | 2014-06-27 | 2014-06-27 | 分光画像撮像システム、及び分光画像撮像システムの制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016011844A true JP2016011844A (ja) | 2016-01-21 |
Family
ID=55228662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014132267A Withdrawn JP2016011844A (ja) | 2014-06-27 | 2014-06-27 | 分光画像撮像システム、及び分光画像撮像システムの制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016011844A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019172166A1 (ja) * | 2018-03-05 | 2019-09-12 | パイオニア株式会社 | 走査装置及び測距装置 |
JP2019184668A (ja) * | 2018-04-03 | 2019-10-24 | 学校法人自治医科大学 | 顕微鏡システム及び光学モジュール |
CN113609924A (zh) * | 2021-07-15 | 2021-11-05 | 奥比中光科技集团股份有限公司 | 一种光谱数据的确定方法、装置、终端和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03144347A (ja) * | 1989-10-30 | 1991-06-19 | Japan Spectroscopic Co | 蛍光分光光度法及びその装置 |
JP2002296184A (ja) * | 2001-03-30 | 2002-10-09 | Hitachi Ltd | Dna検査方法及びその装置並びに蛍光検出方法 |
US20040124366A1 (en) * | 2002-10-02 | 2004-07-01 | Haishan Zeng | Apparatus and methods relating to high speed spectroscopy and excitation-emission matrices |
JP2004219092A (ja) * | 2003-01-09 | 2004-08-05 | Univ Waseda | リアルタイム分光画像分析装置及び分析方法 |
JP2007071646A (ja) * | 2005-09-06 | 2007-03-22 | National Institute Of Advanced Industrial & Technology | カソードルミネッセンス検出装置 |
JP2012098256A (ja) * | 2010-11-05 | 2012-05-24 | Konica Minolta Holdings Inc | 表面プラズモン共鳴蛍光分析装置及び表面プラズモン共鳴蛍光分析方法 |
JP2012098244A (ja) * | 2010-11-05 | 2012-05-24 | National Agriculture & Food Research Organization | 成分分布分析方法、成分分布分析装置、および、プログラム |
-
2014
- 2014-06-27 JP JP2014132267A patent/JP2016011844A/ja not_active Withdrawn
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03144347A (ja) * | 1989-10-30 | 1991-06-19 | Japan Spectroscopic Co | 蛍光分光光度法及びその装置 |
JP2002296184A (ja) * | 2001-03-30 | 2002-10-09 | Hitachi Ltd | Dna検査方法及びその装置並びに蛍光検出方法 |
US20040124366A1 (en) * | 2002-10-02 | 2004-07-01 | Haishan Zeng | Apparatus and methods relating to high speed spectroscopy and excitation-emission matrices |
JP2004219092A (ja) * | 2003-01-09 | 2004-08-05 | Univ Waseda | リアルタイム分光画像分析装置及び分析方法 |
JP2007071646A (ja) * | 2005-09-06 | 2007-03-22 | National Institute Of Advanced Industrial & Technology | カソードルミネッセンス検出装置 |
JP2012098256A (ja) * | 2010-11-05 | 2012-05-24 | Konica Minolta Holdings Inc | 表面プラズモン共鳴蛍光分析装置及び表面プラズモン共鳴蛍光分析方法 |
JP2012098244A (ja) * | 2010-11-05 | 2012-05-24 | National Agriculture & Food Research Organization | 成分分布分析方法、成分分布分析装置、および、プログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019172166A1 (ja) * | 2018-03-05 | 2019-09-12 | パイオニア株式会社 | 走査装置及び測距装置 |
JP2019184668A (ja) * | 2018-04-03 | 2019-10-24 | 学校法人自治医科大学 | 顕微鏡システム及び光学モジュール |
CN113609924A (zh) * | 2021-07-15 | 2021-11-05 | 奥比中光科技集团股份有限公司 | 一种光谱数据的确定方法、装置、终端和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9826172B2 (en) | Spectroscopic camera and spectroscopic image processing method | |
JP6194592B2 (ja) | 分光カメラ | |
CN107920726B (zh) | 图像拾取设备、显微镜图像拾取系统和内窥镜图像拾取系统 | |
JP2016011932A (ja) | 分光画像撮像装置、分光画像撮像方法 | |
US9426380B2 (en) | Camera having a light correction unit to correct the light quantity of abnormal pixels and an image processing method | |
US9270898B2 (en) | Camera and image processing method for spectroscopic analysis of captured image | |
US9857221B2 (en) | Spectral image acquisition apparatus and light reception wavelength acquisition method | |
JP6492532B2 (ja) | 光学モジュール、電子機器、及び光学モジュールの駆動方法 | |
JP6244945B2 (ja) | 電子機器 | |
JP6330363B2 (ja) | 電子機器及び電子機器の制御方法 | |
JP2016050803A (ja) | 分光画像取得装置、及び分光画像取得方法 | |
US20150138561A1 (en) | Spectroscopic measurement apparatus and spectroscopic measurement method | |
JP6862989B2 (ja) | レンズユニット及び撮像システム | |
JP2016011844A (ja) | 分光画像撮像システム、及び分光画像撮像システムの制御方法 | |
JP6142479B2 (ja) | 分光装置 | |
US9504375B2 (en) | Light source device and observation apparatus | |
JP6323004B2 (ja) | 蛍光観察装置、及び光学部材 | |
US10921185B2 (en) | Spectroscopic camera and electronic device | |
JP2016031328A (ja) | 光学モジュール、電子機器、及び光学モジュールの駆動方法 | |
JP2015141026A (ja) | 電子機器、光学モジュール、及び光学モジュールの制御方法 | |
JP2015141105A (ja) | 光学モジュール、電子機器、及び光源装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160617 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20160627 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170615 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180515 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20180717 |