JP2019502097A - 標的空間スペクトル検出を使用するタグ読み取り - Google Patents

標的空間スペクトル検出を使用するタグ読み取り Download PDF

Info

Publication number
JP2019502097A
JP2019502097A JP2018521231A JP2018521231A JP2019502097A JP 2019502097 A JP2019502097 A JP 2019502097A JP 2018521231 A JP2018521231 A JP 2018521231A JP 2018521231 A JP2018521231 A JP 2018521231A JP 2019502097 A JP2019502097 A JP 2019502097A
Authority
JP
Japan
Prior art keywords
spectral
interest
region
data
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018521231A
Other languages
English (en)
Inventor
リアマンス・ティモシー
スー・マーク
イバノフ・デニス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Trutag Technologies Inc
Original Assignee
Trutag Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trutag Technologies Inc filed Critical Trutag Technologies Inc
Publication of JP2019502097A publication Critical patent/JP2019502097A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J3/26Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • G01J2003/28132D-array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J2003/283Investigating the spectrum computer-interfaced
    • G01J2003/2833Investigating the spectrum computer-interfaced and memorised spectra collection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J2003/283Investigating the spectrum computer-interfaced
    • G01J2003/284Spectral construction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J2003/2859Peak detecting in spectrum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J2003/2866Markers; Calibrating of scan
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J2003/2866Markers; Calibrating of scan
    • G01J2003/2879Calibrating scan, e.g. Fabry Perot interferometer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Instruments For Measurement Of Length By Optical Means (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【解決手段】 スペクトルピークを決定するためのシステムは、インターフェースと、プロセッサとを含む。インターフェースは、空間的位置の配列及び一連のスペクトル構成について強度データのサンプル集合を受信するように構成される。プロセッサは、強度データのサンプル集合を使用して対象領域を決定するように、及び該対象領域についてスペクトルピークを決定するように構成される。【選択図】 図1

Description

[関連技術の相互参照]
この出願は、あらゆる目的のために参照によって本明細書に組み込まれた、2015年11月24日に出願され名称を「TAG READING USING TARGETED SPATIAL SPECTRAL DETECTION(標的空間スペクトル検出を使用するタグ読み取り)」とする米国仮特許出願第62/259,244号の優先権を主張する。
通常は、病害作物、軍事目標、又は地質学的構造などの物体検出のために、ハイパースペクトル撮像が使用される。このような事例では、物体が検出されると作業は完了である。したがって、ハイパースペクトルキューブ内のフレーム数は、検出作業の完了をぎりぎり保証するために十分な数に設定される。しかしながら、スペクトルを決定するためには、位置特定及び復号化がなされる必要がある。したがって、単に検出するだけでは不十分である。位置特定及び復号化は、検出よりも遥かに多量のデータを必要とし、リーダ(読み取り器)の格納能力及び処理能力が不足する問題を生じる。
本発明の様々な実施形態が、以下の詳細な説明及び添付の図面で開示される。
スペクトル応答検出のための光学的仕組みの一実施形態を示す図である。
ファブリーペロー干渉計の一実施形態を示す図である。
スペクトルデータキューブの一実施形態を示す図である。
干渉計の透過率の一実施形態を示す図である。
干渉計の透過ピーク波長の位置を示す図である。
パラメータ空間内のベクトルの一実施形態を示す図である。
角度測定の一実施形態を干渉計ギャップの関数として示す図である。
標的空間スペクトル検出を使用したスペクトル読み取りのためのプロセスの一実施形態を示すフローチャートである。
サンプルデータ集合を使用して対象領域を決定するためのプロセスの一実施形態を示すフローチャートである。
対象領域についてスペクトルピークを決定するためのプロセスの一実施形態を示すフローチャートである。
本発明は、プロセス、装置、システム、合成物、コンピュータ読み取り可能ストレージ媒体に実装されたコンピュータプログラム製品、並びに/又は接続先のメモリに格納された命令及び/若しくは接続先のメモリによって提供される命令を実行するように構成されたプロセッサなどのプロセッサを含む、数々の形態で実現できる。本明細書では、これらの実現形態、又は本発明がとりえるその他のあらゆる形態が、技術と称されてよい。総じて、開示されるプロセスのステップの順番は、本発明の範囲内で変更されてよい。別途明記されない限り、タスクを実施するように構成されるものとして説明されるプロセッサ又はメモリなどのコンポーネントは、所定時にタスクを実施するように一時的に構成される汎用コンポーネントとして、又はタスクを実施するように製造された特殊コンポーネントとして実装されてよい。本書で使用される「プロセッサ」という用語は、コンピュータプログラム命令などのデータを処理するように構成された1つ以上のデバイス、回路、及び/又は処理コアを言う。
本発明の原理を例示す添付の図面とともに、以下で、本発明の1つ以上の実施形態の詳細な説明が提供される。本発明は、このような実施形態との関連のもとで説明されるが、いずれの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定され、本発明は、数々の代替形態、変更形態、及び同等物を包含している。以下の説明では、本発明の完全な理解を与えるために、数々の具体的詳細が明記されている。これらの詳細は、例示を目的として提供されるものであり、本発明は、これらの詳細の一部又は全部を伴うことなく特許請求の範囲にしたがって実施されてよい。明瞭を期するために、本発明に関連する技術分野で知られる技術要素は、本発明が不必要に不明瞭にされないように、詳細に説明されていない。
スペクトルを決定するためのシステムは、インターフェースと、プロセッサとを含む。インターフェースは、空間的位置の配列及び一連のスペクトル構成について強度データのサンプル集合を受信するように構成され、各スペクトル構成は、それぞれ異なる光波長又はそれぞれ異なる組み合わせの光波長を検出する。プロセッサは、サンプルデータ集合を使用して対象領域を決定するように、及び当該対象領域についてスペクトルピークを決定するように構成される。
一部の実施形態では、スペクトル復号化のために、物体の発見及び反射スペクトルの復号化の両方が必要とされる。検出の動作と、抽出/復号化の動作とを分けることによって、メモリ、時間、及び/又は処理能力が節約できる。
一部の実施形態では、スペクトルを決定するために、フレームが出現するたびにそのフレームを保存することなく処理し、スペクトル検出に必要とされるフレーム一式全てがメモリに維持される必要を無くすことによって、メモリが節約できる。例えば、物体(例えば、タグ)は、受信された強度値の標準偏差の局所的最大値をスペクトル軸に沿って探すことによって、見つけることができる。別の一例では、物体(例えば、タグ)は、入力データをフィルタリングにかけた(例えば、周囲の抑制を伴う整合フィルタを例とする畳み込みフィルタをかけた)後に最大値を探してピークを見つけることによって、見つけることができる。一部の実施形態では、フィルタリングをかけること、及び標準偏差の最大値を探すことが、対象領域を特定するために順番になされる。一部の実施形態では、フィルタリングにかけること、及び2つの周波数範囲内のピークを探すことが、対象領域を探すために順番になされる。この場合、各フレームは、特定の波長又は特定の波長一式において収集されたサンプルのデジタル画像であり、異なる波長又は異なる波長一式の使用によって、異なるフレームが収集される。標準偏差を計算するためには、フレームの和、及びフレームの二乗の和が必要である。したがって、フレームが出現するときは、フレームの各位置における各強度値とその二乗とが、各自、累算器に加えられる。各フレームは、次いで、次のフレームによって書き換えられる。全てのフレームが収集されたら、フレーム内の各位置について、フレームのその位置における値の標準偏差を得るために、2つの累算値(例えば、和及び二乗の和)に対して単純演算がなされる。このようにして、元のフレームと同じ空間次元を有するが全フレームを通した標準偏差を各点に含む新しいフレーム(例えば、マップ)が作成される。すると、マップ内における局所的最大値が、ハイパースペクトルキューブ全体における候補タグの位置に相当する。各種の実施形態では、この方法は、ハイパーキューブが獲得されたらそのハイパーキューブ全体に適用される、又は1つのハイパーキューブの一部に適用される。
一部の実施形態では、フィルタカーネルがスペクトル軸の全長よりも短いと想定し、スペクトル軸に沿ったフィルタリングを使用してスペクトル検出が実現される。フィルタリングによって、1回につき、標準偏差ごとに1つのみではなくカーネル長に等しい一部のフレームがメモリに維持される。これが、順次処理と呼ばれるものである。この段階で使用されるカーネル長を決定するために、フィルタリング手法においてスペクトル特性を分離することによって、高い信頼性で物体を検出するのに十分な最少フレーム数が見つけられる。例えば、フィルタカーネルが、スペクトル軸の全長の10分の1に等しいスペクトル幅を伴うスペクトル特性に強く結びつくように調節される場合は、カーネル長は、スペクトル軸の全長の10分の1になるだろう。或いは、これは、標準偏差手法において多数のスペクトル特性の一部を獲得することによってなされてよい。例えば、標的とされるスペクトル特性は、スペクトルの中の、スペクトル軸に沿って標準偏差を増加させる働きをする強い一連の山又は谷であるかもしれない。また、メモリが制約にならない場合は、この段階でフレームがメモリに格納され、後述される最後の段階で再利用されてよい。その場合、ハイパースペクトルキューブ全体を処理するのではないことによって、処理能力が節約され、また、ハイパースペクトルキューブの獲得がまだ進行している間に対象領域を計算することによって、時間が短縮される。順次処理の終わりには、候補物体が存在するところでは高めの値を有し候補物体が存在しないところでは低めの値を有する2D配列が、空間軸にわたって決定されている。この配列から、物体を含む可能性が高い対象領域が選ばれる。例えば、2D配列の中で最大値(隣接する全ての点が、その点自体よりも小さい点)を探すことによって、対象領域が選ばれてよい。最大値は、次いで、値が大きい順に仕分けされて点のリストにされてよく、リストの先頭は、タグに相当する可能性が最も高く、リストの2番目は、タグに相当する可能性が2番目に高く、以下同様に続く。次いで、リスト中の各点の周囲に、物体の予想サイズから決定される範囲のサイズを有する固定の点範囲を含めることによって、対象領域が決定できる。対象領域は、次いで、解析の焦点になる。
一部の実施形態では、この時点で、物体情報を抽出するのに十分なフレーム数のスペクトル情報を抽出するために、フルスキャンが実行される。しかしながら、データ収集中は、対象領域内のハイパースペクトル情報のみが保存される。これは、メモリに保存されるデータの量を大幅に削減する。例えば、物体がリーダの視野の1%を構成する場合は、このやり方によっておおよそ99%のデータ削減が実現できる。
一部の実施形態では、収集されたデータは、計算されたスペクトルではなく、したがって、収集されたデータからスペクトルを得るために、更なる処理が必要である。リーダが、例えば、低フィネスフーリエ変換モードのファブリーペロー干渉計に基づく場合は、獲得されたデータからスペクトルへの変換は、フーリエ変換を必要とする。対象領域のみが、スペクトル処理される場合には、物体のスペクトルを復号化するために必要とされる計算量は、更に低減される。タグなどの物体からのスペクトルが得られたら、復号化を進めることができる。一部の実施形態では、タグは、選択反射を伴うリフレクタを含む。各種の実施形態では、リフレクタは、ルゲートタグ、ブラッグリフレクタ、又は任意のその他の適切なリフレクタのうちの1つ以上を含む。各種の実施形態では、タグは、シリコン、二酸化シリコン、窒化シリコン、ドープシリコン、又は任意のその他の適切な材料のうちの1つを含む。一部の実施形態では、各タグに固有な光学的シグネチャ(特徴)が、絶対スペクトル測定又は相対スペクトル測定の、機器、装置、又はシステムを使用して読み取れる。一部の実施形態では、タグは、エッチングによって符号化されたスペクトルコードを有するようにエッチングされるシリコンウエハの表面を含む。エッチングされたウエハの表面から薄い層が取り除かれ、小さいタグ状に分割され、こうして得られたタグは、固有の反射率スペクトルを表示するように電気化学的合成時にプログラムされる複雑な多孔性ナノ構造を含む。タグは、次いで、結晶質のナノ多孔性シリコンタグを非晶質のナノ多孔性シリカに変えるために、高温ベーク段階によって酸化される。このベーク段階は、更なる酸化を受けないようにナノ多孔性構造を安定化させ(したがって、分光的シグネチャを安定化させ)、GRAS添加剤として特徴付けられるタグを提供する。
一部の実施形態では、スペクトル構成は、検出器で光を検出する前に、物体からの反射光を分光フィルタリングにかけることによって、異なる波長又は異なる組み合わせの波長を検出する。各種の実施形態では、分光フィルタリングは、ファブリーペロー干渉計、干渉フィルタ、又は任意のその他の適切な分光フィルタを含む。一部の実施形態では、分光フィルタは、チューナブル(同調可能)である。一部の実施形態では、分光フィルタは、個々の検出器の正面にある又は固定された検出器の正面で機械的に置き換えられる若しくは光学的に切り替えられる一式の固定フィルタである。各種の実施形態では、ファブリーペロー干渉計は、機械的にチューナブルである、電気光学的にチューナブルである(例えば、部分反射ミラー間の媒質の屈折率の変化)、音響光学的にチューナブルである、又は任意のその他の適切なフィルタである。
図1は、スペクトル応答検出のための光学的仕組みの一実施形態を示す図である。図1は、光学スペクトルを生成するための1つ以上の領域(例えば、領域102)を含む測定エリア100を含む。測定エリア100は、光104によって照射される。反射光106は、領域102によって反射された光を含む。反射光106は、レンズ108によって焦点を合わされ、フィルタ110を通過し、光検出器112によって捕らえられる。フィルタ110は、一部の周波数の光は透過させるがその他の周波数の光は透過させないフィルタを含む。光検出器112は、光強度を検出するための光検出器を含む。スペクトル応答検出器制御システム114は、光検出器112とやり取りするためのスペクトル応答検出器制御システムを含む。スペクトル応答検出器制御システム114は、制御情報(例えば、データを獲得するように指示する制御情報)を光検出器112に提供し、光強度データを光検出器112から受信する。
一部の実施形態では、光学スペクトルを生成するための領域(例えば、領域102)は、光学タグ(例えば、認識可能なスペクトルを伴う光を反射するように設計された光学タグ)を含む。各種の実施形態では、光104は、広帯域の光、狭帯域の光、フィルタリングを経た光、発光ダイオードからの光、レーザ光、又は任意のその他の適切な光を含む。各種の実施形態では、光104は、一点から、1つの角度で、複数の角度から、又はその他の適切な形で、測定エリア100に入射する。一部の実施形態では、フィルタ110は、チューナブル光学フィルタを含む。一部の実施形態では、フィルタ110は、ファブリーペロー干渉計を含む。一部の実施形態では、光検出器112は、光強度の配列を検出するための光検出器画素の配列を含む。一部の実施形態では、光検出器画素の配列は、x軸と、y軸とを含む。一部の実施形態では、光検出器画素の配列の各画素は、一式の光検出器を含み、各光検出器は、色フィルタを含む(例えば、各画素が、3つの検出器を含み、第1の検出器は、赤色フィルタを含み、第2の検出器は、緑色フィルタを含み、第3の検出器は、青色フィルタを含む)。一部の実施形態では、スペクトル応答検出器制御システム114が、(例えば、チューナブルフィルタの特性を示すために、)フィルタ110とやり取りする。一部の実施形態では、スペクトル応答検出器制御システム114は、ファブリーペロー干渉計のギャップサイズを示すために、フィルタ110とやり取りする。一部の実施形態では、スペクトル応答検出器制御システム114は、較正データを受信するように構成される。一部の実施形態では、較正データは、単色源に対する、空間的位置の配列及びスペクトル構成の範囲(例えば、或るファブリーペロー干渉計のための一連のギャップサイズ)についての強度データの集合を含む。
図2は、ファブリーペロー干渉計の一実施形態を示す図である。一部の実施形態では、ファブリーペロー干渉計200は、図1のフィルタ110を含む。ファブリーペロー干渉計200は、ミラー202と、ミラー204とを含む。ミラー202及びミラー204は、それぞれ、部分反射ミラー(例えば、通過できる光もあれば、反射される光もある)を含む。ミラー202及びミラー204は、それぞれ、片側の面にミラー銀めっきを含む(例えば、ミラー202は、図2に示されるように、その右側の面にミラー銀めっきを含み、ミラー204は、図2に示されるように、その左側の面にミラー銀めっきを含む)。ミラー202及びミラー204は、圧電素子206及び圧電素子208によって、一体に保持される。圧電素子206及び圧電素子208は、サイズが変化する圧電素子を含む。圧電素子206及び圧電素子208は、印加される電圧にしたがって、サイズを変化させる。圧電素子206及び圧電素子208がサイズを変化させると、ミラー202のミラー銀めっきとミラー208のミラー銀めっきとの間のギャップが変化する。ミラー202のミラー銀めっきとミラー208のミラー銀めっきとの間のギャップの変化は、ファブリーペロー干渉計200の光学的特性(例えば、光透過特性及び光反射特性)を変化させる。このように、ファブリーペロー干渉計200は、チューナブル光学フィルタを含む。
一部の実施形態では、ミラー銀めっきは、部分反射性の金属層(例えば、銀層、アルミニウム層、チタン層など)を含む。各種の実施形態では、ミラー202及びミラー204は、1つ、2つ、3つ、4つ、5つ、又は任意のその他の適切な数の圧電素子によって、一体に保持される。一部の実施形態では、ミラー202とミラー204とを隔てている圧電素子の空間的位置決めが、ミラー202とミラー204との間の角度の調整を可能にする。
一部の実施形態では、ミラーは、一定の距離で隔てられ、ミラーの内側の媒質が、その屈折率を(例えば、電気光学的に又は音響光学的に)を変化させ、一連のギャップサイズの代わりに、屈折率を変化させる一連の様々な経路長がある。
図3は、スペクトルデータキューブの一実施形態を示す図である。一部の実施形態では、図3のスペクトルデータキューブ300は、光検出器(例えば、図1の光検出器112)によって測定されたデータを表すキューブを含む。スペクトルデータキューブ300は、光検出器によって記録されたデータのキューブを含む。スペクトルデータキューブ300のx軸は、光検出器のx軸に対応し、スペクトルデータキューブ300のy軸は、光検出器のy軸に対応する。スペクトルデータキューブ300のz軸は、干渉計ギャップサイズ(例えば、ファブリーペロー干渉計のミラーギャップサイズ)に対応する。(例えば、光検出器上の所定のx位置及びy位置と、所定の干渉計ギャップサイズとに対応する)所定のデータ位置に示されたデータ強度は、光検出器によって受信された光の強度を示す。
一部の実施形態では、干渉計ギャップサイズは、図2のファブリーペロー干渉計200のギャップサイズを含む。各種の実施形態では、スペクトルデータキューブ300は、各データ位置が3つの光強度測定値を含むこと、各測定値が所定の位置のおいて別々の光検出器によって得られること、各光検出器が異なる色フィルタに関係付けられること、又は任意のその他の適切な特性のうちの1つ以上の特性を伴うスペクトルデータハイパーキューブを含む。一部の実施形態では、所定の検出器位置において、異なる干渉計ギャップサイズに関連付けられている複数のピークが測定される。
図4は、干渉計透過率の一実施形態を示す図である。一部の実施形態では、図4の曲線400は、ファブリーペロー干渉計(例えば、図2のファブリーペロー干渉計200)の光透過率を、光波長に対して示している。図に示された例では、図4の曲線400は、所定のギャップサイズにおける、ファブリーペロー干渉計の光透過率対光波長を示している。この所定のギャップサイズでは、複数の光透過ピークが見られる。曲線400では、3つの光透過ピークが見られる。各種の実施形態では、2つの光透過ピークがギャップサイズの関数として見られる、3つの光透過ピークがギャップサイズの関数として見られる、4つの光透過ピークがギャップサイズの関数として見られる、又は任意のその他の適切な数の光透過ピークがギャップサイズの関数として見られる。
図5は、干渉計透過ピーク波長位置の一実施形態を示す図である。一部の実施形態では、一連の曲線500は、ファブリーペロー干渉計(例えば、ファブリーペロー干渉計200)における、一連の透過ピーク位置を示している。図に示された例では、一連の曲線500は、ファブリーペロー干渉計の干渉計ギャップの変化に伴う一連の干渉計透過ピーク波長位置の各位置を示している。図に示された例では、一連の曲線500は、4本の曲線を含む。所定のギャップサイズ(例えば、ギャップサイズgi)に対し、(例えば、図4の曲線400によって示されるように)異なる複数の波長における一連の透過ピークがある。
図6Aは、パラメータ空間内のベクトルの一実施形態を示す図である。一部の実施形態では、図6Aのベクトルは、強度ベクトル(例えば、第1の色検出器によって測定される、第1の方向における第1の色強度と、第2の色検出器によって測定される、第2の方向における第2の色強度とを含むベクトル)の二次元表現である。一部の実施形態では、三次元空間内において、ベクトルが計算及び表現される(例えば、三次元は、3つの色検出器に対応する)。図に示された例では、ベクトルλ1及びλ2は、ファブリーペロー干渉計(例えば、ファブリーペロー干渉計200)のための較正ベクトルを含む。ファブリーペロー干渉計の各ギャップサイズに、それぞれ一式の較正ベクトルが関係付けられる。この一式の較正ベクトルの各較正ベクトルは、ギャップサイズに関連付けられている一透過ピークに関係付けられる。較正ベクトルの決定は、ファブリーペロー干渉計を透過ピーク波長の単色光で照射し、画素を形成している一式の光検出器の各光検出器(例えば、各光検出器は、それぞれ異なる色フィルタに関係付けられる)によって測定された強度を記録することを含む。各光検出器は、パラメータ空間の一軸に関係付けられる。測定された強度ベクトル600は、光測定結果に関連付けられているベクトルを含む。一部の実施形態では、測定された強度ベクトル600は、図3のデータキューブ300内の一点におけるデータの表現を含む。角度θ1及びθ2は、較正ベクトルと、測定された強度ベクトル600との間に形成された角度を含む。
各種の実施形態では、強度ベクトルは、二次元パラメータ空間内の(例えば、2色の強度を表す)強度ベクトル、三次元パラメータ空間内の(例えば、3色の強度を表す)強度ベクトル、五次元パラメータ空間内の(例えば、5色の強度を表す)強度ベクトル、又は任意のその他の適切なパラメータ空間内の強度ベクトルを含む。
図6Bは、角度測定の一実施形態を干渉計ギャップの関数として示す図である。図に示された例では、干渉計ギャップの変化に伴ってθ1及びθ2がプロットされている。着目される或るギャップサイズにおいて、θ1が上がる一方でθ2が下がることが見て取れ、これは、測定された強度ベクトルが、較正ベクトルλ2に向かって振れることを示している。この振れは、測定された光が、較正ベクトルλ2に関連付けられている透過ピークではファブリーペロー干渉計を通過し、較正ベクトルλ1に関連付けられている透過ピークでは同干渉計を通過しないことを示す。一部の実施形態では、θ1及びθ2は、図6Aに示されたθ1及びθ2を含む。
一部の実施形態では、三次元では、較正ベクトルに向かって三次元で角度が測定される。一部の実施形態では、ギャップが漸増又は漸減されるのに伴って、同ギャップの関数として角度が較正ベクトルの1つに向かってシフトする場合は、ピークは、上記較正ベクトルに関連付けられているピークに対応すると決定される。
図7は、標的空間スペクトル検出を使用したスペクトル読み取りのためのプロセスの一実施形態を示すフローチャートである。700では、空間的位置の配列及びスペクトル構成の範囲について強度データのサンプル集合が受信される。701では、空間的位置の配列の中のデータが、回転、平行移動、及び/又はキーストーニングのために変換される。702では、サンプルデータ集合を使用して、対象領域が決定される。704では、対象領域についてスペクトルピークが決定される。
一部の実施形態では、図7のプロセスは、スペクトル応答検出器制御システム114によって実行される。一部の実施形態では、702において、一群の対象領域が決定される。一部の実施形態では、上記一群の対象領域のうちの全ての対象領域について、704においてスペクトルピークが決定される。一部の実施形態では、1つの対象領域について、2つ以上のスペクトルピークが決定される。一部の実施形態では、1つ以上のスペクトルピークの決定は、シグネチャの復号化を含む。一部の実施形態では、シグネチャは、タグシグネチャを含む。
一部の実施形態では、1つのスペクトル構成に関連付けられているデータの空間配列内で、スペクトルピークが特定される。このピークを、別のスペクトル構成に関連付けられているデータの空間配列内で特定されたピークに対応させるために、一部の実施形態では、前者の空間配列のデータが、回転、平行移動、及び/又はキーストーニング(例えば、台形スケーリング)に対して補正される。一部の実施形態では、1つのスペクトル構成に関連付けられているピークが、別のスペクトル構成に関連付けられているピークと確実に一致させるために、対象領域よりも広いエリアにおいて、空間配列データが処理される。例えば、1つのスペクトル構成に関係付けられるものとして、第1のデータ空間配列が取得され、次いで、その後の時点で、別のスペクトル構成に関係付けられるものとして、データ空間配列が取得される。この2つの時点の間に、データ取得機器を回転、平行移動、及び/又は傾斜させ、2つの対応するデータ空間配列の中のデータを回転、平行移動、及び/又はキーストーニング変換によって互いに関連付けることが可能である。
図8は、データのサンプル集合を使用して対象領域を決定するためのプロセスの一実施形態を示すフローチャートである。図8のフローチャートは、標準偏差計算を使用して対象領域を決定するためのプロセスの一実施形態を示している。800では、スペクトル構成に関連付けられているデータフレームが受信される。801では、データフレームは、回転、平行移動、及び/又はキーストーニングのために変換される。例えば、それぞれ異なるスペクトル構成に関連付けられているデータ空間配列間の対応関係を得るためには、これらの空間配列の中のデータが確実に互いに空間的に関係付けられるように、必要に応じて空間配列間で変換が実施される。一部の実施形態では、変換を決定するために、データフレームの中の基準マーカが使用される。802では、データフレームが、値累算器に加えられる。データフレームが第1のデータフレームを含む場合は、値累算器は、そのデータフレームの値に設定される。804では、データフレーム値が、二乗される(例えば、データフレーム値の各値が、二乗される)。806では、二乗されたデータフレーム値が、二乗値累算器に加えられる。データフレームが第1のデータフレームを含む場合は、二乗値累算器は、二乗されたデータフレームの値に設定される。808では、更にデータフレームがあるかどうかが決定される。更にデータフレームがある場合は、制御は800に引き渡される。これ以上のデータフレームがない場合は、制御は810に引き渡される。810では、標準偏差が決定される。一式のデータフレームについて標準偏差を決定することは、その一式のデータフレームのデータフレームごとにそのデータフレームの各点について標準偏差を決定することを含む。一式のデータフレームについての標準偏差は、受信されたデータフレームの総数で値累算器の値を割ることによって先ずデータ平均を決定することによって決定できる。加えて、受信されたデータフレームの総数で二乗値累算器の値を割ることによって、二乗データの平均が決定できる。すると、一式のデータフレームについての標準偏差は、二乗データの平均とデータ平均の二乗との間の差の平方根を決定することによって決定できる。812では、標準偏差データのうちの局所的最大値(例えば、データフレーム内における局所的最大値)を決定することによって、1つ以上の対象領域が決定される。
一部の実施形態では、図8のプロセスは、図7の702を実現する。一部の実施形態では、一データフレームが、データ画素の二次元配列を含む。一部の実施形態では、各データ画素が、3色の画素を含み、各色の画素は、異なる色の色フィルタに関係付けられる。一部の実施形態では、標準偏差計算ではないその他の1つ以上の信号処理技術が、データキューブのスペクトル軸を処理するために使用される(例えば、閾値化、フィルタリング、整合フィルタリングなど)。
図9は、対象領域についてスペクトルピークを決定するためのプロセスの一実施形態を示すフローチャートである。一部の実施形態では、図9のプロセスは、図7の704を実現する。900では、1つ以上の対象領域について更なる強度データを獲得するように指示が提供される。902では、1つ以上の対象領域について更なる強度データが受信される。904では、強度データが、パラメータ空間(例えば、図6Aに示されたパラメータ空間)に入るように変換される。906では、パラメータ空間内の強度データと、同パラメータ空間内の較正データとの間の差が決定される。908では、(例えば、パラメータ空間内の較正データが向かう動きを示す、パラメータ空間内の較正データベクトルを決定することによって、)スペクトルピークが決定される。
以上の実施形態は、理解を明瞭にする目的で幾分詳細に説明されてきたが、発明は、提供された詳細に限定されない。発明を実現するには、多くの代替的手法がある。開示された実施形態は、例示的であり、限定的ではない。

Claims (24)

  1. スペクトルを決定するためのシステムであって、
    空間的位置の配列及び一連のスペクトル構成について強度データのサンプル集合を受信するように構成されているインターフェースと、
    プロセッサであって、
    前記強度データのサンプル集合を使用して対象領域を決定し、
    前記対象領域についてスペクトルピークを決定するように、
    構成されているプロセッサと、
    を備えるシステム。
  2. 請求項1に記載のシステムであって、
    前記空間的位置の配列及び前記一連のスペクトル構成についての前記強度データのサンプル集合は、前記一連のスペクトル構成のスペクトル構成ごとに前記空間的位置の配列の各位置における撮像測定結果を含む、システム。
  3. 請求項1に記載のシステムであって、
    前記強度データのサンプル集合は、3色の強度データを含む、システム。
  4. 請求項1に記載のシステムであって、
    前記空間的位置の配列は、空間的位置の二次元配列を含む、システム。
  5. 請求項1に記載のシステムであって、
    前記一連のスペクトル構成は、一連のファブリーペロー干渉計ギャップサイズを含む、システム。
  6. 請求項1に記載のシステムであって、
    前記一連のスペクトル構成は、広いギャップ範囲にわたって散らばる一連のギャップサイズを含む、システム。
  7. 請求項1に記載のシステムであって、
    前記一連のスペクトル構成は、予め定められた狭いギャップ範囲内に集まるギャップサイズを含む、システム。
  8. 請求項7に記載のシステムであって、
    前記予め定められた狭いギャップ範囲は、少なくとも一部には、既知の基準ピークに基づく、システム。
  9. 請求項1に記載のシステムであって、
    前記対象領域は、フィルタを使用して決定される、システム。
  10. 請求項1に記載のシステムであって、
    前記対象領域は、閾値を使用して決定される、システム。
  11. 請求項1に記載のシステムであって、
    前記対象領域は、標準偏差の計算を使用して決定される、システム。
  12. 請求項1に記載のシステムであって、
    前記対象領域は、複数の対象領域のうちの1つを含む、システム。
  13. 請求項1に記載のシステムであって、
    前記インターフェースは、更に、較正データを受信するように構成される、システム。
  14. 請求項13に記載のシステムであって、
    前記較正データは、単色源についての空間的位置の較正配列及び一連の較正スペクトル構成についての強度データの較正集合を含む、システム。
  15. 請求項1に記載のシステムであって、
    前記対象領域について前記スペクトルピークを決定することは、前記対象領域について更なる強度データを獲得するように指示を提供することを含む、システム。
  16. 請求項1に記載のシステムであって、
    前記対象領域について前記スペクトルピークを決定することは、前記対象領域について更なる強度データを受信することを含む、システム。
  17. 請求項1に記載のシステムであって、
    前記対象領域について前記スペクトルピークを決定することは、
    前記強度データをパラメータ空間に変換し、
    前記パラメータ空間内の前記強度データと、前記パラメータ空間内の較正データとの間の差を決定し、
    前記スペクトルピークを決定する、
    ことを含む、システム。
  18. 請求項1に記載のシステムであって、
    前記対象領域は、一群の対象領域のうちの1つの対象領域を含む、システム。
  19. 請求項18に記載のシステムであって、
    前記プロセッサは、更に、前記一群の対象領域に対応させるための一式のスペクトルピークを決定するように構成される、システム。
  20. 請求項1に記載のシステムであって、
    前記プロセッサは、更に、前記対象領域について2つ以上のスペクトルピークを決定するように構成される、システム。
  21. 請求項1に記載のシステムであって、
    前記プロセッサは、更に、シグネチャを復号化するように構成される、システム。
  22. 請求項21に記載のシステムであって、
    前記シグネチャは、タグシグネチャを含む、システム。
  23. スペクトルピークを決定するための方法であって、
    空間的位置の配列及び一連のスペクトル構成について強度データのサンプル集合を受信し、
    プロセッサを使用し、前記データのサンプル集合を使用して対象領域を決定し、
    前記対象領域についてスペクトルピークを決定する、
    ことを備える方法。
  24. スペクトルを決定するためのコンピュータプログラム製品であって、非一時的なコンピュータ読み取り可能媒体に実装され、
    空間的位置の配列及び一連のスペクトル構成について強度データのサンプル集合を受信するためのコンピュータ命令と、
    前記データのサンプル集合を使用して対象領域を決定するためのコンピュータ命令と、
    前記対象領域についてスペクトルピークを決定するためのコンピュータ命令と、
    を備えるコンピュータプログラム製品。
JP2018521231A 2015-11-24 2016-11-11 標的空間スペクトル検出を使用するタグ読み取り Pending JP2019502097A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562259244P 2015-11-24 2015-11-24
US62/259,244 2015-11-24
US15/348,873 2016-11-10
US15/348,873 US10024717B2 (en) 2015-11-24 2016-11-10 Tag reading using targeted spatial spectral detection
PCT/US2016/061680 WO2017091370A1 (en) 2015-11-24 2016-11-11 Tag reading using targeted spatial spectral detection

Publications (1)

Publication Number Publication Date
JP2019502097A true JP2019502097A (ja) 2019-01-24

Family

ID=58721655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018521231A Pending JP2019502097A (ja) 2015-11-24 2016-11-11 標的空間スペクトル検出を使用するタグ読み取り

Country Status (5)

Country Link
US (2) US10024717B2 (ja)
EP (1) EP3380806A4 (ja)
JP (1) JP2019502097A (ja)
CN (1) CN108139201A (ja)
WO (1) WO2017091370A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853758B2 (en) * 2017-04-25 2020-12-01 Tag-it Tech, Inc. Micro-taggant based agricultural product tracking system for licensed agricultural products and industries
WO2019127043A1 (zh) * 2017-12-26 2019-07-04 深圳达闼科技控股有限公司 一种终端设备的控制方法及终端设备
DE102018103869B3 (de) * 2018-02-21 2019-05-09 Physik Instrumente (Pi) Gmbh & Co. Kg Maßelement für eine optische Messvorrichtung
KR102663185B1 (ko) * 2018-08-07 2024-05-03 삼성전자주식회사 광학 방출 분광 시스템 및 그 보정 방법, 반도체 소자 제조 방법
CN113924474A (zh) 2019-05-23 2022-01-11 东京毅力科创株式会社 使用高光谱成像的半导体过程的光学诊断
JP2022053088A (ja) * 2020-09-24 2022-04-05 セイコーエプソン株式会社 光学フィルター、分光モジュールおよび分光測定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010019515A2 (en) * 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
JP2014038081A (ja) * 2013-03-27 2014-02-27 Seiko Epson Corp 分光計測方法、分光計測器、および変換行列の生成方法
CN104006880A (zh) * 2013-02-25 2014-08-27 精工爱普生株式会社 分光测定装置、通信系统以及色彩管理系统
US20140346235A1 (en) * 2009-12-19 2014-11-27 Trutag Technologies, Inc. Labeling and authenticating using a microtag
JP2015099239A (ja) * 2013-11-19 2015-05-28 セイコーエプソン株式会社 光学フィルターデバイス、光学モジュール、及び電子機器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005083396A1 (en) * 2004-03-01 2005-09-09 Art Advanced Research Technologies Inc. Continuous wave optical imaging assuming a scatter-law
GB0420222D0 (en) * 2004-09-11 2004-10-13 Koninkl Philips Electronics Nv Coherent scatter imaging
CN101297190B (zh) * 2005-02-18 2012-01-18 美洲染料资源公司 用发光标签对材料编码的方法以及用于将其读出的仪器
US20120134582A1 (en) * 2007-01-16 2012-05-31 Chemimage Corporation System and Method for Multimodal Detection of Unknown Substances Including Explosives
US7649634B2 (en) * 2007-10-30 2010-01-19 Mountain View Optical Consultant Corp. Methods and systems for white light interferometry and characterization of films
SE532553C2 (sv) * 2008-01-24 2010-02-23 Mikael Lindstrand Metod och anordning för erhållande av högdynamisk, spektral-, spatial- och vinkelupplöst radiansinformation
CN102415099B (zh) * 2009-04-22 2014-04-30 惠普开发有限公司 空间变化的光谱响应校准数据
IL201742A0 (en) * 2009-10-25 2010-06-16 Elbit Sys Electro Optics Elop Tunable spectral filter
US9495753B2 (en) * 2013-05-30 2016-11-15 Canon Kabushiki Kaisha Spectral image data processing apparatus and two-dimensional spectral apparatus
CN103714546B (zh) * 2013-12-27 2016-08-03 北京航空航天大学 一种成像光谱仪的数据处理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010019515A2 (en) * 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
US20140346235A1 (en) * 2009-12-19 2014-11-27 Trutag Technologies, Inc. Labeling and authenticating using a microtag
CN104006880A (zh) * 2013-02-25 2014-08-27 精工爱普生株式会社 分光测定装置、通信系统以及色彩管理系统
US20140240708A1 (en) * 2013-02-25 2014-08-28 Seiko Epson Corporation Spectroscopic measurement device, communication system, and color management system
JP2014163768A (ja) * 2013-02-25 2014-09-08 Seiko Epson Corp 分光測定装置、通信システム及びカラーマネージメントシステム
JP2014038081A (ja) * 2013-03-27 2014-02-27 Seiko Epson Corp 分光計測方法、分光計測器、および変換行列の生成方法
JP2015099239A (ja) * 2013-11-19 2015-05-28 セイコーエプソン株式会社 光学フィルターデバイス、光学モジュール、及び電子機器

Also Published As

Publication number Publication date
CN108139201A (zh) 2018-06-08
US10024717B2 (en) 2018-07-17
EP3380806A1 (en) 2018-10-03
WO2017091370A1 (en) 2017-06-01
US20170146402A1 (en) 2017-05-25
US20180292261A1 (en) 2018-10-11
EP3380806A4 (en) 2019-07-10

Similar Documents

Publication Publication Date Title
JP2019502097A (ja) 標的空間スペクトル検出を使用するタグ読み取り
US11054304B2 (en) Imaging device and method
JP7245835B2 (ja) 奥行取得のためのライトフィールド画像処理方法
Cao et al. A prism-mask system for multispectral video acquisition
US7336353B2 (en) Coding and modulation for hyperspectral imaging
CA2782326C (en) Fabry-perot fourier transform spectrometer
US8023724B2 (en) Apparatus and method of information extraction from electromagnetic energy based upon multi-characteristic spatial geometry processing
US20160138975A1 (en) Imaging apparatus comprising coding element and spectroscopic system comprising the imaging apparatus
KR102269229B1 (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치
CN111272681A (zh) 分光装置
EP3190395B1 (en) Temperature distribution measuring device and method
US10578487B2 (en) Calibration for fabry perot spectral measurements
AU2015309700A1 (en) Imaging method and apparatus
WO2016205565A1 (en) Gas visualizing methods and systems with birefringent polarization interferometer
JP2020529602A (ja) 符号化開口スペクトル画像解析装置
TWI640764B (zh) 用於使用多個照明波長檢測樣本之系統及方法
AU2023204214A1 (en) Fabry-Perot Fourier transform spectrometer
CN114076637A (zh) 高光谱获取方法及其系统、电子设备和编码宽光谱成像装置
Fernandez et al. Fluorescence microscopy with a coded aperture snapshot spectral imager
CN106056542B (zh) 一种基于频率域滤波的干涉图背景去除方法
JP5812735B2 (ja) 分光撮像装置
KR102287082B1 (ko) 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서
EP4356172A2 (en) Method and system for fabrication and use of a spectral basis filter
CN116648605A (zh) 高光谱成像设备和方法
Côté et al. Field cameras and imaging Fourier-transform spectrometers: when a 3D data cube is not enough

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191203