JP2014044095A - 三次元位置測定方法、速度測定方法、三次元位置測定装置及び速度測定装置 - Google Patents
三次元位置測定方法、速度測定方法、三次元位置測定装置及び速度測定装置 Download PDFInfo
- Publication number
- JP2014044095A JP2014044095A JP2012185890A JP2012185890A JP2014044095A JP 2014044095 A JP2014044095 A JP 2014044095A JP 2012185890 A JP2012185890 A JP 2012185890A JP 2012185890 A JP2012185890 A JP 2012185890A JP 2014044095 A JP2014044095 A JP 2014044095A
- Authority
- JP
- Japan
- Prior art keywords
- reproduction
- data
- dimensional position
- image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000003384 imaging method Methods 0.000 claims abstract description 73
- 230000001427 coherent effect Effects 0.000 claims abstract description 59
- 238000004364 calculation method Methods 0.000 claims abstract description 57
- 230000003287 optical effect Effects 0.000 claims description 63
- 239000002245 particle Substances 0.000 claims description 49
- 238000005259 measurement Methods 0.000 claims description 43
- 239000000700 radioactive tracer Substances 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 33
- 238000000691 measurement method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 21
- 239000012530 fluid Substances 0.000 claims description 11
- 230000001678 irradiating effect Effects 0.000 claims description 10
- 239000000463 material Substances 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 5
- 210000004027 cell Anatomy 0.000 claims description 4
- 210000004748 cultured cell Anatomy 0.000 claims description 4
- 238000001093 holography Methods 0.000 abstract description 18
- 230000000694 effects Effects 0.000 description 20
- 238000000917 particle-image velocimetry Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 9
- 238000001444 catalytic combustion detection Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000004793 Polystyrene Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 229920002223 polystyrene Polymers 0.000 description 3
- 230000008929 regeneration Effects 0.000 description 3
- 238000011069 regeneration method Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000000037 particle-tracking velocimetry Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 239000012798 spherical particle Substances 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000195585 Chlamydomonas Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 241000223785 Paramecium Species 0.000 description 1
- 240000004808 Saccharomyces cerevisiae Species 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004599 local-density approximation Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Holo Graphy (AREA)
Abstract
【解決手段】物体Sにコヒーレント光Lが照射され、物体Sから波面W1で物体光が出射する。物体光は撮像素子の撮像面で参照光と干渉し、干渉縞が撮像素子で撮像される。干渉縞のデータ(ホログラムデータ)に対して演算処理部により再生計算が行われ、波面W2の像が再生される。再生像の波面W2は標本データの波面Wsと対比される。両者の相関性が一定以上である場合には正しい再生距離であると判断され、その再生距離に基づいて再生距離の方向の物体Sの位置が特定される。
【選択図】図3
Description
また、粒子の動きを三次元で観察する技術も開発されており、その一つがステレオPIVである。特許文献1には、ステレオPIVの一例が開示されている。ここでは、カメラを2台使用し、三角測量の原理を用いて粒子の三次元の動きを観察している。
この他、非特許文献1の199頁〜205頁にもデジタルホログラフィックPIVが開示されている。ここでは、インライン式の他、オフアクシス式のデジタルホログラフィックPIVが開示されている。また、非特許文献2には、カメラを2台使用したステレオデジタルホログラフィックPIVが開示されている。
本願の発明は、このような技術的背景を考慮してなされたものであり、デジタルホログラフィの特性をより活かした三次元位置測定技術を提供することで、三次元位置測定の各種分野におけるデジタルホログラフィの応用をさらに進展させていくことを目的としている。
コヒーレント光が照射された物体からの光である物体光と、物体情報を含まないコヒーレント光とを撮像素子に導き、二つの光による干渉縞を撮像素子により撮像する撮像工程と、
撮像された干渉縞をホログラムデータとして記録する記録工程と、
ホログラムデータから物体の三次元位置を特定する特定工程とを有する三次元位置測定方法であって、
三次元位置のうちの一つの次元は、撮像素子の撮像面と再生面との離間距離である再生距離の方向であり、
特定工程は、記録されたホログラムデータに対して再生距離を変えながら物体の像の再生計算を行い、再生計算の結果として複素振幅データである波面データを取得し、取得された波面データに含まれる位相情報に基づいて再生距離の方向の位置を特定する動作を含んでいるという構成を有する。
また、上記課題を解決するため、請求項2記載の発明は、前記請求項1の構成において、前記特定工程における再生距離の方向の位置の特定は、再生距離の違いによって変化する前記像の形状が、正しい再生距離で再生された場合に得られると想定される形状になった際の再生距離に基づいて行われるという構成を有する。
また、上記課題を解決するため、請求項3記載の発明は、前記請求項2の構成において、標本データを取得する標本データ取得工程を有しており、標本データは、前記正しい再生距離で再生した場合に得られると想定される形状の像の波面データであり、
前記正しい再生距離で再生された場合に得られる形状となったとの判断は、再生距離を変えながら取得された各波面データと標本データとを対比し、両者の相関性が基準値以上であるかどうかにより行われるという構成を有する。
また、上記課題を解決するため、請求項4記載の発明は、前記請求項3の構成において、前記標本データは、前記物体と同一の寸法形状及び同一の屈折率を有するとみなせる標本物体について既知の撮像距離で前記物体と同様に撮像工程と記録工程とを行い、記録されたホログラムデータから再生計算を行って得た波面データであるという構成を有する。
また、上記課題を解決するため、請求項5記載の発明は、前記請求項3の構成において、前記標本データは、前記物体の寸法形状と、前記物体の屈折率と、前記物体の周囲の媒質の屈折率とに従って計算により取得されたデータであるという構成を有する。
また、上記課題を解決するため、請求項6記載の発明は、前記請求項1乃至5いずれかの構成において、前記特定工程における再生距離の方向の位置の特定は、前記物体の像全体の波面データに基づいて行われるという構成を有する。
また、上記課題を解決するため、請求項7記載の発明は、前記請求項1乃至6いずれかの構成において、前記波面データは振幅情報を含んでおり、
前記特定工程は、前記位相情報に基づいて再生距離の方向の位置を特定した後、当該位置に物体が存在しているかどうかの確認を振幅情報に基づいて行う動作を含んでいるという構成を有する。
また、上記課題を解決するため、請求項8記載の発明は、前記請求項1乃至7いずれかの構成において、前記撮像工程は、前記物体光を、像側テレセントリック、物体側テレセントリック又は両側テレセントリックな撮像用光学系によって前記撮像素子に導いて撮像する工程であるという構成を有する。
また、上記課題を解決するため、請求項9記載の発明は、前記請求項1乃至8いずれかの構成において、前記物体は、前記コヒーレント光に対して透明な材料で形成された球状のものであるという構成を有する。
また、上記課題を解決するため、請求項10記載の発明は、前記請求項1乃至8いずれかの構成において、前記物体は、単細胞生物、生体細胞又は培養細胞であるという構成を有する。
また、上記課題を解決するため、請求項11記載の発明は、前記請求項1乃至10いずれかに記載の三次元位置測定方法を利用した速度測定方法であって、
前記照射工程は、前記物体に対して第一の時刻において前記コヒーレント光を照射するとともに、第一の時刻から所定時間後の第二の時刻において前記コヒーレント光を照射する工程であり、
前記記録工程は、第一第二の各時刻において撮像された干渉縞をそれぞれホログラムデータとして記録する工程であり、
前記特定工程は、各ホログラムデータから、第一第二の各時刻における前記物体の三次元位置を特定する工程であり、
特定された各時刻の三次元位置に基づいて前記物体の速度ベクトルを求める計速工程を有している。
また、上記課題を解決するため、請求項12記載の発明は、前記請求項1乃至9いずれかに記載の三次元位置測定方法を利用した速度測定方法であって、
前記物体は、流路を流れる流体に混入されたトレーサ粒子であり、
前記照射工程は、トレーサ粒子に対して第一の時刻において前記コヒーレント光を照射するとともに、第一の時刻から所定時間後の第二の時刻において前記コヒーレント光を照射する工程であり、
前記記録工程は、第一第二の各時刻において撮像された干渉縞をそれぞれホログラムデータとして記録する工程であり、
前記特定工程は、各ホログラムデータから、第一第二の各時刻におけるトレーサ粒子の三次元位置を特定する工程であり、
特定された各時刻の三次元位置に基づいてトレーサ粒子の速度ベクトルを求める計速工程を有しているという構成を有する。
撮像素子と、
コヒーレント光を物体に導いて照射し、照射された物体からの光である物体光を撮像素子に導くとともに、物体情報を含まないコヒーレント光を参照光として撮像素子に導き、撮像素子の撮像面で干渉させて干渉縞を撮像素子に撮像させる光学系と、
撮像素子が撮像した干渉縞をホログラムデータとして記憶する記憶部と、
前記ホログラムデータから前記物体の三次元位置を計算により特定する演算処理部とを備えた三次元位置測定装置であって、
三次元位置のうちの一つの次元は、撮像素子の撮像面と再生面との離間距離である再生距離の方向であり、
演算処理部は、記憶されたホログラムデータに対して再生距離を変えながら物体の像の再生計算を行い、その再生計算の結果として複素振幅データである波面データを取得し、取得された波面データに含まれる位相情報に基づいて再生距離の方向の位置を特定するものであるという構成を有する。
また、上記課題を解決するため、請求項14記載の発明は、前記請求項13の構成において、前記演算処理部は、再生距離の違いによって変化する前記像の形状が、正しい再生距離で再生された場合に得られると想定される形状になった際の再生距離に基づいて再生距離の方向の位置を特定するものであるという構成を有する。
また、上記課題を解決するため、請求項15記載の発明は、前記請求項14の構成において、前記記憶部には、標本データが記憶されており、標本データは、前記正しい再生距離で再生した場合に得られると想定される像の波面データであり、
前記演算処理部は、前記再生距離を変えながら取得された各波面データと標本データとを対比し、両者の相関性が基準値以上であるかどうかにより、前記正しい再生距離で再生された場合に得られると想定される形状になったとの判断を行うものであるという構成を有する。
また、上記課題を解決するため、請求項16記載の発明は、前記請求項15の構成において、前記標本データは、前記物体と同一の寸法形状及び同一の屈折率を有するとみなせる標本物体について既知の撮像距離で前記物体と同様に干渉縞を撮影して得られたホログラムデータに対して再生計算を行うことで取得した波面データであるという構成を有する。
また、上記課題を解決するため、請求項17記載の発明は、前記請求項15の構成において、前記標本データは、前記物体の寸法形状と、前記物体の屈折率と、前記物体の周囲の媒質の屈折率に従って計算により取得されたデータであるという構成を有する。
また、上記課題を解決するため、請求項18記載の発明は、前記請求項13乃至17いずれかの構成において、前記演算処理部は、前記物体の像全体の波面データに基づいて再生距離の方向の位置を特定するものであるという構成を有する。
また、上記課題を解決するため、請求項19記載の発明は、前記請求項13乃至18いずれかの構成において、前記波面データは振幅情報を含んでおり、
前記演算処理部は、前記位相情報による像の再生結果に基づいて再生距離の方向の位置を特定した後、当該位置に物体が存在しているかどうかの確認を、振幅情報による像の再生結果に基づいて行うものであるという構成を有する。
また、上記課題を解決するため、請求項20記載の発明は、前記請求項13乃至19いずれかの構成において、前記光学系は、前記物体光を前記撮像素子に導く撮像用光学系を含んでおり、撮像用光学系は、像側テレセントリック、物体側テレセントリック又は両側テレセントリックであるという構成を有する。
また、上記課題を解決するため、請求項21記載の発明は、前記請求項13乃至20いずれかの構成において、前記物体は、前記コヒーレント光に対して透明な材料で形成された球状のものであるという構成を有する。
また、上記課題を解決するため、請求項22記載の発明は、前記請求項13乃至21いずれかに記載の三次元位置測定装置を使用し、前記物体の三次元速度ベクトルを測定する速度測定装置であって、
前記コヒーレント光源及び前記光学系は、前記物体に対して第一の時刻において前記コヒーレント光を照射するとともに、第一の時刻から所定時間後の第二の時刻において前記コヒーレント光を照射するものであり、
前記撮像素子は、第一第二の各時刻における干渉縞をそれぞれ撮像するものであり、
前記記憶部は、第一第二の各時刻において撮像された干渉縞をそれぞれホログラムデータとして記憶しており、
前記演算処理部は、各ホログラムデータから、第一第二の各時刻における前記物体の三次元位置を特定するとともに、特定された各時刻の三次元位置に従って前記物体の速度ベクトルを求めるものであるという構成を有する。
また、上記課題を解決するため、請求項23記載の発明は、前記請求項22の構成において、前記物体は、流路を流れる流体に混入されたトレーサ粒子であるという構成を有する。
また、請求項3又は15記載の発明によれば、上記効果に加え、再生像のデータと標本データとの相関性の高さに基づいて位置を特定するので、特定が容易である。
また、請求項4又は16記載の発明によれば、上記効果に加え、標本データは標本物体について同様の撮影と再生計算を行うことによって得られたものであるので、形状の複雑な物体についても精度良く位置測定することができる。
また、請求項5又は17記載の発明によれば、上記効果に加え、標本データが計算により得られたものであるので、形状や屈折率の点でばらつきが大きい物体を対象とする場合でも、位置測定の精度を低下させることがないように標本データを作成することができる。
また、請求項6又は18記載の発明によれば、上記効果に加え、一つの物体の再生像の波面全体を使って位置を特定しているので、精度向上の効果が著しい。
また、請求項7又は19記載の発明によれば、上記効果に加え、振幅情報でフィルタ処理を行っているため、物体が存在しない位置を誤って特定してしまうエラーの発生が抑制されており、この点でより精度の高い三次元位置測定が行える。
また、請求項8又は20記載の発明によれば、上記効果に加え、物体光を、像側テレセントリック、物体側テレセントリック又は両側テレセントリックな撮像用光学系によって撮像素子に導いて撮像するので、再生距離の方向の位置特定の作業が容易になり、又は被写界深度を深くすることで奥行き方向で広い測定空間を対象とすることができる。
また、請求項9又は21記載の発明によれば、上記効果に加え、物体がコヒーレント光に対して透明な材料で形成された球状のものであるので、再生距離の方向の位置特定が容易である。また、物体を撮像する際の視野角も小さくて済むので、被写界深度を深くすることができ、奥行き方向において広い測定空間を対象とすることができる。
また、請求項10記載の発明によれば、上記請求項1乃至8いずれかの効果を得つつ、単細胞生物、生体細胞又は培養細胞の三次元位置を測定することができる。
また、請求項11又は22記載の発明によれば、上記請求項1乃至10いずれかの効果又は請求項13乃至21いずれかの効果を得つつ、物体の三次元速度ベクトルを測定することができる。
また、請求項12又は23記載の発明によれば、上記請求項1乃至9いずれかの効果又は請求項22の効果を得つつ、トレーサ粒子の三次元速度ベクトルを測定することができる。
図1は、本願発明の第一の実施形態に係る三次元位置測定装置の概略図である。図1に示す装置は、デジタルホログラフィの技術を利用して物体の三次元位置を測定する装置である。この装置は、コヒーレント光源1と、撮像素子2と、光学系3,4,5と、コンピュータ6とを備えている。
光学系としては、コヒーレント光源1からの光を物体Sに導いて照射する照射用光学系3と、照射された物体Sからの光(物体光)を撮像素子2に導く撮像用光学系4と、物体情報を含まないコヒーレント光を参照光として撮像素子2に導く参照光用光学系5とが設けられている。尚、「物体情報」とは、コヒーレント光が物体に照射された際に物体の性状(形状、屈折率等)に応じてコヒーレント光の波面が変化することを想定した用語であり、変化した波面によって表現し得る物体の情報という意味の用語である。例えば、後述するように波面によって物体の像を再生する場合、物体の形状が「物体情報」ということになる。また、物体における透過率の分布が波面から得られる場合、透過率の分布が「物体情報」ということになる。そういった物体情報を含まないコヒーレント光(この実施形態では物体を経ていないコヒーレント光)が、参照光として使用される。
結像レンズ42と撮像素子2との間の光路上には、統合用ビームスプリッタ52が設けられている。参照光用光学系5は、取り出し用ビームスプリッタ51で取り出された参照光をミラー53で統合用ビームスプリッタ52まで導き、物体光とともに撮像素子2に入射させる。
図2は、デジタルホログラフィを利用した三次元位置測定の原理について示した斜視概略図である。数値計算によって像を再生する場合、ホログラム面と再生面とを特定する必要がある。ホログラム面とは、ホログラムが存在する面であるが、ここでは、撮像素子2の撮像面の位置を仮想する。通常は、計算を簡単にするため、図2に示すように再生面はホログラム面と平行な面とされる。
再生面での複素振幅分布は、キルヒホッフの回折積分の式に従い、式1のように表せる。
式1において、λは再生光の波長、kは波数である。式1に対し、式2に示すフレネル近似を適用して代入すると、式3が得られる。
式3において、積分をフーリエ変換であるとみなして変形すると、式4が得られる。
式4において、Fのカッコ内はフーリエ変換であることを示す。xやyは、撮像面の各ピクセルからの出力値であり、離散フーリエ変換をすることでG(X,Y)が得られる。式4からも解るように、データG(X,Y)は、再生面における各点の光情報を複素数の形式で表現したもの(複素振幅データ)である。従って、途中の計算を省略すると、このデータG(X,Y)は、以下の式5で表現されることになる。
尚、本実施形態では、物体Sはトレーサ粒子であり、球状である。従って、振幅再生像にしろ位相再生像にしろ、像が正しく再生できた場合には、円形の輪郭を有する。従って、円の中心位置をXY方向の位置として特定することができる。
前述したように、デジタルホログラフィにおいて、再生計算の結果は再生面における複素振幅データとして得られる。これは、物体からの光の波面データがそのまま再生されているとも言える。特許文献2の手法は、このような波面データのうち振幅情報のみを利用したものである。これは、ある意味、再生計算の結果の一部のみしか利用しておらず、デジタルホログラフィ技術の特性を十分に活かしきっていない。本実施形態では、再生計算の結果を波面として捉え(このことはデジタルホログラフィの本来的特性である)、波面の状態によって判断を行う。波面の状態によって判断を行うことは、再生計算の結果のうち、特許文献2が使っていない位相情報を利用するということを必然的に意味する。
図3に示すように、物体Sに対し、平面波であるコヒーレント光Lを照射する。コヒーレント光Lの波面は、物体Sによって乱され、物体Sからは、物体Sの形状や表面状態、屈折率に応じて変化した波面W1で物体光が出射される。そして、物体光が撮像面で参照光と干渉してホログラムとなり、そのホログラムに対して計算処理を施すことで像が再生される。像の再生結果は、前述したように複素振幅データであり、物体上の波面W1を表現している(即ち、再生している)。この再生された波面をW2とすると、特許文献2の方法は、この再生像の波面W2のデータにおいて輝度値(振幅情報)のみに着目し、輝度値がピークになることで「最も正しく再生できた」とする方法である。これは、図3に示すように、フリンジ像(特許文献2の段落0011)から得られる振幅情報のみの再生像の部分の輝度値ΔIの立ち上がりの鋭さのみに基づいて「最も正しく再生できた」と判断する方法と同等である。
より具体的に説明すると、本実施形態では、正しく再生された場合に得られるであろう波面Wsを想定し、この波面Wsと、実際に得られた波面W2とを対比する。そして、両者の相関性が最も高くなった場合に「最も正しく再生できた」とする。この「正しく再生された場合には得られるであろうと想定される波面Ws」のデータを、以下、標本データと呼ぶ。
本実施形態では、標本データとの相関性を評価し易くするため、物体Sとして透明な球状粒子を対象としている。物体Sが透明であるので、前述したように物体光は主として透過光である。
板102と撮像素子2との離間距離から粒径を引いた値が撮影距離dであり、この距離と同じ距離に再生距離を設定し、再生計算をする。これにより、標本データが得られる。尚、板102としては、物体の周囲の媒質の屈折率になるべく近い屈折率のものを用いる。
前述したように、透明な球状の物体の場合、レンズ効果により基準波面W1は半球面状の波面となる。基準波面W1の大きさや曲率は、媒質の屈折率n1、物体の屈折率n2、物質の粒径φが既知であれば、計算により求めることができる。即ち、直径がφである半球面は、以下の式6で表すことができる(半球の最下点を原点とする)。
従って、標本データの波面Wsは、屈折率差を考慮し、式7で表される。
図7に示す実験では、粒径25μmのポリスチレン製の透明な球状粒子(屈折率1.59)を水中に浮かべ、波長632.8nmのHeNeレーザを照射してホログラムを撮影した。そして、再生距離を130mm、140mm、150mmと変えながら再生計算を行い、複素振幅データから位相情報を抽出し、位相値マップを得た。図7は、再生面(XY平面)のある方向での位相値の分布をグラフ化したものである。横軸は、再生面上での位置、縦軸は、位相値をZ軸方向での位置に換算して表示している。即ち、同一位相値を持つ点をつなげた線(波面)として表している。図7中、D=130mmが再生距離130mmのときの位相値分布、D=140mmが再生距離140mmのときの位相値分布、D=150mmが再生距離150mmのときの位相値分布をそれぞれ示している。
図7(2)には、(1)のデータに対して標本データが書き加えられている。この例では、図6に示す計算による方法で標本データを取得した。図7(2)に示すように、この例では、再生距離が140mmのときの波面が最も標本データに近い(最も相関性が高い)。従って、この例の場合、再生距離140mmにおいて「最も正しく再生された」と判断することができる。
まず、図8(1)に示すように、再生距離を変えながら再生計算を行い、その結果として位相値マップM1,M2,M3…を得る。コヒーレントな平面波が照射されており、撮像素子2の撮像面は波面に対して平行に配置されているので、物体が存在しないところでは波面の乱れはなく、位相は一定である。物体が存在するところでは波面が乱れ、位相が異なってくるので、それが像…G31,G32,G33…として現れてくる。尚、図8では理解を容易にするためイメージ化(視覚化)をしているが、実際には位相値(数値)のままでデータ処理するのであり、図8に示すようなイメージ化をした上で処理する訳ではない。
具体的には、ある特定済み座標がXn、Yn、Znであるとすると、Z=Znの再生距離における振幅値マップを読み込む。そして、図9に示すように、Z=Znの振幅値マップにおいて、特定済み座標を含む矩形の参照領域を設定する。即ち、Xn±Δx、Yn±Δyの領域を設定する。Δx、Δyの大きさは、想定される再生像の大きさよりも十分に大きなものとする。
各種プログラムとしては、一つのホログラムデータに対して再生計算を行い、各再生距離における複素振幅データを得る再生計算プログラム、各複素振幅データから各再生距離における位相値マップを得る位相情報抽出プログラム、各複素振幅データから各再生距離における振幅値マップを得る振幅情報抽出プログラム、各位相値マップに基づいて三次元位置を特定し、振幅情報によるフィルタ処理を行った後に正式な三次元位置の特定結果とする位置特定プログラム等がインストールされている。
図10に示すように、位置特定プログラムは、記憶部62から最初の位相値マップを読み出す。最初のとは、例えば前述した再生距離が初期値である場合の位相値マップである。そして、位相値マップをデータ処理し、各物体の像とみられる部分の領域を設定する。即ち、位相値が大きく変化している領域があれば、その部分を含む矩形領域を設定する。そして、その矩形領域のデータを、前述したように標本データと対比し、相関性を評価する。相関性が基準値以上であれば、物体を正しく再生している像であると判断し、その像の中心座標を、特定された物体の位置を示すもの(特定済み座標)としてメモリ変数に格納する。
尚、位相情報を利用することは波面で判断することになるが、再生像の波面全体を利用することは必ずしも必須ではない。例えば、図7に示す半円弧状の位相再生像において、最下点から一方の側の半分領域(1/4円弧)について標本データと比較して相関性をチェックすることによっても判断は行える。この場合でも、特許文献2のように輝度値のピークで判断するのに比べ、十分に高い精度の測定となる。但し、再生像全体の波面データで判断を行った方がより精度の高い測定となることは勿論である。
図1に示す実施形態では、コヒーレント光源1からの光を取り出し用ビームスプリッタ51で取り出して参照光としたが、前述したように物体光から参照光を抽出することもできる。図12に示す第二の実施形態の装置は、このタイプの装置となっている。
速度測定方法の実施形態は、上述した方法による三次元位置測定を二つの時刻において行い、時刻差に基づいてトレーサ粒子の速度ベクトルを求める方法である。ある時刻t1において図13(1)に示すように例えば三つの箇所で物体(トレーサ粒子)の存在が確認され、三次元位置がP1〜P3として特定されたとする。また、Δt後のt2において、図13(2)に示すように三つの箇所で物体の存在が確認され、三次元位置がP1’〜P3’として特定されたとする。
尚、トレーサ粒子が透明な球状であるメリットについては前述したが、特に液体流れをPIV測定する場合、トレーサ粒子には、粒子の流れへの追従性の観点から、比重が1に近いポリスチレン粒子が一般的に用いられている。ポリスチレンのような樹脂製の粒子は、透明なものが入手し易く、この点でもメリットがある。
また、前述した各実施形態では、照射光学系がコヒーレント光を照射する側とは反対側に撮像用光学系4を配置し、主として透過光を物体光として撮像素子2に入射させたが、反射光を物体光とする場合もある。コヒーレント光を照射する側と同じ側に撮像素子2を配置し、必要に応じてビームスプリッタ等を使用し、反射光を取り出して撮像素子2に入射させる。
また、上記各実施形態では、位相情報による像でZ軸方向の位置を特定するとともに、当該像の中心位置でXY方向の位置も特定したが、XY方向の位置の特定について振幅情報による像で行っても良い。即ち、位相情報により特定された座標がXn,Yn,Znであったら、Z=Znの振幅値マップを読み込み、(Xn,Yn)の座標を含む位置に振幅再生像が再生されているのを確認した後、その振幅再生像の中心を求めてXY方向の位置としても良い。
また、標本データとの相関性をチェックする方法について、前述した説明では、数値ベースで行う方法(位相値自体を比較する方法)を例示したが、像同士を対比する方法もあり得る。例えば、再生距離を変えながら得られた一つの像と標本データによる像とを重ね合わせ、その重なり部分の量の大きさによって相関性をチェックするようにしても良い。
2 撮像素子
3 照射用光学系
4 撮像用光学系
5 参照光用光学系
6 コンピュータ
61 演算処理部
62 記憶部
Claims (23)
- 光源から放射されたコヒーレント光を物体に照射する照射工程と、 コヒーレント光が照射された物体からの光である物体光と、物体情報を含まないコヒーレント光とを撮像素子に導き、二つの光による干渉縞を撮像素子により撮像する撮像工程と、
撮像された干渉縞をホログラムデータとして記録する記録工程と、
ホログラムデータから物体の三次元位置を特定する特定工程とを有する三次元位置測定方法であって、
三次元位置のうちの一つの次元は、撮像素子の撮像面と再生面との離間距離である再生距離の方向であり、
特定工程は、記録されたホログラムデータに対して再生距離を変えながら物体の像の再生計算を行い、再生計算の結果として複素振幅データである波面データを取得し、取得された波面データに含まれる位相情報に基づいて再生距離の方向の位置を特定する動作を含んでいることを特徴とする三次元位置測定方法。 - 前記特定工程における再生距離の方向の位置の特定は、再生距離の違いによって変化する前記像の形状が、正しい再生距離で再生された場合に得られると想定される形状になった際の再生距離に基づいて行われることを特徴とする請求項1記載の三次元位置測定方法。
- 標本データを取得する標本データ取得工程を有しており、標本データは、前記正しい再生距離で再生した場合に得られると想定される形状の像の波面データであり、
前記正しい再生距離で再生された場合に得られる形状となったとの判断は、再生距離を変えながら取得された各波面データと標本データとを対比し、両者の相関性が基準値以上であるかどうかにより行われることを特徴とする請求項2記載の三次元位置測定方法。 - 前記標本データは、前記物体と同一の寸法形状及び同一の屈折率を有するとみなせる標本物体について既知の撮像距離で前記物体と同様に撮像工程と記録工程とを行い、記録されたホログラムデータから再生計算を行って得た波面データであることを特徴とする請求項3記載の三次元測定方法。
- 前記標本データは、前記物体の寸法形状と、前記物体の屈折率と、前記物体の周囲の媒質の屈折率とに従って計算により取得されたデータであることを特徴とする請求項3記載の三次元位置測定方法。
- 前記特定工程における再生距離の方向の位置の特定は、前記物体の像全体の波面データに基づいて行われることを特徴とする請求項1乃至5いずれかに記載の三次元位置測定方法。
- 前記波面データは振幅情報を含んでおり、
前記特定工程は、前記位相情報に基づいて再生距離の方向の位置を特定した後、当該位置に物体が存在しているかどうかの確認を振幅情報に基づいて行う動作を含んでいることを特徴とする請求項1乃至6いずれかに記載の三次元位置測定方法。 - 前記撮像工程は、前記物体光を、像側テレセントリック、物体側テレセントリック又は両側テレセントリックな撮像用光学系によって前記撮像素子に導いて撮像する工程であることを特徴とする請求項1乃至7いずれかに記載の三次元位置測定方法。
- 前記物体は、前記コヒーレント光に対して透明な材料で形成された球状のものであることを特徴とする請求項1乃至8いずれかに記載の三次元位置測定方法。
- 前記物体は、単細胞生物、生体細胞又は培養細胞であることを特徴とする請求項1乃至8いずれかに記載の三次元位置測定方法。
- 請求項1乃至10いずれかに記載の三次元位置測定方法を利用した速度測定方法であって、
前記照射工程は、前記物体に対して第一の時刻において前記コヒーレント光を照射するとともに、第一の時刻から所定時間後の第二の時刻において前記コヒーレント光を照射する工程であり、
前記記録工程は、第一第二の各時刻において撮像された干渉縞をそれぞれホログラムデータとして記録する工程であり、
前記特定工程は、各ホログラムデータから、第一第二の各時刻における前記物体の三次元位置を特定する工程であり、
特定された各時刻の三次元位置に基づいて前記物体の速度ベクトルを求める計速工程を有していることを特徴とする速度測定方法。 - 請求項1乃至9いずれかに記載の三次元位置測定方法を利用した速度測定方法であって、
前記物体は、流路を流れる流体に混入されたトレーサ粒子であり、
前記照射工程は、トレーサ粒子に対して第一の時刻において前記コヒーレント光を照射するとともに、第一の時刻から所定時間後の第二の時刻において前記コヒーレント光を照射する工程であり、
前記記録工程は、第一第二の各時刻において撮像された干渉縞をそれぞれホログラムデータとして記録する工程であり、
前記特定工程は、各ホログラムデータから、第一第二の各時刻におけるトレーサ粒子の三次元位置を特定する工程であり、
特定された各時刻の三次元位置に基づいてトレーサ粒子の速度ベクトルを求める計速工程を有していることを特徴とする速度測定方法。 - コヒーレント光を放射する光源と、
撮像素子と、
コヒーレント光を物体に導いて照射し、照射された物体からの光である物体光を撮像素子に導くとともに、物体情報を含まないコヒーレント光を参照光として撮像素子に導き、撮像素子の撮像面で干渉させて干渉縞を撮像素子に撮像させる光学系と、
撮像素子が撮像した干渉縞をホログラムデータとして記憶する記憶部と、
前記ホログラムデータから前記物体の三次元位置を計算により特定する演算処理部とを備えた三次元位置測定装置であって、
三次元位置のうちの一つの次元は、撮像素子の撮像面と再生面との離間距離である再生距離の方向であり、
演算処理部は、記憶されたホログラムデータに対して再生距離を変えながら物体の像の再生計算を行い、その再生計算の結果として複素振幅データである波面データを取得し、取得された波面データに含まれる位相情報に基づいて再生距離の方向の位置を特定するものであることを特徴とする三次元位置測定装置。 - 前記演算処理部は、再生距離の違いによって変化する前記像の形状が、正しい再生距離で再生された場合に得られると想定される形状になった際の再生距離に基づいて再生距離の方向の位置を特定するものであることを特徴とする請求項13記載の三次元位置測定装置。
- 前記記憶部には、標本データが記憶されており、標本データは、前記正しい再生距離で再生した場合に得られると想定される像の波面データであり、
前記演算処理部は、前記再生距離を変えながら取得された各波面データと標本データとを対比し、両者の相関性が基準値以上であるかどうかにより、前記正しい再生距離で再生された場合に得られると想定される形状になったとの判断を行うものであることを特徴とする請求項14記載の三次元位置測定装置。 - 前記標本データは、前記物体と同一の寸法形状及び同一の屈折率を有するとみなせる標本物体について既知の撮像距離で前記物体と同様に干渉縞を撮影して得られたホログラムデータに対して再生計算を行うことで取得した波面データであることを特徴とする請求項15記載の三次元測定装置。
- 前記標本データは、前記物体の寸法形状と、前記物体の屈折率と、前記物体の周囲の媒質の屈折率に従って計算により取得されたデータであることを特徴とする請求項15記載の三次元位置測定装置。
- 前記演算処理部は、前記物体の像全体の波面データに基づいて再生距離の方向の位置を特定するものであることを特徴とする請求項13乃至17いずれかに記載の三次元位置測定装置。
- 前記波面データは振幅情報を含んでおり、
前記演算処理部は、前記位相情報による像の再生結果に基づいて再生距離の方向の位置を特定した後、当該位置に物体が存在しているかどうかの確認を、振幅情報による像の再生結果に基づいて行うものであることを特徴とする請求項13至18いずれかに記載の三次元位置測定装置。 - 前記光学系は、前記物体光を前記撮像素子に導く撮像用光学系を含んでおり、撮像用光学系は、像側テレセントリック、物体側テレセントリック又は両側テレセントリックであることを特徴とする請求項13乃至19いずれかに記載の三次元位置測定装置。
- 前記物体は、前記コヒーレント光に対して透明な材料で形成された球状のものであることを特徴とする請求項13乃至20いずれかに記載の三次元位置測定装置。
- 請求項13乃至21いずれかに記載の三次元位置測定装置を使用し、前記物体の三次元速度ベクトルを測定する速度測定装置であって、
前記コヒーレント光源及び前記光学系は、前記物体に対して第一の時刻において前記コヒーレント光を照射するとともに、第一の時刻から所定時間後の第二の時刻において前記コヒーレント光を照射するものであり、
前記撮像素子は、第一第二の各時刻における干渉縞をそれぞれ撮像するものであり、
前記記憶部は、第一第二の各時刻において撮像された干渉縞をそれぞれホログラムデータとして記憶しており、
前記演算処理部は、各ホログラムデータから、第一第二の各時刻における前記物体の三次元位置を特定するとともに、特定された各時刻の三次元位置に従って前記物体の速度ベクトルを求めるものであることを特徴とする速度測定装置。 - 前記物体は、流路を流れる流体に混入されたトレーサ粒子であることを特徴とする請求項22記載の速度測定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012185890A JP6193546B2 (ja) | 2012-08-24 | 2012-08-24 | 三次元位置測定方法、速度測定方法、三次元位置測定装置及び速度測定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012185890A JP6193546B2 (ja) | 2012-08-24 | 2012-08-24 | 三次元位置測定方法、速度測定方法、三次元位置測定装置及び速度測定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014044095A true JP2014044095A (ja) | 2014-03-13 |
JP6193546B2 JP6193546B2 (ja) | 2017-09-06 |
Family
ID=50395461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012185890A Active JP6193546B2 (ja) | 2012-08-24 | 2012-08-24 | 三次元位置測定方法、速度測定方法、三次元位置測定装置及び速度測定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6193546B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015078969A (ja) * | 2013-10-19 | 2015-04-23 | ウシオ電機株式会社 | 液滴内流動観察方法及び液滴内流動観察装置 |
WO2016117460A1 (ja) * | 2015-01-21 | 2016-07-28 | ウシオ電機株式会社 | 水質検査システム |
WO2016143696A1 (ja) * | 2015-03-06 | 2016-09-15 | リオン株式会社 | パーティクルカウンタ |
JP2018036560A (ja) * | 2016-09-01 | 2018-03-08 | 富士ゼロックス株式会社 | ホログラム再生装置及びプログラム |
JP2018036561A (ja) * | 2016-09-01 | 2018-03-08 | 富士ゼロックス株式会社 | ホログラム再生装置及びプログラム |
JPWO2017104662A1 (ja) * | 2015-12-18 | 2018-10-04 | 株式会社堀場製作所 | 粒子分析装置及び粒子分析方法 |
JP2019120552A (ja) * | 2017-12-28 | 2019-07-22 | 東芝メモリ株式会社 | 計測装置および計測方法 |
JP2019155859A (ja) * | 2018-03-16 | 2019-09-19 | 住友ゴム工業株式会社 | トッピングシートの検査方法 |
WO2020016961A1 (ja) * | 2018-07-18 | 2020-01-23 | オリンパス株式会社 | データ取得装置 |
CN113238076A (zh) * | 2021-05-10 | 2021-08-10 | 西北工业大学 | 一种基于深度学习的复杂流场测量方法与系统 |
KR102374163B1 (ko) * | 2020-11-25 | 2022-03-14 | 서울대학교산학협력단 | 슐리렌식 음장 진폭 분석용 이미징 시스템 및 이의 분석 방법 |
US11557042B2 (en) * | 2018-06-12 | 2023-01-17 | King Abdullah University Of Science And Technology | Single-camera particle tracking system and method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110632342B (zh) * | 2019-08-29 | 2021-05-28 | 昆明理工大学 | 一种红外全息用于风速风向测量的装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003097922A (ja) * | 2001-09-21 | 2003-04-03 | Ricoh Co Ltd | 表面形状測定装置及びその方法、プログラム並びに記憶媒体 |
JP2007263864A (ja) * | 2006-03-29 | 2007-10-11 | Kyoto Institute Of Technology | ディジタルホログラフィ計測装置及び方法 |
JP2009093785A (ja) * | 2007-10-11 | 2009-04-30 | Thomson Licensing | ホログラフィック記憶システム用のレンズ系 |
JP2012083394A (ja) * | 2010-10-07 | 2012-04-26 | Research Institute Of Advanced Technology Co Ltd | 位相差画像検査の方法およびその装置 |
-
2012
- 2012-08-24 JP JP2012185890A patent/JP6193546B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003097922A (ja) * | 2001-09-21 | 2003-04-03 | Ricoh Co Ltd | 表面形状測定装置及びその方法、プログラム並びに記憶媒体 |
JP2007263864A (ja) * | 2006-03-29 | 2007-10-11 | Kyoto Institute Of Technology | ディジタルホログラフィ計測装置及び方法 |
JP2009093785A (ja) * | 2007-10-11 | 2009-04-30 | Thomson Licensing | ホログラフィック記憶システム用のレンズ系 |
JP2012083394A (ja) * | 2010-10-07 | 2012-04-26 | Research Institute Of Advanced Technology Co Ltd | 位相差画像検査の方法およびその装置 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015078969A (ja) * | 2013-10-19 | 2015-04-23 | ウシオ電機株式会社 | 液滴内流動観察方法及び液滴内流動観察装置 |
WO2016117460A1 (ja) * | 2015-01-21 | 2016-07-28 | ウシオ電機株式会社 | 水質検査システム |
WO2016143696A1 (ja) * | 2015-03-06 | 2016-09-15 | リオン株式会社 | パーティクルカウンタ |
US10054529B2 (en) | 2015-03-06 | 2018-08-21 | Rion Co., Ltd. | Particle counter |
JPWO2017104662A1 (ja) * | 2015-12-18 | 2018-10-04 | 株式会社堀場製作所 | 粒子分析装置及び粒子分析方法 |
JP2018036560A (ja) * | 2016-09-01 | 2018-03-08 | 富士ゼロックス株式会社 | ホログラム再生装置及びプログラム |
JP2018036561A (ja) * | 2016-09-01 | 2018-03-08 | 富士ゼロックス株式会社 | ホログラム再生装置及びプログラム |
JP2019120552A (ja) * | 2017-12-28 | 2019-07-22 | 東芝メモリ株式会社 | 計測装置および計測方法 |
JP2019155859A (ja) * | 2018-03-16 | 2019-09-19 | 住友ゴム工業株式会社 | トッピングシートの検査方法 |
JP7189666B2 (ja) | 2018-03-16 | 2022-12-14 | 住友ゴム工業株式会社 | トッピングシートの検査方法 |
US11557042B2 (en) * | 2018-06-12 | 2023-01-17 | King Abdullah University Of Science And Technology | Single-camera particle tracking system and method |
WO2020016961A1 (ja) * | 2018-07-18 | 2020-01-23 | オリンパス株式会社 | データ取得装置 |
JPWO2020016961A1 (ja) * | 2018-07-18 | 2021-08-02 | オリンパス株式会社 | データ取得装置 |
US11269191B2 (en) | 2018-07-18 | 2022-03-08 | Olympus Corporation | Data acquisition apparatus |
JP7112649B2 (ja) | 2018-07-18 | 2022-08-04 | 株式会社エビデント | データ取得装置 |
KR102374163B1 (ko) * | 2020-11-25 | 2022-03-14 | 서울대학교산학협력단 | 슐리렌식 음장 진폭 분석용 이미징 시스템 및 이의 분석 방법 |
CN113238076A (zh) * | 2021-05-10 | 2021-08-10 | 西北工业大学 | 一种基于深度学习的复杂流场测量方法与系统 |
CN113238076B (zh) * | 2021-05-10 | 2022-12-06 | 西北工业大学 | 一种基于深度学习的复杂流场测量方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6193546B2 (ja) | 2017-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6193546B2 (ja) | 三次元位置測定方法、速度測定方法、三次元位置測定装置及び速度測定装置 | |
US7612870B2 (en) | Single-lens aperture-coded camera for three dimensional imaging in small volumes | |
US8922636B1 (en) | Synthetic aperture imaging for fluid flows | |
JP4782958B2 (ja) | 表面形状測定装置及びその方法、プログラム並びに記憶媒体 | |
CN102866494A (zh) | 被全息捕获三维结构的全息显微术 | |
JP4774517B2 (ja) | 粒子計測装置および方法 | |
Arroyo et al. | Recent developments of PIV towards 3D measurements | |
TWI797377B (zh) | 表面形狀量測裝置以及表面形狀量測方法 | |
JP2023530078A (ja) | 媒質内の粒子の焦点距離を特定するための方法 | |
CN109932304B (zh) | 一种基于数字同轴全息测量液滴折射率的方法及装置 | |
JP6176054B2 (ja) | 液滴内流動観察方法及び液滴内流動観察装置 | |
Dyomin et al. | Digital holographic video for studying biological particles | |
JP2007071584A (ja) | デジタルホログラフィを利用した変位分布計測方法及び装置 | |
Pu et al. | Off-axis holographic particle image velocimetry for diagnosing particulate flows | |
US11480920B2 (en) | Image processing apparatus, evaluation system, image processing program, and image processing method | |
JP2007263864A (ja) | ディジタルホログラフィ計測装置及び方法 | |
JP2012145361A (ja) | デジタルホログラフィ装置 | |
JP4025878B2 (ja) | 物体の再生像を得る装置、位相シフトデジタルホログラフィ変位分布計測装置及びパラメータを同定する方法 | |
JP3816402B2 (ja) | 表面形状測定装置及び表面形状測定方法 | |
WO2022032074A1 (en) | Simple in-line digital holography system for measuring 3d cell shape | |
JP2007071593A (ja) | 球面波参照光を用いた位相シフトデジタルホログラフィの再生方法及び変位分布計測方法及び装置 | |
JP2022162306A (ja) | 表面形状計測装置および表面形状計測方法 | |
JP3958099B2 (ja) | ホログラフィ装置 | |
JP6670476B2 (ja) | 検出装置 | |
KR20170079441A (ko) | 진동 환경에서 큰 단차를 갖는 샘플의 높낮이 측정을 위한 디지털 홀로그램 기록재생장치 및 기록재생방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150615 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170321 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6193546 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |