JP2020076629A - 変位計測方法及び変位計測システム - Google Patents

変位計測方法及び変位計測システム Download PDF

Info

Publication number
JP2020076629A
JP2020076629A JP2018209671A JP2018209671A JP2020076629A JP 2020076629 A JP2020076629 A JP 2020076629A JP 2018209671 A JP2018209671 A JP 2018209671A JP 2018209671 A JP2018209671 A JP 2018209671A JP 2020076629 A JP2020076629 A JP 2020076629A
Authority
JP
Japan
Prior art keywords
displacement
moire
marker
predetermined axis
displacement amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018209671A
Other languages
English (en)
Other versions
JP7009346B2 (ja
Inventor
俊哉 斎藤
Toshiya Saito
俊哉 斎藤
耕輔 古市
Kosuke Furuichi
耕輔 古市
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kajima Corp
Original Assignee
Kajima Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kajima Corp filed Critical Kajima Corp
Priority to JP2018209671A priority Critical patent/JP7009346B2/ja
Publication of JP2020076629A publication Critical patent/JP2020076629A/ja
Application granted granted Critical
Publication of JP7009346B2 publication Critical patent/JP7009346B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】1つの撮像装置を用い、サンプリングモアレ法を用いた比較的簡易な演算処理によって計測対象の三次元変位量を取得可能とする。【解決手段】変位計測方法は、計測点91上に位置しXY平面に平行なモアレマーカ11と、計測点91上に位置しYZ平面に平行なモアレマーカ12と、が存在しているとき、モアレマーカ11と、鏡面16に映るモアレマーカ12の虚像12’と、をZ方向からカメラ3で撮像する撮像工程と、カメラ3で得られるモアレマーカ11の撮像画像に基づき、計測点91のXY変位量を、サンプリングモアレ法を用いて取得する第1変位取得工程と、カメラ3で得られる虚像12’の撮像画像に基づき、虚像12’のXY変位量をサンプリングモアレ法で算出し、算出された当該XY変位量に基づき、計測点91のYZ変位量を取得する第2変位取得工程と、を備える。【選択図】図1

Description

本発明は、対象物の計測対象箇所の変位をサンプリングモアレ法を用いて計測する変位計測方法及び変位計測システムに関するものである。
従来、このような分野の技術として、下記特許文献1に記載の変位計測方法が知られている。この文献では、物体の三次元変位量を1つの撮像装置を用いて求める方法が提案されている。具体的には、物体上に設置された格子マーカがカメラで撮像され、画像上の格子ピッチの位相の面外変位による微小変化からサンプリングモアレ法を利用してその面外変位量が求められる。同様に同一格子の位相の面内・面外変位による微小変化からサンプリングモアレ法を利用してその面外・面内変位量が求められ、見かけ上の面内変位の影響が除外されて三次元変位量が求められる。
再公表特許WO2017/029905号公報
しかしながら、上記の計測方法では、格子マーカの面内変位及び面外変位を算出する際に、特殊なアルゴリズムを用いた煩雑な演算処理が必要であった。本発明は、1つの撮像装置を用い、サンプリングモアレ法を用いた比較的簡易な演算処理によって計測対象の三次元変位量を取得可能とすることを目的とする。
本発明の変位計測方法は、サンプリングモアレ法を用いて計測対象の変位を計測する変位計測方法であって、計測対象上で所定軸線に交差する姿勢で位置する第1モアレマーカと、計測対象上で所定軸線に直交する平面に交差する姿勢で位置する第2モアレマーカと、が存在しており、第1モアレマーカと、計測対象から絶縁された鏡面に映る第2モアレマーカの虚像と、を所定軸線に沿った方向から撮像装置で撮像する撮像工程と、撮像装置で得られる第1モアレマーカの撮像画像に基づき、所定軸線に直交する方向への計測対象の変位量を、サンプリングモアレ法を用いて取得する第1変位取得工程と、撮像装置で得られる虚像の撮像画像に基づき、所定軸線に直交する方向への虚像の変位量をサンプリングモアレ法で算出し、算出された当該変位量に基づき、所定軸線に平行な方向への計測対象の変位量を取得する第2変位取得工程と、を備える。
この変位計測方法によれば、所定軸線に直交する方向への計測対象の変位量は、所定軸線に直交する方向への第1モアレマーカの変位量に相当し、通常のサンプリングモアレ法によって算出可能である。一方、所定軸線に平行な方向への計測対象の変位は、所定軸線に平行な方向への第2モアレマーカの変位に相当し、撮像装置から見れば、所定軸線に直交する方向への虚像の変位として現れる。所定軸線に直交する方向への虚像の変位量は、通常のサンプリングモアレ法によって算出可能である。そして、所定軸線に直交する方向への虚像の変位量と、所定軸線に平行な方向への第2モアレマーカの変位量と、の相関関係は、モアレマーカや鏡面等の各要素の配置に依存する既知のものである。従って、当該相関関係に基づいて、所定軸線に平行な方向への第2モアレマーカの変位量、すなわち、所定軸線に平行な方向への計測対象の変位量を知ることができる。このように、1つの撮像装置を用い、通常のサンプリングモアレ法を用いて、所定軸線に直交する方向への計測対象の変位量と、所定軸線に平行な方向への計測対象の変位量と、を取得することができ、すなわち、計測対象の三次元変位量を得ることができる。また、所定軸線に直交する方向への第1モアレマーカの変位量の算出及び虚像の変位量の算出は、両方とも、通常のサンプリングモアレ法が適用可能であるので、比較的簡易な演算処理によって実行可能である。
また、第1モアレマーカは、所定軸線に略直交する姿勢で位置し、第2モアレマーカは、所定軸線に略平行な姿勢で位置するようにしてもよい。
また、撮像工程では、第1モアレマーカの撮像画像と、虚像の撮像画像と、が略同一のスケールで取得されるようにしてもよい。この場合、第1モアレマーカに関する演算と、虚像に関する演算と、で同様のアルゴリズムが使用可能であるので、演算処理の負担が軽減される。
本発明の変位計測システムは、サンプリングモアレ法を用いて計測対象の変位を計測する変位計測システムであって、計測対象上で所定軸線に交差する姿勢で位置する第1モアレマーカと、計測対象上で所定軸線に直交する平面に交差する姿勢で位置する第2モアレマーカと、が存在しており、第1モアレマーカと、計測対象から絶縁された鏡面に映る第2モアレマーカの虚像と、を所定軸線に沿った方向から撮像する撮像装置と、撮像装置で得られる第1モアレマーカの撮像画像に基づき、所定軸線に直交する方向への計測対象の変位量を、サンプリングモアレ法を用いて取得する第1変位取得手段と、撮像装置で得られる虚像の撮像画像に基づき、所定軸線に直交する方向への虚像の変位量をサンプリングモアレ法で算出し、算出された当該変位量に基づき、所定軸線に平行な方向への計測対象の変位量を取得する第2変位取得手段と、を備える。
本発明の変位計測方法は、サンプリングモアレ法を用いて計測対象の変位を計測する変位計測方法であって、計測対象上で所定軸線に交差し且つ所定軸線に直交する平面に交差する姿勢で位置するモアレマーカが存在しており、モアレマーカと、計測対象から絶縁された鏡面に映るモアレマーカの虚像と、を所定軸線に沿った方向から撮像装置で撮像する撮像工程と、撮像装置で得られるモアレマーカの撮像画像に基づき、所定軸線に直交する方向への計測対象の変位量を、サンプリングモアレ法を用いて取得する第1変位取得工程と、撮像装置で得られる虚像の撮像画像に基づき、所定軸線に直交する方向への虚像の変位量をサンプリングモアレ法で算出し、算出された当該変位量に基づき、所定軸線に平行な方向への計測対象の変位量を取得する第2変位取得工程と、を備える。
本発明の変位計測システムは、サンプリングモアレ法を用いて計測対象の変位を計測する変位計測システムであって、計測対象上で所定軸線に交差し且つ所定軸線に直交する平面に交差する姿勢で位置するモアレマーカが存在しており、モアレマーカと、計測対象から絶縁された鏡面に映るモアレマーカの虚像と、を所定軸線に沿った方向から撮像する撮像装置と、撮像装置で得られるモアレマーカの撮像画像に基づき、所定軸線に直交する方向への計測対象の変位量を、サンプリングモアレ法を用いて取得する第1変位取得手段と、撮像装置で得られる虚像の撮像画像に基づき、所定軸線に直交する方向への虚像の変位量をサンプリングモアレ法で算出し、算出された当該変位量に基づき、所定軸線に平行な方向への計測対象の変位量を取得する第2変位取得手段と、を備える。
この変位計測システムによれば、前述の変位計測方法が実行可能である。
本発明の変位計測方法及び変位計測システムによれば、1つの撮像装置を用い、サンプリングモアレ法を用いた比較的簡易な演算処理によって計測対象の三次元変位量を取得することが可能になる。
第1実施形態に係る変位計測システムを示す斜視図である。 第1実施形態の計測点近傍を拡大して示す平面図である。 第1実施形態の計測点近傍をカメラから見た状態を示す正面図である。 第2実施形態に係る変位計測システムを示す斜視図である。 第2実施形態の計測点近傍を拡大して示す平面図である。 第2実施形態の計測点近傍をカメラから見た状態を示す正面図である。
(第1実施形態)
以下、図面を参照しつつ本発明に係る変位計測方法及び変位計測システムの第1実施形態について詳細に説明する。本実施形態の変位計測方法及び変位計測システムは、サンプリングモアレ法を用いて対象物上の計測点の微小な変位量を計測するものである。上記の対象物としては、法面、トンネル、山留、鉄道工事の桟橋等、橋梁、建物等が例として挙げられる。
ここでは、図1に示されるように、道路橋90を対象とした変位計測を一例として説明する。以下の説明では、図に表示されるように、道路橋90の橋軸方向をZ方向とし、橋軸直角方向をX方向とし、Z方向及びX方向の両方に直交する方向をY方向とする。また、Z方向に直交する仮想平面をXY平面、X方向に直交する仮想平面をYZ平面、Y方向に直交する仮想平面をZX平面と呼ぶ場合がある。また、X方向への変位、Y方向への変位、及びZ方向への変位を、それぞれ単に、X変位、Y変位、及びZ変位と呼ぶ場合がある。また、XY平面内での変位、YZ平面内での変位、及びZX平面内での変位を、それぞれ単に、XY変位、YZ変位、及びZX変位と呼ぶ場合がある。
本実施形態では、所定の間隔をあけて橋軸方向に並んだ複数の計測点91(計測対象)が道路橋90の橋桁上に設定され、各計測点91のそれぞれの三次元変位量が計測される。なお、ここで計測される三次元変位量は、道路橋90の橋桁下方の地盤を不動の基準物として、当該地盤に対する相対的な変位量である。各計測点91同士の互いの距離は、例えば、10〜20mである。本実施形態では、図1に示されるように、3箇所の計測点91が設定されているものとする。各計測点91を区別する場合には、それぞれ、後述のカメラ3に近い方から計測点91a,91b,91cと呼ぶものとする。
本実施形態の変位計測システム1は、各計測点91にそれぞれ設置されるターゲット13,14と、各ターゲット13,14の近傍に設置される鏡体15と、を備えている。また、変位計測システム1は、計測点91a〜91cの画像を撮像する1台のカメラ3(撮像装置)と、カメラ3の撮像画像に基づいて演算を行う演算装置5とを備えている。
図1〜図3を参照しながら、計測点91における、ターゲット13,14及び鏡体15の設置形態について説明する。図2は、1つの計測点91及びカメラ3近傍を示す平面図である。図3は、カメラ3から見た計測点91を示す正面図である。なお、3つの計測点91a〜91cにおける、ターゲット13,14及び鏡体15の設置形態はすべて同じであるので、重複する説明は省略する。
ターゲット13は、例えば20cm×縦30cm程度のサイズの矩形平板状の部材である。ターゲット13は、例えばポリカーボネイト製の板材である。ターゲット13の表面には所定の模様のモアレマーカ11(第1モアレマーカ)が形成されている。計測点91において、ターゲット13は、モアレマーカ11をカメラ3側に向け、モアレマーカ11をXY平面に平行にする姿勢で、道路橋90の側面93に固定されている。ターゲット13は、カメラ3から見て、道路橋90の側面93から左側に突出するように設置されている。
ターゲット14は、ターゲット13と同サイズで同材料からなる矩形平板状の部材である。ターゲット14の表面にはモアレマーカ11と同サイズで同じ模様のモアレマーカ12(第2モアレマーカ)が形成されている。ターゲット14は、モアレマーカ12を道路橋90の外方に向け、モアレマーカ12をYZ平面に平行にする姿勢で、道路橋90の側面93に固定されている。モアレマーカ12はモアレマーカ11に対して直交する姿勢で設置されている。
ターゲット13,14は、計測点91に固定されているので、計測点91が変位したときには、計測点91に追従して同じ変位量でモアレマーカ11,12も変位する。
モアレマーカ11、12の模様は、空間的に規則的に繰り返される模様であり、すなわち、サンプリングモアレ法が適用可能な模様である。モアレマーカ11、12の模様として、例えば、等間隔の格子模様、又は等間隔の縞模様等が用いられる。ここでは、計測点91のXY変位量を計測するために、モアレマーカ11として、X方向及びY方向の繰返し模様である格子模様が用いられる。例えば、当該格子模様のX方向の繰返しピッチとY方向の繰返しピッチとは、同じである。同様に、計測点91のYZ変位量を計測するために、モアレマーカ12として、Y方向及びZ方向の繰返し模様である格子模様が用いられる。また、例えば、当該格子模様のY方向の繰返しピッチとZ方向の繰返しピッチとは、同じである。モアレマーカ11、12は、例えば、ターゲット13,14の表面に直接描かれてもよく、模様が付されたシート等がターゲット13,14の表面に貼着されて構成されてもよい。
鏡体15はその一表面に鏡面16を有する平面鏡である。鏡体15は、鏡面16がカメラ3から見えるように設置される。鏡体15の設置状態において、鏡面16は、XY平面と略45度の角度をなして交差し、YZ平面と略45度の角度をなして交差し、ZX平面と略直交する。また、鏡体15は、計測点91からは絶縁されて設置される。すなわち、計測点91が変位したときにも、鏡体15は計測点91に追従して変位することはない。このような絶縁構造を実現するために、例えば、道路橋90の橋桁下方の地盤上に設置台座17が構築され、当該設置台座17に対して鏡体15が固定される。設置台座17としては、例えば単管パイプを組み合わせた構造物等が用いられてもよい。鏡体15は、カメラ3から見てターゲット13の直ぐ左側に設置される。
カメラ3としては、サンプリングモアレ法に適した分解能を有するものが採用される。また、カメラ3としては、所定のネットワークを通じて撮像データを送出するネットワークカメラとしての使用に適したものが採用されてもよい。
カメラ3は、Z軸(所定軸線)に沿った方向から、すべての計測点91a〜91cを撮像する。すなわち、カメラ3は、モアレマーカ11に略直交する方向から、3つのモアレマーカ11と3つの鏡面16と、をすべて同一画面に収めて撮像する。カメラ3は、道路橋90の側面93の近傍に設置されており、この設置位置からモアレマーカ11側にカメラ3が向けられている。カメラ3から計測点91aまでの距離は、例えば約50m程度である。カメラ3は、道路橋90からは絶縁されて設置されており、各計測点91が変位したときにも、これに追従して変位することはない。このような絶縁構造を実現するために、例えば、道路橋90の橋桁下方の地盤上に設置台座19が構築され、当該設置台座19に対してカメラ3が固定される。設置台座19としては、例えば単管パイプを組み合わせた構造物等が用いられてもよい。
Z方向に並ぶ3つのモアレマーカ11及び3つの鏡面16をカメラ3からすべて見通すために、カメラ3は、3つのモアレマーカ11を通る仮想直線から僅かにずれた位置に設置される。従って、カメラ3がモアレマーカ11等を撮像する方向は、モアレマーカ11に厳密に直交する方向ではなく、モアレマーカに「略直交」する方向である。但し、カメラ3と計測点91aとの距離(約50m程度)と、ターゲット13の縦寸法(約30cm程度)との比を考慮すれば、その誤差の影響は無視することができる。従って、カメラ3がモアレマーカ11等を撮像する方向は、モアレマーカ11に直交するものとして取扱ってよい。
また、3つのモアレマーカ11及び3つの鏡面16がカメラ3の撮像画面内に入りさえすれば、カメラ3の視準軸HがZ方向からずれていてもよい。但し、カメラ3の撮像画面の中央付近にモアレマーカ11及び鏡面16が撮像されるために、当該カメラ3の視準軸HがZ方向に沿うような姿勢でカメラ3が設置されることが好ましい。換言すれば、カメラ3の視準軸HをZ方向に対して略平行にすることが好ましい。
前述のようなカメラ3、ターゲット13,14、及び鏡体15の配置によれば、モアレマーカ11は、当該モアレマーカ11に略直交する方向からカメラ3によって撮像される。一方、モアレマーカ12自体をカメラ3側から直接見ることはほとんどできないが、カメラ3からは鏡面16に映ったモアレマーカ12を見ることができる。すなわち、前述したような鏡面16等の配置によれば、図3に示されるように、カメラ3からは、鏡面16に映ったモアレマーカ12の虚像12’がモアレマーカ11の直ぐ左側に並んで見える。すなわち、モアレマーカ12の虚像12’は、当該虚像12’に略直交する方向からカメラ3によって撮像されることになる。
図2に示されるように、虚像12’はモアレマーカ11に比べて、カメラ3から僅かに遠い。しかしながら、カメラ3と計測点91aとの距離(約50m程度)と、ターゲット13の横寸法(約20cm程度)との比を考慮すれば、カメラ3から見て、モアレマーカ11と虚像12’とは、ほぼ等距離に位置すると言える。また、前述のとおり、モアレマーカ11とモアレマーカ12とが、同一サイズで同一模様をなしている。従って、モアレマーカ11と虚像12’とは、カメラ3により互いに略同一スケールで撮像されると言える。
演算装置5は、例えば、ネットワーク7を通じてカメラ3と接続されたコンピュータシステムである。ネットワーク7は、例えばインターネットである。カメラ3をネットワーク7に接続するための無線ルータ9が、カメラ3の近傍に配置されてもよい。また、無線ルータ9は、例えば、給電スイッチハブや漏電ブレーカと一緒にパッケージされ設置台座19上に設置されてもよい。演算装置5は、ネットワーク7を通じてカメラ3からの撮像データを取得可能である。
そして演算装置5は、取得した撮像データに基づいて画像処理を実行し、サンプリングモアレ法を用いて各計測点91a,91b,91cの三次元変位量を算出する。なお、演算装置5とカメラ3とがインターネット等のネットワーク7を介して接続されることは必須ではなく、演算装置5とカメラ3とが近傍に設置されて直接的に接続されてもよい。
更に詳細には、演算装置5は、機能的な構成要素として、第1変位取得部21と、第2変位取得部22と、撮像データ取得部23と、変位データ送信部24と、を備えている。これらの、第1変位取得部21(第1変位取得手段)と、第2変位取得部22(第2変位取得手段)と、撮像データ取得部23と、変位データ送信部24と、は、演算装置5が所定のプログラムに従って動作することによって実現される構成要素である。
撮像データ取得部23は、前述のとおり、カメラ3が撮像した撮像データをネットワーク7経由で取得する。第1変位取得部21は、撮像データ取得部23で取得された撮像データに基づき、当該撮像データに含まれるモアレマーカ11の画像に対してサンプリングモアレ法を適用し、当該モアレマーカ11の面内変位量(XY変位量)を算出する。具体的には、第1変位取得部21は、現時点のモアレマーカ11の画像からサンプリングモアレ法で得られるモアレ縞と、前回計測時に同様に得られたモアレ縞と、を比較し、モアレ縞のXY変位量に基づいて、前回計測時からの現時点までのモアレマーカ11のXY変位量を算出する。ここで取得されるモアレマーカ11のXY変位量は、そのまま、計測点91のXY変位量に相当する。
第2変位取得部22は、撮像データ取得部23で取得された撮像データに基づき、当該撮像データ中の鏡面16に映ったモアレマーカ12の虚像12’に対してサンプリングモアレ法を適用し、当該虚像12’の面内変位量(XY変位量)を算出する。具体的には、第2変位取得部22は、現時点の虚像12’の画像からサンプリングモアレ法で得られるモアレ縞と、前回計測時に同様に得られたモアレ縞と、を比較し、モアレ縞のXY変位量に基づいて、前回計測時からの現時点までの虚像12’のXY変位量を算出する。
ここで、モアレマーカ12、鏡面16及びカメラ3の前述したような位置関係によれば、モアレマーカ12が+Z方向に変位したときに、カメラ3からは、虚像12’が−X方向に変位したように観測される。また、モアレマーカ12が+Y方向に変位したときに、カメラ3からは、虚像12’が+Y方向に変位したように観測される。そして、モアレマーカ12の+Z方向への変位量(Δ1)と、虚像12’の−X方向への変位量(Δ1’)との相関関係が、Δ1=Δ1’であることが幾何学的に明らかである。また、モアレマーカ12の+Y方向への変位量(Δ2)と、虚像12’の+Y方向への変位量(Δ2’)との相関関係が、Δ2=Δ2’であることも幾何学的に明らかである。この知見に基づけば、第2変位取得部22で取得される虚像12’のXY変位量は、実際のモアレマーカ12のYZ変位量に相当し、すなわち、計測点91のYZ変位量に相当する。
上述のサンプリングモアレ法とは、カメラ等の撮像装置でモアレマーカを撮像し、モアレマーカの繰返し模様と撮像装置の画素との干渉で発生するモアレ縞を所定の画像処理により取得し、当該モアレ縞の変位量に基づいて実際のモアレマーカの変位量を取得する方法である。サンプリングモアレ法は、モアレマーカの変位量を上記のようにモアレ現象を利用して高精度で算出する方法として公知であるので、更なる詳細な説明は省略する。通常のサンプリングモアレ法では、撮像データに含まれるモアレマーカの、撮像画面に平行な方向の変位量(本実施形態においてはXY変位量)を算出することができる。
また、撮像データ上に複数のモアレマーカが現れる場合には、それぞれのモアレマーカごとに個別にサンプリングモアレ法を適用して、モアレマーカごとの変位量を算出することが可能である。また、撮像データ上に現れる複数のモアレマーカを一緒に処理可能なプログラムを用いてもよく、このようなプログラムの実行によって前述の第1変位取得部21及び第2変位取得部22が一緒に実現されてもよい。本実施形態においては、各計測点91a〜91cのモアレマーカ11及びモアレマーカ12の虚像12’といった、合計6つのモアレマーカが上記のようなプログラムで一緒に処理されてもよい。
また、サンプリングモアレ法の計測精度は、カメラ3の画素の配列ピッチやモアレマーカ11,12の模様の繰返しピッチ等に依存するので、例えば、モアレマーカ11,12の模様の繰返しピッチを適宜調整することで、計測点91の変位量の計測精度を調整することができる。例えば本実施形態では、計測精度はモアレマーカ11,12の模様の繰返しピッチの1/1000程度であり、計測点91の変位量を0.1mm単位で計測可能であるように設定される。
前述のようにして第1変位取得部21で得られるX変位量及びY変位量と、第2変位取得部22で得られるY変位量とZ変位量と、を合わせれば、計測点91のXYZ方向の三次元変位量を取得することができる。そして、上記のような処理が計測点91ごとに実行されることで、3つの計測点91a〜91cのXYZ方向の三次元変位量を取得することができる。各計測点91a〜91cの三次元変位量が取得されることで、道路橋90に発生する歪みを知ることもできる。上記のような計測点91の変位計測は、例えば数分間隔で繰返し実行されてもよい。なお、ここで得られる三次元変位量は、カメラ3及び鏡体15が固定された物・場所(すなわち、道路橋90の橋桁下方の地盤)を不動の基準物として、当該基準物に対する相対的な計測点91の変位量である。
変位データ送信部24は、上記のように得られた計測点91の三次元変位量の情報を、ネットワーク7を介して、管理者用のコンピュータ端末8に送信する。これにより、管理者は、ほぼリアルタイムで計測点91の変位量を知ることができる。また、数分間隔で繰返し計測された計測点91の変位量が、時系列変化のグラフ等として可視化されてコンピュータ端末8に提示されるようにしてもよい。また、このような情報をコンピュータ端末8にダウンロード可能にしてもよい。コンピュータ端末8は、例えば管理者が保持するスマートフォン端末であってもよい。なお、コンピュータ端末8は、ネットワーク7を介して演算装置5に接続されることは必須ではなく、演算装置5の近傍に設置され演算装置5に直接的に接続されてもよい。また、特定の権限者がネットワーク7経由で演算装置5にアクセス可能とし、変位量の情報を閲覧できるようにしてもよい。
更に、変位データ送信部24は、得られた計測点91の三次元変位量を予め記憶された許容規準値と比較する。そして、計測点91の変位量が上記の許容規準値を超えている場合には、管理者用のコンピュータ端末8に対し、ネットワーク7を介して警報情報(例えば、警報メール)を送信する。このような警報情報により、管理者は、道路橋90の計測点91の異常な変位の可能性を認識し、適切な措置を取ることができる。
上記のように、カメラ3、演算装置5及びコンピュータ端末8の間でのデータ授受がインターネット等のネットワーク7を介して行われるようにすれば、道路橋90の変位を、リアルタイムで、常時、リモートで監視することが可能になる。
続いて、以上説明した変位計測システム1を用いた変位計測方法の一例について説明する。
まず、カメラ3によって、モアレマーカ11と、鏡面16に映るモアレマーカ12の虚像12’と、が撮像される(撮像工程)。この撮像工程で得られた撮像データは、ネットワーク7を介してカメラ3から演算装置5へ送信される。演算装置5の撮像データ取得部23は、撮像データを受信する。第1変位取得部21は、上記撮像データに含まれるモアレマーカ11の撮像画像に基づいて、前回計測時に対する、当該モアレマーカ11のXY変位量を、サンプリングモアレ法により算出する。この変位量が、計測点91のXY変位量として取得される。(第1変位取得工程)。
更に、演算装置5においては、第2変位取得部22が、上記撮像データに含まれる虚像12’の撮像画像に基づいて、前回計測時に対する、当該虚像12’のXY変位量を、サンプリングモアレ法により算出する。この変位量が、前述のとおり、計測点91のYZ変位量として取得される。(第2変位取得工程)。
上記のように得られた、計測点91のXY変位量(X変位量及びY変位量)と、YZ変位量(Y変位量及びZ変位量)と、を合せることで、演算装置5では、計測点91のXYZ方向の三次元変位量が認識される。
ここでは、例えば、第1変位取得工程で得られた計測点91のX変位量とY変位量と、第2変位取得工程で得られた計測点91のZ変位量と、を合せて上記三次元変位量とすればよい。または、第1変位取得工程で得られた計測点91のX変位量と、第2変位取得工程で得られた計測点91のY変位量とZ変位量と、を合せて上記三次元変位量としてもよい。
演算装置5の変位データ送信部24は、上記三次元変位量の情報を、ネットワーク7を介して管理者用のコンピュータ端末8に送信する。更に、変位データ送信部24は、上記三次元変位量が所定の許容規準値を超えている場合には、ネットワーク7を介して警報情報をコンピュータ端末8に送信する。
続いて、上述した変位計測システム1及び変位計測方法による作用効果について説明する。この変位計測システム1及び変位計測方法によれば、XY平面に平行なモアレマーカ11が、カメラ3により略Z方向から撮像される。従って、モアレマーカ11のXY変位量は、通常のサンプリングモアレ法によって算出可能であり、当該XY変位量は、計測点91のXY変位量に相当する。
また、カメラ3では、鏡面16に映るモアレマーカ12の虚像12’が撮像される。カメラ3から観測される虚像12’のXY変位は、実際のモアレマーカ12のYZ変位に相当する。従って、モアレマーカ12の虚像12’に対して通常のサンプリングモアレ法を適用し、当該虚像12’のXY変位量を算出すれば、算出されたXY変位量を実際のモアレマーカ12のYZ変位量として採用することができる。そして、前述のとおり、モアレマーカ12のYZ変位量は計測点91のYZ変位量に相当する。
以上のように、計測点91のXY変位量とYZ変位量とが1つのカメラ3を用いて計測可能になる。すなわち、計測点91の三次元変位量が、が1つのカメラ3を用いて取得可能になる。また、前述したようなモアレマーカ11のXY変位量及び虚像12’のXY変位量を算出するにあたっては、両方とも通常のサンプリングモアレ法を用いればよく、比較的簡易な演算処理による算出が可能である。また、カメラ3から見て奥行き方向(Z方向)の変位量も、サンプリングモアレ法によって、カメラ3の撮像画面に平行な方向(X方向及びY方向)の変位量と同程度の精度で計測可能である。
また前述のとおり、モアレマーカ11の撮像画像と虚像12’の撮像画像とが、略同一のスケールで取得される。よって、モアレマーカ11のXY変位量の演算と、虚像12’のXY変位量(モアレマーカ12のYZ変位量)の演算と、をほぼ同じアルゴリズムで実行すればよいので、演算装置5による演算処理の負担が小さくなる。また、モアレマーカ11の撮像画像と虚像12’の撮像画像とが、略同一のスケールで取得されるので、XYZ方向の各変位量が同程度の精度で取得される。
また、本実施形態の変位計測システム1及び変位計測方法では、道路橋90の現場に設置されたターゲット13,14、鏡体15、カメラ3等といった比較的安価な設備によって、道路橋90の変位を無人で高精度に監視することができる。また、カメラ3でモアレマーカ11等の撮像データが取得可能であれば、夜間であっても変位計測が可能である。
(第2実施形態)
続いて、図4〜図6を参照しながら、本発明に係る変位計測方法及び変位計測システムの第2実施形態について詳細に説明する。図4に示されるように、本実施形態の変位計測システム201は、第1実施形態におけるターゲット13,14に代えて、ターゲット39を備えている。これ以外の点については、本実施形態の変位計測システム201は、第1実施形態の変位計測システム1と同様の構成を備えるので、同一又は同等の構成要素に対して図面に同一の符号を付し、重複する説明を省略する。
ターゲット39は、ターゲット13,14と同サイズで同材料からなる矩形平板状の部材である。ターゲット39の表面にはモアレマーカ11,12と同サイズで同じ模様のモアレマーカ37が形成されている。各計測点91において、ターゲット39は、道路橋90の側面93から45°の角度で張出すように側面93に取付けられている。モアレマーカ37は、ターゲット39のカメラ3側の面上に位置しており、XY平面に対して45°の角度をなして交差する鉛直面をなす。
このようなターゲット39、カメラ3、及び鏡体15の配置によれば、図5及び図6に示されるように、カメラ3からは、モアレマーカ37と、鏡面16に映った当該モアレマーカ37の虚像37’がX方向に並んで見える。図5に示されるように、虚像37’はモアレマーカ11に比べて、カメラ3から僅かに遠い。しかしながら、カメラ3と計測点91aとの距離(約50m程度)と、ターゲット39の横寸法(約20cm程度)との比を考慮すれば、カメラ3から見て、モアレマーカ37と虚像37’とは、ほぼ等距離に位置すると言える。また、モアレマーカ37と虚像37’とは、カメラ3により互いに略同一スケールで撮像されると言える。
また、モアレマーカ37と虚像37’がZ方向に対して傾いていることから、Z方向からカメラ3で見たときに、厳密に言えばモアレマーカ37と虚像37’の格子模様が僅かに台形状に歪んで見える。しかしながら、カメラ3と計測点91aとの距離(約50m程度)と、ターゲット39の横寸法(約20cm程度)との比を考慮すれば、モアレマーカ37と虚像37’とは、矩形の格子模様として取扱ってもよい。
ここで、モアレマーカ37、鏡面16及びカメラ3の前述したような位置関係によれば、モアレマーカ37が+Z方向に変位したときに、カメラ3からは、虚像37’が−X方向に変位したように観測される。また、モアレマーカ37が+Y方向に変位したときに、カメラ3からは、虚像37’が+Y方向に変位したように観測される。
従って、演算装置5の第2変位取得部22は、カメラ3による虚像37’の撮像画像に対してサンプリングモアレ法を適用することで、当該虚像37’のXY変位量を算出することができる。そして、算出された上記XY変位量に基づいて、モアレマーカ37のYZ変位量を算出することができる(第2変位取得工程)。ここでは、虚像37’の−X変位量が、モアレマーカ37の+Z変位量に相当し、虚像37’のY変位量が、モアレマーカ37のY変位量に相当することが、幾何学的に明らかである。また、演算装置5の第1変位取得部21は、モアレマーカ37の撮像画像に対してサンプリングモアレ法を適用することで、当該モアレマーカ37の面内変位量(XY変位量)を算出することができる(第1変位取得工程)。
なお、カメラ3によって観測されるモアレマーカ37と虚像37’においては、前述のモアレマーカ11及び虚像12’に比べて、格子模様のX方向の繰返しピッチが1/(√2)倍に縮小されるが、その影響は適宜演算によって補正されればよい。或いは、予め、モアレマーカ11,12を水平方向に(√2)倍に引き伸ばした格子模様をモアレマーカ37として採用することで、上記影響を相殺してもよい。
上記のようにして第1変位取得部21で得られるX変位量及びY変位量と、第2変位取得部22で得られるY変位量とZ変位量と、を合わせれば、計測点91のXYZ方向の三次元変位量を取得することができる。
なお、本実施形態の変位計測システム201では、第1実施形態におけるモアレマーカ11(第1モアレマーカ)とモアレマーカ12(第2モアレマーカ)とが共通化されて1つのモアレマーカ37とされたとも考えることができる。すなわち、本実施形態におけるモアレマーカ37は、第1実施形態におけるモアレマーカ11とモアレマーカ12との両方の機能を併せ持つものと考えることができる。
本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。また、上述した実施形態に記載されている技術的事項を利用して変形例を構成することも可能である。各実施形態の構成を適宜組み合わせて使用してもよい。
例えば、上述の実施形態では、複数の計測点91が存在する例を示したが、計測点91は1箇所であってもよい。また、例えば、鏡体15を設置することは必須ではなく、モアレマーカ12,37を映す既存の鏡面を鏡面16の代わりに利用してもよい。例えば、道路橋90に隣接する建物の窓ガラス面を、鏡面16の代わりに利用し、当該窓ガラス面に映るモアレマーカ12の虚像の撮像データを変位量演算に利用してもよい。また、上述の実施形態では、モアレマーカ12,37を1つの鏡面16に反射させてカメラ3で撮像しているが、モアレマーカ12,37を合わせ鏡で複数回反射させて撮像してもよい。
また、ターゲット13,14,39やモアレマーカ11,12,37を計測対象上に設置することは必須ではなく、計測対象上に存在する既存の模様をモアレマーカとして利用してもよい。例えば、計測対象の表面上で規則的に並ぶリベット、タイル、窓等が存在すれば、これらをモアレマーカ11,12,37の代わりに利用してもよい。
また、上述の実施形態では、変位計測システム1,201によって計測点91のXYZ方向の三次元変位量を取得するようにしているが、変位計測システム1,201では、例えば、計測点91のZ変位のみが取得されるようにしてもよい。例えば、変位計測システム1では、カメラ3から虚像12’のみを観測し、当該虚像12’のX変位に基づいてモアレマーカ12のZ変位(すなわち、計測点91のZ変位)を取得するようにしてもよい。同様に、変位計測システム201では、カメラ3から虚像37’のみを観測し、当該虚像37’のX変位に基づいてモアレマーカ37のZ変位(すなわち、計測点91のZ変位)を取得するようにしてもよい。これらの場合、計測点91のX変位及びY変位は、他のシステムで別途取得されるようにしてもよい。
また、第1実施形態において、モアレマーカ11,12が両方とも格子模様であることは必須ではない。例えば、モアレマーカ12からは少なくともZ変位量が取得できればよいので、モアレマーカ12はZ方向のみに繰返される一次元的な繰返し模様(例えば縞模様)であってもよい。この場合、モアレマーカ11は、X変位量及びY変位量を取得するために、X方向及びY方向に繰返される二次元的な繰返し模様(例えば格子模様)とされる。或いは、モアレマーカ11をX方向のみに繰返される一次元的な繰返し模様とし、モアレマーカ12をY方向及びZ方向に繰返される二次元的な繰返し模様としてもよい。この場合、モアレマーカ11からはX変位量が得られ、モアレマーカ12からはY変位量及びZ変位量が得られる。
また、第1実施形態におけるターゲット13とターゲット14とが、まとめて一体の部材として形成されてもよい。
また、上述の第1実施形態では、モアレマーカ11の姿勢がXY平面に平行としているが、XY変位の算出結果に及ぼす影響が無視できる程度であれば、モアレマーカ11の姿勢のズレは許容される。すなわち、モアレマーカ11の姿勢はXY平面に略平行であればよい。同様に、モアレマーカ12の姿勢もYZ平面に略平行であればよい。
更には、モアレマーカ11の姿勢はXY平面に略平行にも限定されず、モアレマーカ11はZ方向に交差する姿勢であればよい。すなわち、モアレマーカ11はZ方向に平行ではない姿勢であればよい。同様に、モアレマーカ12の姿勢はYZ平面に略平行にも限定されず、モアレマーカ12はXY平面に交差する姿勢であればよい。すなわち、モアレマーカ12はXY平面に平行ではない姿勢であればよい。その一例として、モアレマーカ12は、道路橋90の底面又は上面に配置されるなどしてZX平面に平行な姿勢で存在してもよい。
但し、モアレマーカ12がYZ平面から傾いた姿勢で存在する場合や、カメラ3の撮像方向がZ軸からずれて設定されている場合、前述したようなΔ2=Δ2’の相関関係が成立しない場合がある。しかしこの場合においても、Δ2とΔ2’との相関関係は、モアレマーカ12,カメラ3及び鏡面16の位置関係等に基づいて既知であるので、当該既知の相関関係に基づいて演算を行えばよい。同様にして、モアレマーカ11がXY平面から傾いた姿勢で存在する場合や、カメラ3の撮像方向がZ軸からずれて設定されている場合においても、撮像画面に平行な方向へのモアレマーカ11の変位量を、既知の相関関係に基づき補正して、モアレマーカ11のXY変位量を算出すればよい。
1、201…変位計測システム、3…カメラ(撮像装置)、11…モアレマーカ(第1モアレマーカ)、12…モアレマーカ(第2モアレマーカ)、37…モアレマーカ、12’,37’…虚像、16…鏡面、21…第1変位取得部(第1変位取得手段)、22…第2変位取得部(第2変位取得手段)、91,91a,91b,91c…計測点(計測対象)。

Claims (6)

  1. サンプリングモアレ法を用いて計測対象の変位を計測する変位計測方法であって、
    前記計測対象上で所定軸線に交差する姿勢で位置する第1モアレマーカと、前記計測対象上で前記所定軸線に直交する平面に交差する姿勢で位置する第2モアレマーカと、が存在しており、
    前記第1モアレマーカと、前記計測対象から絶縁された鏡面に映る前記第2モアレマーカの虚像と、を前記所定軸線に沿った方向から撮像装置で撮像する撮像工程と、
    前記撮像装置で得られる前記第1モアレマーカの撮像画像に基づき、前記所定軸線に直交する方向への前記計測対象の変位量を、サンプリングモアレ法を用いて取得する第1変位取得工程と、
    前記撮像装置で得られる前記虚像の撮像画像に基づき、前記所定軸線に直交する方向への前記虚像の変位量をサンプリングモアレ法で算出し、算出された当該変位量に基づき、前記所定軸線に平行な方向への前記計測対象の変位量を取得する第2変位取得工程と、
    を備える、変位計測方法。
  2. 前記第1モアレマーカは、前記所定軸線に略直交する姿勢で位置し、前記第2モアレマーカは、前記所定軸線に略平行な姿勢で位置する、請求項1に記載の変位計測方法。
  3. 前記撮像工程では、
    前記第1モアレマーカの撮像画像と、前記虚像の撮像画像と、が略同一のスケールで取得される、請求項1又は2に記載の変位計測方法。
  4. サンプリングモアレ法を用いて計測対象の変位を計測する変位計測システムであって、
    前記計測対象上で所定軸線に交差する姿勢で位置する第1モアレマーカと、前記計測対象上で前記所定軸線に直交する平面に交差する姿勢で位置する第2モアレマーカと、が存在しており、
    前記第1モアレマーカと、前記計測対象から絶縁された鏡面に映る前記第2モアレマーカの虚像と、を前記所定軸線に沿った方向から撮像する撮像装置と、
    前記撮像装置で得られる前記第1モアレマーカの撮像画像に基づき、前記所定軸線に直交する方向への前記計測対象の変位量を、サンプリングモアレ法を用いて取得する第1変位取得手段と、
    前記撮像装置で得られる前記虚像の撮像画像に基づき、前記所定軸線に直交する方向への前記虚像の変位量をサンプリングモアレ法で算出し、算出された当該変位量に基づき、前記所定軸線に平行な方向への前記計測対象の変位量を取得する第2変位取得手段と、
    を備える、変位計測システム。
  5. サンプリングモアレ法を用いて計測対象の変位を計測する変位計測方法であって、
    前記計測対象上で所定軸線に交差し且つ前記所定軸線に直交する平面に交差する姿勢で位置するモアレマーカが存在しており、
    前記モアレマーカと、前記計測対象から絶縁された鏡面に映る前記モアレマーカの虚像と、を前記所定軸線に沿った方向から撮像装置で撮像する撮像工程と、
    前記撮像装置で得られる前記モアレマーカの撮像画像に基づき、前記所定軸線に直交する方向への前記計測対象の変位量を、サンプリングモアレ法を用いて取得する第1変位取得工程と、
    前記撮像装置で得られる前記虚像の撮像画像に基づき、前記所定軸線に直交する方向への前記虚像の変位量をサンプリングモアレ法で算出し、算出された当該変位量に基づき、前記所定軸線に平行な方向への前記計測対象の変位量を取得する第2変位取得工程と、
    を備える、変位計測方法。
  6. サンプリングモアレ法を用いて計測対象の変位を計測する変位計測システムであって、
    前記計測対象上で所定軸線に交差し且つ前記所定軸線に直交する平面に交差する姿勢で位置するモアレマーカが存在しており、
    前記モアレマーカと、前記計測対象から絶縁された鏡面に映る前記モアレマーカの虚像と、を前記所定軸線に沿った方向から撮像する撮像装置と、
    前記撮像装置で得られる前記モアレマーカの撮像画像に基づき、前記所定軸線に直交する方向への前記計測対象の変位量を、サンプリングモアレ法を用いて取得する第1変位取得手段と、
    前記撮像装置で得られる前記虚像の撮像画像に基づき、前記所定軸線に直交する方向への前記虚像の変位量をサンプリングモアレ法で算出し、算出された当該変位量に基づき、前記所定軸線に平行な方向への前記計測対象の変位量を取得する第2変位取得手段と、
    を備える、変位計測システム。
JP2018209671A 2018-11-07 2018-11-07 変位計測方法及び変位計測システム Active JP7009346B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018209671A JP7009346B2 (ja) 2018-11-07 2018-11-07 変位計測方法及び変位計測システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018209671A JP7009346B2 (ja) 2018-11-07 2018-11-07 変位計測方法及び変位計測システム

Publications (2)

Publication Number Publication Date
JP2020076629A true JP2020076629A (ja) 2020-05-21
JP7009346B2 JP7009346B2 (ja) 2022-01-25

Family

ID=70723932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018209671A Active JP7009346B2 (ja) 2018-11-07 2018-11-07 変位計測方法及び変位計測システム

Country Status (1)

Country Link
JP (1) JP7009346B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114594278A (zh) * 2022-03-30 2022-06-07 南京信息工程大学 一种基于莫尔测量技术反演风速的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07103727A (ja) * 1993-08-09 1995-04-18 Sumitomo Metal Ind Ltd 工業炉の炉体変形計測方法
JP2009264852A (ja) * 2008-04-23 2009-11-12 Wakayama Univ 格子画像の位相解析方法およびそれを用いた物体の変位測定方法ならびに物体の形状測定方法
JP2012127704A (ja) * 2010-12-13 2012-07-05 Wakayama Univ 形状計測装置および形状計測方法
JP2015141151A (ja) * 2014-01-30 2015-08-03 国立大学法人 和歌山大学 計測装置及び橋梁検査方法
JP2017142185A (ja) * 2016-02-10 2017-08-17 国立研究開発法人産業技術総合研究所 変位測定装置、変位測定方法およびそのプログラム
JP2018100829A (ja) * 2016-12-19 2018-06-28 株式会社リコー 対象物の表面を観察または検査するための装置及び方法。

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07103727A (ja) * 1993-08-09 1995-04-18 Sumitomo Metal Ind Ltd 工業炉の炉体変形計測方法
JP2009264852A (ja) * 2008-04-23 2009-11-12 Wakayama Univ 格子画像の位相解析方法およびそれを用いた物体の変位測定方法ならびに物体の形状測定方法
JP2012127704A (ja) * 2010-12-13 2012-07-05 Wakayama Univ 形状計測装置および形状計測方法
JP2015141151A (ja) * 2014-01-30 2015-08-03 国立大学法人 和歌山大学 計測装置及び橋梁検査方法
JP2017142185A (ja) * 2016-02-10 2017-08-17 国立研究開発法人産業技術総合研究所 変位測定装置、変位測定方法およびそのプログラム
JP2018100829A (ja) * 2016-12-19 2018-06-28 株式会社リコー 対象物の表面を観察または検査するための装置及び方法。

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114594278A (zh) * 2022-03-30 2022-06-07 南京信息工程大学 一种基于莫尔测量技术反演风速的方法及系统
CN114594278B (zh) * 2022-03-30 2023-07-28 南京信息工程大学 一种基于莫尔测量技术反演风速的方法及系统

Also Published As

Publication number Publication date
JP7009346B2 (ja) 2022-01-25

Similar Documents

Publication Publication Date Title
Kohut et al. Monitoring of a civil structure’s state based on noncontact measurements
JP6061205B2 (ja) 構造物変位の常時監視方法及びその装置
JP6184237B2 (ja) 3次元データの処理装置、その処理方法及びその処理プログラム
Scaioni et al. Photogrammetric techniques for monitoring tunnel deformation
Chang et al. Three-dimensional structural translation and rotation measurement using monocular videogrammetry
JP6507268B2 (ja) 撮影支援装置及び撮影支援方法
Gordon et al. Terrestrial laser scanners with a narrow field of view: the effect on 3D resection solutions
JP2015141151A (ja) 計測装置及び橋梁検査方法
V. Shajihan et al. Wireless SmartVision system for synchronized displacement monitoring of railroad bridges
Zhuge et al. Noncontact deflection measurement for bridge through a multi‐UAVs system
Nasimi et al. A methodology for measuring the total displacements of structures using a laser–camera system
CN110441770A (zh) 基于多部mimo-sar联合观测的三维形变测量方法
KR100935898B1 (ko) 자동 변위 검출 장치 및 방법 그리고 이를 이용한 사면 유지 관리 시스템 및 방법
JP2022115759A (ja) 計測システム
US10943360B1 (en) Photogrammetric machine measure up
JP2020076629A (ja) 変位計測方法及び変位計測システム
Godinho et al. An efficient technique for surface strain recovery from photogrammetric data using meshless interpolation
KR20220013757A (ko) 구조물의 균열 측정시스템
Santos et al. Long deck suspension bridge monitoring: the vision system calibration problem
Tanaka Ultra-high-accuracy visual marker for indoor precise positioning
Lahamy et al. Measurement of deflection in concrete beams during fatigue loading test using the Microsoft Kinect 2.0
KR20180056324A (ko) 분산된 레이저 스페클 이미지를 이용한 면 변위와 변형률 계측 장치 및 방법
JP6773280B2 (ja) トンネル掘削の管理方法および管理装置
JP4059832B2 (ja) 道路断面計測装置、及び、道路断面計測方法
Nayyerloo et al. Seismic structural displacement measurement using a line-scan camera: camera-pattern calibration and experimental validation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220112

R150 Certificate of patent or registration of utility model

Ref document number: 7009346

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150