JP2018146576A - 三次元形状計測装置及び三次元形状計測方法 - Google Patents

三次元形状計測装置及び三次元形状計測方法 Download PDF

Info

Publication number
JP2018146576A
JP2018146576A JP2018034920A JP2018034920A JP2018146576A JP 2018146576 A JP2018146576 A JP 2018146576A JP 2018034920 A JP2018034920 A JP 2018034920A JP 2018034920 A JP2018034920 A JP 2018034920A JP 2018146576 A JP2018146576 A JP 2018146576A
Authority
JP
Japan
Prior art keywords
measurement object
dimensional shape
imaging device
measurement
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018034920A
Other languages
English (en)
Other versions
JP7081941B2 (ja
Inventor
猪股 雅一
Masakazu Inomata
雅一 猪股
幸二 藤本
Koji Fujimoto
幸二 藤本
服部 修
Osamu Hattori
修 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kansai Electric Power Co Inc
JFE Techno Research Corp
Original Assignee
Kansai Electric Power Co Inc
JFE Techno Research Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kansai Electric Power Co Inc, JFE Techno Research Corp filed Critical Kansai Electric Power Co Inc
Publication of JP2018146576A publication Critical patent/JP2018146576A/ja
Application granted granted Critical
Publication of JP7081941B2 publication Critical patent/JP7081941B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/20Hydro energy

Abstract

【課題】三次元形状の計測精度の向上を図る。【解決手段】三次元形状計測装置1は、測定対象物にスリット光を照射するレーザスリット光源13と、撮像装置11と、白色LED光源15と、を有するヘッド部2を備え、白色LED光源15は、スリット光を照射することにより得られる測定対象物上の光切断線を除く測定対象物上の領域のみを照射し、撮像装置11は、光切断線と白色LED光源15の照明光による照射領域とを同時に視野内に含む。【選択図】図1

Description

本発明は、三次元形状計測装置及び三次元形状計測方法に関する。
水力発電所の水車に用いられる水車羽根は、長期間の運転に伴い局所的に摩耗を生じることがある。そのため、定期的に水車羽根の摩耗度合を計測し、摩耗状況の管理を行っている。
水車羽根の摩耗状況を管理する方法の一つとして、デプスゲージを用いる方法がある。すなわち、デプスゲージを用いて摩耗部の最大深さを計測し、さらに、摩耗部の縦横の長さを計測することで摩耗部の大きさの管理指標としている。摩耗度合をより正確に計測する方法として、例えば摩耗部に樹脂を詰めて摩耗部のレプリカをとり、レプリカの形状から摩耗の状況を評価する方法等も提案されている。
しかしながら、水車羽根の形状によっては水車羽根周囲の空間が狭いことや人が近付ける位置から距離があること等により、観察したい部位まで手が届かず、ゲージによる計測、レプリカ採取、目視確認を行うことができない場合がある。
また、例えば、スリット光のスリット長を拡張し、強い光学パワーのレンズを用いることなくスリット光発生手段から被測定物までの光路長を長くすることで測定装置の小型化を図った三次元測定装置(例えば、特許文献1参照。)、さらに、測定装置下部にローラを設け、測定対象物にローラを当接させた状態で測定を行うことで測定装置と測定対象物との間の距離を一定に保ち測定精度を向上させるようにした、タイヤの溝の深さを測定するトレッド深さ測定装置(例えば、特許文献2参照。)等も提案されている。
特開2008−175625号公報 特開2006−242674号公報
しかしながら、上記従来の方法にあっては、例えば、特許文献1に記載の小型の三次元測定装置は光切断線の当たっている部位の断面形状を計測するものであるため、摩耗部全体の評価を行うことは困難である。さらにハンディタイプの形状測定装置であるため、手振れ等により、形状測定装置と測定対象物との間の距離を一定に維持することは困難である。そのため、形状測定装置と測定対象物との間の距離情報を安定して得ることができず、その結果、測定対象物の三次元形状を精度良く構築することが困難であるという問題がある。
また、特許文献2に記載の測定装置下部にローラを設けることで、測定装置と測定対象物との間の距離を一定に保つようにした測定装置においては、タイヤの溝が形成された面のように曲率一定の曲面又は平面に測定部位が存在する場合には光切断線投影部と測定対象物との間の距離は略一定となる。しかしながら、水車羽根のように測定面が曲面をなし、測定面の傾きが位置によって異なるような複雑な形状の曲面に測定部位が存在する場合には、測定面に測定装置のローラを当接させたとしても、各ローラが接する箇所における測定面の形状によっては、測定面に対する測定装置の傾きが変化する場合があり、測定装置と測定面との間の距離を一定に保つことが困難である。そのため、曲面上の局所的な測定や曲面上の微小な形状の測定等が困難であり、特に、水車羽根は曲面を含んでいるため、曲面等からなる基準面に対する凹凸変化の測定が困難であり、水車羽根の摩耗状況を高精度に評価することができない。
また、測定対象物の形状そのものを精度良く測定することが困難であるだけでなく、測定装置の測定レンジを外れる可能性もある。
さらに、上記の装置は撮像装置を搭載しているものの外観画像を表示する機能は搭載していない。
本発明は、上記未解決の問題に着目してなされたものであり、測定部位の外観観察を行い、かつ、対象形状に依存せずに局所的な摩耗形状を高精度に測定することの可能な三次元形状計測装置及び三次元形状計測方法を提供することを目的としている。
本発明の一態様によれば、測定対象物にスリット光を照射するスリット光源と、撮像装置と、照明光源と、を有するヘッド部を備え、照明光源は、スリット光を照射することにより得られる測定対象物上の光切断線を除く測定対象物上の領域のみを照射し、撮像装置は、光切断線と照明光源の照明光による照射領域とを同時に同一の視野内に含む三次元形状計測装置、が提供される。
本発明の他の態様によれば、測定対象物にスリット光を照射するスリット光源と、撮像装置と、照明光源と、を有するヘッド部と、撮像装置による撮像画像を表示する表示装置と、を備え、照明光源は、スリット光を照射することにより得られる測定対象物上の光切断線を含む測定対象物上の領域を照射し、撮像装置は、光切断線を含む照明光源の照明光による照射領域を視野内に含み、照明光源は、スリット光を照射することにより得られる測定対象物上の光切断線を、表示装置に表示された画面上において認識可能な照明光を照射する三次元形状計測装置、が提供される。
本発明の他の態様によれば、測定対象物にスリット光を照射するスリット光源と、撮像装置と、照明光源と、を有するヘッド部と、撮像装置による撮像画像を表示する表示装置と、を備え、照明光源は、スリット光を照射することにより得られる測定対象物上の光切断線を含む測定対象物上の領域を照射し、撮像装置は、光切断線を含む照明光源の照明光による照射領域を視野内に含み、照明光源は、間欠的に照明光を照射する三次元形状計測装置、が提供される。
本発明の他の態様によれば、測定対象物にスリット光を照射するスリット光源及び撮像装置を有するヘッド部と、ヘッド部に固定された脚部と、を備え、脚部は、ヘッド部の走査方向に対して直交する方向に間隔を空けて設けられた一対の脚部であり、ヘッド部はその走査時には、一対の脚部のみを介して測定対象物との間の距離を保った状態で測定対象物上を移動する三次元形状計測装置、が提供される。
本発明の他の態様によれば、三次元形状計測装置を用いた三次元形状計測方法であって、作業者がヘッド部を直接把持するか又は治具を介して間接的に把持した状態で、脚部の先端を測定対象物の表面に当接させ、その当接を維持したまま測定対象物の表面に沿ってヘッド部を走査方向に移動させつつ、撮像装置により測定対象物を撮影し、ヘッド部が走査されることによって得られた撮像装置による撮像画像に含まれる、スリット光を照射することにより得られた測定対象物上の光切断線に基づき測定対象物の三次元形状を演算する三次元形状計測方法、が提供される。
本発明の他の態様によれば、三次元形状計測装置を用いた三次元形状計測方法であって、作業者が前記ヘッド部を直接把持するか又は治具を介して間接的に把持した状態で、前記脚部の先端を測定対象物の表面に当接させ、その当接を維持したまま前記測定対象物の表面に沿って前記ヘッド部を走査方向に移動させつつ、前記撮像装置により前記測定対象物を撮影する三次元形状計測方法、が提供される。
本発明の一態様によれば、三次元形状の計測や表面形状の画像の取得を容易に行うことができ、測定対象物の三次元形状を精度よく構築することができる。
本発明の一実施形態における三次元形状計測装置の一例を示す構成図である。 本発明の一実施形態における三次元形状計測装置の一例を示す構成図である。 本発明の一実施形態における三次元形状計測装置の使用方法を説明するための説明図である。 撮像画像の一例を示す模式図である。 LED照射領域の照射方法を説明するための説明図である。 光切断線とヘッド部の位置情報の合成方法を説明するための説明図である。 計測時の処理手順の一例を示すフローチャートである。 解析時の処理手順の一例を示すフローチャートである。 罫線の表示方法を説明するための撮像画像の模式図の一例である。 本発明における三次元形状計測装置のその他の例を示す説明図である。 本発明における三次元形状計測装置のその他の例を示す説明図である。 本発明における三次元形状計測装置のその他の例を示す説明図である。 本発明における三次元形状計測装置のその他の例を示す説明図である。 撮像画像のその他の例を示す模式図である。 本発明における三次元形状計測装置のその他の例を示す説明図である。 凹凸量演算時の処理手順の一例を示すフローチャートである。
以下、図面を参照して本発明の実施形態について説明する。
なお、以下の詳細な説明では、本発明の実施形態の完全な理解を提供するように多くの特定の具体的な構成について記載されている。しかしながら、このような特定の具体的な構成に限定されることなく他の実施形態が実施できることは明らかである。また、以下の実施形態は、特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の一実施形態に係る三次元形状計測装置1の一例を示す概略構成図であって、ヘッド部は、側面視で表している。また、図2は、ヘッド部を正面、つまり、ヘッド部の走査方向から見た図である。
三次元形状計測装置1は、測定対象物の計測を行うヘッド部2と、ヘッド部2で得られたデータを解析する解析処理部3と、を備える。
ヘッド部2は、撮像装置11と、撮像装置11用のミラー12と、レーザスリット光源13と、レーザスリット光源13用のミラー14と、白色LED光源15と、を備える。さらに、ヘッド部2は、架台5と架台5に一端が固定された一対の脚部6a、6bを備える。
架台5は略長方形の板状を有する。ここで、架台5の長手方向をY軸方向、短手方向をX軸方向とし、架台5の上面をXY平面とし、XY平面と垂直な方向をZ軸方向とする。架台5の下面はXY平面と平行な面である。なお、架台5は板状に限るものではなく、ヘッド部2の構成要素を支持することが可能な筐体等であってもよく、その形状は制限されない。
脚部6a、6bは、架台5の長手方向の一端寄りの位置に設けられ、且つ、短手方向両端に、XY平面と垂直に固定される。脚部6a、6bの、架台5とは逆側の端部には車輪7a、7bが設けられている。
また、脚部6a、6bは、XY平面と垂直な方向に固定され、架台5から車輪7a、7bの下端までの長さが等しく設定されている。なお、脚部6a、6bは、架台5から車輪7a、7bの下端までの垂直方向の長さが等しければ、正面から見た場合に、脚部6a、6bの先端側、つまり下端側が外側に多少広がっていてもよい。
なお、車輪7aと7bとの間隔は次のように設定される。つまり、車輪7a、7bが、測定対象物の表面の凹凸が形成されている領域上に当接され、例えば車輪7aは凸部分に当接し、車輪7bは平坦部分に当接した場合には、ヘッド部2がY軸周りに左右に傾くことになる。そのため、測定対象物とヘッド部2との間の距離を一定に保つことができない可能性があり、三次元形状の計測誤差を生じる可能性がある。したがって、車輪7a、7bの間隔を、測定対象物の表面に生じると予測される凹凸が形成される領域を跨ぐ間隔に設定することで、計測誤差を抑制することができる。
撮像装置11及びミラー12は架台5の上面に固定され、レーザスリット光源13とミラー14と白色LED光源15は架台5の下面に固定される。少なくとも撮像装置11及びミラー12は、図3に示すようにカバー10で覆われている。そして、図3(a)に示すようにヘッド部2を直接把持するか、又は図3(b)に示すようにヘッド部2に、ヘッド部2の走査方向後方に延びる棒状の治具28を取り付け、この治具28を介してヘッド部2を間接的に把持した状態で、車輪7を測定対象物の表面に当接させたまま測定対象物の表面に沿って移動させることにより計測を行うようになっている。
撮像装置11は、レンズ11aが取り付けられた小型テレビカメラを含む。撮像装置11は、撮像装置11の光軸が側面視でXY平面と平行となるように架台5に固定される。撮像装置11は、USBケーブル11bを介して解析処理部3と接続される。
ミラー12は、架台5の上面にレンズ11aと向かい合うように固定され、撮像装置11の光軸をXY平面に対して垂直方向に折り曲げるように配置される。
レーザスリット光源13は、XY平面と平行にレーザスリット光が出力されるように配置される。レーザスリット光源13は、電源ケーブル13aにより解析処理部3に接続され、解析処理部3から電力供給を受ける。
ミラー14は、レーザスリット光源13の出力側と向かい合うように固定され、レーザスリット光を車輪7が当接される面側に折り曲げる。
レーザスリット光源13とミラー14とは、車輪7を平面に当接させ、ヘッド部2を撮像装置11の光軸が、車輪7が当接された平面と平行となるように維持した場合に、ミラー12で折り曲げられた撮像装置11の光軸と、ミラー14で折り曲げられたレーザスリット光とが、車輪7a、7bと平面との接点間を結ぶ直線と重なるように配置される。
このように、レーザスリット光が、撮像装置11の光軸に対して所定の角度をなして車輪7が当接された平面に投光されるようにすることによって、凹凸のある測定対象物表面に車輪7を当接させたときに光切断線が形成され、測定対象物の表面の凹凸の大きさを視覚化することができ、凹凸の大きさを判読できるようになっている。
白色LED光源15は、レーザスリット光源13の近傍に配置され、車輪7を平面に当接させ、撮像装置11の光軸が車輪7が当接された平面と平行となるように維持した場合に、図4に示すように、白色LED光源15の照射光のうちミラー14により折り曲げられた照射光によって照射される平面上の領域(以後、LED照射領域ともいう。)a1が、レーザスリット光により照射される平面上の領域、つまり光切断線a2とは異なる領域に位置するように配置される。
また、白色LED光源15は、車輪7を平面上に当接させ、ヘッド部2を、撮像装置11の光軸が、車輪7が当接された平面と平行となるように維持した状態で、撮像装置11により車輪7が当接された平面を撮影したときに得られた撮像画像に、LED照射領域a1と光切断線a2とが含まれる位置に配置される。
さらに、白色LED光源15の光量は、撮像装置11による撮像画像に含まれるLED照射領域a1の明るさが、後述の撮像画像に含まれる光切断線a2を抽出し形状変換する画像処理演算及び作業者による形状観測に影響を与えることのない明るさであり、且つ撮像画像に含まれるLED照射領域a1の明るさが、作業者による測定対象物の形状観測に支障のない明るさに設定される。白色LED光源15は、白色LED光源15の照射光のうち、比較的明るい光軸近傍の照射光部分のみをミラー14が折り曲げ、折り曲げられた照射光が、車輪7を当接させた平面におけるレーザスリット光による照射領域を避けた位置を照射するように配置される。
つまり、図5に示すように、白色LED光源15の照射光は照射光全体が同一の光量ではなく、照射光の周縁部に近づくほど光量が小さくなり暗くなる。そのため、目的の領域を白色LED光源15で直接照射すると、目的の領域だけでなくその周辺もぼんやりと明るくなる。そこで、白色LED光源15の照射光のうちの比較的明るい部分、つまり光軸近傍の照射光のみをミラー14によって反射させ、比較的暗い周縁部の照射光は反射させない。その結果、ミラー14で反射された照射光により照射される特定領域のみを局所的に明るくすることができる。そして、特定領域の周囲に対して照射は行われず特定領域よりも暗いため、光切断線a2とLED照射領域a1とを撮像装置11の視野内に収まるように比較的接近して配置したとしても、白色LED光源15の照射光が、画像処理演算及び光切断線a2の観測に影響を及ぼすことを抑制することができる。光切断線a2とLED照射領域a1とを一つの撮像画像内に表示することにより、車輪7を測定対象物に当接させたときに、一つの撮像画像において、画像処理演算による光切断線a2による測定対象物の計測と、LED照射領域a1における測定対象物の観察とを同時に行うことができる。
また、車輪7を平面に当接させ、ヘッド部2を、撮像装置11の光軸が、車輪7が当接された平面と平行となるように維持した場合に、ミラー12で折り曲げられた撮像装置11の光軸と、ミラー14で折り曲げられたレーザスリット光とが、車輪7a、7bと平面との接点間を結ぶ直線上で重なるように配置される。そのため、撮像装置11により得られる撮像画像は、図4に示すように、撮像画像の上下方向略中央部に左右に延びる高輝度な光切断線a2が位置し、撮像画像の光切断線a2の左右の延長線上近傍に車輪7a、7bが位置し、さらに光切断線a2の下方にLED照射領域a1が配置された画像となる。なお、測定対象物が平坦面である場合には、光切断線a2は高輝度な略直線となる。
撮像装置11及びレーザスリット光の焦点は、車輪7を平面に当接させ、撮像装置11の光軸が、車輪7が当接された平面と平行となるようにヘッド部2を維持した状態で、車輪7を当接させた平面にピントが合うように調整される。
このようにミラー14を設けることによって、本来フィルタ等を用いて外乱光が入ることを極力避けるようにする光切断線a2と、明るい照明で測定対象物を観察するためのLED照射領域a1とを、フィルタを用いずに撮像装置11の視野内に共存させることができる。
ヘッド部2を走査することにより、先に光切断線a2のパターンを撮影した部位が、ヘッド部2の移動に伴い、次のタイミングでLED照射領域a1に移動することになるため、光切断線a2のパターンを観察した部位の外観を、次のタイミングでLED照射領域a1により観察することができる。つまり、計測部位の凹凸形状と外観とを同一視野内で目視確認することができる。
図1及び図2に戻って、車輪7は、磁石等、磁性体を引きつける特性を有する部材からなり、例えば鋼等の磁性体からなる水車羽根等の測定対象物との間で引き合うようになっている。
さらに、一方の脚部6例えば6aには、ロータリエンコーダ8が取り付けられ、脚部6aに設けられた車輪7aと一体に回転するプーリー或いは滑車等の回転部材8aとロータリエンコーダ8とがタイミングベルト8bで連結されている。車輪7の回転角度情報は、タイミングベルト8bを介してロータリエンコーダ8に伝達され、ロータリエンコーダ8は、車輪7の回転数に応じたパルス信号を出力する。ロータリエンコーダ8から出力されるパルス信号は、信号ケーブル8cを介して解析処理部3に入力される。
解析処理部3は、図1に示すように、タブレット型パーソナルコンピュータ(以下、タブレットPCともいう。)21と、USBハブ22等の接続機器と、カウンターボード等からなるカウンタ部23と、バッテリ部24とを備える。
USBハブ22は、USBケーブル11bを介して撮像装置11と接続され、撮像装置11による撮像情報をタブレットPC21に出力する。また、USBハブ22は、カウンタ部23でのカウント数をタブレットPC21に出力する。
カウンタ部23は、ロータリエンコーダ8から入力される、車輪7の回転数に応じたパルス信号をカウントする。カウンタ部23でカウントしたカウント数はUSBハブ22を経由してタブレットPC21に出力される。
バッテリ部24は、タブレットPC21に電力供給を行うと共に、電源ケーブル13aを介してレーザスリット光源13に電力供給を行う。また、電源ケーブル15aを介して白色LED光源15に電力供給を行う。
タブレットPC21は、入力装置、表示装置、演算処理部、メモリ等の記憶部等を含んで構成され、作業者の入力操作に応じて、三次元形状計測装置1全体を制御する。また、タブレットPC21は、例えば図4に示すように、撮像装置11からの撮像情報をもとに撮像画像をタブレットPC21の表示画面に表示する。つまり、ヘッド部2の移動に伴い、測定対象物上の各位置において撮像装置11により撮影された測定対象物の撮像画像が順次タブレットPC21に入力され、タブレットPC21の表示画面に、各位置における撮像画像が順次表示される。作業者は、表示画面を見ることによって、測定対象物上の各位置における測定対象物の表面の状況を観測することができる。
なお、撮像装置11に入力される撮像情報はミラー12で反転されるため、この撮像情報をそのまま用いて撮像画像を表示すると、上下反転した撮像画像が表示されることになる。そのため、タブレットPC21では、撮像情報に対し上下反転する反転処理を実行し、この反転処理後の撮像情報に基づき撮像画像を表示画面に表示する。これによって、あたかもミラー12が存在せず、撮像装置11により測定対象物表面を真上から直接撮影しているような撮像画像を表示することができる。そのため、作業者は違和感なく、測定対象面を直接目視しているかのように観察することができる。
また、タブレットPC21は、撮像装置11の撮像情報をカウント数と対応付けて所定の記憶部に順次記憶する。そして、タブレットPC21は、ヘッド部2の走査終了後、記憶領域に記憶した撮像装置11の撮像情報とカウンタ部23によるカウント数とをもとに、撮像情報が、測定対象物上のどの位置にヘッド部2が位置するときに撮影した撮像情報であるかを検出し、これに基づき、測定対象物の三次元形状を解析し、三次元形状画像を表示する。
タブレットPC21では、例えば、車輪7を平面に当接させ、撮像装置11の光軸が車輪7が当接された平面と平行となるように維持した状態で、ヘッド部2を平面に沿って走査方向に移動させたときの、ヘッド部2の移動量と、カウンタ部23におけるカウント数とから、ロータリエンコーダ8から入力されるパルス信号1パルスあたりの移動量を予め検出しておく。そして、タブレットPC21では、この1パルスあたりの移動量と、計測時のカウント数とを乗算することで、測定対象物上におけるヘッド部2の移動量を演算する。
また、タブレットPC21では、光切断法を用いて測定対象物の三次元形状を算出する。例えば以下の手順で算出する。
まず、撮像装置11により撮影された撮像画像毎に、レーザスリット光パターンから光切断線a2を抽出し、光切断線a2が抽出された部位の各点の直交座標系上の位置を算出する。ここで抽出された光切断線a2上の各点の直交座標系上の位置を(x,y,z)とする。この直交座標系は、撮像装置11により撮影された撮像画像に設定される座標系であって、図4に示すように、撮像画像において、撮像装置11の光軸の延びる方向であるY軸と平行な方向、つまり、撮像画像の上下方向をy軸、y軸と直交する方向をx軸、つまり撮像画像の左右方向をx軸、とし、撮像画像においてx軸及びy軸と直交する方向をz軸としている。
抽出された光切断線a2上の各点の直交座標系上の位置を(x,y,z)とすると、図6に示すように、ヘッド部2が、Y軸方向の位置がY0の地点にあるタイミングで撮影された光切断線a2の画像からは、光切断線a2単独で求めたxyz直交座標系上の各点の座標値(x,y,z)に、ヘッド部2の測定対象物上の位置Y0を加算したデータ(x,Y0+y,z)が、三次元データとして求まる。同様に、ヘッド部2の位置をY軸方向ミラー12側に移動させn番目の位置Ynで計測したときの光切断線a2上の各点の位置は(x,Yn+y,z)として求まる。したがって、ヘッド部2を移動させながら計測した各光切断線a2の画像から光切断線a2の位置情報を検出し、ヘッド部2の位置情報を統合し、これを、計測した全撮像画像について合成すれば、計測した全領域における測定対象物の三次元形状を得ることができる。なお、図6は三次元形状の算出方法を説明するため模式的に表した図であるため、光切断線抽出のピッチを粗くしているが、実際には密なピッチでの計測を行っている。
図7及び図8は、タブレットPC21における画像処理演算の処理手順の一例を示すフローチャートである。
ここで、作業者は、三次元形状を計測する場合には、例えば図3(a)に示すようにヘッド部2を把持し、車輪7を測定対象物の表面に当接させ、撮像装置11の光軸が、測定対象物の表面と平行となるようにヘッド部2を維持した状態で、測定対象物の表面に沿ってヘッド部2をY軸方向に移動させる。
図7に示すように、タブレットPC21は、計測時には、撮像装置11により予め設定したタイミングで測定対象物を撮影させる。
そして、撮像装置11から撮像情報を読み込むと共に、カウンタ部23からカウント数を読み込む(ステップS1)。なお、カウンタ部23では計測開始時にカウント数を零にリセットするようになっている。
そして、撮像情報に基づき撮像画像をタブレットPC21の表示装置に表示すると共に、ステップS1で読み込んだ撮像情報とカウント数とを対応付けて記憶部に格納する(ステップS2)。
ステップS1及びステップS2の処理を繰り返し行い、所定数のデータ読み込みを行ったならば(ステップS3)計測を終了する。例えば、予め設定したタブレットPC21内の記憶部の記憶容量に応じたデータ数のデータ読み込みが行われたとき、或いは、タブレットPC21において作業者により計測終了を指示する操作が行われたとき等に、計測を終了する。
これにより、撮像装置11によって撮影された、測定対象物のレーザスリット光源13及び白色LED光源15により照射されている領域が、ヘッド部2の移動に伴って順次更新されつつタブレットPC21の表示装置に表示される。
タブレットPC21は、このようにして計測した撮像情報を用いて解析を行う場合には、図8に示すように、まず記憶部からカウント数と対応付けられた撮像情報を読み出す(ステップS11)。
撮像情報に基づき撮像画像から光切断線a2を抽出し(ステップS12)、光切断線a2を、撮像画像におけるxyz直交座標上の形状データに変換する(ステップS13)。
続いて、カウント数に、予め設定したパルス信号1パルスあたりの移動距離を乗算し、ヘッド部2の位置情報Ynに変換する。このYnは、計測開始時点におけるヘッド部2の位置からの移動距離を表す(ステップS14)。
ステップS13で得た撮像画像上のxyz直交座標系における形状データと、ステップS14で得たヘッド部2の位置とを合成することにより、ヘッド部2がY0からYnにあるときまでの測定対象物の光切断線a2に対応する部位における三次元データを構築する(ステップS15)。
そして、所定の撮像画像全てについて三次元データを生成するまでステップS11からステップS15の処理を繰り返し行い、所定の撮像画像全てについて三次元データを作成したならば(ステップS16)、撮影開始時から撮影終了時までの間に走査した測定対象物の表面上の領域に対応する三次元形状を、例えばタブレットPC21が有する表示装置に表示する。また、得られた三次元形状に基づき解析を行い、解析結果を表示装置に表示する。そして処理を終了する(ステップS17)。
三次元形状に基づく解析では、例えば、測定対象物の三次元形状から得られる摩耗領域と予測される凹凸等について最大深さや摩耗部位の面積等の算出を行う。
次に、上記実施形態の動作を説明する。
作業者は、図3に示すように、ヘッド部2を直接把持するか又はヘッド部2に棒状の治具28を取り付け、この治具28を介してヘッド部2を間接的に把持した状態で、車輪7を測定対象物の表面に当接させ、撮像装置11の光軸が、測定対象物の表面と平行となるようにヘッド部2を維持した状態で、ヘッド部2を測定対象物の表面に沿って移動させる。
ヘッド部2の移動に伴い、撮像装置11による撮影が行われ、測定対象物上におけるヘッド部2の現在位置に対応した撮像画像がタブレットPC21の表示装置に表示される。具体的には、図4に示すように、測定対象物の光切断線a2とLED照射領域a1とが表示される。
作業者は、ヘッド部2を移動させつつタブレットPC21で撮像画像を観察することにより、光切断線a2のパターンから測定対象物の凹凸の発生状況を認識することができ、LED照射領域a1の表示画像を観察することによって、測定対象物の凹凸が生じている部位近傍の外観を認識することができる。つまり、光切断線a2とLED照射領域a1とから、測定対象物をあたかも目視しているかのようにその形状を認識することができる。
また、ヘッド部2の移動に伴い、測定対象物の表面の各時点における撮像情報と、カウンタ部23でのカウント数とが対応付けられてタブレットPC21の記憶部に記憶される。
計測終了後、作業者が、例えばタブレットPC21で、解析処理の開始を指示する操作を行うと、記憶部に記憶された撮像情報に対して解析処理が行われ、測定対象物の三次元形状が表示装置に表示され、また、測定対象物に存在する凹凸の最大深さ或いは、凹凸が生じている部位の面積等が表示される。
作業者はこの表示を見ることによって、測定対象物の凹凸の発生状況や凹凸の生じている面積、深さ等を認識することができる。
このように、車輪7を測定対象物の表面に当接させた状態でヘッド部2を測定対象物の表面に沿って移動させることにより、測定対象物の表面の状況が、光切断線a2及びLED照射領域a1の撮像画像として表示装置に表示される。そのため、作業者は実際に測定対象物を目視しなくても、撮像画像を見ることにより、測定対象物の表面の三次元形状を容易に認識することができる。また、光切断線a2の取得と、測定対象物の表面の撮像画像の取得とを、個別に行うようにした場合、光切断線a2に対応する、測定対象物の表面の撮像画像を得るためには、光切断線a2の取得のための走査を行った箇所をもう一度走査する必要があり、走査箇所がずれた場合には、光切断線a2に対応した表面の撮像画像を得ることができない。図1に示す三次元形状計測装置1の場合、一度の走査で光切断線a2とこの光切断線a2に対応する表面の撮像画像を得ることができ、使い勝手を向上させることができると共に、光切断線a2に対応する表面の撮像画像を容易に得ることができる。
また、ヘッド部2は、図1に示すように、図1においてY軸方向に長い撮像装置11及びレーザスリット光源13を、Y軸方向に沿って配置し、ミラー12及びミラー14を設けることにより、Z軸方向、つまり高さ方向の光路長を短くしている。そのため、撮像装置11の光軸及びレーザスリット光源13の照射方向が測定対象物の表面に対して垂直となるように配置される場合と比較して、ヘッド部2及び脚部6のZ軸方向の長さをより短くすることができ、その分、ヘッド部2の薄型化及び小型化を図ることができる。
そのため、水力発電所の水車羽根の形状計測を行う場合等、測定対象物の周囲の空間が狭い場所に存在する測定対象物の計測を行う場合等であっても、車輪7a、7bを測定対象物に接した状態で移動させることができる。そして、作業者は、目視を行うことはできないものの、ヘッド部2の現在位置における測定対象物の状況は撮像画像としてタブレットPC21に表示されるため、撮像画像を見ながらヘッド部2を移動させることによって、目視ができない部位の凹凸状況等も容易に把握することができる。つまり、目視はできない水車羽根の実際の摩耗状況を把握することができるため、水車羽根の修理のタイミングを的確に判断することができ、結果的に水車羽根の点検と修理の周期を延長することができる。
水力発電所の水車羽根等大型の部材の形状計測を行う場合には、タブレットPC21とヘッド部2とを携帯し、ヘッド部2を走査しながらタブレットPC21に表示される撮像画像を参照しながら計測を行えばよい。
また、車輪7を測定対象物の表面に当接させた状態でヘッド部2を測定対象物の表面に沿って移動させるという簡易な操作で計測を行うことができ、また、ヘッド部2と解析処理部3という簡易な構成で安価に実現することができるため、使い勝手を向上させることができ、汎用性の高い三次元形状計測装置を実現することができる。
また、ヘッド部2の走査方向であるY軸方向と直交するX軸方向に配置された2つの脚部6a、6bを架台5に固定し、脚部6a、6bに設けられた車輪7a、7bを測定対象物の表面に当接させた状態で、撮像装置11の光軸が測定対象物の表面と平行となるようにヘッド部2を維持するようにしている。ここで、測定対象物が平坦面と曲率の異なる曲面とが組み合わさったような複雑な形状であるとき、ヘッド部2を四輪で支持するようにした場合、各輪が接する部分に形状の異なる凹凸が生じている時等には、架台5を四輪で支持することはできるものの、撮像装置11の光軸が測定対象物の表面と平行となるようにヘッド部2を保持することが困難となる。そのため、測定対象物とヘッド部2とを一定距離に保つことができず、得られる光切断線a2に、測定対象物に生じた凹凸に起因する振動だけでなく、測定対象物の形状そのものに起因する振動も含まれる可能性がある。
これに対し、図1に示すヘッド部2では、2つの車輪7a、7bを測定対象物の表面に当接させた状態で、撮像装置11の光軸が測定対象物の表面と平行となるようにヘッド部2を維持するようにしており、測定対象物とヘッド部2との間の距離を、脚部6a、6bのみを介して保つようにしている。そのため、ヘッド部2を四輪で支持する場合と比較して、測定対象物とヘッド部2との間の距離を、より一定に保つことができ、測定対象物の形状そのものに起因する測定対象物とヘッド部2との間の距離変動を抑制することができる。その結果、撮像装置11やレーザスリット光の焦点が合った条件下で測定対象物の計測を行うことができるため、測定対象物の表面の微小な凹凸形状等をより精度良く検出することができる。さらに四輪を設ける場合と比較して二輪を設ける方が三次元形状計測装置1の小型化を図ることができる。
また、ミラー12で直角に折り曲げられた撮像装置11の光軸と、ミラー14で折り曲げられたレーザスリット光源13から出射されたレーザスリット光とが、車輪7a、7bと車輪7が当接される平面との接点間を結ぶ直線上で重なるようにすることによって、ミラー14で折り曲げられたレーザスリット光源13の照射光が、車輪7a、7bと測定対象物との接点間を結ぶ直線上を照射するようにしている。そのため、撮像装置11の光軸が測定対象物の表面と平行となるように作業者がヘッド部2を保持している状態で、手振れ等によりヘッド部2がヘッド部2の走査方向前後に傾いたとしても、ヘッド部2の姿勢変化に伴うレーザスリット光の照射位置の変化は、ミラー14で折り曲げられたレーザスリット光源13の照射光が、車輪7a、7bと測定対象物との接点間を結ぶ直線よりもY軸方向に離れた位置を照射する場合に比較して小さい。
このため、手振れ等によりヘッド部2の姿勢を一定に保つことができず測定対象物とヘッド部2との間の距離を一定とすることができないことに起因した、光切断線a2に生じる誤差を低減することができ、結果的に、三次元形状の計測精度の低下を抑制することができる。
また、ミラー12で直角に折り曲げられた撮像装置11の光軸と、ミラー14で折り曲げられたレーザスリット光とが、車輪7a、7bと車輪7が当接される平面との接点間を結ぶ直線上で重なるようにすることにより、撮像装置11が、車輪7と車輪7が当接される平面との接点間を結ぶ直線を中心としてこの接点間を結ぶ直線を含む領域を撮影するようにしている。そのため、撮像画像において、光切断線a2が上下方向中央に位置して表示され、撮像画像において上下方向中央が光切断線a2の基準となるため、光切断線a2の振幅方向を視覚的に容易に認識することができ、その結果、測定対象物が凹状であるのか凸状であるのかを容易に認識することができる。
また、水車羽根の摩耗計測においては、水車羽根全体の曲面形状そのものを計測することを目的としておらず、水車羽根全体の曲面形状のうちの、局所的な摩耗形状を計測することを目的としている。本実施形態では、前述のように、車輪7を測定対象物の表面に当接させ、撮像装置11の光軸が測定対象物の表面と平行となるようにヘッド部2を維持した状態で測定対象物の表面に沿って移動させることにより、測定対象物とヘッド部2との間の距離が一定となるようにすることができるため、水車羽根全体の曲面形状の変化は検出せずに、局所的な摩耗形状のみを計測することができる。
また、車輪7は磁石等によって構成されているため、測定対象物が鉄や、磁性を持つステンレス等の鋼からなる素材の場合には、車輪7が常に測定対象物に吸着し、車輪7がスリップすることなく回転する。そのため、ロータリエンコーダ8から出力されるパルス信号は、車輪7の回転数を高精度に反映した信号となり、測定対象物上におけるヘッド部2の位置を高精度に検出することができる。
また、車輪7が磁石によって常に測定対象物に吸着しているため、常に車輪7の測定対象物との接点を基準とする測定対象表面の形状計測を行うことができる。
さらに、車輪7が測定対象物に吸着しているため、ヘッド部2の走査方向が車輪7の向きで制約される。そのため、左右方向のスリップを抑制することがないため、ヘッド部2を前後方向に安定して移動させることができ、垂直な面や天井等、水平な面ではない場所であっても計測することができる。
また、車輪7が測定対象物に吸着するため、図3(b)に示すようにヘッド部2に治具28を取り付けて測定対象物を走査する場合等でも、車輪7を常に測定対象物の表面に当接させた状態で移動させることができ安定した計測を行うことができる。
また、測定対象物上におけるヘッド部2の現在位置を、ロータリエンコーダ8を用いて計測している。そのため、ヘッド部2を作業者が手で移動させたときに、ヘッド部2の移動速度が一定でなくとも、測定対象物上におけるヘッド部2の現在位置を高精度に検出することができる。したがって、このヘッド部2の現在位置に基づき検出される測定対象物の三次元形状をより高精度に構築することができる。
また、本実施形態における三次元形状計測装置1を用いることにより、測定対象物の外観を撮像画像上で観察することができるため、例えば水車羽根等において、従来目視確認することができないような奥まった部位についても、摩耗状況を容易に観察することができる。さらに、光切断線から摩耗の発生を認めた部位について、その外観をLED照射領域a1において観察することができるため、摩耗部の目視検出と形状計測とを容易に行うことができる。
なお、上記実施形態においては、取得した所定データ数分の撮像画像に基づき測定対象物の三次元形状を演算し、この三次元形状に基づき測定対象物の凹凸の深さ等を検出する場合について説明したが、これに限るものではない。例えば、図9に示すように、撮像画像に対し、光切断線の変動状況から測定対象物の凹凸量を目視で判断するための罫線L1を重畳表示するようにしてもよい。
つまり、車輪7を平面に当接させ、撮像装置11の光軸が、車輪7が当接された平面と平行となるようにヘッド部2を維持した状態で、車輪7が当接された平面を撮影した撮像画像においては、光切断線a2は常に車輪7間を通る直線と重なる位置に表示される。そこで、この直線に相当する基準線L2と、基準線L2に平行な、所定の凹凸量に相当する複数の罫線L1とを、重畳表示する。
これによって、得られる光切断線a2と罫線L1との関係から、撮像画像において凹凸量を速やかに認識することができる。例えば、罫線L1のピッチを測定対象物の凹凸1mm相当に設定すれば、何mmの凹凸が形成されているのかを撮像画像から容易に認識することができる。
特に、水車羽根の摩耗部位の評価を行う場合、摩耗部位の最大深さで摩耗程度を評価する場合がある。その場合、摩耗部位を含む領域を含むようにヘッド部2を走査させ、撮像画像から、光切断線a2の振幅状況を観察して光切断線a2の振幅が最大となる位置を見つけることで、三次元形状演算を行うことなく、おおよその最大深さを容易に認識することができる。
さらに、撮像画像には、光切断線a2とLED照射領域a1とが含まれ、LED照射領域a1は測定対象物の光切断線a2に相当する部分近傍の領域を撮影したものであるから、LED照射領域a1を参照することによって、光切断線a2に対応する部位近傍の外観形状を観察することができる。すなわち光切断線a2により最大深さを判断された部位近傍の外観をLED照射領域a1で観察することができるため、測定対象物を目視している場合と同様に観察することができる。
また、このとき、LED照射領域a1についてのみ局所的に照射するようにしているため、LED照射領域a1用の照射と、光切断線a2用の照射とを同時に行ったとしても、LED照射領域a1の明るさによって光切断線a2が見えにくくなる等が生じることはなく、LED照射領域a1と光切断線a2とを同時に一つ撮像画像に含めることができる。そのため、例えば、LED照射領域a1撮影用の撮像装置と光切断線a2撮影用の撮像装置とを個別に設ける必要はなく、一つの撮像装置11によって、LED照射領域a1及び光切断線a2を共に撮影することができる。つまり、三次元形状計測装置1の構成品の削減を図ることができるため、その分、ヘッド部2の小型化を図ることができる。また、レーザスリット光を折り曲げるためのミラー14を利用して、白色LED光源15の照射光も反射させているため、別途白色LED光源15の照射光を反射させるためのミラーを設ける必要がなく、その分、ヘッド部2の小型化を図ることができる。
また、上記実施形態においては、ミラー12で折り曲げられた撮像装置11の光軸と、ミラー14で折り曲げられたレーザスリット光源13の照射光とが、車輪7a、7bと車輪7が当接される平面との接点間を結ぶ直線上で重なるようにすることで、撮像装置11の撮像画像において、その上下方向中央部に光切断線a2が位置するようにしている。したがって、ヘッド部2が測定対象面から傾いても、傾きの支点がタイヤ中心軸となるために、基準高さ(タイヤ接地面)ではヘッド部2の傾きによる光切断線位置のずれは少なく、形状演算による高さ誤差は少ない。
また、ヘッド部2を測定対象物に沿って走査することで、三次元形状を構築することができるため、ヘッド部2によって走査することができれば水車羽根に限らず、自由形状の測定対象物の三次元計測を行うことができる。
<変形例1>
上記実施形態においては、ミラー12で折り曲げられた撮像装置11の光軸と、ミラー14で折り曲げられたレーザスリット光源13の照射光とが、車輪7a、7bと車輪7が当接する平面との接点間を結ぶ直線上で重なるようにした場合について説明したがこれに限るものではない。車輪7を平面に当接させ、カメラ光軸のラスタ方向とレーザスリット光とが平行になるように調整した状態で、車輪7a、7bと平面との接点間を結ぶ直線が、車輪7が当接された平面上でY軸方向に平行に前後していても構わない。つまり、例えば、図10(a)に示すように、ミラー12で折り曲げられた撮像装置11の光軸とミラー14で折り曲げられたレーザスリット光の中心との位置関係はそのままで、脚部6のみをヘッド部2のミラー12側の先端部に設けてもよく、逆に、図10(b)に示すように、脚部6のみをレーザスリット光源13の近傍に設けてもよい。このように、脚部6を移動させたとしてもヘッド部2が測定対象物の表面に対して平行であれば測定精度は同等であるが、光軸線と脚部位置が異なっているためヘッド部2の傾きが大きくなると、高さの測定誤差が大きくなる。そのため、ヘッド部2は測定対象物の表面に対して平行となるように走査させることが好ましい。
なお、図10(a)、(b)では、三次元形状計測装置1を簡略化しているが、図1に示す三次元形状計測装置1と配置位置は異なるが同一構成を有する。
同様に、ミラー12で折り曲げられた撮像装置11の光軸が、車輪7a、7bと測定対象物との接点間を結ぶ直線よりもY軸方向に離れた位置、つまり、車輪7a、7bと測定対象物との接点間を結ぶ直線を含む予め設定した領域内で測定対象物と交差するようにしてもよい。この場合、撮像画像における光切断線の表示位置が、撮像画像の上下方向にずれるため、撮像画像における光切断線の表示位置を考慮して、撮像装置11の光軸が撮像対象物と交差する位置、つまり、撮像装置11の撮像中心を設定すればよい。
<変形例2>
上記実施形態においては、磁石等からなる車輪7を用いた場合について説明したが、車輪に限らず、ローラ、ボールキャスター等、走査方向に回転することの可能な回転体であれば適用することができる。ヘッド部2を測定対象物に対して一方向に走査させる観点から、車輪やローラ等、回転方向が一方向に制限される回転体を用いれば、走査時の手振れ等を低減することができる。
また、磁石に限らず、例えば、車輪7の表面に吸盤シート等の吸着性のある部材を配置する等、測定対象物に対して張り付く性質を有する素材で回転体を形成することで、車輪7を測定対象物に張り付いた状態に維持するようにしてもよい。
また、例えば、車輪7を設けずに脚部6を測定対象物の表面に直接当接させるようにしてもよい。車輪7を設けない場合、脚部6の測定対象物との接点が支点となってヘッド部2が傾く。車輪7を設けた場合、車輪7の回転中心が支点となってヘッド部2が傾くため、車輪7を設けない場合の方が、ヘッド部2が傾くことにより生じる光切断線の誤差を低減することができる。
<変形例3>
上記実施形態においては、ロータリエンコーダ8により、測定対象物上におけるヘッド部2の現在位置を検出する場合について説明したがこれに限るものではない。例えば、ヘッド部2の移動量を検出する移動量検出部としてリニアエンコーダを用い、測定対象物の表面の一部に固定点を設け、ヘッド部2にリニアエンコーダのセンサ部を設け測定対象物の固定点を基準としてリニアエンコーダのスケール部を設けること、或いは、ヘッド部に距離センサを設け、固定点からの移動距離を距離センサで検出すること等により、固定点からの移動距離を計測するようにしてもよい。車輪7を設けない場合には、このような距離センサによりヘッド部2の位置を検出するようにすればよい。
また、例えば、ヘッド部2の移動量を簡易的に検出するため、撮影画像の取り込みを等時間間隔で行うようにしてもよい。この場合、予めヘッド部2の移動距離を決めておき、決めておいた移動距離の範囲を、ヘッド部2が一定速度で移動するようにすれば、移動量を簡易に検出することができる。
<変形例4>
上記実施形態においては、ヘッド部2に2つの脚部6a、6bのみを固定し、この脚部6a、6bに設けられた車輪7a、7bを測定対象物の表面に当接させることにより、測定対象物とヘッド部2との間の距離を一定に保つ場合について説明しているがこれに限るものではない。例えば、測定対象物の表面が比較的なだらかな曲面或いは平面である場合には、脚部6a、6bとは別に、Y軸方向の位置が脚部6a、6bとは異なる位置に、脚部6a、6bと同じ長さの脚部を新たに設け、これら全ての脚部を測定対象物の表面に当接させる。これによって、ヘッド部2を、撮像装置11の光軸が測定対象物の表面と平行となるように維持するようにしてもよい。この場合、新たに設ける脚部を取り外し可能に構成し、測定対象物の表面が比較的なだらかな曲面或いは平面であるときには、取り外し可能な脚部を取り付けることによって、測定対象物の表面がなだらかな場合用の三次元形状計測装置と、測定対象物の表面が比較的複雑な凹凸形状である場合用の三次元形状計測装置とで、切り替え可能に構成してもよい。
また、Y軸方向の位置が脚部6a、6bとは異なる位置に、脚部6a、6bよりも多少長さの短い脚部を新たに設け、測定対象物の計測を行うときには脚部6a、6bのみを測定対象物の表面に当接させ、計測中に、一時的にヘッド部2の移動を停止する場合等には、脚部6a、6bと、新たに設けたより短い脚部とを、測定対象物の表面に当接させることによって、計測中ではないときにヘッド部2が自立できるように構成してもよい。
<変形例5>
上記実施形態においては、撮像装置11から常時撮像情報が出力される場合について説明したがこれに限るものではない。例えば、カウンタ部23から所定の移動距離毎にトリガ信号を発生させて撮像装置11に出力し、撮像装置11がトリガ信号を受信するタイミングで撮像情報をタブレットPC21に送信する。これによって、ヘッド部2が一定距離移動する毎に画像情報をタブレットPC21に出力する構成としてもよい。
<変形例6>
上記実施形態においては、白色LED光源15を設けることによりLED照射領域a1の画像も得るようにしているが、必ずしもLED照射領域a1の画像を取得しなくともよい。例えば、曲面に細工された装飾品等の三次元形状を構築することができればよく、表面の状態は目視することができるような場合には、撮像装置11によりレーザスリット光による光切断線を収集すれば三次元形状を構築することができる。この場合、必ずしも撮像画像を表示装置に表示しなくともよい。この場合、図9と同様に、光切断線a2の変動状況から測定対象物の凹凸量を目視で判断するための罫線を重畳表示するようにすれば、表示画面上において、測定対象物の凹凸の程度を容易に認識することができる。
<変形例7>
上記実施形態においては、ヘッド部2を、Y軸方向、つまり、ミラー12側に走査するようにした場合について説明したが、これに限らず、ミラー12とは逆側に走査するようにしてもよい。ヘッド部2をミラー12側及び逆側共に走査する場合には、例えばタブレットPC21において、走査方向を入力するようにし、設定された走査方向を考慮して三次元形状を構築すればよい。
<変形例8>
図1に示すように架台5の上側に配置された撮像装置11及びミラー12と、架台5の下側に配置されたレーザスリット光源13とミラー14と白色LED光源15とを備えたヘッド部2において、架台5を挟んで上下を入れ替え、例えば、図11に示すように、架台5の上側に、レーザスリット光源13とミラー14と白色LED光源15とを配置し、架台5の下側に、撮像装置11及びミラー12とを配置してもよい。
また、図11において、撮像装置11とレーザスリット光源13とを入れ替えてもよい。
図11では、撮像装置11として、ビデオカメラやWEBカメラ等のUSBカメラを用いている。
図11に示すように、架台5の下側に撮像装置11を配置し、架台5の上側にレーザスリット光源13を配置することによって、レーザスリット光源13のスリット光による光切断線を、この光切断線よりも内側から撮像するように、レーザスリット光源13やミラー14、また、撮像装置11やミラー12を配置することができる。つまり、レーザスリット光による光切断線を、ヘッド部2の、走査方向先端により近い位置に配置することができる。
ここで、例えば図1に示すヘッド部2の場合には、形成される光切断線がヘッド部2の走査方向先端よりも内側に形成されるため、例えば、ヘッド部2を突き当たりまで走査させたとしても、ヘッド部2の走査方向先端とレーザスリット光により形成される光切断線との距離相当だけヘッド部2の走査方向先端から内側の位置までしか計測を行うことができない。これに対し、図11に示すヘッド部2の場合には、ヘッド部2の走査方向の先端により近い位置に光切断線を形成することができる。そのため、計測可能な範囲をより広げることができ、例えば、ヘッド部2を壁に突き当たるまで走査させた場合には、より壁に近い位置まで測定対象物の計測を行うことができる。
<変形例9>
上記実施形態においては、ミラー12及び14によって、撮像装置11の光軸やレーザスリット光を折り曲げることによって、これら撮像装置11の光軸及びレーザスリット光を、車輪7が当接される平面上で重なるようにした場合について説明したがミラー12及び14を設けずに構成することも可能である。
例えば図12に示すように、撮像装置11としてボードカメラ等のUSBカメラを用い、撮像装置11のレンズ11aを下側に向け、撮像装置11の光軸がXY平面に対して垂直となるように撮像装置11を架台5に配置する。また、レーザスリット光源13を、レーザスリット光が、車輪7が当接される平面上で撮像装置11の光軸と重なるように傾けて架台5に配置する。さらに、白色LED光源15を、照射側を下側に向け、照射位置がレーザスリット光の照射位置と重ならないように架台5に配置する。そして、ヘッド部2の撮像装置11のレンズ11aと重なる位置に脚部6を設ける。
これによって、側面からみて、撮像装置11の光軸とレーザスリット光と脚部6とが、測定対象物の表面で重なり、さらにレーザスリット光の照射位置と重ならない領域が、白色LED光源15により照射されることになり、この場合も、図1と同等の作用効果を得ることができる。
また、図12の場合、撮像装置11のレンズ11aは測定対象物の表面を向いているため、得られる撮像画像は作業者が測定対象物を見た場合と同等の画像となる。そのため、ミラー12を設けた場合等のように、撮像画像の向きを調整する等の処理を行う必要はなく、その分、処理負荷を軽減することができる。
図12の場合、ミラー12及び14を設けなくてすむため、その分、光軸調整を容易に行うことができると共に、部品数の削減を図ることができる。また、ミラー12、14に付着する汚れ等を考慮する必要がなく、使い勝手を向上させることができる。
<変形例10>
上記実施形態においては、レーザスリット光により形成される測定対象物の光切断線a2とレーザスリット光が照射されている領域とは異なる領域であるLED照射領域a1とを並べて表示する場合について説明したが、例えば、レーザスリット光の照射領域を含む領域をLED光源により照射し、レーザスリット光により形成される光切断線a2と、レーザスリット光の照射領域の撮像画像とを重畳表示するようにしてもよい。
つまり、例えば図13に示すように、図12に示す三次元形状計測装置において、レーザスリット光源13に代えて、赤色半導体レーザ等で構成される赤色のレーザ光を照射するレーザスリット光源16を用い、レーザスリット光源16を、レーザスリット光が、車輪7が当接される平面上で撮像装置11の光軸と重なるように傾けて架台5に配置する。さらに、白色LED光源15に代えて、例えば青色光を発する青色LED光源17を用いる。青色LED光源17は、レーザスリット光の照射領域を含む領域を照射するように架台5に配置する。このとき、青色LED光源17による照射領域をLED照射領域a11としたとき、LED照射領域a11を、撮像装置11の視野内に含むように各装置を配置する。また、撮像装置11として単板式のカラーカメラを用いる。このように単板式のカラーカメラを用いることによって、3板式のカラーカメラを用いる場合に比較して小型化を図ることができる。
解析処理部3では、図14に示すように、LED照射領域a11の撮像画像を表示する。なお、この場合には、解析処理部3では、撮像装置11の撮像情報から、レーザスリット光に対応する赤色画像を抽出し、この赤色画像、すなわち、光切断線a2を表す画像をもとに、測定対象物の三次元形状を解析する。
図14に示すように、レーザスリット光が照射されている領域を含むLED照射領域a11を画面表示することによって、作業者は、測定対象物の表面の状況と、この表面上に形成される光切断線a2とを画面上で認識することができ、実際に測定対象物上に形成される光切断線a2の状況を認識することができるため、直接測定対象物を視認することができない状況であっても、直接視認している場合と同等の画像を画面上で認識することができ、使い勝手を向上させることができる。
また、レーザスリット光の画像を、LED照射領域a11の撮像画像から分離することができるため、例えば、レーザスリット光つまり光切断線a2のみを表示するモードと、LED照射領域a11の撮像画像を表示するモードと、を切替可能に構成してもよい。
なお、ここでは、赤色のレーザ光を照射するレーザスリット光源16と、青色光を発する青色LED光源17とを用いた場合について説明したが、これに限るものではない。レーザスリット光源16の発するレーザスリット光の波長と、LED光源が発するLED照明光の波長とが異なっていればよく、要は、LED照射領域a11の撮像画像から、光切断線a2を抽出することができればどのような組み合わせであってもよく、波長が離れていることが好ましい。例えばレーザスリット光を緑色とし、LED照明光を赤色又は青色としてもよい。
また、測定対象物が金属である場合、金属表面では、光の波長が短い方が反射光が拡散しにくいため、比較的明瞭な撮像画像を得ることができる。そのため、測定対象物の素材に応じて、レーザスリット光の波長とLED照射光の波長とを選択するようにしてもよい。
また、レーザスリット光の波長とLED照明光の波長とを異なる波長とする場合に限るものではなく、例えば、レーザスリット光の強度と、LED照明光の強度とを異なる強度にすることで、レーザスリット光により形成される光切断線を、LED照明光の撮像画像から抽出するように構成してもよい。
また、レーザスリット光は常時照射するようにし、LED照明光は間欠的に照射することで、レーザスリット光により形成される光切断線をLED照明光の撮像画像から抽出するようにしてもよい。例えば、レーザスリット光は常時照射するようにし、LED照明光は例えばフレームを切り替えるタイミングでオンオフすることで、LED照明光がオフとなっているときのLED照射領域a11の撮像画像を取得し、この撮像画像をレーザスリット光に相当する画像として、三次元形状の計測を行うように構成してもよい。
なお、ここでは、図12に示す三次元形状計測装置において、レーザスリット光により形成される光切断線a2と、レーザスリット光の照射領域の撮像画像とを重畳表示する場合について説明したが、これに限るものではなく、図1に示す三次元形状計測装置において、レーザスリット光により形成される光切断線a2と、レーザスリット光の照射領域の撮像画像とを重畳表示するように構成することも可能である。
<変形例11>
図14に示すようにレーザスリット光が照射されている領域を含むLED照射領域a11を画面表示する場合において、さらに、図9と同様に、撮像画像に対し、光切断線a2の変動状況から測定対象物の凹凸量を目視で判断するための罫線を重畳表示するようにしてもよい。
このように、測定対象物の凹凸量を判断するための罫線を重畳表示することによって、正確な凹凸量は検出することはできないものの、測定対象物の実際の表面形状と、この表面形状にレーザスリット光が照射されることで形成される光切断線a2と、罫線とが同時に表示されるため、作業者は測定対象物の計測を行うと同時に凹凸量の概算値を容易に認識することができ、より使い勝手を向上させることができる。
また、このように、測定対象物の凹凸量を目視で判断するための罫線を重畳表示する場合、測定対象物の凹凸量の概算値を得ることができるため、例えば、三次元形状の算出までを行う通常の計測モードと、三次元形状の算出は行わずに、計測時に測定対象物の実際の表面形状と、この表面形状にレーザスリット光が照射されることで形成される光切断線a2と、罫線とを表示することで、作業者が凹凸量の概算値を視認する簡易的な計測モードと、を切替可能に構成し、作業者が、計測時にいずれかのモードを選択するように構成してもよい。
また、簡易的な計測モードのみを実行する機能のみを備えた三次元形状計測装置を構成してもよい。簡易的な計測モードのみを実行する機能のみを備えた三次元形状計測装置の場合、ロータリエンコーダ8やカウンタ部23等を設ける必要がないため、三次元形状計測装置の小型化やコスト削減を図ることができる。
<変形例12>
上記実施形態において、タブレットPC21の記憶部に、カウント数と対応付けられて格納された撮像情報をもとに、図15に示すように、測定対象物の凹凸量を簡易的に演算し画面表示できるように構成してもよい。
例えば、作業者がタブレットPC21を操作することによって、例えば再生モードを指示し、図15に示すように、LED照射領域a11を撮影した撮像情報を順に記憶部から読み出し、撮像情報を表示する。また、図9と同様に、目視での凹凸量の計測を可能とする、複数の罫線L1と基準線L2とを重畳表示する。
そして、タブレットPC21の表示装置をタッチパネルを備えた表示装置で構成しておき、作業者がタブレットPC21の表示画面を指でタッチすると、その箇所の凹凸量を演算し、画面に表示するように構成する。例えば、作業者がタッチした箇所に矩形の計測マークMが表示されるようにする。この計測マークMは、縦長の長方形からなるボックス部と、ボックス部の幅方向中央を通る縦方向基準線とで構成される。解析処理部3では、縦方向基準線とボックス部内で検出された光切断線a2との交点位置に対応する、測定対象物上の位置の高さを、基準線L2の位置を基準として演算し、画面表示する。作業者は、計測マークMを指でドラッグし、計測マークMの縦方向基準線を、光切断線a2の凹凸量を検出したい位置に合わせることで、光切断線a2の位置に対応する測定対象物上の位置の凹凸量を画面表示させることができる。
図16は、凹凸量演算時におけるタブレットPC21の演算処理部での処理手順の一例を示すフローチャートである。
タブレットPC21では、表示画面においてタッチ入力がされたことを検出すると、タッチ位置を検出し(ステップS21)、タッチ位置近傍に計測マークMを表示する(ステップS22)。そして、作業者が計測マークMをドラッグすること等により計測マークMの位置決めが行われ、計測位置が確定したと判断したならば(ステップS23)、ステップS24に移行する。
ステップS24では、縦方向基準線とボックス内で検出された光切断線との交点位置に対応する、測定対象物上の位置の高さを演算する。すなわち、光切断線a2上の各点の座標値(x,y,z)を三次元データ算出時と同様の手順で演算し、この座標値と基準点、すなわち基準線L2からの距離を求める。
そして、求めた距離を、計測マークMの近傍に表示する(ステップS25)。これによって、図15に示すように、計測マークMで指定される、光切断線a2上の点における距離、つまり高さが表示される。
なお、ここでは、光切断線a2を含むLED照射領域a11を撮影した撮像情報に対して、光切断線a2の高さを表示する場合について説明したが、例えば、図1に示す三次元形状計測装置において、光切断線a2の高さを表示するように構成してもよい。
また、光切断線a2の高さを自動的に演算して表示する場合には、目視での凹凸量の計測に用いられる罫線L1を必ずしも表示しなくともよい。
<変形例13>
また、上記実施形態において、撮像装置11として、携帯電話やスマートホン等を適用することも可能である。
ここで、上記実施形態において、レーザスリット光源13が特許請求の範囲に記載のスリット光源に対応し、白色LED光源15が照明光源に対応し、ロータリエンコーダ8、カウンタ部23及びステップS14の処理が位置検出部に対応し、車輪7が回転体に対応し、ロータリエンコーダ8が回転数検出部に対応し、タブレット型パーソナルコンピュータ21が解析処理部に対応している。
なお、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらす全ての実施形態をも含む。さらに、本発明の範囲は、全ての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画され得る。
1 三次元形状計測装置
2 ヘッド部
3 解析処理部
5 架台
6、6a、6b 脚部
7、7a、7b 車輪
8 ロータリエンコーダ
11 撮像装置
12 ミラー
13 レーザスリット光源
14 ミラー
15 白色LED光源
16 レーザスリット光源
17 青色LED光源
21 タブレット型パーソナルコンピュータ(タブレットPC)

Claims (18)

  1. 測定対象物にスリット光を照射するスリット光源と、撮像装置と、照明光源と、を有するヘッド部を備え、
    前記照明光源は、前記スリット光を照射することにより得られる前記測定対象物上の光切断線を除く前記測定対象物上の領域のみを照射し、
    前記撮像装置は、前記光切断線と前記照明光源の照明光による照射領域とを同時に視野内に含むことを特徴とする三次元形状計測装置。
  2. 測定対象物にスリット光を照射するスリット光源と、撮像装置と、照明光源と、を有するヘッド部と、
    前記撮像装置による撮像画像を表示する表示装置と、を備え、
    前記照明光源は、前記スリット光を照射することにより得られる前記測定対象物上の光切断線を含む前記測定対象物上の領域を照射し、
    前記撮像装置は、前記光切断線を含む前記照明光源の照明光による照射領域を視野内に含み、
    前記照明光源は、前記スリット光を照射することにより得られる前記測定対象物上の光切断線を、前記表示装置に表示された画面上において認識可能な前記照明光を照射することを特徴とする三次元形状計測装置。
  3. 前記照明光源は、波長又は強度が前記スリット光と異なる前記照明光を照射することを特徴とする請求項2に記載の三次元形状計測装置。
  4. 測定対象物にスリット光を照射するスリット光源と、撮像装置と、照明光源と、を有するヘッド部と、
    前記撮像装置による撮像画像を表示する表示装置と、を備え、
    前記照明光源は、前記スリット光を照射することにより得られる前記測定対象物上の光切断線を含む前記測定対象物上の領域を照射し、
    前記撮像装置は、前記光切断線を含む前記照明光源の照明光による照射領域を視野内に含み、
    前記照明光源は、間欠的に前記照明光を照射することを特徴とする三次元形状計測装置。
  5. 前記ヘッド部には、当該ヘッド部の走査方向に対して直交する方向に間隔を空けた一対の脚部が固定されており、
    前記ヘッド部は、その走査時には、前記一対の脚部のみを介して前記測定対象物との間の距離を保った状態で当該測定対象物上を移動するようになっていることを特徴とする請求項1から請求項4のいずれか一項に記載の三次元形状計測装置。
  6. 測定対象物にスリット光を照射するスリット光源及び撮像装置を有するヘッド部と、
    当該ヘッド部に固定された脚部と、を備え、
    前記脚部は、前記ヘッド部の走査方向に対して直交する方向に間隔を空けて設けられた一対の脚部であり、前記ヘッド部はその走査時には、前記一対の脚部のみを介して前記測定対象物との間の距離を保った状態で当該測定対象物上を移動することを特徴とする三次元形状計測装置。
  7. 前記スリット光源は、前記ヘッド部の走査方向に対して直交する方向に延びる予め設定した領域内を照射し、
    前記撮像装置は、前記スリット光を照射することにより得られる前記測定対象物上の光切断線を視野内に含むことを特徴とする請求項6に記載の三次元形状計測装置。
  8. 前記脚部は、前記ヘッド部とは逆側の端部に、前記ヘッド部の走査方向と直交する軸回りに回転する回転体を備えることを特徴とする請求項5から請求項7のいずれか一項に記載の三次元形状計測装置。
  9. 前記回転体は前記測定対象物に対して張り付く性質を有することを特徴とする請求項8に記載の三次元形状計測装置。
  10. 前記ヘッド部に設けられ前記回転体の回転数を検出する回転数検出部と、
    前記測定対象物上における前記ヘッド部の位置情報を検出する位置検出部と、
    を備え、
    当該位置検出部は、前記回転数検出部の検出値に基づき前記ヘッド部の位置情報を検出することを特徴とする請求項8又は請求項9に記載の三次元形状計測装置。
  11. 前記測定対象物に設けられた固定点を基準として前記ヘッド部の移動量を検出する移動量検出部と、
    前記測定対象物上における前記ヘッド部の位置情報を検出する位置検出部と、
    を備え、
    当該位置検出部は、前記移動量検出部の検出量に基づき前記ヘッド部の位置情報を検出することを特徴とする請求項1から請求項9のいずれか一項に記載の三次元形状計測装置。
  12. 前記撮像装置による撮像画像を表示する表示装置を備えることを特徴とする請求項1又は請求項6に記載の三次元形状計測装置。
  13. 前記表示装置は、前記撮像画像に含まれる光切断線で表される前記測定対象物の凹凸量を表す罫線と、前記光切断線とを重畳表示することを特徴とする請求項2から請求項4及び請求項12のいずれか一項に記載の三次元形状計測装置。
  14. 前記撮像装置による撮像画像から光切断線を抽出し、当該光切断線と前記位置検出部で検出した位置情報とに基づき前記測定対象物の三次元形状を演算する解析処理部を備えることを特徴とする請求項10又は請求項11に記載の三次元形状計測装置。
  15. 前記撮像装置による撮像画像を表示するタッチパネルを備えた表示装置を有し、
    前記解析処理部は、前記撮像画像に含まれる前記光切断線のうち、前記タッチパネルを操作することにより指示された位置における凹凸量を演算し、演算結果を前記表示装置に表示することを特徴とする請求項14に記載の三次元形状計測装置。
  16. 前記測定対象物は、水車やタービン等を含む流体機械の羽根であって、前記三次元形状から前記羽根の摩耗形状を計測することを特徴とする請求項14又は請求項15に記載の三次元形状計測装置。
  17. 請求項5から請求項10のいずれか一項に記載の三次元形状計測装置を用いた三次元形状計測方法であって、
    作業者が前記ヘッド部を直接把持するか又は治具を介して間接的に把持した状態で、前記脚部の先端を測定対象物の表面に当接させ、その当接を維持したまま前記測定対象物の表面に沿って前記ヘッド部を走査方向に移動させつつ、前記撮像装置により前記測定対象物を撮影し、
    前記ヘッド部が走査されることによって得られた前記撮像装置による撮像画像に含まれる、前記スリット光を照射することにより得られた前記測定対象物上の光切断線に基づき前記測定対象物の三次元形状を演算することを特徴とする三次元形状計測方法。
  18. 請求項5に記載の三次元形状計測装置を用いた三次元形状計測方法であって、
    作業者が前記ヘッド部を直接把持するか又は治具を介して間接的に把持した状態で、前記脚部の先端を測定対象物の表面に当接させ、その当接を維持したまま前記測定対象物の表面に沿って前記ヘッド部を走査方向に移動させつつ、前記撮像装置により前記測定対象物を撮影することを特徴とする三次元形状計測方法。
JP2018034920A 2017-03-03 2018-02-28 三次元形状計測装置及び三次元形状計測方法 Active JP7081941B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017041041 2017-03-03
JP2017041041 2017-03-03

Publications (2)

Publication Number Publication Date
JP2018146576A true JP2018146576A (ja) 2018-09-20
JP7081941B2 JP7081941B2 (ja) 2022-06-07

Family

ID=63591914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018034920A Active JP7081941B2 (ja) 2017-03-03 2018-02-28 三次元形状計測装置及び三次元形状計測方法

Country Status (1)

Country Link
JP (1) JP7081941B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1019525A (ja) * 1996-07-03 1998-01-23 Tokai Rika Co Ltd 形状測定装置
JP2000337823A (ja) * 1999-05-27 2000-12-08 Mitsubishi Heavy Ind Ltd 表面検査装置及び表面検査方法
JP2003315020A (ja) * 2002-04-19 2003-11-06 Nissan Motor Co Ltd 隙間および段差の測定装置および測定方法ならびに測定プログラム
JP2006242674A (ja) * 2005-03-02 2006-09-14 Moritex Corp 光切断測定装置及び輝線像撮像装置
JP2008175625A (ja) * 2007-01-17 2008-07-31 Konica Minolta Sensing Inc 三次元測定装置及び携帯型計測器
JP2009511163A (ja) * 2005-10-14 2009-03-19 アプライド リサーチ アソシエイツ エヌゼット リミテッド 表面特徴を観察する方法とその装置
JP2016168094A (ja) * 2015-03-11 2016-09-23 シチズンホールディングス株式会社 光脱毛装置
JP2017142188A (ja) * 2016-02-12 2017-08-17 Ckd株式会社 三次元計測装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1019525A (ja) * 1996-07-03 1998-01-23 Tokai Rika Co Ltd 形状測定装置
JP2000337823A (ja) * 1999-05-27 2000-12-08 Mitsubishi Heavy Ind Ltd 表面検査装置及び表面検査方法
JP2003315020A (ja) * 2002-04-19 2003-11-06 Nissan Motor Co Ltd 隙間および段差の測定装置および測定方法ならびに測定プログラム
JP2006242674A (ja) * 2005-03-02 2006-09-14 Moritex Corp 光切断測定装置及び輝線像撮像装置
JP2009511163A (ja) * 2005-10-14 2009-03-19 アプライド リサーチ アソシエイツ エヌゼット リミテッド 表面特徴を観察する方法とその装置
JP2008175625A (ja) * 2007-01-17 2008-07-31 Konica Minolta Sensing Inc 三次元測定装置及び携帯型計測器
JP2016168094A (ja) * 2015-03-11 2016-09-23 シチズンホールディングス株式会社 光脱毛装置
JP2017142188A (ja) * 2016-02-12 2017-08-17 Ckd株式会社 三次元計測装置

Also Published As

Publication number Publication date
JP7081941B2 (ja) 2022-06-07

Similar Documents

Publication Publication Date Title
JP6291562B2 (ja) 有向性のプローブ処理による、三次元スキャナにおける多経路干渉の診断および排除
JP6355710B2 (ja) 非接触型光学三次元測定装置
US10119805B2 (en) Three-dimensional coordinate scanner and method of operation
US20150015701A1 (en) Triangulation scanner having motorized elements
JP6009753B2 (ja) 画像測定装置
KR20130140203A (ko) 측정 물체 표면 위에서 3d 좌표들을 결정하기 위한 광학 측정 방법 및 측정 시스템
JP2014515107A5 (ja)
US20210190483A1 (en) Optical sensor with overview camera
WO2011011193A1 (en) Integrated display in a hand-held three-dimensional metrology system
JP2019074470A (ja) 画像測定装置の調整方法
JP6934811B2 (ja) 三次元測定装置
JP3991040B2 (ja) 三次元計測装置及び三次元計測方法
JP6736424B2 (ja) 三次元測定装置
JP7081941B2 (ja) 三次元形状計測装置及び三次元形状計測方法
JP2011112578A (ja) 形状測定装置
JP2011112579A (ja) 形状測定装置
US11215449B2 (en) Three-dimensional shape measuring apparatus
WO2016113861A1 (ja) 三次元形状測定装置、三次元形状測定方法、構造物製造システム、構造物製造方法、及び測定プログラム
JP2014038015A (ja) 三次元計測装置
JP2010169634A (ja) 作業装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180307

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220526

R150 Certificate of patent or registration of utility model

Ref document number: 7081941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150