JP2018179918A - 形状計測システム、及び、形状計測方法 - Google Patents

形状計測システム、及び、形状計測方法 Download PDF

Info

Publication number
JP2018179918A
JP2018179918A JP2017084020A JP2017084020A JP2018179918A JP 2018179918 A JP2018179918 A JP 2018179918A JP 2017084020 A JP2017084020 A JP 2017084020A JP 2017084020 A JP2017084020 A JP 2017084020A JP 2018179918 A JP2018179918 A JP 2018179918A
Authority
JP
Japan
Prior art keywords
shape
image
light
measurement
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017084020A
Other languages
English (en)
Other versions
JP6968568B2 (ja
Inventor
敦史 谷口
Atsushi Taniguchi
敦史 谷口
渡辺 正浩
Masahiro Watanabe
正浩 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2017084020A priority Critical patent/JP6968568B2/ja
Priority to US15/928,693 priority patent/US10794687B2/en
Priority to DE102018108936.8A priority patent/DE102018108936A1/de
Publication of JP2018179918A publication Critical patent/JP2018179918A/ja
Application granted granted Critical
Publication of JP6968568B2 publication Critical patent/JP6968568B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954Inspecting the inner surface of hollow bodies, e.g. bores
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30132Masonry; Concrete
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】計測対象体に光を照射しながら、計測対象体の形状を撮像する撮像手段を、計測対象体に沿って移動させても、計測対象体の連続した形状を正確に計測できるシステム、及び、その方法を提供する。
【解決手段】光源と、光源からの光を対象体に照射する照射体と、照射体から対象体に照射された光に基いて、対象体を撮像する撮像体と、照射体と撮像体とを対象体に沿って移動させる移動機構と、対象体の画像に基いて、対象体の形状を計測するためのデータ処理を実行する処理ユニット20と、を備え、撮像体は、対象体に沿って移動する際に、所定タイミング毎に対象体の画像を取り込み、処理ユニット20は、対象体の画像に基いて、対象体の断面形状と移動機構の移動態様とを決定し、断面形状と移動態様とに基いて、対象体の形状を計測する。
【選択図】図1

Description

本発明は、計測対象体の三次元形状を、光学的、そして、非接触に、計測可能な形状計測システム、及び、形状計測方法に関する。
従来から、計測対象体、例えば、トンネル、配管等の管体の内面の三次元形状を光学的に非接触で計測する方法が知られている。例えば、特許文献1は、管体の内面に沿って鉛直方向の測距データと、鉛直方向に対して所定の角度傾けた方向の測距データを同時に計測し、それらのデータに基づいて管体の中心軸と装置の傾き角を算出し、算出した傾き角に基づいて位置座標を補正することにより、測定装置が傾斜している場合であっても、管体の内面を正確に測定することができる内面形状測定装置を提供することを目的として、管体の内面に沿って鉛直方向にレーザビームを走査させて、該管体の内面に照射した前記レーザビームの方位毎の測距データを出力する第1の測距データ検出手段と、前記管体の内面に沿って前記鉛直方向に対して所定角度傾けた方向にレーザビームを走査させて、該管体の内面に照射した前記レーザビームの方位毎の測距データを出力する第2の測距データ検出手段と、前記第1の測距データ検出手段、及び前記第2の測距データ検出手段を前記管体の軸方向に移動する移動手段と、該移動手段により前記第1の測距データ検出手段、及び前記第2の測距データ検出手段を移動させた時のそれぞれの位置座標を検知する位置座標検知手段と、前記第1の測距データ検出手段、並びに前記第2の測距データ検出手段により検出された測距データに基づいて前記移動手段と前記管体の軸線との傾き角度を算出し、前記位置座標検知手段により検知された位置座標を前記算出した傾き角度に基づいて補正して前記管体の内面三次元形状を生成する制御手段と、を備える、管体の内面形状を三次元的に計測する内面形状測定装置を開示している。
さらに、特許文献2は、管内面の劣化状態を正確に且つ迅速に測定することが可能な管内面形状測定装置を提供することを目的として、管内面に沿って周方向に光スポットを移動させて前記管内面を照射する光照射手段と、該光照射手段により照射された管内面の表面形状を撮像する撮像手段と、前記光照射手段および撮像手段を前記管内面の軸方向に移動する移動手段と、該移動手段により各手段を移動させた時の前記各手段の位置座標を検知する位置座標検知手段と、前記撮像手段により撮像した二次元画像と前記位置座標検知手段により検知した位置座標に基づいて管内面の三次元表面形状を演算する演算手段と、を備える、管内面の表面形状を三次元的に計測する管内面形状測定装置を開示している。
特開2012−2783号公報 特開2006−64690号公報
特許文献1と特許文献2の夫々は、管体の垂直断面の計測を開示しているが、撮像手段の移動方向と移動量はオドメトリの手法によって算出しているために、形状測定の誤差が大きくなるという課題がある。本発明は、計測対象体に光を照射しながら、計測対象体の形状を撮像する撮像手段を、計測対象体に沿って移動させても、計測対象体の連続した形状を正確に計測できるシステム、及び、その方法を提供することを目的とする。
前記目的を達成するために、本発明は、対象体の形状を計測する形状計測システムであって、光源と、前記光源からの光を前記対象体に照射する照射体と、前記照射体から前記対象体に照射された光に基いて、当該対象体を撮像する撮像体と、前記照射体と前記撮像体とを前記対象体に沿って移動させる移動機構と、前記対象体の画像に基いて、前記対象体の形状を計測するためのデータ処理を実行する処理ユニットと、を備え、前記撮像体は、前記対象体に沿って移動する際に、所定タイミング毎に前記対象体の画像を取り込み、処理ユニットは、前記対象体の画像に基いて、当該対象体の断面形状と前記移動機構の移動態様とを決定し、前記断面形状と前記移動態様とに基いて、前記対象体の形状を計測することを特徴とする。
本発明によれば、計測対象体に光を照射しながら、計測対象体の形状を撮像する撮像手段を、計測対象体に沿って移動させても、計測対象体の連続した形状を正確に計測できるシステム、及び、その方法を提供することができる。
形状計測システムの実施形態に係るハードウェアブロック図である。 形状計測システムの撮像ユニットの斜視図である。 同システムの照射ユニットの径方向の断面図である。 同システムの処理ユニットの機能ブロック図である。 同システムによる計測の動作のフローチャートである。 同システムの処理ユニットの動作のフローチャートである。 同システムの撮像ユニットの画像をRGB夫々に分解して示した、対象体の画像である。 RGBの透過率と各光源の波長の関係の特性図である。 対象体の計測タイミング毎の断面形状である。 G画像及びB画像夫々から算出した、プローブの移動態様である。 計測対象体全体の実形状データである。 第2の実施例に係る計測システムのハードウェアブロック図である。 その照射ユニットの断面図である。 その処理ユニットの動作のフローチャートである。
次に、本発明に係る、形状計測システムの実施形態を説明する。形状計測システムは、発振波長の異なる複数のレーザと、カラーカメラと、を備えるプローブを計測対象体に沿って移動させることにより、測定対象体の連続形状を計測する。形状計測システムは、計測対象体の画像データに基いて、プローブの移動態様(移動方向、及び/又は、移動量等)を算出して決定し、計測対象体の画像データとプローブの移動態様とから、計測対象体の形状を、オドメトリに起因する誤差が介入しないようにして、正確に計測することができる。撮像手段をプローブ状にすること、そして、プローブの移動量の検出機構を省略できるため、計測対象体が狭隘なもの、例えば、直径数ミリ程度の小管路の内面であっても、その計測が可能になる。
図1に形状計測システムのハードウェアブロック図を示す。形状計測システムは、計測対象体1の内面形状を計測する計測プローブ10と、計測プローブ10からの出力信号を処理する処理ユニット20と、形状計測システムの全体動作を制御する制御ユニット30と、を備えている。処理ユニット20と制御ユニット30とは、例えば、夫々、別のコンピュータ、或いは、同じコンピュータから構成されてよい。処理ユニット20は、プローブ10の移動方向、姿勢、位置等の移動態様、そして、対象体1の形状を3次元座標50において管理する。
対象体1の形状を計測する計測プローブ10は、照射ユニット110、照射ユニット110からの光をリング状に拡散させるコーンミラー130、リング状の光が計測対象体1に当り、反射光、及び、散乱光を検出する撮像ユニット140(視野角145)、照射ユニット110とコーンミラー130と撮像ユニット140とを接続するガラス管150を備える。光源ユニット100と照射ユニット110とは光ファイバ120に接続されている。プローブ10は、照射ユニット110と撮像ユニット140とを計測対象体内を計測対象体に沿って移動させる移動機構の一例である。
撮像ユニット140は、図2の斜視図に示すように、撮像レンズ141とRGBカラーカメラ142とを備える。計測プローブを小型にするため、撮像レンズ141は小径広角レンズ、RGBカラーカメラ142は内視鏡型カメラでよい。
図1に示すように、光源ユニット100は、RGBカラーカメラ142のRGBの3色の波長に夫々対応する光源を備える。符号101は赤色レーザの光源、符号102は緑色LEDの光源、符号103は、青色レーザの光源を示す。3種の光は照射ユニット110より照出される。
図3に、照射ユニット110の径方向の断面図を示す。照射ユニット110は、RGBの各光を射出するための複数のレンズを備える。符号111は、赤色レーザ101(図1)からの光に対する赤色用レンズである。符号112は、緑色LED102からの光に対する緑色用レンズであり、符号113は、青色レーザ103からの光に対する青色用レンズである。赤色用レンズ111は照射ユニット110の中心に位置し、赤色用レンズ111の周方向に沿って、緑色用レンズ112と青色用レンズ113とが交互に、夫々3個づつ配置されている。赤色レーザ101はコーンミラー130により光切断用リングビーム161(図1)となって計測対象体1に照射される。
赤色用レンズ111は、計測対象体1に対して、赤色レーザ光を、数画素程度の幅に絞る。緑色用レンズ112は、緑色LED光を広角162(図1)にして、計測対象体1に直接照射する。青色レーザ光は、コーンミラー130により、スペックル用リングビーム163として計測対象体1に照射される。青色用レンズ113は、計測対象体1において、数10画素から数100画素となって、光切断用リングビーム161に比べて広く範囲に照射される。
処理ユニット20の詳細を図4の機能ブロック図に示す。処理ユニット20は、撮像ユニット140のRGBカラーカメラ142からの出力を処理して、2次元のRGB画像を夫々生成する画像生成モジュール201と、画像生成モジュール201が生成した画像から、計測対象体1の断面形状を算出して決定する断面形状算出モジュール202と、画像生成モジュール201が生成した画像から計測プローブ10の移動方向、及び、移動量を算出して決定する移動態様算出モジュール203と、断面形状算出モジュール202が算出した断面形状と移動態様算出モジュール203が算出した移動態様とを用いて、計測対象体1の形状を算出する形状算出モジュール204と、モジュール204が算出した、対象体1の全体形状の算出データとその設計データとに基いて、両者の差分を算出する比較モジュール205と、比較モジュール205が算出した差分が予め定めた閾値以上であると、差異を異常値として抽出する抽出モジュール206と、異常値を画面に表示する表示モジュール207と、を備える。処理ユニット20は、プローブ10の移動態様を算出するに際して、例えば、SLAM(Simultaneous Localization and Mapping)を利用することができる。なお、モジュールとは、コンピュータの制御資源(コントローラ)が計測プログラム等のコンピュータアプリケーションプログラムを実行することによって実現される構成である。
図1の制御ユニット30は、計測対象体1の3次元形状計測するために、計測プローブ10の移動と処理ユニット20の動作を制御する。形状計測システムによる計測の動作のフローチャートを図5に示す。制御ユニット30に、図示しない入力装置から、計測プローブ10が画像を取得するレート、レーザ出力等の計測条件を設定する(S100)。次いで、制御ユニット30は、撮像ユニット140に撮像を開始させ、そして、計測プローブ10を手動、若しくは、自動で移動させ始める(S101)。計測システムは、計測プローブ10の移動に、手持ち手動、自動ステージ、又は、UAV(Unmanned Air Viechle)等の公知の移動方式を適用可能である。
計測プローブ10は、移動しながら、RGBカラーカメラ142から計測対象体1の画像を取得し(S102)、画像データを処理ユニット20に有線又は無線によって転送する(S103)。処理ユニット20は、画像データをメモリに保存し、そして、画像データから、計測対象体1の断面形状の情報、及び、計測プローブ10の位置と計測プローブの移動方向(x,y、zの向き)を含む移動態様(プローブ10のベクトル)を算出し(S104)、SLAM処理によって、計測対象体の形状を算出する(S105)。処理ユニット20は、計測が終了するまで、ステップS102−S105を繰り返し行うことによって、計測対象体の全体形状が算出され、その後、計測プローブ10の移動を停止させ、そして、計測対象体の画像の取得を終了させる(S106)。なお、処理ユニット20は、画像データを取得する都度計測対象体の形状(計測対象体の断面形状、及び、その向き)を算出しているが、計測対象体の画像データを全て取得した後、計測対象体の形状を算出してもよい。
次に、処理ユニット20の動作を図6のフローチャートに基いて説明する。処理ユニット20は、次のように、計測プローブ10が撮像した画像に基いて計測対象体1の形状を算出し、次いで、比較処理、及び、結果の表示を行う。
画像生成モジュール201は、撮像ユニット140がRGBカラーカメラ142によって取得した計測対象体1の画像を、RGB成分に分解する(S200)。RGB夫々に分解した画像を図7に示す。図7(A)のR画像310には、光切断用リングビーム161(図1)が計測対象体1に照射された際の反射、若しくは、散乱光に基いて生成された光切断線311が表れている。光切断線311が計測対象体(管路の内面)の横断面の形状に相当する。
図7(B)のG画像320には、緑色LED102による照明で取得された画像、即ち、プローブ10の移動方向に沿って、撮像レンズ141を介して取得されたステレオ画像が表れている。符号324は、プローブ10の前方に見える、管路の開口であり、符号321は管路内面のキズの画像であり、符号322はムラの画像であり、符号323は管路のエッジである。キズ等は、計測対象体1の表面特徴として、利用される。このことは後述する。
図7(C)のB画像330には、スペックル用リングビーム163が数10から数100画素程度の幅で計測対象体に照射された際の反射光、そして、散乱光によるスペックル331が表れている。光源はレーザであるため、撮像された計測対象体1の表面状態に依存したスペックルが発生する。
図8にRGBカラーカメラ142のRGBの透過率と各光源の波長の関係の特性を示す。この特性は、R透過率142a、G透過率142b、B透過率142cを有する。画像生成モジュール201は、R透過率142aの最大値の波長近傍に赤色レーザ波長101a(λ:図1)を設定し、G透過率142bの最大値の波長近傍に緑色LED波長102a(λ2)を設定し、B透過率142cの最大値の波長近傍に青色レーザ波長103a(λ3)を設定する。緑色LED波長102aは、赤色レーザ波長101aと青色レーザ波長103aに比べスペクトル幅が広い。
次に、断面形状算出モジュール202は、RGBの夫々の成分よって得られた3種類の画像の内、R画像310から、光切断法を用いて、計測対象体1の断面形状を取得する(S201)。図9に、その断面形状312を示す。t0-t4は計測の時間推移を示し、断面形状算出モジュール202は、夫々の計測タイミングにおいて、断面形状312を決定する。
移動態様算出モジュール203は、S202において、時間的に連続して取得した2枚のG画像320について、図7(B)に示すキズ321、ムラ322、エッジ323等からなる特徴点を抽出し、その特徴量画像を計算する。移動態様算出モジュール203は、特徴量の算出に、エッジ抽出やSIFT(Scale−Invariant Feature Transform)などを適用することができる。
移動量算出モジュール203は、所定タイミング毎、例えば、単位時間tn(n=0,1,2…)毎に取得された複数のステレオ画像320のうち、連続する2枚の画像について、同一の特徴点のペアを判定し(S203)、ペアを構成する特徴点を比較して、両者が成す距離と角度とを、計測プローブ10の移動方向及び移動量325rnとして、単位時間毎に算出する(S204)。なお、連続する2枚に限らず、さらに多くの連続枚数の画像を用いることで、計測プローブ10の移動方向、及び、移動量の精度を向上させることができる。
移動態様算出モジュール203は、さらに、単位時間tn(n=0,1,2…)毎に取得された、2枚のB画像330の相関を取り、相関画像を算出し(S205)、プローブ10の移動方向及び移動量335snを単位時間毎に算出する(S206)。移動量算出モジュール203は、相関画像の計算に、スペックル相関法と呼ばれる手法を適用することができる。なお、連続する2枚に限らず、さらに多くの画像を用いることで、計測プローブ10の移動方向、及び、移動量の精度を向上させることができる。
G画像及びB画像夫々から算出した、プローブの移動態様を図10に示す。図10は、x,y,z座標上でのプローブの単位時間tn(n=0,1,2…)毎の移動軌跡の座標を示す。符号325は、G画像320から求めた、プローブの移動の軌跡(rn:n=1,2,3…)の座標であり、符号335は、B画像330から求めた、プローブの移動の軌跡(Sn:n=1,2,3・・・)である。
図10から分かるように、両者の軌跡には若干の相違がみられる。これは、緑色LED102と青色レーザ103の特性の差に起因するためである。そこで、移動態様算出モジュール203は、二つの移動軌跡rnとsnとを、例えば、以下の式を用いて統合する(S207)
un=(m1n+m2sn)/2 ・・・・・式1
(n=0,1,2…)
m1、m2(m1+m2=1)は、夫々重み付け関数あり、移動態様算出モジュール203は、計測対象体の状態によって、m1、m2を、適宜設定してよい。
移動態様算出モジュール203が、このように、二つの移動軌跡を統合する理由は次のとおりである。緑色LED光源102の波長を持つ照明光は、計測対象体の広い領域を照射することができるために、G画像320は、撮像レンズ141から遠方までの情報を含むことができる。したがって、処理ユニット20が、G画像320の特徴点を利用してプローブ10の移動態様を算出すると、プローブ10の移動方向の精度が高くなる傾向がある。
これに対して、青色レーザ光源103の波長を持つ光は、計測対象体の狭い領域を照射するために、B画像330では、狭い範囲のスペックル相関に基づいてプローブ10の移動態様を算出する。したがって、プローブ10の移動量の精度が高くなる傾向がある。
このように、光の特定によって一長一短があるため、移動態様算出モジュール203は、二つの移動軌跡rnとsnとを、夫々、均等に重み付けて両方を組み合わせることにより、高精度に、プローブの移動態様を算出できる。移動態様算出モジュール203は、計測対象体の違いに応じて、重み付け関数m1、m2に強弱をつけてもよい。例えば、表面仕上げがなされた高精度な機械部品などは、表面に、キズ等のテクスチャが殆ど存在しないため、移動態様算出モジュール203は、G画像320を利用した画像特徴に基いて、プローブ10の移動態様を算出することは容易でなくなる。そこで、移動態様算出モジュール203は、スペックルを用いた計算の重みm2を増加さればよい。一方、表面テクスチャが多いような計測対象体では、反対に、m1を増やせばよい。移動態様算出モジュール203は、“un”の軌跡によって、プローブ10の移動態様(移動方向)を算出する。なお、プローブの移動軌跡rnとsnとの統合式は数式1に限定されない。
形状算出モジュール204は、単位時間の断面形状データ(S201)、そして、計測プローブ10の移動態様(S207)に応じて、空間座標に於ける、計測対象体の断面形状の方向(断面の中心を通る直角線の向き)を決定し(S208)、これをメモリに保存し(S208)する。処理ユニット20は、プロ―ブ10の移動が終了するまで、単位時間毎にS200からS208の処理を繰り返す。断面形状算出モジュール202も、形状データ(S201)をメモリに保存する。メモリには、複数の単位時間毎において、プローブ10の移動とともに算出された断面形状データ(断面の向きを含む)が記録されることになる。なお、算出モジュール204は、断面形状の決定に、SLAM技術を適用することができる。SLAM技術としては、カルマンフィルターを用いる方法やパーティクルフィルターを用いる方法、などがある。
形状算出モジュール204は、図11に示すように、全ての単位時間毎の断面形状を、プローブの移動態様(プローブのベクトル)に合わせて順番に繋げることによって、計測対象体1全体の実形状データ700を構築することができる(S210)。
次に、比較モジュール205は、この実形状データを、計測対象体の設計上でのデータと比較して、両者の差分を検出、抽出、決定、又は、判定する(S211)。異常抽出モジュール206は、実形状データ400と設計データとの差異、例えば、内面の歪み、変形、欠陥が予め設定した基準、或いは、閾値以上の値を異常値として抽出し(S212)、抽出した異常値の位置情報を決定する。表示モジュール207は、異常値とその位置情報に基いて、実形状データ400に異常値が発生している領域に異常値の強弱のテクスチャを表示する(S213)。
既述の計測システムは、計測対象体1に光を照射しながら、対象体の形状を取得する撮像手段を、対象体に沿って移動させても、対象体の全体形状を正確に計測できる。さらに、撮像手段の移動機構は、オドメトリの手法による移動位置の制御を必要としないために、移動機構を小型化・簡素化できるために、対象体が、狭隘な管路系であっても、その内部形状の計測を可能にする。
次に、本発明の第2の実施形態を図12〜図14を用いて説明する。第2の実施形態が既述の実施形態と異なる点は、対象体1の断面形状の計測に、光切断ではなく測距レーザを用いたことと、計測プローブ10の移動態様をスペックル画像から算出していることである。図12に、第2の実施例に係る計測システムのハードウェアブロック図を示す。計測システムは、光源ユニット100の測距ユニット104から測距レーザ165を、照射ユニット110bのレンズ115(図13)に光ファイバ120を介して導き、照射ユニットから射出した測距レーザ165を、プリズム131を介して計測対象体1の内面に照射する。計測システムは、計測対象体1からの反射、及び、散乱光を、同じ光ファイバ120を介して、測距ユニット104へ戻し、距離を計測する。プリズム131は回転モータ132に取付けられており、回転モータ132が回転することでプリズム131が回転し、測距レーザ165も回転する。これによって、計測対象体1の断面形状が計測される。
測距ユニット104としては、光コム、FMCW(Frequency Modulated Continuous Wave)、OCT(Optical Coherent Tomography)であってよい。撮像ユニット140bは、モノクロカメラを搭載して、対象体1に照射したスペックル用リングビーム163によって、対象体1を撮像する。
照射ユニット110bの断面構成を図13に示す。照射ユニットの中央に測距レーザ用レンズ115が存在する。このレンズは、計測対象体1からの反射光を集光する。測距レーザ用レンズ115の周辺には、複数の青色用レンズ113が均等に配置されている。測距用レーザの波長範囲とスペックル計測用に用いる青色レーザ103の波長範囲は、お互いの検出に影響ないよう離れた波長域であればよい。
処理ユニット20の動作のフローチャートを図14に示す。処理ユニット20は、測距システム104、及び、撮像ユニット140bのモノクロカメラ140bによって、散乱光等のデータを取得する(S300)。断面形状算出モジュール202は、測距ユニット104の距離の計測結果と回転モータ132の回転速度とから、対象体の断面形状を算出する(S301)。移動態様算出モジュール203は、相関画像を算出し(S206)、プローブ10の移動態様(移動方向及び移動量)sn を各時間tn(n=0,1,2…)で算出する(S206)。移動態様算出モジュール203は、プローブ10の移動態様の計算にG画像320を利用しないために、既述の重み付け計算(S207)を行わない。図14のフローチャートの以後の動作は、既述のS208〜S213と同じである。
第2の実施形態の計測システムによれば、光切断方式と比較して、計測対象の形状計測精度が向上する。さらに、処理ユニット20が、プローブ10の移動方向及び移動を量を算出する時にモノクロ画像を用いるため、カラー画像よりも、解像度が高い計測が可能になり、スペックル相関法による計測精度を向上できる。
本発明の実施形態は、既述のものに限定されない。例えば、計測対象体は狭隘な管路ばかりでなく、トンネルのような、大型の対象体に本発明を適用することもできる。実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
1・・・計測対象体
10・・計測プローブ
20・・処理部ユニット
30・・・制御ユニット
100・・・光源ユニット

Claims (8)

  1. 対象体の形状を計測する形状計測システムであって、
    光源と、
    前記光源からの光を前記対象体に照射する照射体と、
    前記照射体から前記対象体に照射された光に基いて、当該対象体を撮像する撮像体と、
    前記照射体と前記撮像体とを前記対象体に沿って移動させる移動機構と、
    前記対象体の画像に基いて、前記対象体の形状を計測するためのデータ処理を実行する処理ユニットと、
    を備え、
    前記撮像体は、前記対象体に沿って移動する際に、所定タイミング毎に前記対象体の画像を取り込み、
    処理ユニットは、
    前記対象体の画像に基いて、当該対象体の断面形状と前記移動機構の移動態様とを決定し、
    前記断面形状と前記移動態様とに基いて、前記対象体の形状を計測する
    形状計測システム。
  2. 前記照射体はレーザ光を前記対象体に照射し、
    前記処理ユニットは、
    前記レーザ光に基づく前記対象体の画像から前記断面形状を決定する
    請求項1記載の形状計測システム。
  3. 前記照射体は第1のレーザ光と第2のレーザ光とを前記対象体に照射し、
    前記処理ユニットは、
    前記第1のレーザ光に基づく前記対象体の画像から前記断面形状を決定し、
    前記第2のレーザ光に基づく前記対象体の画像から前記移動機構の移動態様を決定する
    請求項1記載の形状計測システム。
  4. 前記照射体はLED光を前記対象体に照射し、
    前記処理ユニットは、
    前記LED光に基づく前記対象体の画像を利用して、前記移動機構の移動態様を決定する
    請求項2記載の形状計測システム。
  5. 前記照射体はLED光を前記対象体に照射し、
    前記処理ユニットは、
    前記LED光に基づく前記対象体の画像と前記第2のレーザ光に基づく前記対象体の画像とから前記移動機構の移動態様を決定する
    請求項2記載の形状計測システム。
  6. 前記処理ユニットは、
    前記第1のレーザ光に基づく光切断法を利用して、前記対象体の断面形状を決定し、
    前記第2のレーザ光に基づく前記対象体の画像中のスペックル相関値から、前記移動機構の移動態様を決定する
    請求項3記載の形状計測システム。
  7. 前記処理ユニットは、
    前記対象体の複数の断面形状を前記移動機構の移動形態に合わせて連続させることにより、前記対象体の形状を計測する
    請求項1記載の形状計測システム。
  8. 対象体の形状を計測する形状計測方法であって、
    光源からの光を前記対象体に照射し、
    前記対象体に照射された光に基いて、当該対象体を撮像し、
    前記光の照射体と前記対象体を撮像する撮像体とを前記対象体に沿って移動させながら、所定タイミング毎に前記対象体の画像を取り込み、
    前記対象体の画像に基いて、当該対象体の断面形状と、前記照射体と前記対象体との移動態様とを決定し、
    前記断面形状と前記移動態様とに基いて、前記対象体の形状を計測する
    形状計測方法。
JP2017084020A 2017-04-20 2017-04-20 形状計測システム、及び、形状計測方法 Active JP6968568B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017084020A JP6968568B2 (ja) 2017-04-20 2017-04-20 形状計測システム、及び、形状計測方法
US15/928,693 US10794687B2 (en) 2017-04-20 2018-03-22 Shape measurement system and shape measurement method
DE102018108936.8A DE102018108936A1 (de) 2017-04-20 2018-04-16 Formmesssystem und Formmessverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017084020A JP6968568B2 (ja) 2017-04-20 2017-04-20 形状計測システム、及び、形状計測方法

Publications (2)

Publication Number Publication Date
JP2018179918A true JP2018179918A (ja) 2018-11-15
JP6968568B2 JP6968568B2 (ja) 2021-11-17

Family

ID=63714759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017084020A Active JP6968568B2 (ja) 2017-04-20 2017-04-20 形状計測システム、及び、形状計測方法

Country Status (3)

Country Link
US (1) US10794687B2 (ja)
JP (1) JP6968568B2 (ja)
DE (1) DE102018108936A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020117943A (ja) * 2019-01-24 2020-08-06 株式会社東設土木コンサルタント 浮体装置
WO2021182033A1 (ja) * 2020-03-10 2021-09-16 株式会社Xtia 計測装置、プログラム及び計測方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109556529B (zh) * 2018-12-14 2020-11-17 中铁隧道局集团有限公司 一种基于网格投影点云处理技术的隧道变形监测分析方法
CN111967337A (zh) * 2020-07-24 2020-11-20 电子科技大学 一种基于深度学习和无人机影像的管道线变化检测方法
CN112762853B (zh) * 2020-12-28 2021-11-16 中国科学院武汉岩土力学研究所 隧道盾构过程中管片全变形监测方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08146020A (ja) * 1994-11-21 1996-06-07 Sumitomo Metal Ind Ltd 移動体の移動速度・移動量測定装置
US20120026319A1 (en) * 2010-07-27 2012-02-02 Pixart Imaging Inc. Distance measuring system and distance measuring method
WO2016103492A1 (ja) * 2014-12-26 2016-06-30 株式会社日立製作所 形状計測方法およびその装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798527B2 (en) * 2001-04-27 2004-09-28 Minolta Co., Ltd. Three-dimensional shape-measuring system
JP3837431B2 (ja) 2004-07-26 2006-10-25 国立大学法人 宮崎大学 管内面形状測定装置
JP5648831B2 (ja) 2010-06-21 2015-01-07 国立大学法人 宮崎大学 内面形状測定装置、及び内面形状測定方法
JP5288297B2 (ja) * 2011-12-27 2013-09-11 新日鐵住金株式会社 ねじ付き管の端部形状測定方法
JP6029394B2 (ja) * 2012-09-11 2016-11-24 株式会社キーエンス 形状測定装置
JP6522384B2 (ja) * 2015-03-23 2019-05-29 三菱重工業株式会社 レーザレーダ装置及び走行体
CA2983577C (en) * 2015-05-13 2019-09-24 Nippon Steel & Sumitomo Metal Corporation Shape inspection method, shape inspection apparatus, and program
EP3346287A4 (en) * 2015-09-01 2019-02-27 The University Of Tokyo MOTION DETECTING DEVICE AND THREE DIMENSIONAL SHAPE MEASURING DEVICE USING THE SAME
JP2017083234A (ja) * 2015-10-26 2017-05-18 オムロン株式会社 三次元形状計測装置、三次元形状計測システム、プログラム、コンピュータ読み取り可能な記録媒体、および三次元形状計測方法
JP6250080B2 (ja) * 2016-02-25 2017-12-20 三菱重工業株式会社 レーザレーダ装置及び走行体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08146020A (ja) * 1994-11-21 1996-06-07 Sumitomo Metal Ind Ltd 移動体の移動速度・移動量測定装置
US20120026319A1 (en) * 2010-07-27 2012-02-02 Pixart Imaging Inc. Distance measuring system and distance measuring method
WO2016103492A1 (ja) * 2014-12-26 2016-06-30 株式会社日立製作所 形状計測方法およびその装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020117943A (ja) * 2019-01-24 2020-08-06 株式会社東設土木コンサルタント 浮体装置
WO2021182033A1 (ja) * 2020-03-10 2021-09-16 株式会社Xtia 計測装置、プログラム及び計測方法

Also Published As

Publication number Publication date
DE102018108936A1 (de) 2018-10-25
US10794687B2 (en) 2020-10-06
US20180306573A1 (en) 2018-10-25
JP6968568B2 (ja) 2021-11-17

Similar Documents

Publication Publication Date Title
US11629955B2 (en) Dual-resolution 3D scanner and method of using
JP6968568B2 (ja) 形状計測システム、及び、形状計測方法
JP6355710B2 (ja) 非接触型光学三次元測定装置
JP6291562B2 (ja) 有向性のプローブ処理による、三次元スキャナにおける多経路干渉の診断および排除
JP3837431B2 (ja) 管内面形状測定装置
RU2523092C2 (ru) Способ и устройство для измерения геометрии профиля сферически изогнутых, в частности, цилиндрических тел
US20150015701A1 (en) Triangulation scanner having motorized elements
JP5972563B2 (ja) 構造化照明を用いるエッジ検出
JP2015535337A (ja) 角度スキャン速度の動的調整を伴うレーザスキャナ
JP2006276012A (ja) 物体の六つの自由度を求めるための測定システム
JP2019522213A (ja) 非接触式プローブおよび動作の方法
JP5278878B2 (ja) 管内面形状測定装置
WO2020064737A1 (en) A handheld imaging element with a movement sensor
US11333485B2 (en) Alignment method for a beam-directing unit of an interferometric measuring device, and measuring device for carrying out an interferometric measurement by means of laser radiation
JP2016038204A (ja) 内面形状検査用のセンサユニット及び内面形状検査装置
JP2010503832A (ja) 三次元の流れ測定装置及び測定方法
JP2021124429A (ja) 走査測定方法及び走査測定装置
JP2006292513A (ja) 屈折率分布型レンズの屈折率分布測定方法
JP2014190800A (ja) 3次元計測方法および3次元計測装置
WO2016157349A1 (ja) 形状計測方法およびその装置
JP2005351711A (ja) 測量機
JPH0412724A (ja) 計測内視鏡
JP2004347520A (ja) 形状計測装置
JP7337637B2 (ja) レーザープローブ、及び光学調整方法
JP2010223753A (ja) 画像処理装置、長尺物用検査装置及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211027

R150 Certificate of patent or registration of utility model

Ref document number: 6968568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150