JP2017037053A

JP2017037053A - 多数カメラによる高速度計測方法および装置

Info

Publication number: JP2017037053A
Application number: JP2015160211A
Authority: JP
Inventors: 藤垣　元治; Motoharu Fujigaki; 元治藤垣; 隆章吉川; Takaaki Yoshikawa
Original assignee: Individual
Current assignee: Individual
Priority date: 2015-08-14
Filing date: 2015-08-14
Publication date: 2017-02-16

Abstract

【課題】高速度撮影に対応していないカメラを用いても、簡易な構成により、高速度の座標値や変位、ひずみ、角度などの物理量の測定を行う多数カメラによる高速度計測方法を提供する。
【解決手段】測定対象物Ｓの計測前に２組以上のカメラＡ１〜Ａ３、Ｂ１〜Ｂ３に対して同一の基準面１Ｂを用いてキャリブレーションを行い、２組以上のカメラにおいて共通である、同一の座標系としてのワールド座標系としての座標値や変位、ひずみ、角度などの物理量を出力する。制御部は、各組のカメラに対し、所定の時間だけずらしたトリガ信号Ｔ１〜Ｔ３を順に送り、各組のカメラはトリガ信号が送られた時間に応じて計測を行う。
【選択図】図２

Description

本発明は、構造物の衝突時や破壊時の動的な挙動の計測で用いられる、多数カメラによる高速度計測方法および装置に関するものであり。特に、大型構造物や工業製品、シート状構造物、人体や動植物、自然の造形物等の三次元の表面形状を有する測定対象物の表面の三次元形状計測を非接触かつ高速・高精度で行うことが可能な、多数カメラによる高速度計測方法および装置に関するものである。また、非接触の振動面位置計測や変位分布計測、角度計測などに用いることもできる。

三次元物体の変形時や破壊時の挙動を知るためには、高速に三次元形状や変位分布、ひずみ分布、角度分布を計測する必要がある。

三次元物体の変形時や破壊時の挙動を所定以上の精度で測定するための手法として、以下の非特許文献１に記載の技術が知られている。

この非特許文献１に記載の技術では、ＣＣＤセンサを制御するＣＣＤ制御装置、ＰＣ型フレーム取り込み・イメージ処理装置、シーケンサーとが互いに接続されている。そして、測定対象物に対して、結像レンズの後ろにプリズムが配置され、プリズムで反射された像が複数の撮像素子に結像する構造になっており、同一の結像レンズを使って測定できる利点がある。

他方で、発明者らはこれまでに基準面を用いるキャリブレーション手法によって、カメラの位置にかかわらずにワールド座標系のみで三次元形状や変位、ひずみ分布を計測する手法（非特許文献２−４）や、計測対象物に固定された座標系で変位や回転角の分布計測する手法を提案してきた（非特許文献５）。また、発明者らは、２次元格子パターンの画像から、サンプリングモアレ法を用いて回転角を精度よく求める方法も提案している（非特許文献６）。

Boleslaw Stasicki ; G. E. A. Meier, Computer-controlled ultra-high-speed video camera system, Proc. SPIE 2513, 21st International Congress on: High-Speed Photography and Photonics, 196 (May 30, 1995); doi:10.1117/12.209602 Fujigaki, M., Shimo, K., Masaya, A. and Morimoto, Y., Dynamic Shape and Strain Measurements of Rotating Tire Using a Sampling Moire Method, Optical Engineering, Vol. 50, No. 10, 101506(2011) 藤垣元治, 森本吉春, 全空間テーブル化手法による格子投影三次元形状計測, 実験力学, Vol. 8, No. 4, 92-98(2008) Fujigaki, M., Oura, Y., Asai, D. and Murata, Y., High-speed Height Measurement by a Light-source-stepping Method Using a Linear LED Array, Optics Express, Vol. 21, No.20, 23169-23180(2013). Tomita, D., Fujigaki, M. and Murata, Y., Deformation Distribution Measurement From Oblique Direction Using Sampling Moire Method, Proceedings of the SEM 2014 Annual Conference, #295(2014). 藤垣元治、原卓也、サンプリングモアレ法による構造物のたわみ角分布計測の原理と応用、検査技術、 Vol. 18、 No. 11、 8-14(2013).

非特許文献１に記載の技術では、同一の結像レンズを使うことができる利点があるもの、特別な構造を用いるため、各部材が高価なものとなる。また、高速度で撮像を行うためには、高速度カメラが必要となるが、一般に高速度カメラは高価である。

また、複数のカメラセットを用いて、外部トリガによって撮影するカメラを高速に切り替えることも考えられるが、この場合には、前記カメラセットの位置がそれぞれ異なるため、１つのカメラセットを用いた場合に比べて、一般に測定精度が低下する。

上述のように、発明者らはこれまで、基準面を用いたキャリブレーション手法を提案してきた。本発明では、位置の異なる複数のカメラに対してこのキャリブレーション手法を適用し、同一の基準面を用いてキャリブレーションを行った場合には、複数のカメラを用いない場合と同程度に精度よく計測ができる点に着目し、必要とされる撮像速度よりも撮像速度の遅い、安価なカメラを複数個用いることで、高速度現象の三次元計測や変位分布計測、ひずみ分布計測を行う。

本願の請求項１に係る発明は、２組以上のカメラによる高速度計測装置であって、測定対象物を撮影可能であり、２組以上のカメラと、制御部と、結果出力部とを備え、前記２組以上のカメラは、測定対象物の計測前に前記２組以上のカメラに対して同一の基準面を用いてキャリブレーションを行い、前記２組以上のカメラにおいて共通である、同一の座標系としてのワールド座標系の座標値を出力するものであって、前記制御部は、各組のカメラに対し、所定の時間Δｔ秒だけずらしたトリガ信号を順に送り、各組のカメラは前記トリガ信号が送られた時間に応じて計測を行い、前記結果出力部は、測定対象物の三次元形状、変位、回転角、および、ひずみなどの物理量を、Δｔごとに計測した結果を出力する、高速度計測装置である。

すなわち、使用するカメラがΔｔごとに撮影できる性能を持っていなくても、それぞれのカメラに対してΔｔごとにトリガ信号を順番に与えることで、Δｔごとの現象がそれぞれのカメラに記録されることになる。さらにカメラの位置が異なっていたとしても、同一の座標系で計測結果が得られるため、Δｔごとの現象が計測できる高速度計測装置が実現できる。

請求項２に係る発明は、前記キャリブレーションにおいて、各カメラの画素の、画面内での座標と、基準面上のワールド座標との対応関係をあらかじめ求め、記憶装置に記憶している、請求項１に記載の高速度計測装置である。

請求項３に係る発明は、計測対象物表面に２次元格子パターンを設置する場合における、２組以上のカメラによる高速度計測装置であって、測定対象物を撮影可能であり、２組以上のカメラと、制御部と、結果出力部とを備え、前記２組以上のカメラにおいて共通である、計測対象物の表面に設置された格子パターンによって得られる位置情報における変位やひずみ、角度などの物理量を出力するものであって、前記制御部は、各組のカメラに対し、所定の時間Δｔ秒だけずらしたトリガ信号を順に送り、各組のカメラは前記トリガ信号が送られた時間に応じて計測を行い、前記結果出力部は、測定対象物の座標値や変位、ひずみ、角度などの物理量を、Δｔごとに計測した結果を出力する、高速度計測装置である。

請求項４に係る発明は、前記各組のカメラは、測定対象物に格子パターンを投影して撮影を行う、請求項１ないし４のいずれか１つに記載の高速度計測装置である。

請求項５に係る発明は、前記各組のカメラは、測定対象物の表面に格子パターンを取り付けて撮影を行う、請求項１ないし４のいずれか１つに記載の高速度計測装置である。

請求項６に係る発明は、２組以上のカメラによる高速度計測方法であって、測定対象物を撮影可能であり、２組以上のカメラを設置する測定系設置ステップと、測定対象物の計測前に前記２組以上のカメラに対して同一の基準面を用いてキャリブレーションを行うキャリブレーションステップと、測定対象物を設置する測定対象物設置ステップと、制御部が、各組のカメラに対し、所定の時間Δｔ秒だけずらしたトリガ信号を順に送り、各組のカメラは前記トリガ信号が送られた時間に応じて計測を行う計測ステップと、測定対象物の座標値や変位、ひずみ、角度などの物理量を、Δｔごとに計測した結果を、２組以上のカメラにおいて共通である、同一の座標系としてのワールド座標系の座標値で出力する、計測結果出力ステップと、を備えることを特徴とする、高速度計測方法である。

請求項７に係る発明は、前記キャリブレーションステップにおいて、各カメラの画素の、画面内での座標と、基準面上のワールド座標との対応関係をあらかじめ求め、記憶装置に記憶する、請求項６に記載の高速度計測方法である。

請求項８に係る発明は、２組以上のカメラによる高速度計測方法であって、測定対象物を撮影可能であり、２組以上のカメラを設置する測定系設置ステップと、測定対象物の計測前に測定対象物の計測前に計測対象物の表面に格子パターンを設置するステップと、測定対象物を設置する測定対象物設置ステップと、制御部が、各組のカメラに対し、所定の時間Δｔ秒だけずらしたトリガ信号を順に送り、各組のカメラは前記トリガ信号が送られた時間に応じて計測を行う計測ステップと、測定対象物の表面に設置された格子パターンによって得られる位置情報や変位、ひずみ、角度などの物理量を、Δｔごとに計測した結果を、２組以上のカメラにおいて共通である、同一の座標系としてのワールド座標系の座標値で出力する、計測結果出力ステップと、を備えることを特徴とする、高速度計測方法である。

請求項９に係る発明は、前記計測ステップにおいて、前記各組のカメラは、測定対象物に格子パターンを投影して撮影を行う、請求項６ないし８のいずれか１つに記載の高速度計測方法である。

請求項１０に係る発明は、前記計測ステップにおいて、前記各組のカメラは、測定対象物の表面に格子パターンを取り付けて撮影を行う、請求項６ないし８のいずれか１つに記載の高速度計測方法である。

必要とされる撮像速度よりも撮像速度の遅い、安価なカメラを使っても、高精度に高速度現象の座標値や変位、ひずみ、角度などの物理量計測を行うことが可能となる。

基準面を用いた三次元座標、変位、ひずみ分布同時計測の原理である。高速撮影システムの原理である。試作した高速撮影システムであり、（ａ）は模式図、（ｂ）はカメラユニットの写真である。評価実験用の回転装置の図である。評価実験の様子を示す写真である。撮影された画像であり、（ａ）は０μｓ、（ｂ）は２０μｓ、（ｃ）は４０μｓ、（ｄ）は６０μｓの画像である。静止状態におけるＡ−１の撮影画像の２次元格子の位相解析結果であり、（ａ）はx方向の位相分布、（ｂ）はy方向の位相分布である。静止状態におけるＡ−１の撮影画像の２次元格子の傾斜角度解析結果である。計測対象物に設置した２次元格子パターンをカメラで撮影する場合の配置と撮影された２次元格子パターンを示す模式図である。計測対象物に設置した２次元格子パターンを複数のカメラで撮影する場合の配置である。計測対象物に設置した１次元格子パターンを複数のカメラで撮影する場合の配置である。

以下、本発明の実施形態を図面と共に説明する。
本発明では、同一の基準面を用いたキャリブレーションを行うことにより、格子投影を用いた三次元形状計測やサンプリングモアレ法による２次元変位計測、ステレオ撮影による形状・変位・ひずみ分布計測などにおいて、カメラの位置に関わらずにワールド座標系の点群として計測結果が得られることを利用する。

図１は、２台のカメラを用いて計測対象物の三次元形状、変位、表面ひずみ分布を同時に計測できる装置を示した図であり、１は基準面、２は測定対象物を示す。

そして、２次元格子パターンを測定対象物２である物体の表面に貼付け、その格子の位相値を解析することで左右のカメラの対応位置を少数画素位置で求めるため、高精度に三次元座標、変位、表面ひずみを計測することができる。

図１において、物体上の点Ｓは、左のカメラＡ０で得られた画像から、点Ｓが写っている画素が画面内の座標（i₁、 j₁）であることがわかり、また、右のカメラＢ０で得られた画像から、点Ｓが写っている画素が画面内の座標（i₂、 j₂）であることがわかる。

あらかじめキャリブレーションの段階で、画面内の座標と基準面１上のワールド座標の対応関係を求めておく。それにより、左のカメラＡ０の画面内の座標（i₁、 j₁）から、基準面R₁上の点C_lbと基準面R₂上の点C_lfを得ることができる。また、右のカメラＡ０の画面内の座標（i₂、 j₂）から、基準面R₂上の点C_rbと基準面R₂上の点C_rfを得ることができる。これより、左のカメラＡ０からは基準面R₁上の点C_lbと基準面R₂上の点C_lfを結ぶ直線上に点Ｓがあるということがわかり、また、右のカメラＢ０からは基準面R₁上の点C_rbと基準面R₂上の点C_rfを結ぶ直線上に点Ｓがあるということがわかるため、その２直線の交点として点Ｓが決定される。

次に、図２に示すように、複数の異なる位置にカメラ（Ａ−１、Ａ−２、Ａ−３、Ｂ−１、Ｂ−２、Ｂ−３）を配置し、トリガ信号（Ｔ１、Ｔ２、Ｔ３）を少しずつずらしながら順に発生させることで、トリガ信号の発生間隔で形状・変位・ひずみ分布計測を時系列に行うことができる。トリガ信号は電子回路で発生させることができるため、１００万分の１秒間隔程度であれば、特殊な設計でなくても発生させることができ、容易に高速度撮影を実現することができる。

本発明では、それぞれのカメラの組み合わせにおいて、同一の基準面を用いてキャリブレーションを行うため、どのカメラの組み合わせを用いても、基準面で決定されるワールド座標系として計測結果を得ることができる。

図２に示すように、物体上の点Ｓの座標値は、左のＡ−１と右のＢ−１のカメラの組を用いて計測した場合も、左のＡ−２と右のＢ−２のカメラの組を用いて計測した場合も、左のＡ−３と右のＢ−３のカメラの組を用いて計測した場合も、同一の座標の値が得られる。

なお、この手法は、左右にカメラを配置する計測手法だけでなく、格子パターンを投影し、それを撮影する三次元計測手法や、計測対象物表面に格子パターンを取り付けることによって、変位や回転角を求める手法にも適用できる。

図９に、計測対象物に設置した２次元格子パターンをカメラで撮影する場合の配置と撮影された２次元格子パターンを示す模式図を示す。２次元格子を用いた変位や角度計測手法として、サンプリングモアレ法が提案されている。この手法は、物体表面に設置された２次元格子のピッチの既知であれば、カメラの設置場所に関してキャリブレーションをする必要がなく、物体に対して正面に配置しなくても物体の面内の変位や回転角が精度よく計測できる手法である。その理由は、物体表面に設置された２次元格子のピッチの既知であるため、撮影された画像から得られる位相の差が物体の表面に設置された格子の格子方向（格子線と垂直方向）の変位を表すものとなるからである。このことは非特許文献６にも記載されている。

図９に示されている撮影された２次元格子パターンを示す模式図のように、画像内では２次元格子パターンはゆがんで撮影されることになる。カメラの配置による幾何学的なゆがみ以外にもカメラのレンズによる収差によるゆがみも入ることになるが、そのゆがみについても位相の差が物体の表面に設置された格子の格子方向（格子線と垂直方向）の変位を表すものであるために、特段の補正を行わなくとも精度よく変位が検出できることになる。

なお、物体表面に設置された２次元格子のピッチの既知であれば、カメラの設置場所に関してキャリブレーションをする必要がないというのは、サンプリングモアレ法だけでなく、フーリエ変換法やその他の位相解析手法を用いても同じことが言える。

図１０に、計測対象物に設置した２次元格子パターンを複数のカメラで撮影する場合の配置を示す。本出願では、上記のことを利用することによって、図１０のように複数の位置に設置したカメラに対して、所定の間隔でトリガ信号を与えることで、測定対象物の表面に設置された格子パターンによって得られる位置情報や変位、ひずみ、角度などの物理量を、所定の時間ごとに計測した結果を、２組以上のカメラにおいて共通である、同一の座標系としてのワールド座標系としての座標値で出力することができるようになる。

また、図１１は、計測対象物に設置した１次元格子パターンを複数のカメラで撮影する場合の配置である。材料の強度を測定する引張試験においては、引張方向の変位やひずみを対象とする場合があるが、図１１に示すように、１次元格子パターンを用いても、引っ張り方向の計測対象物表面における位置情報や変位、ひずみなどの物理量を所定の時間ごとに計測することが可能となる。

＜実験例＞
高速度撮影確認の評価実験として、図３に試作した高速撮影システムを用いた。本高速撮影システムは、多数カメラユニットＡ，Ｂにタイミング信号を送る制御部３、および、多数カメラユニットＡ，Ｂからの撮影画像を受信し解析する解析部４を備える。

多数カメラユニットＡとＢとして、カメラ４個ずつがそれぞれ横一列に配置されている。使用した撮像素子は、画素数640 x 640画素、ピクセルピッチ3.6μm、最小露光時間8.96μsのCMOS型素子である。

本実験例では制御部３としてタイミング制御回路を用いているが、パソコンから任意のトリガ信号発生の設定ができるものである。本タイミング制御回路では、最小のトリガ間隔を１μsに設定することができる。

次に、高速回転させた円盤を２０μｓ（１／５０，０００秒）間隔で撮影することで、高速現象を捉えることができることを確認した。評価実験に用いる回転する円盤は、図４に示すように、モータにより回転する回転円盤５に、二次元格子パターン６と再帰反射シート７を貼付けたものである。２次元格子パターンの画像から、サンプリングモアレ法を用いて回転角を精度よく求めることができる（非特許文献６）が、本発明では、このサンプリングモアレ法をそのまま用いて回転角度を時系列に求めるほか、再帰反射シート７にレーザーを当てて反射光のタイミングを読み取ることで、回転速度を求めることもできる。

評価実験の様子を図５に示す。本図は、試作した高速撮影システムにより、回転装置８により回転される、回転円盤（図４）を撮影する構成を示し、９はレーザセンサ、１０はマルチカメラであり、制御部３としてトリガ制御部を用いている。

まず、定常的に回転している状態で、回転円盤５は約24000rpm（400回転/s）で回転していることを確認した。

次に、停止状態の画像を基準として各カメラで撮影し、さらに定常状態になるように回転させ、カメラＡ−１、Ａ−２、Ａ−３、Ａ−４およびＢ−１、Ｂ−２、Ｂ−３、Ｂ−４にそれぞれ０μｓ、２０μｓ、４０μｓ、６０μｓのタイミングで、カメラトリガを与えて撮影を行った。このときカメラＡ−１、Ａ−２、Ａ−３、Ａ−４で撮影された画像を図６に示す。

図７に、カメラＡ−１で撮影された２次元格子の位相解析をサンプリングモアレ法によって行った結果を示す。基準となる画像と撮影した画像におけるｘ方向の位相値とｙ方向の位相値の差から回転角を算出することができる。その結果を図８に示す。

このようにして求めた回転角は、それぞれ１．８５度、−０．９８度、−３．９３度、−６．８６度となり、回転円盤の回転数から算出した２０μｓ、４０μｓ、６０μｓにおける回転角と０．０７度以下のずれでほぼ一致した。これより、高速度撮影はうまく機能していることが確認できた。

１基準面
２測定対象物
３制御部
４解析部
５回転円盤
６二次元格子パターン
７再帰反射シート
８回転装置
９レーザセンサ
１０マルチカメラ

Ａ０ＣＣＤカメラ
Ｂ０ＣＣＤカメラ
Ａ多数カメラユニット
Ａ−１カメラ
Ａ−２カメラ
Ａ−３カメラ
Ａ−４カメラ
Ｂ多数カメラユニット
Ｂ−１カメラ
Ｂ−２カメラ
Ｂ−３カメラ
Ｂ−４カメラ

Claims

２組以上のカメラによる高速度計測装置であって、
測定対象物を撮影可能であり、２組以上のカメラと、制御部と、結果出力部とを備え、
前記２組以上のカメラは、
測定対象物の計測前に前記２組以上のカメラに対して同一の基準面を用いてキャリブレーションを行い、
前記２組以上のカメラにおいて共通である、同一の座標系としてのワールド座標系の座標値や、その座標値における変位やひずみ、角度などの物理量を出力するものであって、
前記制御部は、各組のカメラに対し、所定の時間だけずらしたトリガ信号を順に送り、
各組のカメラは前記トリガ信号が送られた時間に応じて計測を行い、
前記結果出力部は、測定対象物の座標値や変位、ひずみ、角度などの物理量を所定の時間ごとに計測した結果を出力する、
高速度計測装置。
前記キャリブレーションにおいて、各カメラの画素の、画面内での座標と、基準面上のワールド座標との対応関係をあらかじめ求め、記憶装置に記憶している、請求項１に記載の高速度計測装置。
２組以上のカメラによる高速度計測装置であって、
測定対象物を撮影可能であり、２組以上のカメラと、制御部と、結果出力部とを備え、
前記２組以上のカメラは、
計測対象物の表面に設置された格子パターンを撮影し、
前記２組以上のカメラにおいて共通である、同一の座標系として、計測対象物の表面に設置された格子パターンによって得られる位置情報における変位やひずみ、角度などの物理量を出力するものであって、
前記制御部は、各組のカメラに対し、所定の時間だけずらしたトリガ信号を順に送り、
各組のカメラは前記トリガ信号が送られた時間に応じて計測を行い、
前記結果出力部は、測定対象物の座標値や変位、ひずみ、角度などの物理量を所定の時間ごとに計測した結果を出力する、
高速度計測装置。
前記各組のカメラは、測定対象物に格子パターンを投影して撮影を行う、請求項１ないし３のいずれか１つに記載の高速度計測装置。
前記各組のカメラは、測定対象物の表面に格子パターンを取り付けて撮影を行う、請求項１ないし３のいずれか１つに記載の高速度計測装置。
２組以上のカメラによる高速度計測方法であって、
測定対象物を撮影可能であり、２組以上のカメラを設置する測定系設置ステップと、
測定対象物の計測前に前記２組以上のカメラに対して同一の基準面を用いてキャリブレーションを行うキャリブレーションステップと、
測定対象物を設置する測定対象物設置ステップと、
制御部が、各組のカメラに対し、所定の時間だけずらしたトリガ信号を順に送り、各組のカメラは前記トリガ信号が送られた時間に応じて計測を行う計測ステップと、
測定対象物の座標値や変位、ひずみ、角度などの物理量を所定の時間ごとに計測した結果を、２組以上のカメラにおいて共通である、同一の座標系としてのワールド座標系の座標値で出力する、計測結果出力ステップと、
を備えることを特徴とする、高速度計測方法。
前記キャリブレーションステップにおいて、各カメラの画素の、画面内での座標と、基準面上のワールド座標との対応関係をあらかじめ求め、記憶装置に記憶する、請求項６に記載の高速度計測方法。
２組以上のカメラによる高速度計測方法であって、
測定対象物を撮影可能であり、２組以上のカメラを設置する測定系設置ステップと、
測定対象物の計測前に計測対象物の表面に格子パターンを設置するステップと、
測定対象物を設置する測定対象物設置ステップと、
制御部が、各組のカメラに対し、所定の時間だけずらしたトリガ信号を順に送り、各組のカメラは前記トリガ信号が送られた時間に応じて計測を行う計測ステップと、
測定対象物の表面に設置された格子パターンによって得られる位置情報や変位、ひずみ、角度などの物理量を、所定の時間ごとに計測した結果を、２組以上のカメラにおいて共通である、同一の座標系としてのワールド座標系の座標値で出力する、計測結果出力ステップと、
を備えることを特徴とする、高速度計測方法。
前記計測ステップにおいて、前記各組のカメラは、測定対象物に格子パターンを投影して撮影を行う、請求項６ないし８のいずれか１つに記載の高速度計測方法。
前記計測ステップにおいて、前記各組のカメラは、測定対象物の表面に格子パターンを取り付けて撮影を行う、請求項６ないし８のいずれか１つに記載の高速度計測方法。