JP2019139030A - ３次元計測対象物体の表面に計測結果関連情報を投影する方法および装置 - Google Patents

Abstract

【課題】３次元計測対象物体の表面に計測結果関連情報を投影する際に、計測対象物の形状・位置・姿勢に応じて、前記計測結果関連情報を前記３次元計測対象物体の表面の正しい位置に投影することが可能な方法および装置を提供する。【解決手段】プロジェクションマッピング方法は、計測用プロジェクターと物体の表面の位置に対応した輝度値やカラー情報を物体上に投影する投影用プロジェクターと、を備えたプロジェクションマッピング装置において、前記計測用プロジェクターを用いて前記物体の３次元形状を計測し、前記物体の３次元形状を計測して得られた座標情報を元にして、カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照し、前記カメラの画素に対応する前記投影用プロジェクターの画素の座標を求め、前記投影用プロジェクターの画素から、前記物体の表面の位置に対応した輝度値やカラー情報を前記物体の表面に投影する。【選択図】図２０

Description

本発明は、３次元計測対象物体の表面に投影する方法および装置に関する。

非接触による３次元形状計測は、製造業をはじめ、医療、土木、衣料分野など幅広い需要がある。特に、板金加工品やプレス加工品など、大型の曲面を持つ物体に対しては、非接触で３次元の分布が計測できるパターン投影による３次元計測が短時間で計測・検査が出来る手法として有効である。

実際の検査現場において作業者が3次元計測結果と実物表面の対応関係をつける作業に大きな労力がかかる。例えば、大型の板金加工製品における曲面形状の検査に用いる場合、３次元形状の計測データが得られて、形状の不具合部分が検出されたとしても、検査装置のモニター画面上に表示された不具合部分が、実物上のどの部分であるかを認識する必要がある。特に、凹凸が少ないなど形状に大きな特徴がない物体の場合には、不具合部分が物体のどの部分であるのかを特定することが難しくなる。そのため、物体上の欠陥位置の特定が短時間で行える方法が求められている。

従来手法として、特許文献１に示す装置と手法が開発されている。これは、計測用のカメラと投影用のプロジェクターの光軸を画素単位で合わせるような光学系を作成し、計測結果を表した画像を投影用のプロジェクターから対象物体表面に投影するものである。計測しているカメラ画素と投影用のプロジェクターの画素が１対１で対応している。そのため、カメラの画素ごとに得られる計測結果に対して、同じ画素に投影する輝度値やカラー情報を格納して作成する画像を、投影用のプロジェクターから投影することで、対象物の表面の対応する点ごとに計測結果や評価結果を投影することができる。

特許文献２には、カメラとプロジェクターを用いたパターン投影によって、対象となる３次元物体の３次元計測を行い、得られた点群データを元にして、投影パターンの幾何学的変形処理を行う映像投影の方法が示されている。

また、３次元物体に対するプロジェクションマッピングの技術においては、建物などの固定された物体に対するものだけでなく、動的に変化するものに対してプロジェクションマッピングを行う手法も提案されている。例えば、非特許文献１には、３次元計測で得られた点群データを元にして対象物体の位置と向きを推定し、それに応じて投影パターンを求める映像投影の方法が示されている。

特開２００１−０６６１５８号公報 特開２０１５−１７３４３０号公報

鷹箸拓也, 橋本直己, 佐藤美恵，3次元点群を用いた物体追跡によるインタラクティブな映像投影に関する一検討，映像情報メディア学会誌, Vol. 69, No. 6, J213-J216(2015).

しかしながら、特許文献１に開示される技術は、計測用のカメラと投影用のプロジェクターの光軸を一致させる必要があることで、特殊な光学系が必要となり、高価なものとなる。また、その微調整も必要となり手間がかかる。

また、特許文献２に開示される技術は、対象物体の３次元計測を行うたびに投影座標変換データを生成してから座標変換処理を行っているために，対象物体が位置を変えたり変形したりした場合は，その後の手順を行うために時間がかかるという問題がある。
また、非特許文献１に開示される技術は、対象物体の形状データをあらかじめ登録しておく必要があるため、任意形状の物体には適用できない。

そこで、本発明の目的は、３次元計測対象物体の表面に計測結果関連情報を投影する際に、計測対象物の形状・位置・姿勢に応じて、前記計測結果関連情報を前記３次元計測対象物体の表面の正しい位置に投影することが可能な方法および装置を提供することである。

本発明の一態様は、
計測用プロジェクターと物体の表面の位置に対応した輝度値やカラー情報を物体上に投影する投影用プロジェクターと前記計測用プロジェクターから投影された格子パターンを撮影するカメラと、を備えたプロジェクションマッピング装置において、
前記計測用プロジェクターを用いて前記物体の３次元形状を計測する第１ステップと、
前記第１ステップより前記物体の３次元形状を計測して得られた座標情報を元にして、カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照する第２ステップと、
前記第２ステップにより、前記カメラの画素に対応する前記投影用プロジェクターの画素の座標を求める第３ステップと、
前記第３ステップにより求められた、前記投影用プロジェクターの画素から、前記物体の表面の位置に対応した輝度値やカラー情報を前記物体の表面に投影する第４ステップと、を含むプロジェクションマッピング方法である。
本発明の他の態様は、
計測用プロジェクターと物体の表面の位置に対応した輝度値やカラー情報を物体上に投影する投影用プロジェクターと前記計測用プロジェクターから投影された格子パターンを撮影するカメラと、を備えたプロジェクションマッピング装置において、
前記計測用プロジェクターを用いて前記物体の３次元形状を計測する３次元形状計測手段と、
前記３次元形状測定手段により前記物体の３次元形状を計測して得られた座標情報を元にして、前記カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照する参照手段と、
前記参照手段により、前記カメラの画素に対応する前記投影用プロジェクターの画素の座標を求める画素情報取得手段と、
前記画素情報取得手段により求められた、前記投影用プロジェクターの画素から、前記物体の表面の位置に対応した輝度値やカラー情報を前記物体の表面に投影する投影手段を備えたことを特徴とする。前記計測用プロジェクターは赤外光などの非可視光を用いてもよい。
前記プロジェクションマッピング装置において、前記カメラの任意の画素の近傍の画素に対応する投影画像データを用いて補間を行なう手段および前記カメラで撮影された画像に対して、前記投影画像データを増やす処理を行う手段のうちの少なくとも一方を更に備えてもよい。
本発明の他の態様は、
物体の表面の位置に対応した輝度値やカラー情報を物体上に投影するプロジェクション装置において、
前記物体の３次元形状を計測して得られた座標情報を元にして、カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照することによって、前記カメラの画素に対応する前記プロジェクターの対応画素の座標を求める方法および装置である。そして、その方法を実現する方法および装置である。

本発明により、３次元計測対象物体の表面に計測結果関連情報を投影する際に、計測対象物の形状・位置・姿勢に応じて、前記計測結果関連情報を前記３次元計測対象物体の表面の正しい位置に投影することが可能な方法および装置を提供できる。

基準面上の点と投影行使の位相の関係において、計測用のプロジェクターを用いた投影を説明する図である。 基準面上の点と投影行使の位相の関係において、マッピング用のプロジェクターを用いた投影を説明する図である。 １画素の撮影ラインLと基準面上の３次元座標（x座標とy座標，z座標）の関係を示す図である。 変換テーブルの作成を説明する図である。 基準面撮影で得た位相と高さの関係を示す図であり、位相とｘ座標の関係を示す図である。 基準面撮影で得た位相と高さの関係を示す図であり、位相とｙ座標の関係を示す図である。 基準面撮影で得た位相と高さの関係を示す図であり、位相とｚ座標の関係を示す図である。 作成した位相・高さの関係テーブルとその参照を説明する図である。 位相と３次元座標（ｘ座標，ｙ座標，ｚ座標）の変換テーブルを説明する概念図である。 移動ステージに取り付けられた基準面に用いる液晶ディスプレイを説明する図である。 計測用のプロジェクターから基準面への格子の投影と撮影の様子を説明する図である。 ｘ方向の格子を基準面に表示して撮影する様子を説明する図である。 ｙ方向の格子を基準面に表示して撮影する様子を説明する図である。 マッピング用のプロジェクターから基準面への格子の投影の様子（ｘ方向）を説明する図である。 マッピング用のプロジェクターから基準面への格子の投影の様子（ｘ方向）を説明する図である。 計測画像と計測の様子を説明する図である。 マッピングする画像と計測の様子を説明する図である。 カメラの座標（ｉｃ，ｊｃ）とｚ座標の関係を示す図である。 １画素のカメラの座標（ｉｃ，ｊｃ）とｚ座標の関係を示す図であり、ｚ座標と投影画素ｉｐの関係を説明する図である。 １画素のカメラの座標（ｉｃ，ｊｃ）とｚ座標の関係を示す図であり、ｚ座標と投影画素ｊｐの関係を説明する図である。 マッピング用プロジェクターで格子投影した画像の位相接続画像であり、投影画素ｉｐを説明する図である。 マッピング用プロジェクターで格子投影した画像の位相接続画像であり、投影画像ｊｐを説明する図である。 形状計測のフローを説明する図である。 計測装置の一構成例を示す図である。 プロジェクターとカメラとＬＥＤデバイスの配置を示す図である。 格子パターンを投影する様子を説明する図である。 計測結果を対象物体に投影する様子を説明する図である。 計測用プロジェクターから計測対象物体の表面に格子パターンを投影する様子を説明する図である。 計測結果を計測対象物体に投影する様子を説明する図である。

以下、本発明の実施形態を図面と共に説明する。
１．計測原理
ここでは、３次元計測、および３次元計測マッピングに用いられている計測原理を説明する。３次元計測マッピングでは全空間テーブル化方法を用いて、計測時に用いるプロジェクターと、計測結果や評価結果などの計測結果関連情報を物体上にマッピングするためのプロジェクターの光軸が異なっていても、位相と３次元座標のテーブルを参照することで、複雑な計算をしなくても対応関係を求めることができる。

まず１．１で、位相と3次元座標を変換するテーブルをつくるための全空間テーブル化方法の基準面の撮影と位相と座標のテーブルについて説明する。１．２で、液晶ディスプレイを用いたテーブルの作成方法について説明する。最後に１．３で、位相と３次元座標の変換について説明する。

位相シフト法、光源切替位相シフト法、計測深度拡大法および，オーバーラップ法は、公知の技術を用いることができる。ここでは、テーブル作成に使用する基準面の垂直方向をz座標(高さ・深度)方向、横縦方向をxy座標方向として定義する。

１．１ 全空間テーブル化方法
１．１．１ 基準面の撮影
投影する余弦波状の格子パターンに対して、直交する方向をx軸とする。このとき、図１Ａ，図１Ｂに基準面上の点と投影格子の位相の関係を示す。図１Ａは計測用のプロジェクターを用いた投影の場合、図１Ｂはマッピング用のプロジェクターを用いた投影の場合をそれぞれ表す。

カメラと計測用プロジェクターとマッピング用プロジェクターの位置関係を固定し、x軸方向で視差がおきるように配置する。基準面はz軸に垂直に設置し、z軸方向に平行移動が可能である。格子模様がプロジェクター（計測用プロジェクターとマッピング用プロジェクター）から基準面に投影される。

カメラの任意の１画素は図１Ａ，図１Ｂに示す直線L上の点を撮影しているものとする。前記の任意の１画素は、基準面R₀, R₁, R₂...R_Ｎに応じて、それぞれ点P₀, P₁, P₂...P_Nを撮影することになる。それぞれの点における位相は、位相シフト法によって投影した格子から求めることができる。具体的には、基準面の位置をΔzずつ動かしていき、それぞれのzにおける基準面の位相分布を求めていく。この時、基準面の高さを低いほうからz_i(i = 0， 1， 2， …， N)とする。ここで、N+1は基準面を動かした回数である。なお、図中のプロジェクター（計測用プロジェクターとマッピング用プロジェクター）から基準面へ引かれている実線は投影格子の輝度値の高い部分を示している。

図２に、１画素の撮影ラインLと基準面上の３次元座標（x座標とy座標，z座標）の関係を示す。１画素が撮影している各基準面上の点P₀, P₁, P₂...P_N については、基準面に固定された２次元状のパターンからx座標およびy座標を得て、基準面の位置からz座標を得る。基準面に固定された２次元状のパターンは、そのパターンからx座標およびy座標が得られるようなパターンが必要である。

２次元状のパターンとして２次元格子を用いる場合は、その格子のx方向およびy方向の位相値をそれぞれ求め、さらに位相接続をすることによって、各点におけるx座標およびy座標をそれぞれ得ることができる。基準面の表面に光拡散板を貼付けた液晶ディスプレイを用いることで、格子パターンを基準面上に表示することができ、撮影した画像から位相シフト法によって位相分布を求める。このようにすることで、各基準面の位置ごとに、投影格子の位相θに対するx座標，y座標，z座標がそれぞれ画素ごとに得られることになる。

１．１．２ テーブルの作成
次に、z座標と位相との変換テーブルを作成する。変換テーブル作成の概要を図３に示す。実際に計測された２点間のz座標における位相を線形的に補間し、補間された場所で間隔Δθを一定に保つようにテーブル要素を作成する。要素には位相値の小さいほうから0， 1， 2， …， i…， Nと番号をつけ、それぞれの位相値はθ_i(i = 0， 1， 2， …， N)とおく。ここで、N+1は作成するテーブルの要素の総数である。NとΔθとの間には、数１式の関係がある。

まず、図４Ａ，図４Ｂ，図４Ｃに示すように、位相θ_Pに対応するx座標x_Pは、位相θ_Pを間に持つ前後の位相θ_iおよびθ_i+1と、それに対応するx座標x_iおよびx_i+1を用いて数２式により求めることができる。同様に、y座標についてはy_iおよびy_i+1を用いて数３式により、また、z座標については、z_iおよびz_i+1を用いて数４式により求めることができる。

ここで、θ= θ_Pとする。また、θ_i+1 < θ_iとなる場合、θ_i < θ ≦ 2πであればθ_i+1に2πを加え、0 ≦ θ < θ_i+1であればθ_iから2πを引いた上で数２式，数３式，および数４式を用いる。また、数２式，数３式，および数４式を用いて、あらかじめ等間隔の位相θに対応するx座標とy座標，z座標のテーブルをそれぞれ作成しておく。

なお、図４Ａ，図４Ｂ，図４Ｃにおいて、Kとして示す区間の位相に対しては、その位相を間に持つ前後の位相θ_Nおよびθ_N+1とのうち、θ_N+1は存在しない。そこで、i = N-1として数２式，数３式，および数４式を用いて、位相と３次元座標の関係を求める。すなわち、一つ手前の基準面における位相と座標の値を用いて計算する。こうすることによって、0から2πの全ての位相に対して、３次元座標を得ることができる。また、投影格子の位相接続を行う場合でも、同様の考え方で、位相接続後の位相とその点の３次元座標を得ることが可能である。

１．１．３ テーブルの参照
形状計測の際は、作成した位相と高さの関係テーブルを参照し、これより高さ分布を得る。作成したある１画素における、位相と高さの関係テーブルを図５に示す。ここで、基準面の位相を求めた時と同様にして、計測対象の位相θを求める。数５式に示すようにθをΔθで割った商nはθが参照すべきテーブル要素の番号と一致するため、その画素におけるz座標z_nが求まる。これを全画素に対して行えば、計測対象の高さ分布が算出できる。

x座標のテーブル作成の際、初めに得られた高さとx座標の関係から、位相とz座標の関係テーブルを利用することにより、位相とx座標の関係への変換を行った。このことにより、x座標の算出にz座標の算出が不要になる。また、y座標についても同様の手法で位相からy座標を求めるテーブルを作成することができる。

ここで位相から３次元座標（x座標，y座標，z座標）への変換について実際に使用している方法を述べる。図６に、ある1画素においてm個のテーブル要素数を持つ、位相と３次元座標（x座標，y座標，z座標）の変換テーブルの概念図を示す。図中のIndex numberは、数５式より求めた参照テーブル要素番号nの値である。これらはすべて画素単位でメモリ上に配列としてそれぞれの並び順のまま保持され、参照の際にはn番目の場所に保管されているデータを読み出すことで結果を求めている。

このように本発明による方法では、事前に求めた基準面の位相値分布を元に計測対象物の高さ分布を算出する。これにより、投影格子が正弦波にならないことによる計算誤差や、カメラレンズの歪曲収差の影響による誤差を回避できる。さらにテーブル参照の処理のみであるから、画素ごとの高さの計算が不要となり高速な解析が可能となる。

１．２ 液晶ディスプレイを用いたテーブルの作成方法
平板に２次元格子パターンを描く手法も有効であるが、基準面上に濃淡のパターンが描かれることによって、格子投影をする場合に、基準面内の位置によって投影格子の位相の精度にばらつきが生じる場合がある。

そこでここでは、液晶ディスプレイを用いることで、精度よくx方向およびy方向の位相値をそれぞれ求めることができ、さらに投影格子の位相も精度よく得られる基準板を説明する。

この基準板は、位相シフト法によって位相解析を行うことで、各画素のx座標およびy座標を精度よく求めることができる。さらに投影格子に対して、基準面内の位置によって投影格子の位相の精度にばらつきが生じることが起こらない。３次元座標と計測用のプロジェクターから投影される格子の位相の関係は全空間テーブル化手法を用いて校正を行う。

図７に移動ステージに取り付けられた基準面に用いる液晶ディスプレイを示す。液晶ディスプレイ表面には光拡散板が貼付されており、液晶ディスプレイに表示された画像をバックライト光源からの照明光によって光拡散板に背面から投影される構造になっている。液晶ディスプレイは、z方向に移動する移動ステージ上に、ディスプレイ表面がz軸に対して垂直になるように取り付けられている。移動ステージはコンピュータからの移動ステージ制御信号によって位置をコントロールされている。

テーブルデータ取得の手順を示す。図８に、計測用のプロジェクターから格子を投影している様子を示す。計測用のプロジェクターから投影する格子を撮影する場合は、液晶パネルには黒パターンを基準面表示画像として表示する。こうすることによって、バックライト光源からの照明光を遮断する。計測用のプロジェクターからは格子画像を投影し、カメラで撮影する。計測用のプロジェクターから投影された投影格子は、光拡散板表面に投影される。したがって、光拡散板表面が基準面となる。移動ステージを用いて基準面の位置をz₀, z₁, z₂…z_N に移動する。そして、それぞれの位置において投影格子の位相解析を行うことで、カメラで撮影される画像の画素ごとにそれぞれの位置に対する位相θ₀, θ₁, θ₂…θ_N を得ることができる。

次に、図９Ａ，図９Ｂに、基準面へのx方向およびy方向の格子画像を表示する様子をそれぞれ示す。計測用とマッピング用のプロジェクターには投影画像として黒パターンを入力することで、両方のプロジェクターからの投影光を遮断する。

液晶パネルには基準面表示画像として、x方向またはy方向の格子画像を表示する。バックライト光源から出た照明光によって、液晶パネルに表示された格子画像が液晶パネルに貼付された光拡散板に背面から投影される。投影された画像は光拡散板内部を散乱しながら透過し、基準面となっている光拡散板表面に表示される。したがって、カメラは基準面に表示された格子画像を撮影することができる。

移動ステージを用いて基準面の位置をz₀, z₁, z₂…z_N に移動する。そして、それぞれの位置において、x方向およびy方向の格子の位相解析を行い、その位相に対して位相接続を行う。さらに、位相接続された位相からx座標またはy座標への換算を行うことで、カメラで撮影される画像の画素ごとにそれぞれの位置に対するx座標x₀, x₁, x₂…x_N およびy座標y₀, y₁, y₂…y_N を得ることができる。

図１０Ａ，図１０Ｂに、マッピング用のプロジェクターからx方向およびy方向の格子を投影している様子をそれぞれ示す。図８に示される計測用のプロジェクターを用いた投影と同様に、マッピング用のプロジェクターから投影する格子を撮影する場合は、液晶パネルには黒パターンを基準面表示画像として表示する。移動ステージを用いて基準面の位置をz₀, z₁, z₂…z_N に移動し、それぞれの位置においてx方向およびy方向の投影格子の位相解析を行うことで、カメラで撮影される画像の画素ごとにそれぞれの位置に対するx座標の位相Φ_i0, Φ_i1, Φ_i2…Φ_iNおよびy座標の位相Φ_j0,Φ_j1,Φ_j2…Φ_jNを得ることができる。このようにすることで、それぞれの画素で各基準面の位置でマッピング用のプロジェクターから投影される格子のx座標の位相Φip，y座標の位相Φjpと３次元座標（x座標とy座標，z座標）がそれぞれ得られる。

位相Φip,Φjpは，基準面の位置でしか得られないが，必要に応じて基準面の間隔を小さくすることにより、３次元座標との対応関係を精度よく求めることができる。位相値Φip,Φjpはマッピング用の座標のip画素および,jp画素にそれぞれ変換する。マッピング用のプロジェクターで投影したx，y方向の格子ピッチをPip，Pjpとすると、数６式および数７式により、位相と座標が変換できる。

１．３ 座標変換について
３次元計測で得られた画像をマッピング用のプロジェクターで投影すると光軸が異なるため、マッピングがずれる。プロジェクションマッピングをするためには、計測したそれぞれの３次元座標（x座標とy座標，z座標）をプロジェクターから投影するための座標に変換する必要がある。上述の校正手法により、マッピング用の座標のi_p画素，j_p画素と，z座標z₀, z₁, z₂…z_Nの関係が画素ごとに得られる。

図１１に計測画像と計測の様子を示す。図中のobjectを3次元計測したものをMeasurement imageに示している。Object上のある座標値(x_a,y_a,z_a)はカメラで撮影した計測画像の座標(i_c,j_c)に格納されている。

図１２に計測画像の座標をマッピング用の座標に変換した様子を示す。図中のProjection imageはマッピング用のプロジェクターで投影する画像を表している。上記の計測画像の座標(i_c,j_c)に格納されていた座標値(x_a,y_a,z_a)は、マッピング画像の座標(i_p,j_p)に格納される。

計測した３次元座標（x座標，y座標，z座標）をプロジェクターから投影するための座標に変換するために、全空間テーブル化手法により作成したテーブルを参照する。図１３にカメラの画素(i_c,j_c)とz座標の関係を示す。

各基準面の撮影位置zにおける３次元計測画像の1画素ごとに、対応するマッピング画像の座標が格納されている。３次元計測により取得したz座標と計測画像の座標(i_c,j_c)からマッピング用の座標(i_p,j_p)が得られる。

全空間テーブル化手法によって、画素ごとに３次元座標がそれぞれ得られる。図１４Ａ，図１４Ｂにある１画素(i_c,j_c)におけるz座標とマッピング用のプロジェクターの投影格子画像のip座標およびjp座標の関係をそれぞれ示す。座標(i_c,j_c)におけるz座標の値をz_aとする。計測座標z_aからこれらのテーブルをもとにしてz_aの位置で撮影したマッピング用のプロジェクターのマッピング用のプロジェクターの投影格子画像のip座標およびjp座標を(ipa,jpa)と求めることができる。
以上の説明では、基準面に液晶ディスプレイを用いた場合について示したが、x，y座標を読み取ることができる他の手段を用いたキャリブレーション手法についても適用が可能である。例えば、基準面とする平板に、２次元の格子パターンやドットパターン、チェッカーパターンなどを描いたものについても適用が可能である。
さらに、基準面からはx，y座標の情報は得られないような場合においても、本方法では、カメラの座標(i_c,j_c)とz座標に対して、マッピング用のプロジェクターの投影格子画像のip座標およびjp座標の関係をテーブル化する。そのため、x，y座標を求めない３次元計測装置（高さ分布計測装置）の場合においても適用可能である。また、x，y座標を簡易的にカメラの座標(i_c,j_c)から算出する３次元計測装置においても適用可能である。

図１５Ａ，図１５Ｂにマッピング用プロジェクターで格子投影した画像の位相接続画像を示す。位相接続画像には１画素ごとにマッピング用の座標値が格納されている。図１４Ａからz_aに対応している投影画素i_pa，図１４Ｂから投影画素j_paが求まる。

座標変換を計測画像のz座標が得られた画素に対して行うことでマッピング画像が得られる。各変換した座標に高さ分布を入れて得られたマッピング画像をマッピング用のプロジェクターで投影することにより物体上の正しい位置に計測結果を投影することができる。

図１６は、基準面撮影からテーブル作成、対象の形状計測までのフローを説明する図である。計測の手順は、まず、シミュレーションにより計測可能であると予測される範囲に基準面を置く。その位置で、光源切替位相シフト法により位相を求める。光源を切り替えるごとに撮影し、得られた３枚以上の画像から各画素の位相値を求める。この作業をｚ方向へΔｚずつ基準面を移動させた各位置へ繰り返す。これを、基準面がｚ_n-1の位置になるまでｎ回行なうことで、画素ごとのｚ座標と位相の関係が求められる。ここまでが、キャリブレーションの作業である。以上により得られた関係から、位相とｚ座標の関係を補間した変換テーブルを作成する。このテーブルはＰＣ内部のメモリに一時保管しておく。ここまでが、テーブル作成作業である。

次に、基準面を撮影した範囲に計測物体を置き、光源切替位相シフト法により、キャリブレーション時と同じ回数だけ光源を順に点灯させ撮影を行い、計測物体の位相分布を算出する。この位相分布の各画素における位相値をテーブルに照らし合わせることで、計測物体のｚ座標分布を算出する。ここまでが、形状計測作業である。なお、実験環境に変化が無い限り、同じテーブルを用いて計測を行なうことが可能である。
図１７は、計測装置の構成を示す図である。図１８はプロジェクターとカメラとＬＥＤデバイスの配置を示す図である。

図１７に示される３次元計測装置は、格子板、ラインＬＥＤデバイス、カメラ、パーソナルコンピュータを備えている。ラインＬＥＤデバイスをライン状に配置した８ラインの光源により構成されている。ラインＬＥＤにはＬＥＤ点灯回路とドライブ回路とが含まれている。

ＬＥＤデバイスを４つ使用し、格子板に対して光源の距離が変わるように２組を２段に分けて設置している。これは、計測深度拡大方法を適用するためである。計測深度拡大方法は公知の技術手段である。

３次元計測装置には、ＤＬＰ式プロジェクターを組み込んでいる。このプロジェクターは、物体上へのプロジェクションマッピングに利用する。また、プロジェクター内部には、フォトダイオードを入れており、プロジェクターの光源の出力をパーソナルコンピュータに送っている。

上述したように、本発明に係るプロジェクションマッピング装置は、計測対象物体の表面に計測結果や評価結果の分布を輝度値やカラー情報の分布として投影する際に、計測対象物体の形状に応じて、プロジェクターで投影する画像の位置を適切に決めることで、物体の形状が変わっても、物体表面上の正しい位置に計測結果や評価結果を投影することができる。また、非常に短時間にその処理を行うことができる。また、計測用の投影に近赤外光や目立たない波長の光を用いることで、作業者が３次元計測をするための投影光を見ること無しに、または、ほとんど気になること無しに、対象物に投影された計測結果や評価結果だけを見ることができる。これにより、作業員の作業性が高まる。

次に、図１９から図２２を用いて、複数の格子投影装置（複数のプロジェクター）を用いた３次元形状計測方法とその装置の実施形態を説明する。図１９に計測対象物体に計測用プロジェクターから格子パターンを投影する様子を示す。図２０に投影用プロジェクターから計測結果を元にして作成した評価結果の分布を投影している様子を示す。まず、図１９に示す計測用プロジェクターから格子像を計測対象物体に格子模様を投影する。カメラにより、計測対象物体に投影された格子画像を撮像する。次に、パーソナルコンピュータ（ＰＣ）が、上記した変換テーブルを参照して、投影画像が計測プロジェクターを用いて測定した計測対象物体の対応する座標に投影されるように処理を行う。

また、本発明による方法は、計測用プロジェクターと投影用プロジェクターが同一の場合でも、同様の装置を構築することができる。その場合の計測と投影の様子を次に示す。図２１に計測対象物体に計測用プロジェクターから格子パターンを投影する様子を示す。図２２に計測用プロジェクターと兼用の投影用プロジェクターから計測結果を元にして作成した評価結果の分布を輝度値やカラー情報の分布として投影している様子を示す。パーソナルコンピュータＰＣが計測用と投影用の兼用のプロジェクターを制御することで、本発明によるプロジェクションマッピングを実施できる。

上述したように、本発明に係るプロジェクションマッピング装置は、３次元計測を行った直後に計測結果や計測結果を元に生成された評価結果の分布を計測対象物の実物表面上に即座に投影することができる。すなわち、一連の処理を繰り返し実行することで、リアルタイムに計測結果や計測結果を元に生成された評価結果の分布を計測対象物の実物表面上に投影するこが可能となる。

上記に示した方法により、投影用の画像を作成することができるが、カメラの撮影画素数が少ない場合には、投影画像にマッピングするデータ点が少なくなることで、画像内にデータが無い点が現れ、対象物体表面に投影された画像に欠けた点が現れる。

これについては、（１）近傍のデータのある点のデータ値を用いて，補間を行うことでその点のデータを生成することで解消する手段、（２）また、カメラで撮影した画像に対して、画像の画素数を増やす処理を行い、得られた画素数の多い画像を用いて投影画像を生成する手段、による解決することができる。なお、（１）と（２）を組み合わせることで、隙間の量が低減または解消された投影画像を生成することができる。

上述したように、本発明により、３次元計測対象物体の表面に計測結果関連情報を投影する際に、計測対象物の形状・位置・姿勢に応じて、前記計測結果関連情報を前記３次元計測対象物体の表面の正しい位置に投影することが可能な方法および装置を提供できる。
また、本発明はテーブルを参照することで対応画素の座標を求めているため、非常に短時間に投影する画像を生成することができる。
さらに、本発明は、計測用の投影に近赤外光を用いることで、作業者には３次元計測をするための投影光を見ること無く、計測対象物に投影された計測結果や評価結果だけを視認することができる。これにより作業員や視覚センサを備えたロボットによる作業性が高まる。
さらに、本発明は、リアルタイムに３次元計測結果やそれに応じた評価結果の分布を対応する実物上に投影することができる。

Ｌ 撮影ライン
ＰＣ パーソナルコンピュータ

Claims (8)

1. 計測用プロジェクターと物体の表面の位置に対応した輝度値やカラー情報を物体上に投影する投影用プロジェクターと前記計測用プロジェクターから投影された格子パターンを撮影するカメラと、を備えたプロジェクションマッピング装置において、
   前記計測用プロジェクターを用いて前記物体の３次元形状を計測する第１ステップと、
   前記第１ステップより前記物体の３次元形状を計測して得られた座標情報を元にして、カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照する第２ステップと、
   前記第２ステップにより、前記カメラの画素に対応する前記投影用プロジェクターの画素の座標を求める第３ステップと、
   前記第３ステップにより求められた、前記投影用プロジェクターの画素から、前記物体の表面の位置に対応した輝度値やカラー情報を前記物体の表面に投影する第４ステップと、を含むプロジェクションマッピング方法。
2. 計測用プロジェクターと物体の表面の位置に対応した輝度値やカラー情報を物体上に投影する投影用プロジェクターと前記計測用プロジェクターから投影された格子パターンを撮影するカメラと、を備えたプロジェクションマッピング装置において、
   前記計測用プロジェクターを用いて前記物体の３次元形状を計測する３次元形状計測手段と、
   前記３次元形状測定手段により前記物体の３次元形状を計測して得られた座標情報を元にして、前記カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照する参照手段と、
   前記参照手段により、前記カメラの画素に対応する前記投影用プロジェクターの画素の座標を求める画素情報取得手段と、
   前記画素情報取得手段により求められた、前記投影用プロジェクターの画素から、前記物体の表面の位置に対応した輝度値やカラー情報を前記物体の表面に投影する投影手段を備えた、プロジェクションマッピング装置。
3. 前記計測用プロジェクターは非可視光を用いる、請求項２に記載のプロジェクションマッピング装置。
4. 前記カメラの任意の画素の近傍の画素に対応する投影画像データを用いて補間を行なう手段および前記カメラで撮影された画像に対して、前記投影画像データを増やす処理を行う手段のうちの少なくとも一方を更に備えた、請求項２または３に記載のプロジェクションマッピング装置。
5. 物体の表面の位置に対応した輝度値やカラー情報を物体上に投影するプロジェクション装置において、
   前記物体の３次元形状を計測して得られた座標情報を元にして、カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照することによって、前記カメラの画素に対応する前記プロジェクターの対応画素の座標を求める方法。
6. 前記請求項５を実現するためのキャリブレーション方法。
7. 前記請求項５を実現するための装置。
8. 前記請求項５を実電するためのキャリブレーション装置。