JP2023133723A - 三次元計測装置 - Google Patents

Abstract

【課題】イベントデータを利用して計測対象物の三次元形状の計測を実施可能な構成を提供する。【解決手段】計測部４０は、撮像部３０の撮像画像から求められる縞パターン情報を利用して位相シフト法により計測対象物Ｒの三次元形状を計測する際、撮像素子から上記単位時間Ｔ中に出力される先のイベントデータと後のイベントデータとの出力タイミングの時間差と後のイベントデータの極性とに基づいて、撮像画像における画素単位での上記縞パターン情報を求める。【選択図】図７

Description

本発明は、計測対象物の三次元形状を計測する三次元計測装置に関するものである。

従来、計測対象物の三次元形状等を計測する三次元計測装置として、例えば、位相シフト法を利用した装置が知られている。位相シフト法は、位相をずらした複数枚の縞パターン画像を投影することでこの縞パターン画像を投影した計測対象物に関して三次元計測を行う手法である。このように位相シフト法を利用して三次元計測を行う技術として、下記特許文献１に開示されている三次元計測装置が知られている。この三次元計測装置は、各位相の縞を異なる波長の光に割り当て、これを合成した縞パターン画像を計測対象物に投影し、この縞パターン画像を投影している計測対象物をカラーカメラで撮影する。そして、撮影した画像から各色成分を抽出して１回の撮影で位相算出を行うことで、三次元形状の計測に要する時間の短縮を図っている。

特許第３７２３０５７号公報 米国特許出願公開第２０１６／０２２７１３５号明細書

ところで、より高速に計測対象物の画像を生成する技術として、上記特許文献２に開示されるイベントカメラが知られている。このイベントカメラは、生物の網膜構造にヒントを得て開発された輝度値差分出力カメラであり、画素ごとに輝度の変化を感知してその座標、時間、そして輝度変化の極性を出力するように構成されている。このような構成により、イベントカメラは、従来のカメラのように輝度変化のない画素情報、つまり冗長なデータ（イベントデータ）は出力しないといった特徴があるため、データ通信量の軽減や画像処理の軽量化等が実現されることで、より高速に計測対象物の画像を生成することができる。

しかしながら、イベントカメラから出力されるイベントデータを用いて生成された計測対象物の撮像画像では、その撮像画像から画素単位での輝度変化の有無を把握できても輝度値を直接計測することができない。このため、輝度値を利用する位相シフト法などの三次元計測方法では、計測対象物の三次元形状の計測を実施できないという問題がある。

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、イベントデータを利用して計測対象物の三次元形状の計測を実施可能な構成を提供することにある。

上記目的を達成するため、特許請求の範囲の請求項１に記載の発明は、
計測対象物（Ｒ）に対して所定の縞パターンを投影する投影部（２０）と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部（３０）と、
前記撮像部の撮像画像から求められる縞パターン情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部（４０）と、
前記投影部を制御する制御部（１１）と、
を備える三次元計測装置（１０）であって、
前記投影部は、複数のミラーをアレイ状に配置したＤＭＤによる入射光の反射のＯＮ／ＯＦＦが前記ミラーごとに前記制御部によって制御されることで、前記所定の縞パターンを投影し、
前記制御部は、単位時間中での前記反射のＯＮ／ＯＦＦタイミングを、前記所定の縞パターンに応じて前記ミラーごとに設定し、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記撮像素子は、明るくなる輝度変化の場合に正極性のイベントデータを出力し、暗くなる輝度変化の場合に負極性のイベントデータを出力し、イベントデータを出力してから前記単位時間よりも短い所定時間（ΔＴ）が経過するまでは次のイベントデータを出力しないように構成され、
前記計測部は、前記撮像素子から前記単位時間中に出力される先のイベントデータと後のイベントデータとの出力タイミングの時間差と前記先のイベントデータの極性及び前記後のイベントデータの極性の少なくとも一方とに基づいて、前記撮像画像における画素単位での前記縞パターン情報を求めることを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

請求項１の発明では、投影部は、複数のミラーをアレイ状に配置したＤＭＤによる入射光の反射のＯＮ／ＯＦＦがミラーごとに制御部によって制御されることで、所定の縞パターンを計測対象物に対して投影する。制御部は、単位時間中での上記反射のＯＮ／ＯＦＦタイミングを、所定の縞パターンに応じてミラーごとに設定する。撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備え、この撮像素子は、明るくなる輝度変化の場合に正極性のイベントデータを出力し、暗くなる輝度変化の場合に負極性のイベントデータを出力し、イベントデータを出力してから上記単位時間よりも短い所定時間が経過するまでは次のイベントデータを出力しないように構成される。計測部は、撮像部の撮像画像から求められる縞パターン情報を利用して位相シフト法により計測対象物の三次元形状を計測する際、撮像素子から上記単位時間中に出力される先のイベントデータと後のイベントデータとの出力タイミングの時間差と先のイベントデータの極性及び後のイベントデータの極性の少なくとも一方とに基づいて、撮像画像における画素単位での上記縞パターン情報を求める。

これにより、先のイベントデータの極性及び後のイベントデータの極性の少なくとも一方を制御することで、極性を制御しない場合と比較して、イベントデータの出力によって得られる情報量を増加させることができる。すなわち、同じ単位時間で得られる情報量が増加することから、同じ情報量を表現する場合でも単位時間を短くすることができるので、イベントデータを利用して計測対象物の三次元形状の計測を実施できるだけでなく、イベントデータを利用した計測対象物の三次元計測の高速化を図ることができる。

請求項２の発明では、計測部は、撮像素子から単位時間中に出力される先のイベントデータと後のイベントデータとの出力タイミングの時間差と先のイベントデータの極性と後のイベントデータの極性とに基づいて、撮像画像における画素単位での上記縞パターン情報を求める。

これにより、イベントデータの出力によって得られる情報量をさらに増加させることができるので、イベントデータを利用した計測対象物の三次元計測の高速化をさらに図ることができる。

第１実施形態に係る三次元計測装置の概略構成を示すブロック図である。 一般的な位相シフト法用の縞パターンが計測対象物に投影された状態を説明する説明図である。 位相シフト法による三次元測定を説明する図である。 図４（Ａ）は、縞パターンを投影する際のある画素レベルでのＲ色発光状態、Ｇ色発光状態、Ｂ色発光状態を説明する説明図であり、図４（Ｂ）は、図４（Ａ）と異なる画素レベルでのＲ色発光状態、Ｇ色発光状態、Ｂ色発光状態を説明する説明図である。 極性が制御されないイベントデータの出力状態を説明する説明図である。 デッドタイム中にＤＭＤ素子のミラーを切り替えることで極性が制御されるイベントデータの出力状態を説明する説明図である。 第１実施形態において、Ｒ色発光状態、Ｇ色発光状態、Ｂ色発光状態のそれぞれについてイベントデータの出力状態を説明する説明図であり、図７（Ａ）は、極性が制御されない場合を示し、図７（Ｂ）は、終点極性が制御される場合を示す。 第２実施形態において、Ｒ色発光状態、Ｇ色発光状態、Ｂ色発光状態のそれぞれについてイベントデータの出力状態を説明する説明図であり、図８（Ａ）は、極性が制御されない場合を示し、図８（Ｂ）は、始点極性及び終点極性が制御される場合を示す。

［第１実施形態］
以下、本発明の三次元計測装置を具現化した第１実施形態について、図面を参照して説明する。
本実施形態に係る三次元計測装置１０は、計測対象物Ｒの三次元形状を計測する装置であって、図１及び図２に示すように、全体制御を司る制御部１１と、計測対象物Ｒに対して位相シフト法用の所定の縞パターンを投影する投影部２０と、所定の縞パターンが投影された計測対象物Ｒを撮像する撮像部３０と、この撮像画像から計測対象物Ｒの三次元形状を計測する計測部４０と、を備えるように構成されている。このように構成される三次元計測装置１０は、例えば、ロボットのハンドに組み付けられることで、ハンドに対して高速に相対移動することになるワーク等の計測対象物Ｒの三次元形状を計測する。ここで、相対移動とは、ロボットのハンドに組付けられた三次元計測装置１０の移動と計測対象物Ｒの高速移動との間での相対的な移動を指している。三次元計測装置１０の位置が固定されている場合には相対移動は計測対象物Ｒの移動となる。

なお、図２では、便宜上、１３縞目まである所定の縞パターンを簡略化して図示している。より具体的には、一般的な縞パターンはサイン波パターンで表わされるので、縞パターンの明色部分と暗色部分は同様の幅となるが、図２では、便宜上、暗色部分の幅を小さくして線で表わしている。かつ、縞の数も実施形態では１３以上であるが、１３に省略している。

制御部１１は、マイコンを主体として構成されるものであり、ＣＰＵ、システムバス、入出力インタフェース等を有し、ＲＯＭ，ＲＡＭ、不揮発性メモリなどからなる記憶部とともに情報処理装置を構成している。記憶部には、ロボット制御に関するプログラムに加えて、投影部２０の制御に関するプログラムや計測部４０による三次元計測結果を利用した制御処理を実行するためのプログラム等が制御部１１により実行可能に予め格納されている。

投影部２０は、いわゆるＤＬＰプロジェクタであって、制御部１１により制御されて、光源からの光をＤＭＤ素子にて反射することで後述する所定の縞パターンを投影する。ＤＭＤ素子は、スクリーンに投影された画像の各画素に相当する微細なミラーをアレイ状に配置したものであり、各ミラーの角度を変化させてスクリーンへ出射する光を、マイクロ秒単位でＯＮ／ＯＦＦするように構成されている。すなわち、投影部２０は、複数のミラーをアレイ状に配置したＤＭＤによる入射光の反射のＯＮ／ＯＦＦがミラーごとに制御部１１によって制御されることで、所定の縞パターンを投影するように機能する。このため、各ミラーをＯＮにしている時間とＯＦＦにしている時間の比率によって、反射される光の階調を変化させることにより、投影する画像の画像データに基づいた階調表示が可能になる。

このような構成では、発光状態ごとに確保される単位時間内に１回発光される単パルス発光の発光時間が長くなるほどその発光状態が明るくなるため、発光時間に応じて発光状態を特定することができる。図２での画素について左上を（１、１）、右下を（ｋ、ｌ）とした場合、投影部２０は、ｋ×ｌ画素（例えば、１１４０×９１２）に対応するミラーを備えている。また、例えば、ＤＭＤ素子に入射する光として、Ｒ色（赤色）、Ｇ色（緑色）、Ｂ色（青色）が用意される場合には、Ｒ色がミラーにて反射することで発光するＲ色発光状態とＧ色がミラーにて反射することで発光するＧ色発光状態とＢ色がミラーにて反射することで発光するＢ色発光状態とが短時間の所定の周期で繰り返されて、それぞれの発光時間が個別に調整されることで、カラー画像が投影可能となる。このため、制御部１１は、単位時間中での反射のＯＮ／ＯＦＦタイミングを、上記所定の縞パターンに応じてミラーごとに設定するように機能する。

撮像部３０は、いわゆるイベントカメラであって、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータ（具体的には、二次元点データ、時間、輝度変化の極性）を出力する撮像素子を備えて、当該撮像素子から出力されるイベントデータから撮像画像を生成可能に構成されている。このため、撮像部３０では、撮像画像での各画素単位に関して、光を受光することで明るくなる輝度変化が生じると正極性（プラス輝度変化）のイベントデータが出力され、その光が消えることで暗くなる輝度変化が生じて負極性（マイナス輝度変化）のイベントデータが出力される。一定期間内に出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットすることで計測対象物を撮像した画像データが生成可能となり、撮像部３０は、このように生成された画像データ又はイベントデータ（二次元点データ，時間，輝度変化の極性）を計測部４０に出力するように構成されている。

計測部４０は、制御部１１により制御されて、投影部２０から予め決められた所定の縞パターンが投影されている状態の計測対象物Ｒを撮像部３０により撮像した撮像画像に基づいて、位相シフト法によりその計測対象物Ｒの三次元形状を計測するものである。

一般的に、位相シフト法では、所定の縞パターン（第１の方向にて輝度が周期的に変化してこの第１の方向に直交する第２の方向にて輝度が変化しないパターン）を計測対象物Ｒに対して投影して撮像した格子画像（縞画像）に基づいて、その計測対象物Ｒの表面形状に応じてゆがんだ値に相当する位相値θを求めるため、下記の式（１）の輝度値Ｉ（ｘ，ｙ，ｎ）から特定されるサイン波パターンが採用される。すなわち、位相シフト回数をＮとしたとき、Ｎ枚の位相シフトされた格子画像（縞画像）の輝度値Ｉ（ｘ，ｙ，ｎ）が式（１）によって表される。
Ｉ（ｘ，ｙ，ｎ）＝ａ（ｘ，ｙ）ｃｏｓ｛θ（ｘ，ｙ）＋２πｎ／Ｎ｝＋ｂ（ｘ，ｙ）
・・・（１）
ここで、点（ｘ，ｙ）は、格子画像内の１点で、ａ（ｘ，ｙ）は、輝度振幅、ｂ（ｘ，ｙ）は、背景輝度を示し、θ（ｘ，ｙ）は、ｎ＝０の格子の位相値を示し、Ｎ個の格子画像の輝度値Ｉ（ｘ，ｙ，ｎ）から求めた位相値θ（ｘ，ｙ）に応じて点（ｘ，ｙ）までの距離ｚを測定する。

具体的には、例えば、上述したＲ色発光状態、Ｇ色発光状態、Ｂ色発光状態による１周期分で３つの格子画像が得られる場合には、Ｎ＝３として、Ｒ色発光状態での輝度値Ｉ（ｘ，ｙ，０）とＧ色発光状態での輝度値Ｉ（ｘ，ｙ，１）とＢ色発光状態での輝度値Ｉ（ｘ，ｙ，２）とを、撮像画像から求める。この場合には、位相シフト法用の所定の縞パターンは、Ｒ色のみで構成されるサイン波パターンとＧ色のみで構成されるサイン波パターンとＢ色のみで構成されるサイン波パターンとを位相が２π／３ずれるようにして構成される。

計測部４０は、上記撮像画像における点（ｘ，ｙ）での輝度値Ｉ（ｘ，ｙ，０）、輝度値Ｉ（ｘ，ｙ，１）、輝度値Ｉ（ｘ，ｙ，２）が得られている場合には、上記式（１）を利用して位相値θ（ｘ，ｙ）を求め、このように求めた位相値θ（ｘ，ｙ）に応じて点（ｘ，ｙ）までの距離ｚを測定する。このようにして撮像した計測対象物Ｒの各点（ｘ，ｙ）の距離ｚがそれぞれ測定されることで、その計測対象物Ｒの三次元形状を計測することができる。

例えば、図３の点Ｐ１の距離ｚを求める場合、投影部２０より所定の縞パターンをＮ回シフトして投影した状態での撮像部３０のＮ枚の撮影画像から、点Ｐ１の位相値θとその点Ｐ１が何縞目かという情報（縞番号）とを求める。このように求めた位相値θ及び縞番号から投影部２０での角度θｐ１と撮像部３０での角度θｃ１とが求められると、投影部２０と撮像部３０との距離（視差Ｌ）は既知であるため、三角測量により点Ｐ１の距離ｚを求めることができる。同様に、図３の点Ｐ２の距離ｚは、Ｎ枚の撮影画像から求めた点Ｐ２の位相値θ及び縞番号から求められる投影部２０での角度θｐ２と撮像部３０での角度θｃ２とに基づいて、三角測量により求めることができる。この計算を計測エリア全体で行うことにより、三次元計測を行うことができる。

ここで、位相シフト法を利用して計測対象物Ｒの三次元形状を計測する際に、計測部４０にて実施される三次元計測処理について以下詳述する。
本実施形態では、高速に相対移動する計測対象物Ｒを精度良く撮像するための撮像部として、イベントカメラを採用している。このような構成では、輝度変化があった画素に対応するイベントデータが出力され、そのイベントデータには輝度値が含まれないため、位相シフト法に必要な輝度値（Ｉ（ｘ，ｙ，０）、Ｉ（ｘ，ｙ，１）、Ｉ（ｘ，ｙ，２））を直接取得できない。

その一方で、発光開始のタイミングで正極性のイベントデータが出力された後に、発光終了のタイミングで負極性のイベントデータが出力されるため、正極性のイベントデータの出力と負極性のイベントデータの出力との時間差が長くなるほど明るくなる。このため、撮像画像における画素単位での正極性のイベントデータの出力と負極性のイベントデータの出力との時間差に基づいて輝度値を求めることができる。

例えば、ある画素レベルにおいて、図４（Ａ）に例示するように、Ｒ色発光状態、Ｇ色発光状態、Ｂ色発光状態が所定の周期３Ｔ（単位時間Ｔ）で繰り返されている場合を想定する。なお、図４及び後述する図５等では、正極性のイベントデータの出力を上向きの矢印にて図示し、負極性のイベントデータの出力を下向きの矢印にて図示している。

このような発光状態では、Ｒ色発光開始のタイミングで正極性のイベントデータが出力され（図４（Ａ）のｔ１１参照）、Ｒ色発光終了のタイミングで負極性のイベントデータが出力される（図４（Ａ）のｔ１２参照）。その後、Ｇ色発光開始のタイミングで正極性のイベントデータが出力され（図４（Ａ）のｔ１３参照）、Ｇ色発光終了のタイミングで負極性のイベントデータが出力される（図４（Ａ）のｔ１４参照）。その後、Ｂ色発光開始のタイミングで正極性のイベントデータが出力され（図４（Ａ）のｔ１５参照）、Ｂ色発光終了のタイミングで負極性のイベントデータが出力される（図４（Ａ）のｔ１６参照）。

また、例えば、図４（Ａ）での画素と異なる画素レベルでは、図４（Ｂ）に例示するように、Ｒ色発光開始のタイミングで正極性のイベントデータが出力され（図４（Ｂ）のｔ２１参照）、Ｒ色発光終了のタイミングで負極性のイベントデータが出力される（図４（Ｂ）のｔ２２参照）。その後、Ｇ色発光開始のタイミングで正極性のイベントデータが出力され（図４（Ｂ）のｔ２３参照）、Ｇ色発光終了のタイミングで負極性のイベントデータが出力される（図４（Ｂ）のｔ２４参照）。その後、Ｂ色発光開始のタイミングで正極性のイベントデータが出力され（図４（Ｂ）のｔ２５参照）、Ｂ色発光終了のタイミングで負極性のイベントデータが出力される（図４（Ｂ）のｔ２６参照）。

ここで、Ｒ色発光開始のタイミングからＲ色発光終了のタイミングまでの時間が長くなるほどＲ色が明るくなるため、Ｒ色発光開始のタイミングからＲ色発光終了のタイミングまでの時間に応じてＲ色の輝度値を求めることができる。同様に、Ｇ色発光開始のタイミングからＧ色発光終了のタイミングまでの時間に応じてＧ色の輝度値を求めることができ、Ｂ色発光開始のタイミングからＢ色発光終了のタイミングまでの時間に応じてＢ色の輝度値を求めることができる。

このため、撮像画像における画素単位での正極性のイベントデータの出力と負極性のイベントデータの出力との時間差に基づいて輝度値（輝度情報）を求めることができる。図４（Ａ）の例では、Ｒ色発光状態に関して正極性のイベントデータの出力と負極性のイベントデータの出力との時間差であるｔ１２－ｔ１１に基づいてＲ色発光状態での輝度値Ｉ（ｘ，ｙ，０）を求めることができる。同様にして、時間差ｔ１４－ｔ１３及び時間差ｔ１６－ｔ１５に基づいて、Ｇ色発光状態での輝度値Ｉ（ｘ，ｙ，１）及びＢ色発光状態での輝度値Ｉ（ｘ，ｙ，２）を求めることができる。このようにして求めた各輝度値を利用して位相シフト法により計測対象物の三次元形状を計測することができる。すなわち、イベントデータを利用して計測対象物の三次元形状を計測することができる。

次に、本実施形態の特徴であるイベントデータの極性をも利用して三次元計測の高速化を図る構成について、以下に説明する。
撮像部３０では、各画素単位にて、第１閾値（明側閾値）ＴＨ１を超えるように明るくなる輝度変化が生じると正極性のイベントデータが出力され、その光が消えることで第２閾値（暗側閾値）ＴＨ２未満になるように暗くなる輝度変化が生じると負極性のイベントデータが出力される。

具体的には、図５の例では、ある画素（ｘｍ，ｙｎ）において、単位時間Ｔの開始時に投影部２０の対応するＤＭＤ素子のミラーがＯＮ状態になることで時刻ｔ３１にて受光される光量（受光によって生じる電圧）が第１閾値ＴＨ１を超えると、先のイベントデータが正極性で出力される。その後、単位時間Ｔよりも短いデッドタイムΔＴｄを経た後に新たに第１閾値ＴＨ１及び第２閾値ＴＨ２が設定され、単位時間Ｔの経過前に上記ＤＭＤ素子のミラーがＯＦＦ状態になることで時刻ｔ３２にて受光される光量が第２閾値ＴＨ２未満になると、後のイベントデータが負極性で出力される。その後、デッドタイムΔＴｄを経た後に新たに第１閾値ＴＨ１及び第２閾値ＴＨ２が設定される。デッドタイムΔＴｄは、単位時間Ｔに対して十分に短い所定時間に設定されており、イベントデータを出力してからデッドタイムΔＴｄが経過するまでは次のイベントデータが出力されることはない。

このように、正極性の先のイベントデータと負極性の後のイベントデータとが交互に出力される場合には、イベントデータの極性を制御できず、イベントデータの極性に意味を持たせることができない。

これに対して、本願発明の特徴的構成は、先のイベントデータと後のイベントデータとの２つのイベントデータの出力タイミングの時間差に加えてイベントデータの極性を制御することで、イベントデータの出力によって得られる情報量を増加させることにある。

例えば、イベントデータの極性を制御することなく１ｍｓ単位を１情報として活用して２５６ｍｓの時間で８ｂｉｔ情報を表現する構成に対して、後のイベントデータの極性（以下、終点極性ともいう）を制御する構成では、終点極性が正極性と負極性とで情報が変わるため、２５６ｍｓの時間で１６ｂｉｔ情報を表現することができる。すなわち、終点極性を制御することで、同じ８ｂｉｔ情報を表現する場合でも半分の時間に短縮されるので、三次元計測の高速化を図ることができる。

例えば、終点極性を正極性に制御するためには、図６に例示するように、投影部２０の対応するＤＭＤ素子のミラーが単位時間Ｔの開始時にＯＮ状態になった後、デッドタイムΔＴｄ中に上記ＤＭＤ素子のミラーをＯＦＦ状態に変える。これにより、撮像部３０では、時刻ｔ４１にて受光される光量が第１閾値ＴＨ１を超えることで先のイベントデータが正極性にて出力された後、デッドタイムΔＴｄを経た後に新たに設定される第１閾値ＴＨ１及び第２閾値ＴＨ２は、ＤＭＤ－ＯＦＦ状態を基準に設定される。その後に上記ＤＭＤ素子のミラーが再びＯＮ状態になることで、時刻ｔ４２にて受光される光量が上記第１閾値ＴＨ１を超えると、後のイベントデータが正極性に制御されて出力される。

このように、単位時間Ｔの開始時でのデッドタイムΔＴｄ中にＤＭＤ素子の各ミラーのＯＮ／ＯＦＦ状態を切り替えることで、同じ正極性のイベントデータを続けて出力することができる。すなわち、デッドタイムΔＴｄ中でのＤＭＤ素子の各ミラーのＯＮ／ＯＦＦ状態に応じてイベントデータの終点極性を制御することで、イベントデータの出力によって得られる情報量を増加（倍増）させることができる。

上述のように終点極性を制御するための縞パターン（以下、極性制御用縞パターンともいう）が投影部２０から投影されてその格子画像が撮像部３０にて撮像される場合、計測部４０は、Ｎ枚の位相シフトされた格子画像について輝度値Ｉ（ｘ，ｙ，ｎ）に相当する縞パターン情報Ｉｓ（ｘ，ｙ，ｎ）を求めて、このように求めた縞パターン情報Ｉｓ（ｘ，ｙ，ｎ）から下記の式（２）を利用して位相値θ（ｘ，ｙ）を求める。
Ｉｓ（ｘ，ｙ，ｎ）＝ａ（ｘ，ｙ）ｃｏｓ｛θ（ｘ，ｙ）＋２πｎ／Ｎ｝
＋ｂ（ｘ，ｙ） ・・・（２）

本実施形態では、縞パターン情報Ｉｓ（ｘ，ｙ，ｎ）を、先のイベントデータと後のイベントデータとの時間差ΔＴｉ（ｘ，ｙ，ｎ）と後のイベントデータの極性（終点極性）に応じて決まる値Ｆ１（ｘ，ｙ，ｎ）とに基づいて、以下の式（３）から求める。
Ｉｓ（ｘ，ｙ，ｎ）＝ΔＴｉ（ｘ，ｙ，ｎ）＋Ｆ１（ｘ，ｙ，ｎ） ・・・（３）
なお、本実施形態では、Ｆ１（ｘ，ｙ，ｎ）は、後のイベントデータの極性が正極性であれば単位時間Ｔの値になり、後のイベントデータの極性が負極性であれば０になるものである。

ここで、イベントデータの終点極性を制御することで三次元計測の高速化が図られる具体的な事例について、図７を参照して説明する。
終点極性が制御されず、単位時間Ｔが２５６ｍｓであって、Ｒ色発光状態でのイベントデータの出力時間差２０８ｍｓが、Ｇ色発光状態でのイベントデータの出力時間差が１５２ｍｓ、Ｂ色発光状態でのイベントデータの出力時間差が４８ｍｓとなる場合、図７（Ａ）に例示するように、正極性の先のイベントデータと負極性の後のイベントデータとが交互に出力される。この場合、Ｉ（ｘ，ｙ，０）は、２０８ｍｓに相当する値になり、Ｉ（ｘ，ｙ，１）は、１５２ｍｓに相当する値になり、Ｉ（ｘ，ｙ，２）は、４８ｍｓに相当する値になる。

これに対して、図７（Ａ）での各出力時間差に相当する情報を得ることを前提に、図７（Ｂ）に示すように、終点極性を制御して単位時間Ｔを半分の１２８ｍｓとするとき、Ｒ色発光状態でのイベントデータの出力時間差が８０ｍｓであって後のイベントデータの極性が正極性であると、式（３）に基づいて、Ｉｓ（ｘ，ｙ，０）は、２０８ｍｓ（８０ｍｓ＋１２８ｍｓ）に相当する値になって、終点極性が制御されないＩ（ｘ，ｙ，０）と同じ値になる。同様に、Ｇ色発光状態でのイベントデータの出力時間差が２４ｍｓであって後のイベントデータの極性が正極性であると、式（３）に基づいて、Ｉｓ（ｘ，ｙ，１）は、１５２ｍｓ（２４ｍｓ＋１２８ｍｓ）に相当する値になって、終点極性が制御されないＩ（ｘ，ｙ，１）と同じ値になる。また、Ｂ色発光状態でのイベントデータの出力時間差が４８ｍｓであって後のイベントデータの極性が負極性であると、式（３）に基づいて、Ｉｓ（ｘ，ｙ，２）は、４８ｍｓ（４８ｍｓ＋０ｍｓ）に相当する値になって、終点極性が制御されないＩ（ｘ，ｙ，２）と同じ値になる。このように、単位時間Ｔを半分の時間にしても、イベントデータの終点極性を制御することで、同等の情報量を得ることができ、三次元計測の高速化を図ることができる。

このため、投影部２０から照射される極性制御用縞パターンは、上記式（３）に基づいてＩｓ（ｘ，ｙ，ｎ）を求めることができるように生成される必要がある。制御部１１は、上述のように生成される極性制御用縞パターンが投影されるように投影部２０を制御するとともに、このように投影される極性制御用縞パターンに関する情報等を計測部４０に対して所定のタイミングで指示する。このような指示を受けた計測部４０では、撮像部３０にて撮像されるＮ枚の位相シフトされた格子画像の縞パターン情報Ｉｓ（ｘ，ｙ，ｎ）を上述のように求めて、このように求めた縞パターン情報Ｉｓ（ｘ，ｙ，ｎ）から上記式（２）を利用して位相値θ（ｘ，ｙ）を求めることで、計測対象物Ｒの三次元形状を計測することができる。

以上説明したように、本実施形態に係る三次元計測装置１０では、投影部２０は、複数のミラーをアレイ状に配置したＤＭＤによる入射光の反射のＯＮ／ＯＦＦがミラーごとに制御部１１によって制御されることで、所定の縞パターンを計測対象物Ｒに対して投影する。制御部１１は、単位時間Ｔ中での反射のＯＮ／ＯＦＦタイミングを、所定の縞パターンに応じてミラーごとに設定する。撮像部３０は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備え、この撮像素子は、明るくなる輝度変化の場合に正極性のイベントデータを出力し、暗くなる輝度変化の場合に負極性のイベントデータを出力し、イベントデータを出力してから上記単位時間よりも短い所定時間が経過するまでは次のイベントデータを出力しないように構成される。計測部４０は、撮像部３０の撮像画像から求められる縞パターン情報を利用して位相シフト法により計測対象物Ｒの三次元形状を計測する際、撮像素子から上記単位時間Ｔ中に出力される先のイベントデータと後のイベントデータとの出力タイミングの時間差と後のイベントデータの極性（終点極性）とに基づいて、撮像画像における画素単位での上記縞パターン情報を求める。

このように、後のイベントデータの極性（終点極性）を制御できるので、極性を制御しない場合と比較して、イベントデータの出力によって得られる情報量を増加させることができる。すなわち、同じ単位時間で得られる情報量が増加することから、同じ情報量を表現する場合でも単位時間を短くすることができるので、イベントデータを利用して計測対象物Ｒの三次元形状の計測を実施できるだけでなく、イベントデータを利用した計測対象物Ｒの三次元計測の高速化を図ることができる。

なお、本実施形態の変形例として、後のイベントデータの極性（終点極性）を制御することに限らず、先のイベントデータの極性（以下、始点極性ともいう）を制御することで、イベントデータの出力によって得られる情報量を増加させてもよい。このようにしても、同じ単位時間で得られる情報量が増加（倍増）することから、同じ情報量を表現する場合でも単位時間を短くすることができるので、イベントデータを利用した計測対象物Ｒの三次元計測の高速化を図ることができる。

［第２実施形態］
次に、第２実施形態に係る三次元計測装置について、図面を参照して説明する。
本第２実施形態では、後のイベントデータの極性（終点極性）に加えて先のイベントデータの極性（始点極性）をも制御することでさらなる三次元計測の高速化を図る点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

本実施形態では、２つのイベントデータ（先のイベントデータ及び後のイベントデータ）の出力タイミングの時間差に加えてそれぞれのイベントデータの極性を制御することで、イベントデータの出力によって得られる情報量を増加させて、さらなる三次元計測の高速化を図る。

このため、本実施形態では、次に出力される先のイベントデータの極性と前に出力された後のイベントデータの極性とを同じ極性に制御する場合には、後のイベントデータを出力させるために投影部２０のＤＭＤ素子のミラーがＯＮ状態又はＯＦＦ状態に切り替わった際のデッドタイムΔＴｄ中に、そのＤＭＤ素子のミラーの状態をさらに切り替える。これにより、例えば、前に出力された後のイベントデータの極性が正極性である場合に、次に出力される先のイベントデータの極性も同じ正極性にすることができる。すなわち、後のイベントデータの極性（終点極性）と先のイベントデータの極性（始点極性）とをそれぞれ個別に制御することができる。

そして、本実施形態では、縞パターン情報Ｉｓ（ｘ，ｙ，ｎ）を、先のイベントデータと後のイベントデータとの時間差ΔＴｉ（ｘ，ｙ，ｎ）と、始点極性及び終点極性に応じて決まる値Ｆ２（ｘ，ｙ，ｎ）とに基づいて、以下の式（４）から求める。
Ｉｓ（ｘ，ｙ，ｎ）＝ΔＴｉ（ｘ，ｙ，ｎ）＋Ｆ２（ｘ，ｙ，ｎ） ・・・（４）
なお、本実施形態では、Ｆ２（ｘ，ｙ，ｎ）は、始点極性が正極性かつ終点極性が負極性であれば単位時間Ｔの３倍となる値になり、始点極性が正極性かつ終点極性が正極性であれば単位時間Ｔの２倍となる値になり、始点極性が負極性かつ終点極性が正極性であれば単位時間Ｔの値になり、始点極性が負極性かつ終点極性が負極性であれば０になるものである。

ここで、イベントデータの始点極性及び終点極性を制御することで三次元計測の高速化が図られる具体的な事例について、図８を参照して説明する。
図８（Ａ）は、上述した図７（Ａ）と同じく始点極性及び終点極性が制御されず、単位時間Ｔが２５６ｍｓであって、Ｒ色発光状態でのイベントデータの出力時間差２０８ｍｓが、Ｇ色発光状態でのイベントデータの出力時間差が１５２ｍｓ、Ｂ色発光状態でのイベントデータの出力時間差が４８ｍｓとなる場合であって、正極性の先のイベントデータと負極性の後のイベントデータとが交互に出力される状態を示す。

これに対して、図８（Ａ）での各出力時間差に相当する情報を得ることを前提に、図８（Ｂ）に示すように、始点極性及び終点極性を制御して単位時間Ｔを１／４の６４ｍｓとするとき、Ｒ色発光状態でのイベントデータの出力時間差が１６ｍｓであって始点極性が正極性かつ終点極性が負極性であると、式（４）に基づいて、Ｉｓ（ｘ，ｙ，０）は、２０８ｍｓ（１６ｍｓ＋１９２ｍｓ）に相当する値になって、始点極性及び終点極性が制御されないＩ（ｘ，ｙ，０）と同じ値になる。同様に、Ｇ色発光状態でのイベントデータの出力時間差が２４ｍｓであって始点極性が正極性かつ終点極性が正極性であると、式（４）に基づいて、Ｉｓ（ｘ，ｙ，１）は、１５２ｍｓ（２４ｍｓ＋１２８ｍｓ）に相当する値になって、始点極性及び終点極性が制御されないＩ（ｘ，ｙ，１）と同じ値になる。また、Ｂ色発光状態でのイベントデータの出力時間差が４８ｍｓであって始点極性が負極性かつ終点極性が負極性であると、式（４）に基づいて、Ｉｓ（ｘ，ｙ，２）は、４８ｍｓ（４８ｍｓ＋０ｍｓ）に相当する値になって、始点極性及び終点極性が制御されないＩ（ｘ，ｙ，２）と同じ値になる。このように、単位時間Ｔを１／４の時間にしても、イベントデータの始点極性及び終点極性を個別に制御することで、同等の情報量を得ることができ、さらなる三次元計測の高速化を図ることができる。

このため、投影部２０から照射される極性制御用縞パターンは、上記式（４）に基づいてＩｓ（ｘ，ｙ，ｎ）を求めることができるように生成される必要がある。制御部１１は、上述のように生成される極性制御用縞パターンが投影されるように投影部２０を制御するとともに、このように投影される極性制御用縞パターンに関する情報等を計測部４０に対して所定のタイミングで指示する。このような指示を受けた計測部４０では、撮像部３０にて撮像されるＮ枚の位相シフトされた格子画像の縞パターン情報Ｉｓ（ｘ，ｙ，ｎ）を上述のように求めて、このように求めた縞パターン情報Ｉｓ（ｘ，ｙ，ｎ）から上記式（２）を利用して位相値θ（ｘ，ｙ）を求めることで、計測対象物Ｒの三次元形状を計測することができる。

以上説明したように、本実施形態に係る三次元計測装置１０では、計測部４０は、撮像素子から単位時間中に出力される先のイベントデータと後のイベントデータとの出力タイミングの時間差と先のイベントデータの極性（始点極性）と後のイベントデータの極性（終点極性）とに基づいて、撮像画像における画素単位での上記縞パターン情報を求める。

これにより、終点極性（始点極性）のみを制御する上記第１実施形態と比較して、イベントデータの出力によって得られる情報量をさらに増加させることができるので、イベントデータを利用した計測対象物の三次元計測の高速化をさらに図ることができる。

なお、本発明は上記各実施形態に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）上記第１実施形態における縞パターン情報Ｉｓ（ｘ，ｙ，ｎ）は、後のイベントデータの極性（終点極性）に応じて決まる値Ｆ１（ｘ，ｙ，ｎ）と先のイベントデータと後のイベントデータとの時間差ΔＴｉ（ｘ，ｙ，ｎ）とに基づいて、上記式（３）から求めることに限らず、終点極性に応じて決まる他の値と時間差ΔＴｉ（ｘ，ｙ，ｎ）とに基づいて求められてもよい。上記他の値としては、例えば、「後のイベントデータの極性が正極性であれば定数＋０．５、もしくは、定数－０．５の値としてＦ１（ｘ，ｙ，ｎ）を設計する場合も想定される。この部分は、設計者が、時間差ΔＴｉ（ｘ，ｙ，ｎ）と終点極性の２点の組み合わせを縞パターン情報Ｉｓ（ｘ，ｙ，ｎ）とどのように紐づけるか次第である。
また、上記第１実施形態の変形例においても同様に、縞パターン情報Ｉｓ（ｘ，ｙ，ｎ）は、先のイベントデータの極性（始点極性）に応じて決まる他の値と時間差ΔＴｉ（ｘ，ｙ，ｎ）とに基づいて求められてもよい。

（２）上記第２実施形態における縞パターン情報Ｉｓ（ｘ，ｙ，ｎ）は、先のイベントデータの極性（始点極性）と後のイベントデータの極性（終点極性）とに応じて決まる値Ｆ２（ｘ，ｙ，ｎ）と先のイベントデータと後のイベントデータとの時間差ΔＴｉ（ｘ，ｙ，ｎ）とに基づいて、上記式（４）から求めることに限らず、始点極性及び終点極性に応じて決まる他の値と時間差ΔＴｉ（ｘ，ｙ，ｎ）とに基づいて求められてもよい。上記他の値としては、例えば、「Ｆ２（ｘ，ｙ，ｎ）は、始点極性が正極性かつ終点極性が負極性であれば０．７５になり、始点極性が正極性かつ終点極性が正極性であれば０．５になり、始点極性が負極性かつ終点極性が正極性であれば０．２５になり、始点極性が負極性かつ終点極性が負極性であれば０になるもの」という設計も想定される。この部分は、設計者が、時間差ΔＴｉ（ｘ，ｙ，ｎ）と始点極性、終点極性の３点の組み合わせを縞パターン情報Ｉｓ（ｘ，ｙ，ｎ）とどのように紐づけるか次第である。

（３）三次元計測装置１０は、ロボットのハンドに組み付けられた状態で移動して、相対移動する計測対象物の三次元形状を計測することに限らず、例えば、固定状態で使用されて、搬送ライン上を移動する計測対象物の三次元形状を計測してもよい。

（４）三次元計測装置１０は、投影部２０及び撮像部３０と計測部４０とが別体となって、計測部４０が投影部２０及び撮像部３０と無線通信又は有線通信可能な情報処理端末として構成されてもよい。

（５）投影部２０からＮ回シフトして投影される所定の縞パターンは、Ｎ＝３を前提にＲ色発光状態とＧ色発光状態とＢ色発光状態とによって構成されることに限らず、周期的に変化する明色部分及び暗色部分によって構成されてもよよい。

１０…三次元計測装置
１１…制御部
２０…投影部
３０…撮像部
４０…計測部
Ｒ…計測対象物
ΔＴ…デッドタイム（所定時間）

Claims (2)

1. 計測対象物に対して所定の縞パターンを投影する投影部と、
   前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部と、
   前記撮像部の撮像画像から求められる縞パターン情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部と、
   前記投影部を制御する制御部と、
   を備える三次元計測装置であって、
   前記投影部は、複数のミラーをアレイ状に配置したＤＭＤによる入射光の反射のＯＮ／ＯＦＦが前記ミラーごとに前記制御部によって制御されることで、前記所定の縞パターンを投影し、
   前記制御部は、単位時間中での前記反射のＯＮ／ＯＦＦタイミングを、前記所定の縞パターンに応じて前記ミラーごとに設定し、
   前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
   前記撮像素子は、明るくなる輝度変化の場合に正極性のイベントデータを出力し、暗くなる輝度変化の場合に負極性のイベントデータを出力し、イベントデータを出力してから前記単位時間よりも短い所定時間が経過するまでは次のイベントデータを出力しないように構成され、
   前記計測部は、前記撮像素子から前記単位時間中に出力される先のイベントデータと後のイベントデータとの出力タイミングの時間差と前記先のイベントデータの極性及び前記後のイベントデータの極性の少なくとも一方とに基づいて、前記撮像画像における画素単位での前記縞パターン情報を求めることを特徴とする三次元計測装置。
2. 前記計測部は、前記撮像素子から前記単位時間中に出力される先のイベントデータと後のイベントデータとの出力タイミングの時間差と前記先のイベントデータの極性と前記後のイベントデータの極性とに基づいて、前記撮像画像における画素単位での前記縞パターン情報を求めることを特徴とする請求項１に記載の三次元計測装置。

Images