JP2019159872A - 演算装置、演算装置の制御方法、および、コンピュータープログラム - Google Patents

Abstract

【課題】相対位相の演算時間を短縮できる技術を提供する。【解決手段】コンピュータープログラムは、相対位相を演算する演算機能と、第１パターン投影と第２パターン投影とを実行する投影実行機能とをコンピューターに実現させ、演算機能は、第１パターン投影によって光が投影された被計測物の濃淡画像と、第２パターン投影によって光が投影された被計測物の濃淡画像とを撮像部から取得して、取得した濃淡画像を用いて相対位相を演算する機能を含む。【選択図】図１

Description

本発明は、相対位相を演算するための技術に関する。

従来、被計測物の３次元形状を計測する方法として位相シフト法が知られている（例えば、特許文献１，２）。

特開２００９−１１５６１２号公報 特開２０１４−５９２３９号公報

位相シフト法は、輝度の変化が正弦波状である縞模様の投影パターンを、位相をずらして複数回だけ被計測物に投影し、投影パターンが投影された被計測物の複数の画像を用いて未知数を求める。

例えば、投影パターンをπ／２ずつずらして４回の投影を行い、投影パターンが投影された被計測物の濃淡画像を取得する。撮像部の１画素で撮像された濃淡画像の輝度値は以下の式（１）〜式（４）で表される。以下の式（１）〜式（４）において、Ｉ１〜Ｉ４は、撮像部のある１画素で撮像された画像の輝度値であり、Ａは輝度（投影パターン）の振幅であり、φは相対位相であり、Ｇは背景輝度（グローバルアンビエント）であり、Ｍは物体反射率である。

上記の式（１）〜式（４）を用いて相対位相φは以下の式（５）によって算出される。

算出された相対位相φは縞模様の投影パターンの１周期ごとの値、すなわち−π〜πの間の値となる。よって、複数位相にわたって投影された各縞の絶対位相を算出するために、縞次数ｎを推定する。縞次数ｎの推定方法としては、例えば、特許文献１や特許文献２に開示された技術が知られている。相対位相φと推定した縞次数ｎとを用いて、絶対位相が算出される。絶対位相の等しい点を連結して得られる線（等位相線）が、光切断法における切断線と同じく被計測物をある平面で切断した断面の形状を表す。よって、絶対位相をもとに、撮像部と投影部との光学的な位置関係に基づいて三角測量の原理により被計測物の３次元形状（画像各点における深さ情報）が計測される。

従来の位相シフト法では、相対位相φを演算するためには、投影パターンを少なくとも３回（通常は上述のごとく４回）だけ位相をずらして被計測物に投影する必要がある。このため、相対位相φを求めるための演算時間が長くなる場合があった。演算時間が長くなった場合、計測中に被計測物を照らす外光照度が変化したり、被計測物が移動したりする場合があり、演算精度が低下する場合が生じ得る。よって、従来から相対位相φを求めるための演算時間を短縮できる技術が望まれている。

（１）本発明の一形態によれば、輝度の変化が正弦波状である投影パターンの光を被計測物に投影する投影部と、前記被計測物を撮像する撮像部とを備える演算装置を制御するためのコンピュータープログラムが提供される。このコンピュータープログラムは、前記撮像部が撮像した前記投影パターンの光が投影された前記被計測物の濃淡画像内の任意の位置における、前記投影パターンの相対位相を演算する演算機能と、（ｉ）空間周波数における位相が互いにπだけずれた前記投影パターンとしての第１パターンおよび第２パターンを第１時間周期で交互に前記投影部によって投影させる第１パターン投影と、（ｉｉ）前記第１パターンおよび前記第２パターンに対して前記位相がπ／２だけずれた前記投影パターンとしての第３パターンと第４パターンであって、互いに前記位相がπだけずれた第３パターンおよび第４パターンを、前記第１時間周期よりも長い第２時間周期で交互に前記投影部によって投影させる第２パターン投影と、を実行する投影実行機能と、をコンピューターに実現させ、前記投影実行機能は、１つの周期目の前記第３パターンおよび前記第４パターンの投影と、次の周期目の前記第３パターンおよび前記第４パターンの投影との間に前記第１パターン投影を実行する機能を含み、前記演算機能は、前記第１パターン投影によって光が投影された前記被計測物の濃淡画像と、前記第２パターン投影によって光が投影された前記被計測物の濃淡画像とを前記撮像部から取得して、取得した前記濃淡画像を用いて前記相対位相を演算する機能を含む。

（２）本発明の他の一形態によれば、予め定められたパターンの光を被計測物に投影する投影部と、前記被計測物を撮像する撮像部とを備える演算装置を制御するためのコンピュータープログラムが提供される。このコンピュータープログラムは、相対位相を演算する演算機能と、（ｉ）空間周波数における位相が互いにπだけずれた輝度の変化が正弦波状である投影パターンとしての第１パターンおよび第２パターンを、第１時間周期で交互に前記投影部によって投影させる正弦波パターン投影と、（ｉｉ）全白画像である全白パターンと全黒画像である全黒パターンとを、前記正弦波パターン投影よりも長い時間周期で交互に前記投影部によって投影させる全白黒パターン投影と、を実行する投影実行機能と、をコンピューターに実現させ、前記投影実行機能は、１つの周期目の前記全白パターンと全黒パターンの投影と、次の周期目の前記全白パターンおよび前記全黒パターンの投影との間に前記正弦波パターン投影を実行する機能を含み、前記演算機能は、前記正弦波パターン投影によって光が投影された前記被計測物の濃淡画像と、前記全白黒パターン投影によって光が投影された前記被計測物の参考画像とを前記撮像部から取得し、取得した前記濃淡画像および前記参考画像を用いて、前記投影パターンの光が投影された前記被計測物の濃淡画像内の任意の位置における、前記投影パターンの相対位相を演算する機能を含む。

本発明の第１実施形態としての演算装置を説明するための図。 投影部が被計測物に投影する投影パターンを説明するための図。 第１パターン投影によって被計測物に投影される投影パターンを示す図。 第２パターン投影によって被計測物に投影される投影パターンを示す図。 第１パターン投影と第２パターン投影とによる投影タイミングチャート。 相対位相の演算工程を示すフローチャート。 本発明の第２実施形態としての演算装置を説明するための図。 全白パターンおよび全黒パターンを示す図。 正弦波パターン投影と全白黒パターン投影とによる投影タイミングチャート。 相対位相の演算工程を示すフローチャート。 本発明の第３実施形態としての演算装置を説明するための図。 第１補助パターン投影によって投影される投影パターンを示す図。 第２補助パターン投影によって投影される投影パターンを示す図。 第１補助パターン投影と第２補助パターン投影とによる投影タイミングチャート。 本発明の第４実施形態としての演算装置を説明するための図。

Ａ．第１実施形態：
図１は、本発明の第１実施形態としての演算装置１００を説明するための図である。図２は、投影部１が被計測物１０５に投影する投影パターン３９１を説明するための図である。演算装置１００（図１）は、被計測物１０５の相対的な３次元形状を計測するための装置である。演算装置１００は、投影部１と、撮像部２と、制御装置３とを備える。

投影部１は、液晶プロジェクターである。投影部１は、光源１１と、液晶パネル１３と、レンズ１５とを有する。光源１１は、超高圧水銀ランプ等の光源ランプの他、発光ダイオードやレーザーダイオード等の種々の光源を採用可能である。液晶パネル１３としては、透過型及び反射型のいずれであってもよいし、色光別に複数の液晶パネル１３を備えた構成としてもよい。レンズ１５は、液晶パネル１３を通過した光を被計測物１０５の表面に集光する。投影部１は、輝度の変化が正弦波状である縞模様の投影パターン３９１（図２）の光を被計測物１０５に投影する。

撮像部２は、被計測物１０５を撮像するカメラである。撮像部２は、ＣＣＤやＣＭＯＳなどの固体撮像素子と、被計測物１０５の像を固体撮像素子の撮像面に結像させる光学系と、固体撮像素子の出力を信号処理して画素毎の輝度（濃度値）を得る信号処理部とを備える。撮像部２は、被計測物１０５を撮像して濃淡画像を生成する。濃淡画像は、白黒の濃淡を有する画像である。

撮像部２の撮像方向（光軸方向）Ｌ２と、投影部１の投影方向（光軸方向）Ｌ１とは異なる。撮像部２と投影部１とは互いの位置関係（例えば、距離）は、予め定められている。また、ステレオキャリブレーションによって、撮像部２の座標系と投影部１の座標系との座標対応関係（座標変換式）は予め定められている。位置関係および座標対応関係は関係テーブル３９３として、後述する記憶部３９に記憶されている。

制御装置３は、制御部３１と記憶部３９とを有する。記憶部３９は、フラッシュメモリーやＥＥＰＲＯＭなどの不揮発性のメモリーによって構成されている。記憶部３９は、制御部３１が実行する各種プログラムの他に、投影パターン３９１と、関係テーブル３９３と、座標情報３９５とが記憶されている。投影パターン３９１（図２）は、輝度の変化が正弦波状である縞模様のパターンである。関係テーブル３９３は、上述のごとく撮像部２と投影部１との位置関係および座標対応関係とを規定するテーブルである。座標情報３９５は、撮像部２によって撮像された被計測物１０５の濃淡画像である基準画像から演算された、被計測物１０５の絶対座標系における座標情報（３次元座標情報）である。基準画像は、投影部１によって任意のパターンの光が被計測物１０５に投影された被計測物１０５の撮像画像である。任意のパターンとしては、絶対座標系を演算できるパターンであればよく、例えば投影パターン３９１であってもよいし、白黒の格子状のパターンなどの他のパターンであってもよい。

制御部３１は、演算装置１００の動作を制御する。制御部３１は、記憶部３９に記憶されたプログラムの機能として、投影制御部３１２と、撮像制御部３１４と、相対位相演算部３１６と、深度ずれ演算部３１８とを有する。

投影制御部３１２は、投影部１の動作を制御する。例えば、投影制御部３１２は、投影部１によって投影パターン３９１の光を被計測物１０５に投影させる。具体的には、投影制御部３１２は、相対位相φの演算のために、第１パターン投影と第２パターン投影を実行することで投影部１によって投影パターン３９１の光を被計測物１０５に投影させる。第１パターン投影と第２パターン投影との詳細は後述する。撮像制御部３１４は、撮像部２の動作を制御する。例えば、撮像制御部３１４は、後述するタイミングで投影パターン３９１の光が投影された被計測物１０５を撮像部２に撮像させる。撮像部２によって撮像された濃淡画像は記憶部３９に記憶される。

相対位相演算部３１６は、撮像部２が撮像した投影パターン３９１の光が投影された被計測物１０５の濃淡画像内の任意の位置における、投影パターン３９１の相対位相φを演算する。

深度ずれ演算部３１８は、座標情報３９５と相対位相演算部３１６が演算した相対位相φとを用いて、基準画像を取得したときの被計測物１０５に対する相対位相φが演算されたときの被計測物１０５の深度のずれ量（相対３次元形状）を演算する。「相対位相φが演算されたとき」とは、第１パターン投影による１組の第１パターン３９１ａと第２パターン３９１ｂの投影のうちで、後半に投影される第２パターン３９１ｂの光が投影された被計測物１０５を撮像部２が撮像したときである。

図３は、第１パターン投影によって被計測物１０５に投影される投影パターンを示す図である。図４は、第２パターン投影によって被計測物１０５に投影される投影パターンを示す図である。図５は、第１パターン投影と第２パターン投影とによる投影パターン３９１ａ〜３９１ｄの投影タイミングチャートである。

図３に示すように、第１パターン投影は、空間周波数における位相が互いにπだけずれた投影パターン３９１としての第１パターン３９１ａおよび第２パターン３９１ｂを投影部１によって投影させる。図４に示すように、第２パターン投影は、第１パターン３９１ａおよび第２パターン３９１ｂに対して位相がπ／２だけずれた投影パターン３９１としての第３パターン３９１ｃと第４パターン３９１ｄを投影部１によって投影させる。また、第３パターン３９１ｃと第４パターン３９１ｄとは位相が互いにπだけずれている。

また図５に示すように、第１パターン投影は、第１パターン３９１ａおよび第２パターン３９１ｂを第１時間周期で交互に投影部１によって複数回にわたって投影させる制御である。第１パターン投影では、各周期において、第１パターン３９１ａの投影の終了直後に、第２パターン３９１ｂの投影が実行される。

第２パターン投影は、第３パターン３９１ｃおよび第４パターン３９１ｄを第１時間周期よりも長い第２時間周期で交互に投影部１によって投影させる。第２パターン投影では、各周期において、第３パターン３９１ｃの投影の終了直後に、第４パターン３９１ｄの投影が実行される。本実施形態において、第１時間周期は１／６０秒であり、第２時間周期は１／６秒である。また、第１パターン３９１ａ〜第４パターン３９１ｄの投影時間はそれぞれ１／１２０秒である。

また、投影制御部３１２は、第２パターン投影による１つの周期目の第３パターン３９１ｃおよび第４パターン３９１ｄの投影と、次の周期目における第３パターン３９１ｃおよび第４パターン３９１ｄの投影との間に、第１パターン投影を実行する。

第２時間周期は、第１時間周期よりも長ければよいが、第１時間周期のＮ倍（Ｎは２以上の自然数）であることが好ましい。こうすることで、投影制御部３１２による投影のタイミング制御を容易に行うことができる。また第２時間周期は、太陽光などによる背景輝度の変動がほぼ一定であると想定される時間周期であることが好ましい。例えば、第２時間周期は１０秒以下が好ましく、１秒以下がより好ましい。

第１パターン投影および第２パターン投影において、第１パターン３９１ａから第４パターン３９１ｄの光が被計測物１０５に投影されるごとに、撮像制御部３１４は撮像部２に、各パターン３９１ａ〜３９１ｄの光が投影された被計測物１０５を撮像させることで濃淡画像を生成させる。

図６は、相対位相演算部３１６が実行する相対位相φの演算工程を示すフローチャートである。このフローチャートは、演算装置１００が外部からの入力を受け付けることで、パターン投影周期ごとに繰り返し実行される。パターン投影周期とは、第２パターン投影における一つの周期目開始から次の周期目の開始までの時間周期であり、第２時間周期に相当する。

相対位相φの演算工程が開始されると、第１パターン３９１ａから第４パターン３９１ｄの４位相を用いて、基準比Ｒ（＝背景輝度Ｇ／振幅Ａ）を演算する（ステップＳ１０）。相対位相演算部３１６はステップＳ１０において、上記式（１）〜（４）から導出される以下の式（６）を用いて基準比Ｒ（＝Ｇ／Ａ）を演算する。式（６）は物体反射率を関係式に含んでいない。

上記式（６）において、振幅Ａは、投影制御部３１２によって制御された投影パターン３９１の振幅である。また、上記式（６）における濃淡画像の各画素における輝度値Ｉ２，Ｉ４は、各パターン投影周期の１回目の第３パターン３９１ｃと第４パターン３９１ｄの光を被計測物１０５に投影したときの濃淡画像における画素ごとの輝度値である。つまり、上記式（６）における輝度値Ｉ２は、第３パターン３９１ｃの投影における濃淡画像の輝度値である。また、上記式（６）における輝度値Ｉ４は、第４パターン３９１ｄの投影Ｂにおける濃淡画像の輝度値である。つまり、本実施形態では、相対位相演算部３１６は、パターン投影周期ごとにおいて、初めの４／１２０秒間において時系列に第１パターン３９１ａから第４パターン３９１ｄの光が投影された被計測物１０５の４枚の濃淡画像を撮像部２から取得する。次に相対位相演算部３１６は、取得した４枚の濃淡画像のうちの位相が互いにπだけずれた２枚の濃淡画像を用いて上記式（６）を用いて基準比Ｒ（＝Ｇ／Ａ）を演算する。

次に、相対位相演算部３１６は、第１パターン投影で投影される第１パターン３９１ａと第２パターン３９１ｂの２位相を用いて以下の式（７）を演算する（ステップＳ１２）。式（７）は、上述の式（１）と式（３）から得られる。

上記式（７）に代入される輝度値Ｉ１および輝度値Ｉ３は、以下の輝度値である。すなわち、パターン投影周期において、図５に示すように第１パターン投影によって時系列に第１パターン３９１ａや第２パターン３９１ｂの光を被計測物１０５に投影する。そして、第１パターン３９１ａや第２パターン３９１ｂの光が投影された被計測物１０５を撮像部２によって撮像させる。そして相対位相演算部３１６は、撮像部２が撮像した第１パターン３９１ａと第２パターン３９２ｂにおける２枚の濃淡画像を取得して、画素ごとに濃淡画像の輝度値を上記式（７）の輝度値Ｉ１、Ｉ３に代入する。

次に、ステップＳ１２で演算した式（７）にステップＳ１０で演算した式（６）の基準比Ｒを上記式（７）に代入することで、以下の式（８）を用いて相対位相φを演算する（ステップＳ１４）。

ステップＳ１２およびステップＳ１４は、パターン投影周期において、１組の第１パターン３９１ａおよび第２パターン３９１ｂの投影ごとに実行される。全ての組の投影が終了することで、次のパターン投影周期におけるステップＳ１０〜ステップＳ１４が実行される。つまり、本実施形態では、時間による変動が少ない基準比Ｒについては、パターン投影周期ごとにおいて、１回目の第１パターン３９１ａから第４パターン３９１ｄの投影による濃淡画像を用いて演算しておく。次に、パターン投影周期において、第１パターン投影による第１パターン３９１ａと第２パターン３９１ｂとを時系列に被計測物１０５に投影する。そして、第１パターン３９１ａの光が投影された被計測物１０５と、第２パターン３９１ｂの光が投影された被計測物１０５とはそれぞれ撮像部２によって撮像されることで２枚の濃淡画像が生成される。相対位相演算部３１６は、この２枚の濃淡画像を用いて演算した式（８）に、初めに演算した基準比Ｒ（＝Ｇ／Ａ）の式（６）を代入する。これにより、パターン投影周期における、第１パターン３９１ａと第２パターン３９１ｂの２位相のパターンを用いた相対位相φの演算が可能となる。

ステップＳ１４において、相対位相φが演算される毎に、深度ずれ演算部３１８は、以下の演算を実行する。つまり、深度ずれ演算部３１８は、演算された相対位相φと記憶部３９に記憶された座標情報３９５（図１）とを用いて、基準画像を取得したときの被計測物１０５に対する、相対位相φが演算されたときの被計測物１０５の深度のずれ量（相対３次元形状）を演算する。

上記第１実施形態によれば、相対位相演算部３１６は、第１パターン投影によって光が投影された被計測物１０５の濃淡画像と、第２パターン投影によって光が投影された被計測物１０５の濃淡画像とを撮像部２から取得する。そして相対位相演算部３１６は、取得した濃淡画像を用いて相対位相φを演算している。これにより、第２時間周期（パターン投影周期）ごとに、第１パターン３９１ａから第４パターン３９１ｄが投影された濃淡画像を用いて、時間経過による変動が少ない変数である基準比Ｒを予め演算することができる。基準比Ｒが演算された以降は、相対位相演算部３１６は、第１パターン３９１ａと第２パターン３９１ｂの２枚の濃淡画像と、予め演算した基準比Ｒとを用いて相対位相φを演算できる。これにより、相対位相φの演算時間を短縮できる。具体的には、図５に示すように、パターン投影周期において、１回ずつの第１パターン３９１ａ〜第４パターン３９１ｄの光の被計測物１０５への投影Ａ〜Ｄによって、相対位相演算部３１６は、時間経過による変動が他の変数（相対位相φ）よりも小さい基準比Ｒを予め演算する。そして、パターン投影周期において、基準比Ｒが演算された以降は、第１パターン３９１ａと第２パターン３９１ｂが交互の投影される毎に、相対位相φが演算される。これにより、パターン投影周期において、予め演算した基準比Ｒを共通に用いて相対位相φの演算を行うことができるので、相対位相φの演算時間を短縮できる。

また、上記第１実施形態に開示の技術は、深度ずれ演算部３１８が深度のずれ量を演算することで、以下のような深度解析に応用できる。例えば、演算装置１００は、被計測物１０５の振動解析や、被計測物１０５に対して物体が接触したか否かの接触解析を行うことができる。振動解析としては、例えば、被計測物１０５が基準位置から振動によってずれる場合の深度のずれ量を演算することで、振動の状態を解析することが挙げられる。また、接触解析としては、例えば、被計測物１０５としてのスクリーンに指やタッチペンなどの物体が接触したか否かを被計測物１０５の深度のずれ量に応じて解析することが挙げられる。特に、本実施形態では、相対位相φの演算時間が短縮できるので、深度のずれ量の演算も短縮できる。

Ｂ．第２実施形態：
図７は、本発明の第２実施形態としての演算装置１００ａを説明するための図である。上記第１実施形態の演算装置１００（図１）と異なる点は、記憶部３９ａに記憶されたパターン３９１Ａと、投影制御部３１２ａの制御内容と、相対位相演算部３１６ａの演算内容である。その他の構成については第１実施形態と同様の構成であるので、第１実施形態と同様の構成については第１実施形態と同様の符号を付すと共に説明を省略する。

制御装置３ａの記憶部３９ａには、投影部１によって投影される予め定められたパターン３９１Ａが記憶されている。パターン３９１Ａは、投影パターン３９１と、投影画像が全白画像である全白パターン３９１Ａ２と、投影画像が全黒画像である全黒パターン３９１Ａ３とを有する。投影パターン３９１は、第１実施形態の投影パターン３９１と同一であり、輝度の変化が正弦波状である投影パターン（図２）である。

制御部３１ａの投影制御部３１２ａは、投影パターン３９１の光や、全白パターン３９１Ａ２の光や、全黒パターン３９１Ａ３の光を投影部１に投影させる。投影制御部３１２ａは、相対位相φの演算のために、正弦波パターン投影と全白黒パターン投影とを実行することで投影部１によってパターン３９１Ａの光を被計測物１０５に投影させる。

正弦波パターン投影は、上記第１実施形態の第１パターン投影と同一の投影内容である。つまり、正弦波パターン投影は、空間周波数における位相が互いにπだけずれた投影パターン３９１としての第１パターン３９１ａと第２パターン３９１ｂを、第１時間周期で交互に投影部１によって投影させる。全白黒パターン投影は、上記第１実施形態の第２パターン投影に代えて実行される投影である。以下に全白黒パターン投影の詳細について説明する。

図８は、全白黒パターン投影によって被計測物１０５に投影される全白パターン３９１Ａ２および全黒パターン３９１Ａ３を示す図である。全白パターン３９１Ａ２の輝度値は、投影パターン３９１ａのうちで最も高い輝度値の半分である。つまり、全白パターン３９１Ａ２の輝度値は、第１パターン３９１ａ（図３）の振幅に対応するように設定されている。こうすることで、後述する全白パターン３９１Ａ２と全黒パターン３９１Ａ３とを用いた振幅Ａの演算を容易に行うことができるので、相対位相φを容易に演算できる。なお、他の実施形態では、全白パターン３９１Ａ２の輝度値は、第１パターン３９１ａのうちで最も高い輝度値（最高輝度値）の何倍であるかが投影制御部３１２ａによって制御されていれば、第２実施形態に限定されるものではない。

図９は、正弦波パターン投影と全白黒パターン投影とによる投影タイミングチャートである。図９の投影タイミングチャートは、第１実施形態の投影タイミングチャート（図５）のうち第３パターン３９１ｃの投影を全黒パターン３９１Ａ３の投影に代え、さらに、第４パターン３９１ｄの投影を全白パターン３９１Ａ２の投影に代えている。つまり、全白黒パターン投影は、全白パターン３９１Ａ２と全黒パターン３９１Ａ３とを正弦波パターン投影よりも長い時間周期で交互に投影部１によって投影させる。また、投影制御部３１２ａは、１つの周期目の全白パターン３９１Ａ２と全黒パターン３９１Ａ３の投影と、次の周期目の全白パターン３９１Ａ２と全黒パターン３９１Ａ３との間に正弦波パターン投影を実行する。

図１０は、相対位相演算部３１６ａが実行する相対位相φの演算工程を示すフローチャートである。このフローチャートは、演算装置１００が外部からの入力を受け付けることで、パターン投影周期ごとに繰り返し実行される。パターン投影周期とは、全白黒パターン投影における一つの周期目開始から次の周期目の開始までの時間周期である。

相対位相φの演算工程が開始されると、相対位相演算部３１６ａは、被計測物１０５の２枚の参考画像を用いて基準比Ｒ（＝Ｇ／Ａ）を演算する（ステップＳ１０ａ）。２枚の参考画像のうちの一方は、全白黒パターン投影において全白パターン３９１Ａ２の光が投影された被計測物１０５を、撮像部２によって撮像した画像（白参考画像）である。また２枚の参考画像のうちの他方は、全白黒制御における全黒パターン３９１Ａ３の光が投影された被計測物１０５を、撮像部２によって撮像した画像（黒参考画像）である。相対位相演算部３１６ａは、黒参考画像の各画素の輝度値を、各画素における背景輝度Ｇとする。また、相対位相演算部３１６ａは、各画素において、白参考画像の輝度値から黒参考画素の輝度値を引くことで振幅Ａを演算する。なお、全白パターン３９１Ａ２の輝度値が、第１パターン３９１ａの振幅に対応していない場合は、白参考画像の輝度値から黒参考画素の輝度値を引いた値に、補正値を乗ずることで振幅Ａが演算される。補正値は、全白パターン３９１Ａ２の輝度値と、第１パターン３９１ａの振幅とに基づいて予め算出されている。例えば、全白パターン３９１Ａ２の輝度値が、第１パターン３９１ａの最高輝度値のＮ倍である場合は、補正値は１／（２Ｎ）となる。

次に、相対位相演算部３１６ａは、第１実施形態と同様のステップＳ１２，ステップＳ１４の処理を実行する。なお、第２実施形態のステップＳ１２における「正弦波パターン投影」と第１実施形態のステップＳ１２における「第１パターン投影」とは、投影内容が同じである。図９に示すように、パターン投影周期ごとにまず基準比Ｒを演算し、この基準比Ｒを、相対位相φを演算するための共通の値として用いる。また、第２実施形態の深度ずれ演算部３１８は、第１実施形態と同様に、相対位相φが演算される毎に、被計測物１０５の深度のずれ量（相対３次元形状）を演算する。

上記のごとく、第２実施形態の演算装置１００ａによれば、相対位相演算部３１６ａが、正弦波パターン投影によって光が投影された被計測物１０５の濃淡画像と、全白黒パターン投影によって光が投影された被計測物１０５の参考画像とを撮像部２から取得する。そして相対位相演算部３１６ａは、取得した濃淡画像および参考画像を用いて、投影パターン３９１の光が投影された被計測物１０５の濃淡画像の任意の位置における、投影パターン３９１の相対位相φを演算している。これにより、パターン投影周期（全白黒パターン投影の投影周期）ごとに、全黒パターン３９１Ａ３の光が投影された参考画像と全白パターン３９１Ａ２の光が投影された２枚の参考画像を用いて、基準比Ｒを予め演算しておくことができる。これにより、パターン投影周期において、基準比Ｒを演算した以降では、第１パターン３９１ａと第２パターン３９１ｂの２枚の濃淡画像と、予め演算した基準比Ｒとを用いて相対位相φを演算できる。これにより、相対位相φの演算時間を短縮できる。また、上記第２実施形態によれば、上記第１実施形態と同様に、相対位相φの演算時間が短縮できるので、深度のずれ量の演算も短縮できる。

Ｃ．第３実施形態：
図１１は、本発明の第３実施形態としての演算装置１００ｂを説明するための図である。上記第１実施形態の演算装置１００（図１）と異なる点は、制御装置３ｂの制御部３１ｂが実行する処理内容と、記憶部３９ｂに記憶された内容である。第３実施形態において、第１実施形態と同様の構成については第１実施形態と同様の符号を付すと共に説明を省略する。

制御部３１ｂは、新たに、絶対位相演算部３１９と、３次元座標演算部３２０とを有する。絶対位相演算部３１９は、任意の位置の相対位相φを位相接続して投影パターン３９１の絶対位相φａを演算する。つまり、絶対位相演算部３１９は、縞次数ｎを演算し、相対位相φと演算した縞次数ｎとを用いて、絶対位相φａを演算する。３次元座標演算部３２０は、演算された絶対位相φａから三角測量の原理を用いて被計測物１０５の絶対座標系における３次元座標、つまり絶対深度を演算する。被計測物１０５の絶対座標系における３次元座標が演算されることで、被計測物１０５の３次元形状を得ることができる。三角測量の測定原理については従来周知であるから詳細な説明は省略する。

記憶部３９ｂは、投影部１によって投影される予め定められたパターン３９１Ｂが記憶されている。パターン３９１Ｂは、投影パターン３９１と、補助投影パターン群３９９を有する。投影パターン３９１は、第１実施形態の投影パターン３９１と同一であり、輝度の変化が正弦波状である投影パターン（図２）である。補助投影パターン群３９９は、投影パターン３９１よりも空間周波数が低い複数の補助投影パターンを有する。複数の補助投影パターンはそれぞれ、輝度の変化が正弦波状である縞模様のパターンである。補助投影パターン群３９９が有するそれぞれの補助投影パターンの空間周波数は、投影パターン３９１の空間周波数の１／Ｎ倍（Ｎは２以上の自然数）であることが好ましい。こうすることで、絶対位相演算部３１９は容易に縞次数を演算できる。複数の補助投影パターンはそれぞれ、互いに空間周波数が異なる。本実施形態では、補助投影パターン群３９９は、第Ａ補助投影パターン３９９Ａと、第Ｂ補助投影パターン３９９Ｂと、第Ｃ補助投影パターン３９９Ｃとを有する。第Ａ補助投影パターン３９９Ａは、投影パターン３９９の空間周波数の１／２である。第Ｂ補助投影パターン３９９Ｂは、投影パターン３９９の空間周波数の１／４である。第Ｃ補助投影パターン３９９Ｃは、投影パターン３９９の空間周波数の１／８である。

投影制御部３１２ｂは、投影パターン３９１を用いた第１パターン投影および第２パターン投影の実行に加え、補助投影パターン群３９９を用いた第１補助パターン投影および第２補助パターン投影を実行する。なお、第１パターン投影の各パターン、第２パターン投影の各パターン、第１補助パターン投影の各パターン、および、第２補助パターン投影の各パターンが、被計測物１０５に投影される毎に、撮像部２によって被計測物１０５が撮像される。これにより、各パターンが投影された被計測物１０５の濃淡画像が取得される。

図１２は、第１補助パターン投影によって被計測物１０５に投影される第Ａ補助投影パターン３９９Ａを示す図である。第１補助パターン投影は、空間周波数における位相が互いにπだけずれた第Ａ補助投影パターン３９９Ａとしての第５パターン３９９ａ１および第６パターン３９９ｂ１を時系列に投影する。

図１３は、第２補助パターン投影によって被計測物１０５に投影される第Ａ補助投影パターン３９９Ａを示す図である。第２補助パターン投影は、空間周波数における位相が互いにπだけずれた第Ａ補助投影パターン３９９Ａとしての第７パターン３９９ｃ１および第８パターン３９９ｄ１を時系列に投影する。また、第７パターン３９９ｃ１および第８パターン３９９ｄ１は、第５パターン３９９ａ１および第６パターン３９９ｂ１に対して位相がπ／２だけずれている。

図１２および図１３は、補助投影パターン群３９９の第Ａ補助投影パターン３９９Ａを例に説明したが、第Ｂ補助投影パターン３９９Ｂと第Ｃ補助投影パターン３９９Ｃのそれぞれについても、同様に、第１補助パターン投影と第２補助パターン投影とによって被計測物１０５に投影される。つまり、第Ｂ補助投影パターン３９９Ｂと第Ｃ補助投影パターン３９９Ｃのそれぞれについても、空間周波数における位相が互いにπだけずれた第５パターン３９９ａと第６パターン３９９ｂが投影される第１補助パターン投影が実行される。また、第Ｂ補助投影パターン３９９Ｂと第Ｃ補助投影パターン３９９Ｃのそれぞれについても、空間周波数における位相が互いにπだけずれた第７パターン３９９ｃと第８パターン３９９ｄが投影される第２補助パターン投影が実行される。また、各補助投影パターン３９９Ａ〜３９９Ｃの第５パターン３９９ａ〜第８パターン３９９ｄを区別して用いる場合には、以下を用いる。つまり、第Ａ補助投影パターン３９９Ａの第５パターン３９９ａ〜第８パターン３９９ｄは符号の末尾に「１」を付し、第Ｂ補助投影パターン３９９Ｂの第５パターン３９９ａ〜第８パターン３９９ｄは符号の末尾に「２」を付し、第Ｃ補助投影パターン３９９Ｃの第５パターン３９９ａ〜第８パターン３９９ｄは符号の末尾に「３」を付す。

また本実施形態において、第Ａ補助投影パターン３９９Ａ〜第Ｃ補助投影パターン３９９Ｃの３つの第５パターン３９９ａをまとめて第５パターン群３９９Ｇａとも呼び、３つの第６パターン３９９ｂをまとめて第６パターン群３９９Ｇｂとも呼ぶ。また、第Ａ補助投影パターン３９９Ａ〜第Ｃ補助投影パターン３９９Ｃの３つの第７パターン３９９ｃをまとめて第７パターン群３９９Ｇｃとも呼び、３つの第８パターン３９９ｄをまとめて第８パターン群３９９Ｇｄとも呼ぶ。

図１４は、第１補助パターン投影と第２補助パターン投影とによる第５パターン群３９９Ｇａ〜第８パターン３９９Ｇｄの投影タイミングチャートである。第１補助パターン投影では、第５パターン群３９９Ｇａの光と、第６パターン群３９９Ｇｂの光とが被計測物１０５に投影される。また、第２補助パターン投影では、第７パターン群３９９Ｇｃの光と、第８パターン群３９９Ｇｄの光とが被計測物１０５に投影される。図１４に示す例では、第５パターン群３９９Ｇａ〜第８パターン群３９９Ｇｄが順次投影されている。また、図１４に示す例では、第５パターン群３９９ａ〜第８パターン群３９９Ｇｄの各パターンの投影時間は、それぞれ１／１２０秒である。つまり、投影制御部３１２ｂは、第５パターンおよび第６パターンが投影パターン３９１よりも低い複数の空間周波数ごとに設定された第５パターン群および第６パターン群を、投影部１によって投影させている。また、投影制御部３１２ｂは、第５パターン群および第６パターン群のそれぞれに対して位相がπ／２だけずれた第７パターン群および第８パターン群であって、互いに位相がπだけずれた第７パターン群および第８パターン群を撮像部１によって投影させている。

例えば、第Ａ補助投影パターン３９９Ａの第５パターン３９９ａ１〜第８パターン３９９ｄ１が、図１４に示す投影タイミングで投影され、次に第Ｂ補助投影パターン３９９Ｂの第５パターン３９９ａ２〜第８パターン３９９ｄ２が、図１４に示す投影タイミングで投影され、最後に第Ｃ補助投影パターン３９９Ｃの第５パターン３９９ａ３〜第８パターン３９９ｄ３が、図１４に示す投影タイミングで投影される。

投影制御部３１２ｂは、第Ａ補助投影パターン３９９Ａ〜第Ｃ補助投影パターン３９９Ｃのそれぞれについても、相対位相演算部３１６によって相対位相φを演算するために、第１実施形態に示した図５のタイミングチャートと同様のタイミングチャートで第５パターン３９９ａ〜第８パターン３９９ｄの投影を実行する。つまり、１回のパターン投影周期において、図５における第１パターン３９１ａ〜第４パターン３９１ｄの１回目の投影が終了した後に、第５パターン群３９９Ｇａ〜第８パターン群３９９Ｇｄの投影（図１４の第１補助パターン投影および第２補助パターン投影）を行う。これにより、相対位相演算部３１６は、投影パターン３９９の基準比Ｒに加えて、第Ａ補助投影パターン３９９Ａ〜第Ｃ補助投影パターン３９９Ｃのそれぞれの基準比Ｒを演算する。ここで理解の容易のために、投影パターン３９１の基準比Ｒを基本基準比Ｒとも呼び、第Ａ補助投影パターン３９９Ａの基準比Ｒを第１補助基準比Ｒ１とも呼び、第Ｂ補助投影パターン３９９Ｂの基準比Ｒを第２補助基準比Ｒ２とも呼び、第Ｃ補助投影パターン３９９Ｃの基準比Ｒを第３補助基準比Ｒ３とも呼ぶ。

投影制御部３１２ｂは、基本基準比Ｒ、第１補助基準比Ｒ１〜第３補助基準比Ｒ３を演算するためのパターンの投影を実行した後に以下の投影を実行する。つまり、投影制御部３１２ｂは、投影パターン３９１の相対位相φを演算するために図５に示す第１パターン投影と、第Ａ補助投影パターン３９９Ａ〜第Ｃ補助投影パターン３９９Ｃのそれぞれの相対位相φを演算するために第５パターン３９９ａ１，３９９ａ２，３９９ａ３と第６パターン３９９ｂ１，３９９ｂ２，３９９ｂ３との投影（第１補助パターン投影）を実行する。例えば、投影制御部３１２ｂは、１組の第１パターン３９１ａおよび第２パターンの投影（第１パターン投影）を実行する毎に、第Ａ補助投影パターン３９９Ａ〜第Ｃ補助投影パターン３９９Ｃのそれぞれにおいて、１組の第５パターン３９９ａおよび第６パターン３９９ｂの投影（第１補助パターン投影）を実行する。これにより、相対位相演算部３１６は、演算した基本基準比Ｒ、第１補助基準比Ｒ１〜第３補助基準比Ｒ３と、第１パターン投影や第１補助パターン投影の光が投影された被計測物１０５の画像を用いて、各投影パターン３９９，３９９ａ，３９９ｂ，３９９ｃの相対位相φを演算する。ここで、投影パターン３９９の相対位相φを「相対位相φ１」とも呼び、第Ａ補助投影パターン３９９Ａの相対位相φを「相対位相φ２」とも呼び、第Ｂ補助投影パターン３９９Ｂの相対位相φを「相対位相φ３」とも呼び、第Ｃ補助投影パターン３９９Ｃの相対位相φを「相対位相φ４」とも呼ぶ。

絶対位相演算部３１９（図１１）は、第１パターン投影や第２パターン投影の光が投影された被計測物１０５の４枚の濃淡画像と、第Ａ補助投影パターン３９９Ａ〜第Ｃ補助投影パターン３９９Ｃのそれぞれにおいて、第１補助パターン投影や第２補助パターン投影の光が投影された被計測物１０５の４枚の補助濃淡画像とを用いて絶対位相φａを演算する。つまり、絶対位相演算部３１９は、４枚の濃淡画像と第Ａ補助投影パターン３９９Ａ〜第Ｃ補助投影パターン３９９Ｃのそれぞれにおける４枚の補助濃淡画像とを用いて、縞次数ｎを演算し、相対位相φと演算した縞次数ｎとを用いて絶対位相φａを演算する。具体的には、絶対位相演算部３１９は、演算された相対位相φ１，φ２，φ３，φ４を用いて縞次数ｎおよび絶対位相φａを演算する。縞次数ｎおよび絶対位相φａの演算方法は、公知の手法を用いて演算できるので詳細は省略する。

３次元座標演算部３２０は、演算された絶対位相φａから三角測量の原理を用いて被計測物１０５の絶対座標系における３次元座標を演算する。

上記第３実施形態によれば、上記第１実施形態と同様の構成を有する点において同様の効果を奏する。加えて、上記第３実施形態によれば、絶対位相演算部３１９によって絶対位相φａを演算できると共に、３次元座標演算部３２０によって被計測物１０５の絶対座標系における３次元座標を演算できる。

Ｄ．第４実施形態：
図１５は、本発明の第４実施形態としての演算装置１００ｃを説明するための図である。上記第２実施形態の演算装置１００ａ（図７）と異なる点は、制御装置３ｃの制御部３１ｃが実行する処理内容と、記憶部３９ｃに記憶された内容である。第４実施形態において、第２実施形態と同様の構成については第２実施形態と同様の符号を付すと共に説明を省略する。

制御部３１ｃは、第３実施形態の制御部３１ｂと同様に、新たに、絶対位相演算部３１９と、３次元座標演算部３２０とを有する。絶対位相演算部３１９は、第３実施形態と同様であり、任意の位置の相対位相φを位相接続して投影パターン３９１の絶対位相φａを演算する。３次元座標演算部３２０は、第３実施形態と同様であり、演算された絶対位相φａから三角測量の原理を用いて被計測物１０５の絶対座標系における３次元座標を演算する。

記憶部３９ｃは、投影部１によって投影される予め定められたパターン３９１Ｃが記憶されている。パターン３９１Ｃは、投影パターン３９１と、全白パターン３９１Ａ２と、全黒パターン３９１Ａ３と、補助投影パターン群３９９とを有する。補助投影パターン群３９９は、上記第３実施形態と同様に第Ａ補助投影パターン３９９Ａ、第Ｂ補助投影パターン３９９Ｂ、および第Ｃ補助投影パターン３９９Ｃを有する。

投影制御部３１２ｃは、第２実施形態と同様の正弦波パターン投影と全白黒パターン投影との実行に加え（図９）、新たに、補助投影パターン群３９９を用いた補助パターン投影を実行する。

投影制御部３１２ｃが実行する補助パターン投影は、第３実施形態の第１補助パターン投影と同様であり、第Ａ補助投影パターン３９９Ａ、第Ｂ補助投影パターン３９９Ｂ、および、第Ｃ補助投影パターン３９９Ｃのそれぞれについて、第５パターン３９９ａ１，３９９ａ２，３９９ａ３および第６パターン３９９ｂ１，３９９ｂ２，３９９ｂ３を時系列に投影する。つまり、投影制御部３１２ｃは、第Ａ補助投影パターン３９９Ａ〜第Ｃ補助投影パターン３９９Ｃのそれぞれについても、相対位相演算部３１６ａによって相対位相φを演算するために、図９の正弦波投影パターンと同様のタイミングチャートで第５パターン３９９ａ１，３９９ａ２，３９９ａ３および第６パターン３９９ｂ１，３９９ｂ２，３９９ｂ３を投影する。具体的には、投影制御部３１２ｃは、１回のパターン投影周期において、１組の第１パターン３９１ａおよび第２パターン３９１ｂの投影（正弦波パターン投影）を実行する毎に、以下の投影を順次実行する。つまり、投影制御部３１２ｃは、第Ａ補助投影パターン３９９Ａにおける第５パターン３９９ａ１と第６パターン３９９ｂ１の投影、第Ｂ補助投影パターン３９９Ｂにおける第６パターン３９９ａ２と第７パターン３９９ｂ２の投影、および、第Ｃ補助投影パターン３９９Ｃにおける第５パターン３９９ａ３と第６パターン３９９ｂ３の投影を順次実行する。

相対位相演算部３１６ａは、パターン投影周期ごとに演算した基準比Ｒと、正弦波パターン投影および第１補助パターン投影の光を投影した被計測物１０５の濃淡画像とを用いて、各パターン３９１，３９９Ａ，３９９Ｂ，３９９Ｃの相対位相φ１，φ２，φ３，φ４を演算する。

絶対位相演算部３１９ｃは、正弦波パターン投影の光が投影された被計測物１０５の２枚の濃淡画像と、全白黒パターン投影の光が投影された被計測物１０５の２枚の参考画像と、補助パターン投影の光が投影された被計測物１０５の２枚の補助濃淡画像とを用いて絶対位相φａを演算する。つまり、絶対位相演算部３１９ｃは、２枚の濃淡画像と、第Ａ補助投影パターン３９９Ａ〜第Ｃ補助投影パターン３９９Ｃのそれぞれにおける２枚の補助濃淡画像とを用いて、縞次数ｎを演算し、相対位相φと演算した縞次数ｎとを用いて絶対位相φａを演算する。具体的には、絶対位相演算部３１９ｃは、演算された相対位相φ１，φ２，φ３，φ４を用いて縞次数ｎおよび絶対位相φａを演算する。３次元座標演算部３２０は、演算された絶対位相φａから三角測量の原理を用いて被計測物１０５の絶対座標系における３次元座標を演算する。

上記第４実施形態によれば、上記第２実施形態と同様の構成を有する点において同様の効果を奏する。加えて、上記第４実施形態によれば、絶対位相演算部３１９ｃによって絶対位相φａを演算できると共に、３次元座標演算部３２０によって被計測物１０５の絶対座標系における３次元座標を演算できる。また、相対位相φ１，φ２，φ３，φ４の演算に、共通の基準比Ｒを用いることができるので相対位相φ１，φ２，φ３，φ４を演算する時間を短縮できる。

Ｅ．他の実施形態：
Ｅ−１．他の実施形態１：
上記第３実施形態および上記第４実施形態では、絶対位相演算部３１９，３１９ｃは、補助濃淡画像や濃淡画像や参考画像を用いて絶対位相φａを演算していたが、絶対位相φａの演算方法は上記に限定されるものではない。例えば、絶対位相演算部３１９，３１９ｃは、空間コードパターンと、投影パターン３９１とを用いて縞次数ｎを演算することで絶対位相φａを演算してもよい。

Ｅ−２．他の実施形態２：
上記第３および第４実施形態では、補助投影パターン群３９９が有する３つの補助投影パターン３９９Ａ〜３９９Ｃは、投影パターン３９９の空間周波数の１／２，１／４，１／８の空間周波数であったがこれに限定されるものではない。例えば、３つの補助投影パターンは、投影パターン３９１の空間周波数よりも低ければ上記に限定されるものではなく、投影パターン３９１の空間周波数の１／１６，１／３２，１／６４などであってもよい。また、補助投影パターンの投影数は３つに限定されるものではなく、投影パターン３９１の空間周波数の１／２，１／４，１／８，１／１６の４つや、それ以上であってもよい。また、上記第３および第４実施形態において、パターン投影周期における１回の相対位相φ１，φ２，φ３，φ４を演算するための各投影パターン３９１，３９９Ａ，３９９Ｂ，３９９Ｃの投影タイミングは上記第３および第４実施形態に限定されるものではない。例えば、第３実施形態において、１組の第１パターン３９１ａと第２パターン３９１ｂの投影の後に、３つの第５パターン３９９ａ１〜３９９ａ３を順次投影し、次に３つの第６パターン３９９ｂ１〜３９９ｂ３を順次投影し、次に３つの第７パターン３９９ｃ１〜３９９ｃ３を順次投影し、次に３つの第８パターン３９９ｄ１〜３９９ｄ３を順次投影してもよい。

Ｅ−３．他の実施形態３：
上記第３実施形態では、相対位相φ２，φ３，φ４を演算するために、第１〜第３補助基準比Ｒ１，Ｒ２，Ｒ３を演算していたが、これに限定されるものではない。例えば、基本基準比Ｒ、第１〜第３補助基準比Ｒ１，Ｒ２，Ｒ３の少なくともいずれか一つの基準比を、他の基準比として見なして相対位相φ２，φ３，φ４を演算してもよい。こうすることで、パターン投影周期を短縮できる。

Ｅ−４．他の実施形態４：
上記各実施形態では、投影部１として液晶プロジェクターを用いていたが、これに限定されるものではない。例えば、投影部１は、ＭＥＭＳスキャナーや、ＤＬＰなどの空間上にパターンを投影できる要素であってもよい。また上記各実施形態において、投影されるパターンの波長は、可視光であってもよいし、近赤外光などの不可視光であってもよい。また、上記各実施形態において、被計測物１０５に投影される輝度の変化が正弦波状の投影パターンの光は、縦方向の縞模様（つまり、横方向に沿って輝度が変化する縞模様）や横方向の縞模様（つまり、縦方向に沿って輝度が変化する縞模様）であってもよく、これらを組み合わせた模様であってもよい。縦方向のみの縞模様の投影パターンの光を被計測物１０５に投影する場合は、投影部１と撮像部２とが水平方向に並んで配置されていることが好ましい。また、横方向のみの縞模様の投影パターンの光を被計測物１０５に投影する場合は、投影部１と撮像部２とが鉛直方向に並んで配置されていることが好ましい。つまり、投影パターンが、投影部１と撮像部２の配置位置によって決定されるエピポーラ線と垂直であることが好ましい。

Ｅ−５．他の実施形態５：
上記各実施形態の演算装置１００，１００ａ，１００ｃ，１００ｄは、被計測物１０５の３次元形状を計測する機器に搭載してもよいし、３次元振動解析を行う機器に搭載してもよいし、ある対象物に物体が接触したかどうかを認識するタッチ認識器に搭載されてもよい。

Ｆ．他の形態：
本発明は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本発明は、以下の形態によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本発明の課題の一部又は全部を解決するために、あるいは、本発明の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

（１）本発明の一形態によれば、輝度の変化が正弦波状である投影パターンの光を被計測物に投影する投影部と、前記被計測物を撮像する撮像部とを備える演算装置を制御するためのコンピュータープログラムが提供される。このコンピュータープログラムは、前記撮像部が撮像した前記投影パターンの光が投影された前記被計測物の濃淡画像内の任意の位置における、前記投影パターンの相対位相を演算する演算機能と、（ｉ）空間周波数における位相が互いにπだけずれた前記投影パターンとしての第１パターンおよび第２パターンを第１時間周期で交互に前記投影部によって投影させる第１パターン投影と、（ｉｉ）前記第１パターンおよび前記第２パターンに対して前記位相がπ／２だけずれた前記投影パターンとしての第３パターンと第４パターンであって、互いに前記位相がπだけずれた第３パターンおよび第４パターンを、前記第１時間周期よりも長い第２時間周期で交互に前記投影部によって投影させる第２パターン投影と、を実行する投影実行機能と、をコンピューターに実現させ、前記投影実行機能は、１つの周期目の前記第３パターンおよび前記第４パターンの投影と、次の周期目の前記第３パターンおよび前記第４パターンの投影との間に前記第１パターン投影を実行する機能を含み、前記演算機能は、前記第１パターン投影によって光が投影された前記被計測物の濃淡画像と、前記第２パターン投影によって光が投影された前記被計測物の濃淡画像とを前記撮像部から取得して、取得した前記濃淡画像を用いて前記相対位相を演算する機能を含む。この形態によれば、第２時間周期ごとに、第１パターンから第４パターンが投影された濃淡画像を用いて時間経過による変動が少ない変数を予め演算しておくことで、以降は第１パターンと第２パターンの濃淡画像と、予め演算した変数とを用いて相対位相を演算できる。これにより、相対位相の演算時間を短縮できる。

（２）本発明の他の一形態によれば、予め定められたパターンの光を被計測物に投影する投影部と、前記被計測物を撮像する撮像部とを備える演算装置を制御するためのコンピュータープログラムが提供される。このコンピュータープログラムは、相対位相を演算する演算機能と、（ｉ）空間周波数における位相が互いにπだけずれた輝度の変化が正弦波状である投影パターンとしての第１パターンおよび第２パターンを、第１時間周期で交互に前記投影部によって投影させる正弦波パターン投影と、（ｉｉ）全白画像である全白パターンと全黒画像である全黒パターンとを、前記正弦波パターン投影よりも長い時間周期で交互に前記投影部によって投影させる全白黒パターン投影と、を実行する投影実行機能と、をコンピューターに実現させ、前記投影実行機能は、１つの周期目の前記全白パターンと全黒パターンの投影と、次の周期目の前記全白パターンおよび前記全黒パターンの投影との間に前記正弦波パターン投影を実行する機能を含み、前記演算機能は、前記正弦波パターン投影によって光が投影された前記被計測物の濃淡画像と、前記全白黒パターン投影によって光が投影された前記被計測物の参考画像とを前記撮像部から取得し、取得した前記濃淡画像および前記参考画像を用いて、前記投影パターンの光が投影された前記被計測物の濃淡画像内の任意の位置における、前記投影パターンの相対位相を演算する機能を含む。この形態によれば、全白黒パターンの時間周期ごとに、全白パターンと全黒パターンが投影された参考画像を用いて時間経過による変動が少ない変数を予め演算しておくことで、以降は第１パターンと第２パターンの濃淡画像と、予め演算した変数とを用いて相対位相を演算できる。これにより、相対位相の演算時間を短縮できる。

（３）上記形態であって、前記全白パターンの輝度値は、前記正弦波パターン投影によって投影される前記投影パターンうちで最も高い輝度値の半分の輝度値であってもよい。この形態によれば、相対位相を容易に演算できる。

（４）上記形態であって、さらに、任意のパターンの光が前記被計測物に投影された前記被計測物の撮像画像である基準画像から演算された、前記被計測物の絶対座標系における座標情報を予め記憶する記憶機能と、前記座標情報と前記相対位相とを用いて、前記基準画像を取得したときの前記被計測物に対する、前記相対位相が演算されたときの前記被計測物の深度のずれ量を演算する深度ずれ量演算機能と、を有していてもよい。この形態によれば、相対位相の演算時間が短縮できるので、深度のずれ量の演算時間も短縮できる。

（５）上記形態であって、さらに、任意の位置の前記相対位相を位相接続して前記投影パターンの絶対位相を演算する絶対位相演算機能と、前記絶対位相から前記被計測物の絶対座標系における３次元座標を演算する３次元座標演算機能と、を有し、前記投影実行機能はさらに、前記投影パターンより空間周波数が低く、輝度の変化が正弦波状の補助投影パターンであって、互いに位相がπだけずれた補助投影パターンとしての第５パターンおよび第６パターンが複数の前記空間周波数ごとに設定された第５パターン群および第６パターン群を前記投影部によって投影させる第１補助パターン投影機能と、前記第５パターン群および前記第６パターン群のそれぞれに対して前記位相がπ／２だけずれた第７パターン群および第８パターン群であって、互いに前記位相がπだけずれた第７パターン群および第８パターン群を前記撮像部によって投影させる第２補助パターン投影機能と、を含み、前記絶対位相演算機能は、前記濃淡画像と、前記第１補助パターン投影機能および前記第２補助パターン投影機能によって光が投影された前記被計測物の補助濃淡画像と、を用いて前記絶対位相を演算する機能を含んでもよい。この形態によれば、絶対位相演算機能によって容易に絶対位相を演算できる。

（６）上記形態であって、さらに任意の位置の前記相対位相を位相接続して絶対位相を演算する絶対位相演算機能と、前記絶対位相から前記被計測物の３次元座標を演算する３次元座標演算機能と、を有し、前記投影実行機能はさらに、前記投影パターンより空間周波数が低く、輝度の変化が正弦波状の補助投影パターンであって、互いに位相がπだけずれた補助投影パターンとしての第５パターンおよび第６パターンが複数の前記空間周波数ごとに設定された第５パターン群および第６パターン群を、前記投影部によって投影させる補助パターン投影機能を含み、前記絶対位相演算機能は、前記濃淡画像と、前記参考画像と、前記補助パターン投影機能によって光が投影された前記被計測物の補助濃淡画像と、を用いて前記絶対位相を演算する機能を含んでもよい。この形態によれば、絶対位相演算機能によって容易に絶対位相を演算できる。

本発明は、画像処理システム以外の種々の形態で実現することも可能である。例えば、コンピュータープログラムの他に、演算装置や演算装置の制御方法、コンピュータープログラムを記録した一時的でない記録媒体などの形態で実現することができる。

１…投影部、２…撮像部、３，３ａ，３ｂ，３ｃ…制御装置、１１…光源、１３…液晶パネル、１５…レンズ、３１，３１ａ，３１ｂ，３１ｃ…制御部、３９，３９ａ，３９ｂ，３９ｃ…記憶部、１００，１００ａ，１００ｂ，１００ｃ…演算装置、１０５…被計測物、３１２，３１２ａ，３１２ｂ，３１２ｃ…投影制御部、３１４…撮像制御部、３１６，３１６ａ…相対位相演算部、３１８…演算部、３１９，３１９ｃ…絶対位相演算部、３２０…３次元座標演算部、３９１…投影パターン、３９１Ａ，３９１Ｂ，３９１Ｃ…パターン、３９１Ａ２…全白パターン、３９１Ａ３…全黒パターン、３９１ａ…第１パターン、３９１ｂ…第２パターン、３９１ｃ…第３パターン、３９１ｄ…第４パターン、３９３…関係テーブル、３９５…座標情報、３９９ａ…第５パターン、３９９…補助投影パターン群、３９９ｄ…第８パターン、３９９ｃ…第７パターン、３９９ｂ…第６パターン、Ｌ１…投影方向、Ｌ２…撮像方向

Claims (10)

1. 輝度の変化が正弦波状である投影パターンの光を被計測物に投影する投影部と、前記被計測物を撮像する撮像部とを備える演算装置を制御するためのコンピュータープログラムであって、
   前記撮像部が撮像した前記投影パターンの光が投影された前記被計測物の濃淡画像内の任意の位置における、前記投影パターンの相対位相を演算する演算機能と、
   （ｉ）空間周波数における位相が互いにπだけずれた前記投影パターンとしての第１パターンおよび第２パターンを第１時間周期で交互に前記投影部によって投影させる第１パターン投影と、（ｉｉ）前記第１パターンおよび前記第２パターンに対して前記位相がπ／２だけずれた前記投影パターンとしての第３パターンと第４パターンであって、互いに前記位相がπだけずれた第３パターンおよび第４パターンを、前記第１時間周期よりも長い第２時間周期で交互に前記投影部によって投影させる第２パターン投影と、を実行する投影実行機能と、をコンピューターに実現させ、
   前記投影実行機能は、１つの周期目の前記第３パターンおよび前記第４パターンの投影と、次の周期目の前記第３パターンおよび前記第４パターンの投影との間に前記第１パターン投影を実行する機能を含み、
   前記演算機能は、前記第１パターン投影によって光が投影された前記被計測物の濃淡画像と、前記第２パターン投影によって光が投影された前記被計測物の濃淡画像とを前記撮像部から取得して、取得した前記濃淡画像を用いて前記相対位相を演算する機能を含む、コンピュータープログラム。
2. 予め定められたパターンの光を被計測物に投影する投影部と、前記被計測物を撮像する撮像部とを備える演算装置を制御するためのコンピュータープログラムであって、
   相対位相を演算する演算機能と、
   （ｉ）空間周波数における位相が互いにπだけずれた輝度の変化が正弦波状である投影パターンとしての第１パターンおよび第２パターンを、第１時間周期で交互に前記投影部によって投影させる正弦波パターン投影と、（ｉｉ）全白画像である全白パターンと全黒画像である全黒パターンとを、前記正弦波パターン投影よりも長い時間周期で交互に前記投影部によって投影させる全白黒パターン投影と、を実行する投影実行機能と、をコンピューターに実現させ、
   前記投影実行機能は、１つの周期目の前記全白パターンと全黒パターンの投影と、次の周期目の前記全白パターンおよび前記全黒パターンの投影との間に前記正弦波パターン投影を実行する機能を含み、
   前記演算機能は、前記正弦波パターン投影によって光が投影された前記被計測物の濃淡画像と、前記全白黒パターン投影によって光が投影された前記被計測物の参考画像とを前記撮像部から取得し、取得した前記濃淡画像および前記参考画像を用いて、前記投影パターンの光が投影された前記被計測物の濃淡画像内の任意の位置における、前記投影パターンの相対位相を演算する機能を含む、コンピュータープログラム。
3. 請求項２に記載のコンピュータープログラムであって、
   前記全白パターンの輝度値は、前記正弦波パターン投影によって投影される前記投影パターンうちで最も高い輝度値の半分の輝度値である、コンピュータープログラム。
4. 請求項１から請求項３までのいずれか一項に記載のコンピュータープログラムであって、さらに、
   任意のパターンの光が前記被計測物に投影された前記被計測物の撮像画像である基準画像から演算された、前記被計測物の絶対座標系における座標情報を予め記憶する記憶機能と、
   前記座標情報と前記相対位相とを用いて、前記基準画像を取得したときの前記被計測物に対する、前記相対位相が演算されたときの前記被計測物の深度のずれ量を演算する深度ずれ量演算機能と、を有する、コンピュータープログラム。
5. 請求項１に記載のコンピュータープログラムであって、さらに、
   任意の位置の前記相対位相を位相接続して前記投影パターンの絶対位相を演算する絶対位相演算機能と、
   前記絶対位相から前記被計測物の絶対座標系における３次元座標を演算する３次元座標演算機能と、を有し、
   前記投影実行機能はさらに、
   前記投影パターンより空間周波数が低く、輝度の変化が正弦波状の補助投影パターンであって、互いに位相がπだけずれた補助投影パターンとしての第５パターンおよび第６パターンが複数の前記空間周波数ごとに設定された第５パターン群および第６パターン群を、前記投影部によって投影させる第１補助パターン投影機能と、
   前記第５パターン群および前記第６パターン群のそれぞれに対して前記位相がπ／２だけずれた第７パターン群および第８パターン群であって、互いに前記位相がπだけずれた第７パターン群および第８パターン群を前記撮像部によって投影させる第２補助パターン投影機能と、を含み、
   前記絶対位相演算機能は、前記濃淡画像と、前記第１補助パターン投影機能および前記第２補助パターン投影機能によって光が投影された前記被計測物の補助濃淡画像と、を用いて前記絶対位相を演算する機能を含む、コンピュータープログラム。
6. 請求項２または請求項３に記載のコンピュータープログラムであって、さらに
   任意の位置の前記相対位相を位相接続して絶対位相を演算する絶対位相演算機能と、
   前記絶対位相から前記被計測物の３次元座標を演算する３次元座標演算機能と、を有し、
   前記投影実行機能はさらに、
   前記投影パターンより空間周波数が低く、輝度の変化が正弦波状の補助投影パターンであって、互いに位相がπだけずれた補助投影パターンとしての第５パターンおよび第６パターンが複数の前記空間周波数ごとに設定された第５パターン群および第６パターン群を、前記投影部によって投影させる補助パターン投影機能を含み、
   前記絶対位相演算機能は、前記濃淡画像と、前記参考画像と、前記補助パターン投影機能によって光が投影された前記被計測物の補助濃淡画像と、を用いて前記絶対位相を演算する機能を含む、コンピュータープログラム。
7. 演算装置であって、
   輝度の変化が正弦波状である投影パターンの光を被計測物に投影する投影部と、
   前記投影部の動作を制御する投影制御部と、
   前記被計測物を撮像する撮像部と、
   前記撮像部が撮像した前記投影パターンの光が投影された前記被計測物の濃淡画像内の任意の位置における、前記投影パターンの相対位相を演算する相対位相演算部と、を備え、
   前記投影制御部は、
   空間周波数における位相が互いにπだけずれた前記投影パターンとしての第１パターンおよび第２パターンを第１時間周期で交互に前記投影部によって投影させる第１パターン投影と、
   前記第１パターンおよび前記第２パターンに対して前記位相がπ／２だけずれた前記投影パターンとしての第３パターンと第４パターンであって、互いに前記位相がπだけずれた第３パターンおよび第４パターンを、前記第１時間周期よりも長い第２時間周期で交互に前記投影部によって投影させる第２パターン投影と、を実行し、
   前記投影制御部は、１つの周期目の前記第３パターンおよび前記第４パターンの投影と、次の周期目の前記第３パターンおよび前記第４パターンの投影との間に前記第１パターン投影を実行し、
   前記相対位相演算部は、前記第１パターン投影によって光が投影された前記被計測物の濃淡画像と、前記第２パターン投影によって光が投影された前記被計測物の濃淡画像とを前記撮像部から取得して、取得した前記濃淡画像を用いて前記相対位相を演算する、演算装置。
8. 演算装置であって、
   予め定められたパターンの光を被計測物に投影する投影部と、
   前記投影部の動作を制御する投影制御部と、
   前記被計測物を撮像する撮像部と、
   相対位相演算部と、を備え、
   前記投影制御部は、
   空間周波数における位相が互いにπだけずれた輝度の変化が正弦波状である投影パターンとしての第１パターンおよび第２パターンを、第１時間周期で交互に前記投影部によって投影させる正弦波パターン投影と、
   全白画像である全白パターンと全黒画像である全黒パターンとを、前記正弦波パターン投影よりも長い時間周期で交互に前記投影部によって投影させる全白黒パターン投影と、を実行し、
   前記投影制御部は、１つの周期目の前記全白パターンと全黒パターンの投影と、次の周期目の前記全白パターンおよび前記全黒パターンの投影との間に前記正弦波パターン投影を実行し、
   前記相対位相演算部は、
   前記正弦波パターン投影によって光が投影された前記被計測物の濃淡画像と、前記全白黒パターン投影によって光が投影された前記被計測物の参考画像とを前記撮像部から取得し、
   取得した前記濃淡画像および前記参考画像を用いて、前記投影パターンの光が投影された前記被計測物の濃淡画像内の任意の位置における、前記投影パターンの相対位相を演算する、演算装置。
9. 輝度の変化が正弦波状である投影パターンの光を被計測物に投影する投影部と、前記被計測物を撮像する撮像部とを備える演算装置を制御するための制御方法であって、
   前記撮像部が撮像した前記投影パターンの光が投影された前記被計測物の濃淡画像内の任意の位置における、前記投影パターンの相対位相を演算する演算工程と、
   （ｉ）空間周波数における位相が互いにπだけずれた前記投影パターンとしての第１パターンおよび第２パターンを第１時間周期で交互に前記投影部によって投影させる第１パターン投影と、（ｉｉ）前記第１パターンおよび前記第２パターンに対して前記位相がπ／２だけずれた前記投影パターンとしての第３パターンと第４パターンであって、互いに前記位相がπだけずれた第３パターンおよび第４パターンを、前記第１時間周期よりも長い第２時間周期で交互に前記投影部によって投影させる第２パターン投影と、を実行する投影実行工程と、を備え、
   前記投影実行工程は、１つの周期目の前記第３パターンおよび前記第４パターンの投影と、次の周期目の前記第３パターンおよび前記第４パターンの投影との間に前記第１パターン投影を実行する工程を含み、
   前記演算工程は、前記第１パターン投影によって光が投影された前記被計測物の濃淡画像と、前記第２パターン投影によって光が投影された前記被計測物の濃淡画像とを前記撮像部から取得して、取得した前記濃淡画像を用いて前記相対位相を演算する工程を含む、制御方法。
10. 予め定められたパターンの光を被計測物に投影する投影部と、前記被計測物を撮像する撮像部とを備える演算装置を制御するための制御方法であって、
    相対位相を演算する演算工程と、
    （ｉ）空間周波数における位相が互いにπだけずれた輝度の変化が正弦波状である投影パターンとしての第１パターンおよび第２パターンを、第１時間周期で交互に前記投影部によって投影させる正弦波パターン投影と、（ｉｉ）全白画像である全白パターンと全黒画像である全黒パターンとを、前記正弦波パターン投影よりも長い時間周期で交互に前記投影部によって投影させる全白黒パターン投影と、を実行する投影実行工程と、を備え、
    前記投影実行工程は、１つの周期目の前記全白パターンと全黒パターンの投影と、次の周期目の前記全白パターンおよび前記全黒パターンの投影との間に前記正弦波パターン投影を実行する工程を含み、
    前記演算工程は、前記正弦波パターン投影によって光が投影された前記被計測物の濃淡画像と、前記全白黒パターン投影によって光が投影された前記被計測物の参考画像とを前記撮像部から取得し、取得した前記濃淡画像および前記参考画像を用いて、前記投影パターンの光が投影された前記被計測物の濃淡画像内の任意の位置における、前記投影パターンの相対位相を演算する工程を含む、制御方法。