JP2022131028A - 計測方法および計測システム - Google Patents

Abstract

【課題】複数のプロジェクターと撮像装置とのすべての位置を予め定められた位置関係に調整する必要を有さずに、法線ベクトルを計測可能な技術を提供する。
【解決手段】計測方法は、対象面における複数部分のうちの一つの測定部分から第１プロジェクターの第１レンズの主点の位置への方向を示す第１ベクトルと、測定部分の位置から第２プロジェクターの第２レンズの主点の位置への方向を示す第２ベクトルと、測定部分の位置から第３プロジェクターの第２レンズの主点の位置への方向を示す第３ベクトルと、第１プロジェクターが第１レンズを介して第４画像を投写する測定部分の輝度を示す第１値と、第２プロジェクターが第２レンズを介して第５画像を投写する測定部分の輝度を示す第２値と、第３プロジェクターが第３レンズを介して第６画像を投写する測定部分の輝度を示す第３値と、に基づいて、測定部分の法線ベクトルを計測する。
【選択図】図１３

Description

本発明は、計測方法および計測システムに関する。

特許文献１は、撮像装置によって生成された撮像画像に基づいて、照度差ステレオ法の演算に必要な法線ベクトルを抽出する法線ベクトル抽出装置を開示する。撮像装置は、所定間隔で配置された４つ以上の光源の各々と予め定められた位置関係を有する。

特開２０１５－１１８０２３号公報

特許文献１に記載の法線ベクトル抽出装置は、所定間隔で配置された４つ以上の光源の各々と予め定められた位置関係を有する撮像装置を必要とする。このため、ユーザーは、特許文献１に記載の法線ベクトル抽出装置を使用する場合、４つ以上の光源の各々の位置と、撮像装置の位置と、のすべてを予め定められた位置関係に調整する必要がある。このため、特許文献１に記載の法線ベクトル抽出装置の利便性は低い。

本発明に係る計測方法の一態様は、対象面における複数の部分の位置を示す位置情報と、第１画像と、第１プロジェクターが第１レンズを介して前記第１画像を前記対象面へ投写する状況で前記対象面を第１カメラが撮像することによって生成される第１撮像画像と、に基づいて、前記複数の部分のうちの一つである測定部分の位置から前記第１レンズの主点の位置への方向を示す第１ベクトルを決定することと、前記位置情報と、第２画像と、第２プロジェクターが第２レンズを介して前記第２画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第２撮像画像と、に基づいて、前記測定部分の位置から前記第２レンズの主点の位置への方向を示す第２ベクトルを決定することと、前記位置情報と、第３画像と、第３プロジェクターが第３レンズを介して前記第３画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第３撮像画像と、に基づいて、前記測定部分の位置から前記第３レンズの主点の位置への方向を示す第３ベクトルを決定することと、前記第１ベクトルと、前記第２ベクトルと、前記第３ベクトルと、前記第１プロジェクターが前記第１レンズを介して第４画像を前記対象面に投写する状況における前記測定部分の輝度を示す第１値と、前記第２プロジェクターが前記第２レンズを介して第５画像を前記対象面に投写する状況における前記測定部分の輝度を示す第２値と、前記第３プロジェクターが前記第３レンズを介して第６画像を前記対象面に投写する状況における前記測定部分の輝度を示す第３値と、に基づいて、前記測定部分の法線ベクトルを計測することと、を含む。

本発明に係る計測システムの一態様は、第１プロジェクターと、第２プロジェクターと、第３プロジェクターと、第１カメラと、第２カメラと、処理装置と、を含み、前記処理装置は、前記第１プロジェクターが第１レンズを介して第１画像を対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第１撮像画像と、前記第１プロジェクターが前記第１レンズを介して前記第１画像を前記対象面へ投写する状況で前記対象面を第２カメラが撮像することによって生成される画像と、に基づいて、前記対象面における複数の部分の位置を示す位置情報を生成し、前記位置情報と、前記第１画像と、前記第１撮像画像と、に基づいて、前記複数の部分のうちの一つである測定部分の位置から前記第１レンズの主点の位置への方向を示す第１ベクトルを決定することと、前記位置情報と、第２画像と、前記第２プロジェクターが第２レンズを介して前記第２画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第２撮像画像と、に基づいて、前記測定部分の位置から前記第２レンズの主点の位置への方向を示す第２ベクトルを決定することと、前記位置情報と、第３画像と、前記第３プロジェクターが第３レンズを介して前記第３画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第３撮像画像と、に基づいて、前記測定部分の位置から前記第３レンズの主点の位置への方向を示す第３ベクトルを決定することと、前記第１ベクトルと、前記第２ベクトルと、前記第３ベクトルと、前記第１プロジェクターが前記第１レンズを介して第４画像を前記対象面に投写する状況における前記測定部分の輝度を示す第１値と、前記第２プロジェクターが前記第２レンズを介して第５画像を前記対象面に投写する状況における前記測定部分の輝度を示す第２値と、前記第３プロジェクターが前記第３レンズを介して第６画像を前記対象面に投写する状況における前記測定部分の輝度を示す第３値と、に基づいて、前記測定部分の法線ベクトルを計測することと、を実行する。

本発明に係る計測システムの一態様は、第１プロジェクターと、第２プロジェクターと、第３プロジェクターと、第１カメラと、処理装置と、を含み、前記処理装置は、第１画像と、前記第１プロジェクターが第１レンズを介して前記第１画像を対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第１撮像画像と、に基づいて、前記対象面における複数の部分の位置を示す位置情報を生成し、前記位置情報と、前記第１画像と、前記第１撮像画像と、に基づいて、前記複数の部分のうちの一つである測定部分の位置から前記第１レンズの主点の位置への方向を示す第１ベクトルを決定することと、前記位置情報と、第２画像と、前記第２プロジェクターが第２レンズを介して前記第２画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第２撮像画像と、に基づいて、前記測定部分の位置から前記第２レンズの主点の位置への方向を示す第２ベクトルを決定することと、前記位置情報と、第３画像と、前記第３プロジェクターが第３レンズを介して前記第３画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第３撮像画像と、に基づいて、前記測定部分の位置から前記第３レンズの主点の位置への方向を示す第３ベクトルを決定することと、前記第１ベクトルと、前記第２ベクトルと、前記第３ベクトルと、前記第１プロジェクターが前記第１レンズを介して第４画像を前記対象面に投写する状況における前記測定部分の輝度を示す第１値と、前記第２プロジェクターが前記第２レンズを介して第５画像を前記対象面に投写する状況における前記測定部分の輝度を示す第２値と、前記第３プロジェクターが前記第３レンズを介して第６画像を前記対象面に投写する状況における前記測定部分の輝度を示す第３値と、に基づいて、前記測定部分の法線ベクトルを計測することと、を実行する。

第１実施形態に係る計測システム１を示す図である。 第１プロジェクター１０１の一例を示す図である。 計測器２００の一例を示す図である。 パネル座標系ＣＳ１１の一例を示す図である。 投写座標系ＣＳ３１の一例を示す図である。 カメラ座標系ＣＳ２の一例を示す図である。 情報処理装置３００の一例を示す図である。 パターン画像Ｇ１の一例を示す図である。 パターン画像Ｇ１が投写されている表面２ａの一例を示す図である。 計測画像Ｇ２の一例を示す図である。 複数のパターン画像Ｇ１の一例を示す図である。 画素１３０ｐと位相φとの関係を示す図である。 計測システム１の動作の概要を説明するための図である。 図１３に示されるステップＳ１０１の一例を示す図である。 図１３に示されるステップＳ１０２の一例を示す図である。 図１３に示されるステップＳ１０３の一例を示す図である。 図１３に示されるステップＳ１０４の一例を示す図である。 図１３に示されるステップＳ１０５の一例を示す図である。 図１３に示されるステップＳ１０６の一例を示す図である。 図１３に示されるステップＳ１０７の一例を示す図である。 図１３に示されるステップＳ１０８の一例を示す図である。

Ａ：第１実施形態
Ａ１：計測システム１
図１は、第１実施形態に係る計測システム１を示す図である。計測システム１は、第１プロジェクター１０１と、第２プロジェクター１０２と、第３プロジェクター１０３と、計測器２００と、情報処理装置３００と、を含む。計測器２００は、第１カメラ２１０と、第２カメラ２２０と、を含む。計測器２００は、例えば、ステレオカメラである。第１プロジェクター１０１と、第２プロジェクター１０２と、第３プロジェクター１０３と、計測器２００と、の相互の位置関係は、予め定められておらず、適宜変更可能である。

計測システム１は、物体２の表面２ａの法線ベクトルＮを計測する。具体的には、計測システム１は、表面２ａにおける複数の部分２ｃのうちの一つである測定部分２ｂの法線ベクトルＮを計測する。複数の部分２ｃは、図１に示される３つの部分２ｃに限らず、例えば、４つ以上の部分２ｃでもよい。表面２ａは、対象面の一例である。計測システム１は、照度差ステレオ法を用いることによって、測定部分２ｂの法線ベクトルＮを計測する。

測定部分２ｂの反射率および測定部分２ｂへの照度が、測定部分２ｂにおいて一定である場合、式１が成り立つことが知られている。
Ｉ＝ＳＮ ・・・式１
式１において、Ｉは、測定部分２ｂに対して観測される輝度値ｉ１～ｉ３を要素とする観測ベクトルである。Ｓは、測定部分２ｂに対する光源ベクトルｓ１～ｓ３をまとめて記述した光源行列である。

式１の両辺に光源行列Ｓの逆行列Ｓ^－１をかけることによって、式２が求められる。
Ｎ＝Ｓ^－１Ｉ ・・・式２
計測システム１は、光源ベクトルｓ１～ｓ３と輝度値ｉ１～ｉ３とを式２に適用することによって、法線ベクトルＮを計測する。

計測システム１は、測定部分２ｂから第１プロジェクター１０１への方向を示す第１ベクトルを、光源ベクトルｓ１として用いる。計測システム１は、測定部分２ｂから第２プロジェクター１０２への方向を示す第２ベクトルを、光源ベクトルｓ２として用いる。計測システム１は、測定部分２ｂから第３プロジェクター１０３への方向を示す第３ベクトルを、光源ベクトルｓ３として用いる。

計測システム１は、第１プロジェクター１０１が測定部分２ｂへ画像を投写する状況で第１カメラ２１０が計測する輝度値を、輝度値ｉ１として用いる。計測システム１は、第２プロジェクター１０２が測定部分２ｂへ画像を投写する状況で第１カメラ２１０が計測する輝度値を、輝度値ｉ２として用いる。計測システム１は、第３プロジェクター１０３が測定部分２ｂへ画像を投写する状況で第１カメラ２１０が計測する輝度値を、輝度値ｉ３として用いる。

以下、光源ベクトルｓ１～ｓ３を決定する手法と、輝度値ｉ１～ｉ３を決定する手法をメインに、計測システム１の構成等について説明する。

Ａ２：第１プロジェクター１０１
図２は、第１プロジェクター１０１の一例を示す図である。第１プロジェクター１０１は、画像処理部１１０と、光源１２０と、液晶ライトバルブ１３０と、投写レンズ１４０と、を含む。第１プロジェクター１０１の投写レンズ１４０は、第１レンズの一例である。

画像処理部１１０は、例えば、画像処理回路等の回路によって構成される。画像処理部１１０は、情報処理装置３００から画像データａを受け取る。画像処理部１１０は、画像データａに対してガンマ補正等の画像処理を施すことによって、画像データａに基づく電圧ｂを生成する。

光源１２０は、ＬＥＤ（Light Emitting Diode）である。光源１２０は、ＬＥＤに限らず、例えば、キセノンランプまたはレーザー光源でもよい。

液晶ライトバルブ１３０は、一対の透明基板間に液晶が存在する液晶パネル等によって構成される。液晶ライトバルブ１３０は、矩形の画素領域１３０ａを有する。画素領域１３０ａは、マトリクス状に位置する複数の画素１３０ｐを含む。

液晶ライトバルブ１３０では、画像データａに基づく電圧ｂが、画素１３０ｐごとに液晶に印加される。画像データａに基づく電圧ｂが、画素１３０ｐごとに液晶に印加されると、画素１３０ｐは、画像データａに基づく光透過率に設定される。

光源１２０から出射された光は、液晶ライトバルブ１３０の画素領域１３０ａによって変調される。液晶ライトバルブ１３０は、光変調装置の一例である。液晶ライトバルブ１３０によって変調された光は、投写レンズ１４０に向かう。投写レンズ１４０は、液晶ライトバルブ１３０によって変調された光、すなわち画像を物体２に投写する。

Ａ３：第２プロジェクター１０２および第３プロジェクター１０３
第２プロジェクター１０２および第３プロジェクター１０３の各々は、第１プロジェクター１０１と同様の構成を有する。このため、第２プロジェクター１０２および第３プロジェクター１０３の各々の詳細な説明は割愛する。第２プロジェクター１０２の投写レンズ１４０は、第２レンズの一例である。第３プロジェクター１０３の投写レンズ１４０は、第３レンズの一例である。第１プロジェクター１０１～第３プロジェクター１０３を相互に区別する必要がない場合、第１プロジェクター１０１～第３プロジェクター１０３の各々を「プロジェクター１００」と称する。

Ａ４：計測器２００
図３は、計測器２００の一例を示す図である。計測器２００は、第１プロジェクター１０１、第２プロジェクター１０２および第３プロジェクター１０３の各々とは別の構成である。

計測器２００は、第１カメラ２１０と第２カメラ２２０とに加えて、第１記憶部２３０と、第１処理部２４０と、を含む。第１カメラ２１０の位置と第２カメラ２２０の位置は、相互に異なる。

第１カメラ２１０は、第１撮像レンズ２１１と、第１イメージセンサー２１２と、を含む。第１撮像レンズ２１１は、物体２の光学像を第１イメージセンサー２１２に結像する。第１イメージセンサー２１２は、ＣＣＤ（Charge Coupled Device）イメージセンサーである。第１イメージセンサー２１２は、ＣＣＤイメージセンサーに限らず、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーでもよい。第１イメージセンサー２１２は、矩形の第１撮像領域２１２ａを有する。第１撮像領域２１２ａは、マトリクス状に位置する複数のセル２１２ｐを含む。第１イメージセンサー２１２は、第１撮像レンズ２１１によって結像される光学像に基づいて、第１撮像データｃ１を生成する。

第２カメラ２２０は、第２撮像レンズ２２１と、第２イメージセンサー２２２と、を含む。第２撮像レンズ２２１は、物体２の光学像を第２イメージセンサー２２２に結像する。第２イメージセンサー２２２は、ＣＣＤイメージセンサーである。第２イメージセンサー２２２は、ＣＣＤイメージセンサーに限らず、例えば、ＣＭＯＳイメージセンサーでもよい。第２イメージセンサー２２２は、矩形の第２撮像領域２２２ａを有する。第２撮像領域２２２ａは、マトリクス状に位置する複数のセル２２２ｐを含む。第２イメージセンサー２２２は、第２撮像レンズ２２１によって結像される光学像に基づいて、第２撮像データｃ２を生成する。

第１記憶部２３０は、第１処理部２４０が読み取り可能な記録媒体である。第１記憶部２３０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）およびＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Random Access Memory）である。第１記憶部２３０は、第１処理部２４０によって実行される第１プログラムＰ１を記憶する。

第１処理部２４０は、１または複数のＣＰＵ（Central Processing Unit）によって構成される。１または複数のＣＰＵは、１または複数のプロセッサーの一例である。プロセッサーおよびＣＰＵの各々は、コンピューターの一例である。

第１処理部２４０は、第１記憶部２３０から第１プログラムＰ１を読み取る。第１処理部２４０は、第１プログラムＰ１を実行することによって、撮像制御部２４１および提供部２４２として機能する。

撮像制御部２４１および提供部２４２の各々は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等の回路によって構成されてもよい。

撮像制御部２４１は、第１カメラ２１０によって実行される撮像と、第２カメラ２２０によって実行される撮像と、を制御する。

提供部２４２は、第１撮像データｃ１と第２撮像データｃ２とを、情報処理装置３００に提供する。

Ａ５：座標系
第１プロジェクター１０１は、パネル座標系ＣＳ１１と、投写座標系ＣＳ３１と、を有する。第１カメラ２１０は、カメラ座標系ＣＳ２を有する。

図４は、パネル座標系ＣＳ１１の一例を示す図である。パネル座標系ＣＳ１１は、２次元の座標系である。パネル座標系ＣＳ１１の原点ｏ１は、第１プロジェクター１０１が有する画素領域１３０ａの左上の隅１３０ｃに設定される。図４においては、便宜上、原点ｏ１は、左上の隅１３０ｃと異なる位置に示されている。

パネル座標系ＣＳ１１は、ｘ_１軸と、ｙ_１軸と、によって定められる。ｘ_１軸およびｙ_１軸は、相互に直交する。ｘ_１軸およびｙ_１軸は、第１プロジェクター１０１が有する液晶ライトバルブ１３０の向きに応じて決定される。ｘ_１軸は、第１プロジェクター１０１が有する液晶ライトバルブ１３０の水平方向と平行、すなわち、第１プロジェクター１０１が有する液晶ライトバルブ１３０の横方向と平行である。ｙ_１軸は、第１プロジェクター１０１が有する液晶ライトバルブ１３０の垂直方向と平行、すなわち、第１プロジェクター１０１が有する液晶ライトバルブ１３０の縦方向と平行である。

図４は、ｘ_１軸とｙ_１軸に加えて、ｚ_１軸を示す。ｚ_１軸は、ｘ_１軸およびｙ_１軸の各々と直交する。ｚ_１軸は、第１プロジェクター１０１が有する投写レンズ１４０の光軸に沿う。

図５は、投写座標系ＣＳ３１の一例を示す図である。図５は、さらに、投写座標系ＣＳ３１とパネル座標系ＣＳ１１との位置関係を示す。

投写座標系ＣＳ３１は、３次元の座標系である。投写座標系ＣＳ３１の原点ｏ３は、第１プロジェクター１０１が有する投写レンズ１４０の主点の位置に設置される。投写座標系ＣＳ３１は、ｘ_３軸と、ｙ_３軸と、ｚ_３軸と、によって定められる。ｘ_３軸、ｙ_３軸およびｚ_３軸は、相互に直交する。ｘ_３軸、ｙ_３軸およびｙ_３軸は、第１プロジェクター１０１が有する液晶ライトバルブ１３０の向き、および、第１プロジェクター１０１が有する投写レンズ１４０の向きに応じて決定される。ｘ_３軸は、ｘ_１軸と同様に、第１プロジェクター１０１が有する液晶ライトバルブ１３０の水平方向と平行である。ｙ_３軸は、ｙ_１軸と同様に、第１プロジェクター１０１が有する液晶ライトバルブ１３０の垂直方向と平行である。ｚ_３軸は、第１プロジェクター１０１が有する投写レンズ１４０の光軸と一致する。ｚ_３軸は、ｚ_１軸と平行である。

図５は、ｚ_３軸と、第１プロジェクター１０１が有する画素領域１３０ａと、の交点ｍを示す。交点ｍは、第１プロジェクター１０１が有する画素領域１３０ａにおける光学中心と称される。図５では、交点ｍのパネル座標系ＣＳ１１における座標が、座標（ｃ_ｘ，ｃ_ｙ）として示される。交点ｍと原点ｏ３との距離は、第１プロジェクター１０１が有する投写レンズ１４０の焦点距離ｆＬと等しい。上述の通り、原点ｏ３は、第１プロジェクター１０１が有する投写レンズ１４０の主点の位置と一致する。このため、第１プロジェクター１０１が有する投写レンズ１４０の主点の３次元の位置は、交点ｍのパネル座標系ＣＳ１１における座標（ｃ_ｘ，ｃ_ｙ）と、焦点距離ｆＬと、を用いることによって表すことができる。また、第１プロジェクター１０１が有する投写レンズ１４０の主点の３次元の位置は、投写座標系ＣＳ３１の原点ｏ３の座標として表すことができる。

第２プロジェクター１０２は、第１プロジェクター１０１と同様に、パネル座標系ＣＳ１２と、投写座標系ＣＳ３２と、を有する。パネル座標系ＣＳ１２は、パネル座標系ＣＳ１１に対応する。投写座標系ＣＳ３２は、投写座標系ＣＳ３１に対応する。パネル座標系ＣＳ１２と投写座標系ＣＳ３２との位置関係は、パネル座標系ＣＳ１１と投写座標系ＣＳ３１との位置関係と同様である。第３プロジェクター１０３は、第１プロジェクター１０１と同様に、パネル座標系ＣＳ１３と、投写座標系ＣＳ３３と、を有する。パネル座標系ＣＳ１３は、パネル座標系ＣＳ１１に対応する。投写座標系ＣＳ３３は、投写座標系ＣＳ３１に対応する。パネル座標系ＣＳ１３と投写座標系ＣＳ３３との位置関係は、パネル座標系ＣＳ１１と投写座標系ＣＳ３１との位置関係と同様である。

パネル座標系ＣＳ１１～ＣＳ１３を相互に区別する必要がない場合、パネル座標系ＣＳ１１～ＣＳ１３の各々を「パネル座標系ＣＳ１」と称する。投写座標系ＣＳ３１～ＣＳ３３を相互に区別する必要がない場合、投写座標系ＣＳ３１～ＣＳ３３の各々を「投写座標系ＣＳ３」と称する。

図６は、第１カメラ２１０に適用されるカメラ座標系ＣＳ２の一例を示す図である。カメラ座標系ＣＳ２は、３次元の座標系である。カメラ座標系ＣＳ２は、第１カメラ２１０の位置に基づく座標系である。カメラ座標系ＣＳ２の原点ｏ２は、第１撮像レンズ２１１の主点の位置に設定される。図６においては、便宜上、原点ｏ２は、第１撮像レンズ２１１の主点の位置と異なる位置に示されている。

カメラ座標系ＣＳ２は、ｘ_２軸と、ｙ_２軸と、ｚ_２軸と、によって定められる。ｘ_２軸、ｙ_２軸およびｚ_２軸は、相互に直交する。ｘ_２軸、ｙ_２軸およびｚ_２軸は、第１カメラ２１０の向きに応じて決定される。ｘ_２軸は、第１イメージセンサー２１２の水平方向と平行、すなわち、第１イメージセンサー２１２の横方向と平行である。ｙ_２軸は、第１イメージセンサー２１２の垂直方向と平行、すなわち、第１イメージセンサー２１２の縦方向と平行である。ｚ_２軸は、第１撮像レンズ２１１の光軸と一致する。

Ａ６：情報処理装置３００
図７は、情報処理装置３００の一例を示す図である。情報処理装置３００は、ＰＣ（Personal Computer）である。情報処理装置３００は、ＰＣに限らず、例えば、タブレット、スマートフォンまたは計測装置でもよい。情報処理装置３００は、処理装置の一例である。

情報処理装置３００は、操作部３１０と、表示部３２０と、第２記憶部３３０と、第２処理部３４０と、を含む。

操作部３１０は、例えば、キーボード、マウス、操作ボタン、操作キーまたはタッチパネルである。操作部３１０は、ユーザーの入力操作を受ける。

表示部３２０は、ディスプレイ、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のＦＰＤ（Flat Panel Display）である。表示部３２０は、種々の情報を表示する。

第２記憶部３３０は、第２処理部３４０が読み取り可能な記録媒体である。第２記憶部３３０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。第２記憶部３３０は、第２処理部３４０によって実行される第２プログラムＰ２を記憶する。

第２処理部３４０は、例えば、１または複数のＣＰＵによって構成される。第２処理部３４０は、第２記憶部３３０から第２プログラムＰ２を読み取る。第２処理部３４０は、第２プログラムＰ２を実行することによって、投写制御部３４１、カメラ制御部３４２、取得部３４３、３次元計測部３４４、第１ベクトル決定部３４５、第２ベクトル決定部３４６、第３ベクトル決定部３４７および法線ベクトル計測部３４８として機能する。

投写制御部３４１、カメラ制御部３４２、取得部３４３、３次元計測部３４４、第１ベクトル決定部３４５、第２ベクトル決定部３４６、第３ベクトル決定部３４７および法線ベクトル計測部３４８の各々は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等の回路によって構成されてもよい。

Ａ７：投写制御部３４１
投写制御部３４１は、プロジェクター１００を制御する。投写制御部３４１は、プロジェクター１００に、種々の画像を物体２の表面２ａに対して投写させる。種々の画像は、パターン画像Ｇ１と、計測画像Ｇ２と、を含む。

図８は、パターン画像Ｇ１の一例を示す図である。パターン画像Ｇ１は、光源ベクトルｓ１～ｓ３を決定するために用いられる。

パターン画像Ｇ１は、第１計測点ｅ１と、第２計測点ｅ２と、第３計測点ｅ３と、を有する。第１計測点ｅ１～第３計測点ｅ３を相互に区別する必要がない場合、第１計測点ｅ１～第３計測点ｅ３の各々を「計測点ｅ」と称する。計測点ｅは、パターン画像Ｇ１の一部である。計測点ｅは、特定点とも称される。パターン画像Ｇ１は、４つ以上の計測点ｅを有してもよい。

複数のパターン画像Ｇ１が用いられる場合、複数のパターン画像Ｇ１の各々において、計測点ｅが、パターン画像Ｇ１の他の部分と区別されない態様で存在してもよい。複数のパターン画像Ｇ１の一例は、位相シフト法で用いられる複数の位相シフト画像である。位相シフト画像については後述する。

図９は、パターン画像Ｇ１が投写されている表面２ａの一例を示す図である。表面２ａにおいてパターン画像Ｇ１の計測点ｅが投写される部分を「対応点ｆ」と称する。図９は、３つの対応点ｆ、具体的には、第１対応点ｆ１と、第２対応点ｆ２と、第３対応点ｆ３と、を示す。対応点ｆは、パターン画像Ｇ１の計測点ｅに対応する点である。第１対応点ｆ１は、第１計測点ｅ１に対応する。第２対応点ｆ２は、第２計測点ｅ２に対応する。第３対応点ｆ３は、第３計測点ｅ３に対応する。

対応点ｆが位置する部分２ｃの３次元の座標を「座標ｊ」と称する。対応点ｆが位置する部分２ｃは、対応部分の一例である。座標ｊは、対応点ｆが位置する部分２ｃのカメラ座標系ＣＳ２における座標である。

計測点ｅのパターン画像Ｇ１における２次元の座標、具体的には、計測点ｅのパネル座標系ＣＳ１における座標を「座標ｋ」と称する。座標ｋは、パターン画像Ｇ１に基づく座標である。座標ｋは、第２記憶部３３０に事前に記憶されている。

図７に示される投写制御部３４１は、パターン画像Ｇ１を示すパターン画像データを、第１プロジェクター１０１～第３プロジェクター１０３の各々に対して順番に提供することによって、第１プロジェクター１０１～第３プロジェクター１０３の各々に、パターン画像Ｇ１を表面２ａに対して順番に投写させる。パターン画像データは、画像データａの一例である。

投写制御部３４１は、パターン画像Ｇ１に加えて、計測画像Ｇ２を、第１プロジェクター１０１～第３プロジェクター１０３の各々に投写させる。

図１０は、計測画像Ｇ２の一例を示す図である。計測画像Ｇ２は、輝度値ｉ１～ｉ３を決定するために用いられる。計測画像Ｇ２は、全面白色で均一な輝度を有する画像である。計測画像Ｇ２は、全面白色で均一な輝度を有する画像に限らず、例えば、全面がクリーム色で均一な輝度を有する画像でもよい。

図７に示される投写制御部３４１は、計測画像Ｇ２を示す計測画像データを第１プロジェクター１０１～第３プロジェクター１０３の各々に対して順番に提供することによって、第１プロジェクター１０１～第３プロジェクター１０３の各々に、計測画像Ｇ２を表面２ａに対して順番に投写させる。計測画像データは、画像データａの一例である。

Ａ８：カメラ制御部３４２
カメラ制御部３４２は、計測器２００を制御する。カメラ制御部３４２は、第１カメラ２１０および第２カメラ２２０の各々に表面２ａを撮像させる。

カメラ制御部３４２は、第１プロジェクター１０１がパターン画像Ｇ１を表面２ａへ投写する状況で、表面２ａを、第１カメラ２１０および第２カメラ２２０の各々に撮影させる。

カメラ制御部３４２は、第２プロジェクター１０２および第３プロジェクター１０３の各々がパターン画像Ｇ１を表面２ａへ投写する状況で、表面２ａを、第１カメラ２１０に撮影させる。

カメラ制御部３４２は、第１プロジェクター１０１～第３プロジェクター１０３の各々が計測画像Ｇ２を表面２ａへ投写する状況で、表面２ａを、第１カメラ２１０に撮影させる。

Ａ９：取得部３４３
取得部３４３は、第１撮像データｃ１を取得することによって、第１カメラ２１０が表面２ａを撮像することによって生成した撮像画像を取得する。取得部３４３は、第２撮像データｃ２を取得することによって、第２カメラ２２０が表面２ａを撮像することによって生成した撮像画像を取得する。

Ａ１０：３次元計測部３４４
３次元計測部３４４は、複数の部分２ｃの各々の位置を示す位置情報ｄ１を生成する。位置情報ｄ１は、各部分２ｃの位置として、各部分２ｃのカメラ座標系ＣＳ２における３次元の位置を示す。３次元計測部３４４は、第１プロジェクター１０１がパターン画像Ｇ１を表面２ａに投写している第１状況で第１カメラ２１０が表面２ａを撮像することによって生成した第１撮像画像と、第１状況で第２カメラ２２０が表面２ａを撮像することによって生成した撮像画像と、に基づいて、位置情報ｄ１を生成する。

Ａ１１：第１ベクトル決定部３４５
第１ベクトル決定部３４５は、複数の部分２ｃのうちの一つである測定部分２ｂの位置から第１プロジェクター１０１の投写レンズ１４０の主点の位置への方向を示す第１ベクトルを決定する。

第１ベクトル決定部３４５は、第１プロジェクター１０１がパターン画像Ｇ１を表面２ａに投写している第１状況で第１カメラ２１０が表面２ａを撮像することによって生成した第１撮像画像を取得部３４３から取得する。第１ベクトル決定部３４５は、第１撮像画像と、パターン画像Ｇ１と、位置情報ｄ１と、に基づいて、第１ベクトルを決定する。

Ａ１２：第２ベクトル決定部３４６
第２ベクトル決定部３４６は、測定部分２ｂの位置から第２プロジェクター１０２の投写レンズ１４０の主点の位置への方向を示す第２ベクトルを決定する。

第２ベクトル決定部３４６は、第２プロジェクター１０２がパターン画像Ｇ１を表面２ａに投写している第２状況で第１カメラ２１０が表面２ａを撮像することによって生成した第２撮像画像を取得部３４３から取得する。第２ベクトル決定部３４６は、第２撮像画像と、パターン画像Ｇ１と、位置情報ｄ１と、に基づいて、第２ベクトルを決定する。

Ａ１３：第３ベクトル決定部３４７
第３ベクトル決定部３４７は、測定部分２ｂの位置から第３プロジェクター１０３の投写レンズ１４０の主点の位置への方向を示す第３ベクトルを決定する。

第３ベクトル決定部３４７は、第３プロジェクター１０３がパターン画像Ｇ１を表面２ａに投写している第３状況で第１カメラ２１０が表面２ａを撮像することによって生成した第３撮像画像を取得部３４３から取得する。第３ベクトル決定部３４７は、第３撮像画像と、パターン画像Ｇ１と、位置情報ｄ１と、に基づいて、第３ベクトルを決定する。

Ａ１４：法線ベクトル計測部３４８
法線ベクトル計測部３４８は、測定部分２ｂの法線ベクトルＮを計測する。

法線ベクトル計測部３４８は、第１プロジェクター１０１が計測画像Ｇ２を表面２ａに投写する状況で表面２ａを第１カメラ２１０が撮像することによって生成される撮像画像を、第１測定画像として、取得部３４３から取得する。法線ベクトル計測部３４８は、第１測定画像に基づいて、測定部分２ｂの輝度を示す第１値を決定する。

法線ベクトル計測部３４８は、第２プロジェクター１０２が計測画像Ｇ２を表面２ａに投写する状況で表面２ａを第１カメラ２１０が撮像することによって生成される撮像画像を、第２測定画像として、取得部３４３から取得する。法線ベクトル計測部３４８は、第２測定画像に基づいて、測定部分２ｂの輝度を示す第２値を決定する。

法線ベクトル計測部３４８は、第３プロジェクター１０３が計測画像Ｇ２を表面２ａに投写する状況で表面２ａを第１カメラ２１０が撮像することによって生成される撮像画像を、第３測定画像として、取得部３４３から取得する。法線ベクトル計測部３４８は、第３測定画像に基づいて、測定部分２ｂの輝度を示す第３値を決定する。

法線ベクトル計測部３４８は、第１ベクトルと、第２ベクトルと、第３ベクトルと、第１値と、第２値と、第３値と、に基づいて、測定部分２ｂの法線ベクトルＮを計測する。例えば、法線ベクトル計測部３４８は、第１ベクトルと、第２ベクトルと、第３ベクトルと、第１値と、第２値と、第３値と、を上述の式２、具体的には、Ｎ＝Ｓ^－１Ｉという式に適用することによって、測定部分２ｂの法線ベクトルＮを決定する。

法線ベクトル計測部３４８は、第１ベクトルを式２に適用する場合、第１ベクトルを光源ベクトルｓ１として用いる。法線ベクトル計測部３４８は、第２ベクトルを式２に適用する場合、第２ベクトルを光源ベクトルｓ２として用いる。法線ベクトル計測部３４８は、第３ベクトルを式２に適用する場合、第３ベクトルを光源ベクトルｓ３として用いる。法線ベクトル計測部３４８は、第１値を式２に適用する場合、第１値を輝度値ｉ１として用いる。法線ベクトル計測部３４８は、第２値を式２に適用する場合、第２値を輝度値ｉ２として用いる。法線ベクトル計測部３４８は、第３値を式２に適用する場合、第３値を輝度値ｉ３として用いる。

Ａ１５：パターン画像Ｇ１
図１１は、複数のパターン画像Ｇ１の一例を示す図である。複数のパターン画像Ｇ１は、第１位相シフト画像Ｇ１１～第８位相シフト画像Ｇ１８を含む。

第１位相シフト画像Ｇ１１～第８位相シフト画像Ｇ１８を相互に区別する必要がない場合、第１位相シフト画像Ｇ１１～第８位相シフト画像Ｇ１８の各々を「位相シフト画像Ｇ１０」と称する。

また、第１位相シフト画像Ｇ１１～第４位相シフト画像Ｇ１４を相互に区別する必要がない場合、第１位相シフト画像Ｇ１１～第４位相シフト画像Ｇ１４の各々を「位相シフト画像Ｇ１０ａ」と称する。

また、第５位相シフト画像Ｇ１５～第８位相シフト画像Ｇ１８を相互に区別する必要がない場合、第５位相シフト画像Ｇ１５～第８位相シフト画像Ｇ１８の各々を「位相シフト画像Ｇ１０ｂ」と称する。

位相シフト画像Ｇ１０ａは、パネル座標系ＣＳ１のｘ_１軸に沿う方向において正弦波に合わせて変化する輝度のパターンを示すパターン画像である。正弦波は、余弦波を包含する概念である。ｘ_１軸に沿う方向は、所定方向の一例である。位相シフト画像Ｇ１０ａは、位相シフト法において使用される。

第２位相シフト画像Ｇ１２における正弦波の位相は、第１位相シフト画像Ｇ１１における正弦波の位相よりも、π／２だけ、進んでいる。第３位相シフト画像Ｇ１３における正弦波の位相は、第１位相シフト画像Ｇ１１における正弦波の位相よりも、πだけ、進んでいる。第４位相シフト画像Ｇ１４における正弦波の位相は、第１位相シフト画像Ｇ１１における正弦波の位相よりも、３π／２だけ、進んでいる。

図１２は、液晶ライトバルブ１３０においてｘ_１軸に沿う方向に並ぶ画素１３０ｐと、プロジェクター１００が第１位相シフト画像Ｇ１１を投写する状況での画素１３０ｐの輝度に応じた正弦波の位相φ１と、の関係を示す図である。

図１２は、液晶ライトバルブ１３０が有する複数の画素１３０ｐのうち、計測点ｅに位置する画素を、「画素１３０ｐｅ」として示す。

図１２に示されるように、第１位相シフト画像Ｇ１１では、ｘ_１軸に沿う方向において、液晶ライトバルブ１３０の画素１３０ｐと、位相φ１は、１対１の対応関係を有する。このため、第１位相シフト画像Ｇ１１では、ｘ_１軸に沿う方向において、画素１３０ｐｅに対応する位相φ１ｅは、一意に決定される。図１２では、説明の簡略化のため、画素１３０ｐｅとして、第１計測点ｅ１に位置する画素１３０ｐのみが示される。

第１イメージセンサー２１２における任意のセルを「セル２１２ｐｉ」と称する場合、第１位相シフト画像Ｇ１１が投写される状況において、セル２１２ｐｉが観測する輝度に応じた正弦波の位相φ２は、式３によって決定されることが知られている。
φ２＝ｔａｎ^－１｛（Ｉ_２－Ｉ_４）／（Ｉ_１－Ｉ_３）｝ ・・・式３
Ｉ_１は、第１位相シフト画像Ｇ１１が投写される状況においてセル２１２ｐｉが観測する輝度である。
Ｉ_２は、第２位相シフト画像Ｇ１２が投写される状況においてセル２１２ｐｉが観測する輝度である。
Ｉ_３は、第３位相シフト画像Ｇ１３が投写される状況においてセル２１２ｐｉが観測する輝度である。
Ｉ_４は、第４位相シフト画像Ｇ１４が投写される状況においてセル２１２ｐｉが観測する輝度である。

図１２に示される画素１３０ｐｅは、液晶ライトバルブ１３０が有する複数の画素１３０ｐのうち、計測点ｅに位置する画素である。ここで、第１イメージセンサー２１２が有する複数のセル２１２ｐのうち、計測点ｅに対応する対応点ｆを観測するセルを「セル２１２ｐｔ」と称する。セル２１２ｐｔが観測する輝度に応じた位相φ２は、画素１３０ｐｅの輝度に応じた位相φ１ｅと同じ値を示す。

位相シフト画像Ｇ１０ａは、ｘ_１軸に沿う方向において正弦波に応じた輝度の変化を示す。したがって、位相シフト画像Ｇ１０ａが用いられる場合、複数のセル２１２ｐの中から、画素１３０ｐｅの座標ｘ_１ｆと対応する座標ｘ_２ｆを有するセル群２１２ｐｘを決定することが可能である。座標ｘ_１ｆは、計測点ｅに位置する画素１３０ｐｅのｘ_１軸における座標である。座標ｘ_２ｆは、対応点ｆを観測するセル２１２ｐｔのｘ_２軸における座標である。対応点ｆを観測するセル２１２ｐｔは、セル群２１２ｐｘのいずれかとなる。

説明を図１１に戻す。第５位相シフト画像Ｇ１５～第８位相シフト画像Ｇ１８である位相シフト画像Ｇ１０ｂは、パネル座標系ＣＳ１のｙ_１軸に沿う方向において正弦波に合わせて変化する輝度のパターンを示すパターン画像である。ｙ_１軸に沿う方向は、所定方向の他の例である。位相シフト画像Ｇ１０ｂは位相シフト法において使用される。

第６位相シフト画像Ｇ１６における正弦波の位相は、第５位相シフト画像Ｇ１５における正弦波の位相よりも、π／２だけ、進んでいる。第７位相シフト画像Ｇ１７における正弦波の位相は、第５位相シフト画像Ｇ１５における正弦波の位相よりも、πだけ、進んでいる。第８位相シフト画像Ｇ１８における正弦波の位相は、第５位相シフト画像Ｇ１５における正弦波の位相よりも、３π／２だけ、進んでいる。

位相シフト画像Ｇ１０ｂは、ｙ_１軸に沿う方向において正弦波に応じた輝度の変化を示す。したがって、位相シフト画像Ｇ１０ｂが用いられる場合、複数のセル２１２ｐの中から、画素１３０ｐｅの座標ｙ_１ｆと対応する座標ｙ_２ｆを有するセル群２１２ｐｙを決定することが可能である。座標ｙ_１ｆは、計測点ｅに位置する画素１３０ｐｅのｙ_１軸における座標である。座標ｙ_２ｆは、対応点ｆを観測するセル２１２ｐｔのｙ_２軸における座標である。対応点ｆを観測するセル２１２ｐｔは、セル群２１２ｐｙのいずれかとなる。

このため、対応点ｆを観測するセル２１２ｐｔは、セル群２１２ｐｘとセル群２１２ｐｙとのいずれにも属するセルとなる。よって、複数のセル２１２ｐのうち、セル群２１２ｐｘとセル群２１２ｐｙとのいずれにも属するセルを、対応点ｆを観測するセル２１２ｐｔとして決定することができる。第２イメージセンサー２２２が有する複数のセル２２２ｐのうち、対応点ｆを観測するセル２２２ｐｔについても、対応点ｆを観測するセル２１２ｐｔと同様に決定することができる。ここで、対応点ｆを観測するセル２１２ｐｔは、対応点ｆが位置する部分２ｃを観測するセル２１２ｐｔを意味する。また、対応点ｆを観測するセル２２２ｐｔは、対応点ｆが位置する部分２ｃを観測するセル２２２ｐｔを意味する。

Ａ１６：動作の説明
図１３は、計測システム１の動作の概要を説明するための図である。

ステップＳ１０１において３次元計測部３４４は、位置情報ｄ１を生成する。続いて、ステップＳ１０２において第１ベクトル決定部３４５は、第１ベクトルを決定する。続いて、ステップＳ１０３において第２ベクトル決定部３４６は、第２ベクトルを決定する。続いて、ステップＳ１０４において第３ベクトル決定部３４７は、第３ベクトルを決定する。続いて、ステップＳ１０５において法線ベクトル計測部３４８は、第１値を決定する。続いて、ステップＳ１０６において法線ベクトル計測部３４８は、第２値を決定する。続いて、ステップＳ１０７において法線ベクトル計測部３４８は、第３値を決定する。続いて、ステップＳ１０８において法線ベクトル計測部３４８は、第１ベクトルと、第２ベクトルと、第３ベクトルと、第１値と、第２値と、第３値と、に基づいて、測定部分２ｂの法線ベクトルＮを計測する。

図１４は、図１３に示されるステップＳ１０１の一例を示す図である。ユーザーは、操作部３１０を操作することによって、操作部３１０に開始指示を入力する。操作部３１０は、開始指示を受けると、開始指示を第２処理部３４０に提供する。

第２処理部３４０が開始指示を受けると、ステップＳ２０１において投写制御部３４１は、第１位相シフト画像Ｇ１１～第８位相シフト画像Ｇ１８を、未投写の画像として設定する。

続いて、ステップＳ２０２において投写制御部３４１は、第１位相シフト画像Ｇ１１～第８位相シフト画像Ｇ１８の中から、未投写の画像を１つ選択する。投写制御部３４１は、第１位相シフト画像Ｇ１１、第２位相シフト画像Ｇ１２、第３位相シフト画像Ｇ１３、第４位相シフト画像Ｇ１４、第５位相シフト画像Ｇ１５、第６位相シフト画像Ｇ１６、第７位相シフト画像Ｇ１７、第８位相シフト画像Ｇ１８の順に、未投写の画像を選択する。未投写の画像を選択する順序は、第１位相シフト画像Ｇ１１、第２位相シフト画像Ｇ１２、第３位相シフト画像Ｇ１３、第４位相シフト画像Ｇ１４、第５位相シフト画像Ｇ１５、第６位相シフト画像Ｇ１６、第７位相シフト画像Ｇ１７、第８位相シフト画像Ｇ１８の順に限らず、適宜変更可能である。

続いて、投写制御部３４１は、ステップＳ２０２で選択した画像を示す画像データａを第１プロジェクター１０１に提供する。画像データａが、第２記憶部３３０に記憶されている場合、投写制御部３４１は、第２記憶部３３０から画像データａを読み取る。投写制御部３４１は、第２記憶部３３０から読み取った画像データａを、第１プロジェクター１０１に提供する。投写制御部３４１は、第２プログラムＰ２に基づいて画像データａを生成してもよい。この場合、投写制御部３４１は、生成した画像データａを、第１プロジェクター１０１に提供する。

続いて、投写制御部３４１は、ステップＳ２０２で選択した画像についての設定を、未投写の画像から、投写済みの画像に変更する。

続いて、ステップＳ２０３において第１プロジェクター１０１は、投写制御部３４１から提供された画像データａが示す画像を、表面２ａに投写する。

続いて、ステップＳ２０４においてカメラ制御部３４２は、画像が投写されている表面２ａを、第１カメラ２１０および第２カメラ２２０に撮像させる。

例えば、カメラ制御部３４２は、第１カメラ２１０および第２カメラ２２０を用いる撮像を指示する第１撮像指示を、計測器２００の撮像制御部２４１に提供する。撮像制御部２４１は、画像が投写されている表面２ａを、第１撮像指示に応じて第１カメラ２１０および第２カメラ２２０に撮像させる。第１カメラ２１０は、画像が投写されている表面２ａを撮像することによって、撮像画像を示す第１撮像データｃ１を生成する。第２カメラ２２０は、画像が投写されている表面２ａを撮像することによって、撮像画像を示す第２撮像データｃ２を生成する。

続いて、ステップＳ２０５において投写制御部３４１は、第１位相シフト画像Ｇ１１～第８位相シフト画像Ｇ１８の中に、未投写の画像として設定されている画像が存在する場合、処理をステップＳ２０２に戻す。このため、第１位相シフト画像Ｇ１１～第８位相シフト画像Ｇ１８が、第１プロジェクター１０１によって個別に表面２ａへ投写される。

ステップＳ２０５において第１位相シフト画像Ｇ１１～第８位相シフト画像Ｇ１８の中に、未投写の画像として設定されている画像が存在しない場合、ステップＳ２０６において取得部３４３は、ステップＳ２０４で生成された撮像画像を取得する。

ステップＳ２０６では、取得部３４３は、位相シフト画像に関する撮像画像の提供を指示する第１提供指示を、計測器２００の提供部２４２に提供する。提供部２４２は、第１提供指示に応じて、第１位相シフト画像Ｇ１１～第８位相シフト画像Ｇ１８の各々の撮像によって生成された第１撮像データｃ１と、第１位相シフト画像Ｇ１１～第８位相シフト画像Ｇ１８の各々の撮像によって生成された第２撮像データｃ２とを、情報処理装置３００に提供する。

取得部３４３は、提供部２４２から、第１位相シフト画像Ｇ１１～第８位相シフト画像Ｇ１８の各々の撮像によって生成された第１撮像データｃ１と、第１位相シフト画像Ｇ１１～第８位相シフト画像Ｇ１８の各々の撮像によって生成された第２撮像データｃ２と、を取得することによって、ステップＳ２０４で生成された撮像画像を取得する。

続いて、ステップＳ２０７において３次元計測部３４４は、複数の部分２ｃの各々の位置をカメラ座標系ＣＳ２における３次元座標で示す位置情報ｄ１を生成する。

ここで、計測システム１では、１つの部分２ｃが１つのセル２１２ｐと１つのセル２２２ｐとによって観測されるように、複数の部分２ｃは設定される。１つの部分２ｃの大きさは、１つのセル２１２ｐと１つのセル２２２ｐとに観測される大きさである。

ステップＳ２０７では、３次元計測部３４４は、まず、液晶ライトバルブ１３０の画素１３０ｐごとに、当該画素１３０ｐが示す画像が投写される部分２ｃを観測するセル２１２ｐと、当該画素１３０ｐが示す画像が投写される部分２ｃを観測するセル２２２ｐと、のペアを、第１対応ペアとして決定する。例えば、３次元計測部３４４は、位相シフト法を用いることによって第１対応ペアを決定する。なお、第１対応ペアは、第１対応ペアが観測する画像を示す画素１３０ｐと対応する。

続いて、３次元計測部３４４は、第１対応ペアを用いることによって、各部分２ｃについての３次元計測を実行する。例えば、３次元計測部３４４は、第１対応ペアごとに、第１対応ペアによって観測される部分２ｃから第１カメラ２１０までの距離を、第１対応ペアを構成する２つのセルの各位置を用いる三角測量によって算出する。

３次元計測部３４４は、各部分２ｃの３次元計測結果として、各部分２ｃのカメラ座標系ＣＳ２における位置を用いる。３次元計測部３４４は、部分２ｃのカメラ座標系ＣＳ２における３次元座標のうち、ｘ_２軸に基づく座標として、当該部分２ｃを観測するセル２１２ｐのｘ_２軸に基づく座標を用いる。３次元計測部３４４は、部分２ｃのカメラ座標系ＣＳ２における３次元座標のうち、ｙ_２軸に基づく座標として、当該部分２ｃを観測するセル２１２ｐｔのｙ_２軸に基づく座標を用いる。３次元計測部３４４は、部分２ｃのカメラ座標系ＣＳ２における３次元座標のうち、ｚ_２軸に基づく座標として、当該部分２ｃから第１カメラ２１０までの距離を示す値を用いる。

３次元計測部３４４は、各部分２ｃのカメラ座標系ＣＳ２における位置を用いることによって、位置情報ｄ１を生成する。

図１５は、図１３に示されるステップＳ１０２の一例を示す図である。ステップＳ３０１において第１ベクトル決定部３４５は、第１プロジェクター１０１がパターン画像Ｇ１である第１位相シフト画像Ｇ１１～第８位相シフト画像Ｇ１８を表面２ａに投写している状況で第１カメラ２１０が表面２ａを撮像することによって生成した第１撮像画像を、取得部３４３から取得する。続いて、第１ベクトル決定部３４５は、パターン画像Ｇ１と第１撮像画像とに基づいて、複数の部分２ｃの中から、計測点ｅが位置する対応部分を決定する。

例えば、第１ベクトル決定部３４５は、位相シフト法を用いることによって、計測点ｅごとに、対応点ｆを観測するセル２１２ｐを決定する。続いて、第１ベクトル決定部３４５は、計測点ｅごとに、複数の第１対応ペアの中から、対応点ｆを観測するセル２１２ｐを有する第１対応ペアを決定する。続いて、第１ベクトル決定部３４５は、決定した第１対応ペアが観測する部分２ｃを、計測点ｅが位置する対応部分として決定する。

続いて、ステップＳ３０２において第１ベクトル決定部３４５は、位置情報ｄ１を参照することによって、計測点ｅごとに、対応部分のカメラ座標系ＣＳ２における位置を決定する。

例えば、第１ベクトル決定部３４５は、計測点ｅごとに、位置情報ｄ１が示す複数の部分２ｃの３次元の座標のうち、対応部分の３次元の座標を、対応部分のカメラ座標系ＣＳ２における位置として決定する。

続いて、ステップＳ３０３において第１ベクトル決定部３４５は、第１プロジェクター１０１が有する投写レンズ１４０の主点の位置と、第１カメラ２１０の位置と、の関係を示す第１関係情報ｈ１を生成する。

ステップＳ３０３では、第１ベクトル決定部３４５は、計測点ｅのパターン画像Ｇ１における位置と、対応部分のカメラ座標系ＣＳ２における位置と、に基づいて、第１関係情報ｈ１を生成する。

計測点ｅのパターン画像Ｇ１における位置、すなわち、２次元座標である座標ｋは第２記憶部３３０に記憶されているため、第１ベクトル決定部３４５は、座標ｋを第２記憶部３３０から取得する。

第１ベクトル決定部３４５は、３次元座標である座標ｊと２次元座標である座標ｊとの計測点ｅごとのペアを用いてＰｎＰ（Perspective n Points）問題を解くことによって、第１関係情報ｈ１を生成する。以下、座標ｊと座標ｋのペアを「座標ペア」と称する。

例えば、第１ベクトル決定部３４５は、式４に、計測点ｅごとに座標ペアを代入することによって、ＰｎＰ問題を解く。式４は、透視投影変換の式とも称される。

内部パラメーター行列Ａ１は、パネル座標系ＣＳ１と投写座標系ＣＳ３との関係を示す。回転行列Ｒ１と平行移動行列Ｔ１は、投写座標系ＣＳ３とカメラ座標系ＣＳ２との関係を示す。

（Ｘ，Ｙ，Ｚ）は、カメラ座標系ＣＳ２の３次元座標、例えば、座標ｊを表す。
（ｕ，ｖ）は、パネル座標系ＣＳ１の２次元座標、例えは、座標ｋを表す。
ｓは、（ｕ，ｖ，１）における“１”を実現するためのスケーリングファクターである。ｓ＝Ｚが成り立つ。
（ｃ_ｘ，ｃ_ｙ）は、図５に示される交点ｍのパネル座標系ＣＳ１における座標である。
ｆ_ｘとｆ_ｙは、投写レンズ１４０の焦点距離である。
ｆ_ｘとｆ_ｙは、１つの画素１３０ｐを１単位とする値で表される。
換言すると、ｆ_ｘとｆ_ｙは、ピクセルの単位で表される投写レンズ１４０の焦点距離である。
ｆ_ｘは、画素１３０ｐのｘ_１軸方向の長さに基づく単位で表される投写レンズ１４０の焦点距離である。
ｆ_ｙは、画素１３０ｐのｙ_１軸方向の長さに基づく単位で表される投写レンズ１４０の焦点距離である。

第１ベクトル決定部３４５は、計測点ｅごとに座標ペアを式４に代入することによって、複数の方程式を生成する。第１ベクトル決定部３４５は、複数の方程式を解くことによって、回転行列Ｒ１と、平行移動行列Ｔ１と、内部パラメーター行列Ａ１と、を決定する。

回転行列Ｒ１と平行移動行列Ｔ１は、第１プロジェクター１０１と第１カメラ２１０との位置関係を示す第１関係情報ｈ１の一例である。回転行列Ｒ１と平行移動行列Ｔ１は、第１プロジェクター１０１の外部パラメーターである。第１プロジェクター１０１の外部パラメーターは、第１関係情報ｈ１の一例である。

内部パラメーター行列Ａ１は、投写レンズ１４０の特性を示す特性情報の一例である。内部パラメーター行列Ａ１は、投写レンズ１４０の内部パラメーターを示す。投写レンズ１４０の内部パラメーターは、第１プロジェクター１０１の内部パラメーターを意味する。

内部パラメーター行列Ａ１が既知である場合、第１ベクトル決定部３４５は、複数の方程式を解くことによって、回転行列Ｒ１と、平行移動行列Ｔ１と、を決定すればよい。この場合、第１ベクトル決定部３４５は、少なくとも３つの座標ペアを用いることによって、回転行列Ｒ１と、平行移動行列Ｔ１と、を決定できる。第１ベクトル決定部３４５は、６つ以上の座標ペアを用いれば、１つの解として、回転行列Ｒ１と、平行移動行列Ｔ１と、を決定できる。

座標ペアによって示される座標は、誤差を含む可能性がある。このため、式４に代入される座標ペアの数が多いほど、回転行列Ｒ１と平行移動行列Ｔ１との精度が向上する。よって、第１ベクトル決定部３４５は、より多くの座標ペアを用いることによって回転行列Ｒ１と平行移動行列Ｔ１とを決定することが望ましい。

内部パラメーター行列Ａ１が未知である場合、第１ベクトル決定部３４５は、式４を用いることによって、回転行列Ｒ１と平行移動行列Ｔ１とに加えて、内部パラメーター行列Ａ１を決定する。

投写レンズ１４０の内部パラメーターは経時変化する。また、投写レンズ１４０の内部パラメーターは、第１カメラ２１０には含まれない光源１２０が発する熱によって変化する可能性がある。このため、既知の内部パラメーター行列Ａ１が、実際の投写レンズ１４０の内部パラメーターと異なる可能性がある。内部パラメーター行列Ａ１が、実際の投写レンズ１４０の内部パラメーターと異なる場合、式４から理解されるように、回転行列Ｒ１と平行移動行列Ｔ１の各々の正確性が低下する。したがって、内部パラメーター行列Ａ１が既知である場合にも、第１ベクトル決定部３４５は、式４を用いることによって、回転行列Ｒ１と平行移動行列Ｔ１とに加えて、内部パラメーター行列Ａ１を決定することが望ましい。

回転行列Ｒ１と平行移動行列Ｔ１と内部パラメーター行列Ａ１とを、式４を用いて算出するには、最低１０個の座標ペアが必要となる。このため、第１ベクトル決定部３４５は、１０個以上の座標ペアを用いることによって、回転行列Ｒ１と平行移動行列Ｔ１と内部パラメーター行列Ａ１とを決定する。

上述の通り座標ペアによって示される座標は、誤差を含む可能性がある。このため、式４に代入される座標ペアの数が多いほど、回転行列Ｒ１と平行移動行列Ｔ１と内部パラメーター行列Ａ１の精度が向上する。よって、第１ベクトル決定部３４５は、より多くの座標ペアを用いることによって回転行列Ｒ１と平行移動行列Ｔ１と内部パラメーター行列Ａ１とを決定することが望ましい。

続いて、ステップＳ３０４において第１ベクトル決定部３４５は、第１関係情報ｈ１に基づいて、第１プロジェクター１０１が有する投写レンズ１４０の主点のカメラ座標系ＣＳ２における位置を決定する。

例えば、第１ベクトル決定部３４５は、回転行列Ｒ１と平行移動行列Ｔ１とを用いることによって、第１プロジェクター１０１が有する投写レンズ１４０の主点の投写座標系ＣＳ３１における位置から、第１プロジェクター１０１が有する投写レンズ１４０の主点のカメラ座標系ＣＳ２における位置を決定する。第１ベクトル決定部３４５は、第１プロジェクター１０１が有する投写レンズ１４０の主点の投写座標系ＣＳ３１における位置として、投写座標系ＣＳ３１の原点ｏ３の位置を用いる。

第１ベクトル決定部３４５は、例えば、式５に示される関係を用いることによって、第１プロジェクター１０１が有する投写レンズ１４０の主点の投写座標系ＣＳ３１における位置を、第１プロジェクター１０１が有する投写レンズ１４０の主点のカメラ座標系ＣＳ２における位置に変換する。なお、式５は、式４と等価である。

式５は、投写座標系ＣＳ３１における３次元の座標（ｘ，ｙ，ｚ）と、カメラ座標系ＣＳ２における３次元の座標（Ｘ，Ｙ，Ｚ）と、の関係を示す。例えば、第１ベクトル決定部３４５は、式５の（ｘ，ｙ，ｚ）に投写座標系ＣＳ３１の原点ｏ３の座標（０，０，０）を入力することによって得られる式を変形することによって、第１プロジェクター１０１が有する投写レンズ１４０の主点のカメラ座標系ＣＳ２における位置（Ｘ，Ｙ，Ｚ）を決定する。

続いて、ステップＳ３０５において第１ベクトル決定部３４５は、第１ベクトルを決定する。第１ベクトル決定部３４５は、測定部分２ｂのカメラ座標系ＣＳ２における位置から、第１プロジェクター１０１が有する投写レンズ１４０の主点のカメラ座標系ＣＳ２における位置へ、の方向を示すベクトルを、第１ベクトルとして決定する。第１ベクトルは、例えば、測定部分２ｂのカメラ座標系ＣＳ２における位置から、第１プロジェクター１０１が有する投写レンズ１４０の主点のカメラ座標系ＣＳ２における位置へ、の方向を示す単位ベクトルである。

図１６は、図１３に示されるステップＳ１０３の一例を示す図である。図１６において図１４に示された処理と同一の処理には同一符号を付してある。以下、図１６における処理のうち、図１４に示された処理とは異なる処理を中心に説明する。

ステップＳ２０１とステップＳ２０２が完了すると、ステップＳ４０１において投写制御部３４１は、ステップＳ２０２で選択した画像を示す画像データａを第２プロジェクター１０２に提供する。続いて、投写制御部３４１は、ステップＳ２０２で選択した画像についての設定を、未投写の画像から、投写済みの画像に変更する。第２プロジェクター１０２は、投写制御部３４１から提供された画像データａが示す画像を、表面２ａに投写する。

続いて、ステップＳ４０２においてカメラ制御部３４２は、第１カメラ２１０を用いる撮像を指示する第２撮像指示を、計測器２００の撮像制御部２４１に提供する。撮像制御部２４１は、第２プロジェクター１０２から画像が投写されている表面２ａを、第２撮像指示に応じて、第１カメラ２１０に撮像させる。第１カメラ２１０は、第２プロジェクター１０２から画像が投写されている表面２ａを撮像することによって、撮像画像を示す第１撮像データｃ１を生成する。続いて、ステップＳ２０５およびステップＳ２０６が実行される。

続いて、ステップＳ４０３において第２ベクトル決定部３４６は、第２プロジェクター１０２がパターン画像Ｇ１を表面２ａに投写している状況で第１カメラ２１０が表面２ａを撮像することによって生成した第２撮像画像を、取得部３４３から取得する。続いて、第２ベクトル決定部３４６は、パターン画像Ｇ１と第２撮像画像とに基づいて、複数の部分２ｃの中から、計測点ｅが位置する対応部分を決定する。第２ベクトル決定部３４６がパターン画像Ｇ１と第２撮像画像とに基づいて計測点ｅが位置する対応部分を決定する手法は、第１ベクトル決定部３４５がパターン画像Ｇ１と第１撮像画像とに基づいて計測点ｅが位置する対応部分を決定する手法と同様である。

続いて、ステップＳ４０４において第２ベクトル決定部３４６は、位置情報ｄ１を参照することによって、計測点ｅごとに、対応部分のカメラ座標系ＣＳ２における位置を決定する。第２ベクトル決定部３４６が計測点ｅごとに対応部分のカメラ座標系ＣＳ２における位置を決定する手法は、第１ベクトル決定部３４５が計測点ｅごとに対応部分のカメラ座標系ＣＳ２における位置を決定する手法と同様である。

続いて、ステップＳ４０５において第２ベクトル決定部３４６は、第２プロジェクター１０２が有する投写レンズ１４０の主点の位置と、第１カメラ２１０の位置と、の関係を示す第２関係情報ｈ２を生成する。第２ベクトル決定部３４６が第２関係情報ｈ２を生成する手法は、第１ベクトル決定部３４５が第１関係情報ｈ１を生成する手法と同様である。

続いて、ステップＳ４０６において第２ベクトル決定部３４６は、第２関係情報ｈ２に基づいて、第２プロジェクター１０２が有する投写レンズ１４０の主点のカメラ座標系ＣＳ２における位置を決定する。第２ベクトル決定部３４６が第２関係情報ｈ２に基づいて第２プロジェクター１０２が有する投写レンズ１４０の主点のカメラ座標系ＣＳ２における位置を決定する手法は、第１ベクトル決定部３４５が第１関係情報ｈ１に基づいて第１プロジェクター１０１が有する投写レンズ１４０の主点のカメラ座標系ＣＳ２における位置を決定する手法と同様である。

続いて、ステップＳ４０７において第２ベクトル決定部３４６は、第２ベクトルを決定する。第２ベクトル決定部３４６が第２ベクトルを決定する手法は、第１ベクトル決定部３４５が第１ベクトルを決定する手法と同様である。第２ベクトルは、例えば、測定部分２ｂのカメラ座標系ＣＳ２における位置から、第２プロジェクター１０２が有する投写レンズ１４０の主点のカメラ座標系ＣＳ２における位置へ、の方向を示す単位ベクトルである。

図１７は、図１３に示されるステップＳ１０４の一例を示す図である。図１７において図１４に示された処理と同一の処理には同一符号を付してある。以下、図１７における処理のうち、図１４に示された処理とは異なる処理を中心に説明する。

ステップＳ２０１とステップＳ２０２が完了すると、ステップＳ５０１において投写制御部３４１は、ステップＳ２０２で選択した画像を示す画像データａを第３プロジェクター１０３に提供する。続いて、投写制御部３４１は、ステップＳ２０２で選択した画像についての設定を、未投写の画像から、投写済みの画像に変更する。第３プロジェクター１０３は、投写制御部３４１から提供された画像データａが示す画像を、表面２ａに投写する。

続いて、ステップＳ５０２においてカメラ制御部３４２は、第１カメラ２１０を用いる撮像を指示する第２撮像指示を、計測器２００の撮像制御部２４１に提供する。撮像制御部２４１は、第３プロジェクター１０３から画像が投写されている表面２ａを、第２撮像指示に応じて、第１カメラ２１０に撮像させる。第１カメラ２１０は、第３プロジェクター１０３から画像が投写されている表面２ａを撮像することによって、撮像画像を示す第１撮像データｃ１を生成する。続いて、ステップＳ２０５およびステップＳ２０６が実行される。

続いて、ステップＳ５０３において第３ベクトル決定部３４７は、第３プロジェクター１０３がパターン画像Ｇ１を表面２ａに投写している状況で第１カメラ２１０が表面２ａを撮像することによって生成した第３撮像画像を、取得部３４３から取得する。続いて、第３ベクトル決定部３４７は、パターン画像Ｇ１と第３撮像画像とに基づいて、複数の測定部分２ｂの中から、計測点ｅが位置する対応部分を決定する。第３ベクトル決定部３４７がパターン画像Ｇ１と第３撮像画像とに基づいて計測点ｅが位置する対応部分を決定する手法は、第１ベクトル決定部３４５がパターン画像Ｇ１と第１撮像画像とに基づいて計測点ｅが位置する対応部分を決定する手法と同様である。

続いて、ステップＳ５０４において第３ベクトル決定部３４７は、位置情報ｄ１を参照することによって、計測点ｅごとに、対応部分のカメラ座標系ＣＳ２における位置を決定する。第３ベクトル決定部３４７が計測点ｅごとに対応部分のカメラ座標系ＣＳ２における位置を決定する手法は、第１ベクトル決定部３４５が計測点ｅごとに対応部分のカメラ座標系ＣＳ２における位置を決定する手法と同様である。

続いて、ステップＳ５０５において第３ベクトル決定部３４７は、第３プロジェクター１０３が有する投写レンズ１４０の主点の位置と、第１カメラ２１０の位置と、の関係を示す第３関係情報ｈ３を生成する。第３ベクトル決定部３４７が第３関係情報ｈ３を生成する手法は、第１ベクトル決定部３４５が第１関係情報ｈ１を生成する手法と同様である。

続いて、ステップＳ５０６において第３ベクトル決定部３４７は、第３関係情報ｈ３に基づいて、第３プロジェクター１０３が有する投写レンズ１４０の主点のカメラ座標系ＣＳ２における位置を決定する。第３ベクトル決定部３４７が第３関係情報ｈ３に基づいて第３プロジェクター１０３が有する投写レンズ１４０の主点のカメラ座標系ＣＳ２における位置を決定する手法は、第１ベクトル決定部３４５が第１関係情報ｈ１に基づいて第１プロジェクター１０１が有する投写レンズ１４０の主点のカメラ座標系ＣＳ２における位置を決定する手法と同様である。

続いて、ステップＳ５０７において第３ベクトル決定部３４７は、第３ベクトルを決定する。第３ベクトル決定部３４７が第３ベクトルを決定する手法は、第１ベクトル決定部３４５が第１ベクトルを決定する手法と同様である。第３ベクトルは、例えば、測定部分２ｂのカメラ座標系ＣＳ２における位置から、第３プロジェクター１０３が有する投写レンズ１４０の主点のカメラ座標系ＣＳ２における位置へ、の方向を示す単位ベクトルである。

図１８は、図１３に示されるステップＳ１０５の一例を示す図である。ステップＳ６０１において投写制御部３４１は、全面白色で均一な輝度を有する計測画像Ｇ２を示す画像データａを第１プロジェクター１０１に提供する。第１プロジェクター１０１は、計測画像Ｇ２を表面２ａに投写する。

続いて、ステップＳ６０２においてカメラ制御部３４２は、第１カメラ２１０を用いる撮像を指示する第２撮像指示を、計測器２００の撮像制御部２４１に提供する。撮像制御部２４１は、第１プロジェクター１０１が計測画像Ｇ２を投写している表面２ａを、第２撮像指示に応じて、第１カメラ２１０に撮像させる。第１カメラ２１０は、第１プロジェクター１０１から計測画像Ｇ２が投写されている表面２ａを撮像することによって、撮像画像を示す第１撮像データｃ１を生成する。

続いて、ステップＳ６０３において取得部３４３は、計測画像Ｇ２に関する撮像画像の提供を指示する第２提供指示を、計測器２００の提供部２４２に提供する。提供部２４２は、第２提供指示に応じて、第１プロジェクター１０１が投写する計測画像Ｇ２の撮像によって生成された第１撮像データｃ１を情報処理装置３００に提供する。取得部３４３は、提供部２４２から、当該第１撮像データｃ１を取得することによって、ステップＳ６０２で生成された撮像画像を取得する。

続いて、ステップＳ６０４において法線ベクトル計測部３４８は第１値を決定する。

ステップＳ６０４では、法線ベクトル計測部３４８は、まず、第１プロジェクター１０１が計測画像Ｇ２を表面２ａに投写する状況で表面２ａを第１カメラ２１０が撮像することによって生成される撮像画像を、第１観測画像として、取得部３４３から取得する。

続いて、法線ベクトル計測部３４８は、第１観測画像に基づいて、測定部分２ｂを観測するセル２１２ｐの輝度値ｉ１を、測定部分２ｂの第１値として決定する。

図１９は、図１３に示されるステップＳ１０６の一例を示す図である。ステップＳ７０１において投写制御部３４１は、全面白色で均一な輝度を有する計測画像Ｇ２を示す画像データａを第２プロジェクター１０２に提供する。第２プロジェクター１０２は、計測画像Ｇ２を表面２ａに投写する。

続いて、ステップＳ７０２においてカメラ制御部３４２は、第１カメラ２１０を用いる撮像を指示する第２撮像指示を、計測器２００の撮像制御部２４１に提供する。撮像制御部２４１は、第２プロジェクター１０２が計測画像Ｇ２を投写している表面２ａを、第２撮像指示に応じて、第１カメラ２１０に撮像させる。第１カメラ２１０は、第２プロジェクター１０２から計測画像Ｇ２が投写されている表面２ａを撮像することによって、撮像画像を示す第１撮像データｃ１を生成する。

続いて、ステップＳ７０３において取得部３４３は、計測画像Ｇ２に関する撮像画像の提供を指示する第２提供指示を、計測器２００の提供部２４２に提供する。提供部２４２は、第２提供指示に応じて、第２プロジェクター１０２が投写する計測画像Ｇ２の撮像によって生成された第１撮像データｃ１を情報処理装置３００に提供する。取得部３４３は、提供部２４２から、当該第１撮像データｃ１を取得することによって、ステップＳ７０２で生成された撮像画像を取得する。

続いて、ステップＳ７０４において法線ベクトル計測部３４８は第２値を決定する。

ステップＳ７０４では、法線ベクトル計測部３４８は、まず、第２プロジェクター１０２が計測画像Ｇ２を表面２ａに投写する状況で表面２ａを第１カメラ２１０が撮像することによって生成される撮像画像を、第２観測画像として、取得部３４３から取得する。

続いて、法線ベクトル計測部３４８は、第２観測画像に基づいて、測定部分２ｂを観測するセル２１２ｐの輝度値ｉ２を、測定部分２ｂの第２値として決定する。

図２０は、図１３に示されるステップＳ１０７の一例を示す図である。ステップＳ８０１において投写制御部３４１は、全面白色で均一な輝度を有する計測画像Ｇ２を示す画像データａを第３プロジェクター１０３に提供する。第３プロジェクター１０３は、計測画像Ｇ２を表面２ａに投写する。

続いて、ステップＳ８０２においてカメラ制御部３４２は、第１カメラ２１０を用いる撮像を指示する第２撮像指示を、計測器２００の撮像制御部２４１に提供する。撮像制御部２４１は、第３プロジェクター１０３が計測画像Ｇ２を投写している表面２ａを、第２撮像指示に応じて、第１カメラ２１０に撮像させる。第１カメラ２１０は、第３プロジェクター１０３から計測画像Ｇ２が投写されている表面２ａを撮像することによって、撮像画像を示す第１撮像データｃ１を生成する。

続いて、ステップＳ８０３において取得部３４３は、計測画像Ｇ２に関する撮像画像の提供を指示する第２提供指示を、計測器２００の提供部２４２に提供する。提供部２４２は、第２提供指示に応じて、第３プロジェクター１０３が投写する計測画像Ｇ２の撮像によって生成された第１撮像データｃ１を情報処理装置３００に提供する。取得部３４３は、提供部２４２から、当該第１撮像データｃ１を取得することによって、ステップＳ８０２で生成された撮像画像を取得する。

続いて、ステップＳ８０４において法線ベクトル計測部３４８は第３値を決定する。

ステップＳ８０４では、法線ベクトル計測部３４８は、まず、第３プロジェクター１０３が計測画像Ｇ２を表面２ａに投写する状況で表面２ａを第１カメラ２１０が撮像することによって生成される撮像画像を、第３観測画像として、取得部３４３から取得する。

続いて、法線ベクトル計測部３４８は、第３観測画像に基づいて、測定部分２ｂを観測するセル２１２ｐの輝度値ｉ３を、測定部分２ｂの第３値として決定する。

図２１は、図１３に示されるステップＳ１０８の一例を示す図である。ステップＳ９０１において法線ベクトル計測部３４８は、第１ベクトル～第３ベクトルと第１値～第３値とを、Ｎ＝Ｓ^－１Ｉという式２に適用することによって、測定部分２ｂの法線ベクトルを計測する。

Ａ１７：第１実施形態のまとめ
第１実施形態に係る計測方法および計測システム１は、以下の態様を含む。

第１ベクトル決定部３４５は、表面２ａにおける複数の部分２ｃの位置を示す位置情報ｄ１と、第１プロジェクター１０１が投写レンズ１４０を介して表面２ａに投写するパターン画像Ｇ１と、第１撮像画像と、に基づいて、第１ベクトルを決定する。

表面２ａは、対象面の一例である。第１プロジェクター１０１が投写レンズ１４０を介して表面２ａに投写するパターン画像Ｇ１は、第１画像の一例である。第１撮像画像は、第１プロジェクター１０１が投写レンズ１４０を介してパターン画像Ｇ１を表面２ａへ投写する状況で表面２ａを第１カメラ２１０が撮像することによって生成される画像である。第１ベクトルは、複数の部分２ｃのうちの一つである測定部分２ｂの位置から第１プロジェクター１０１が投写レンズ１４０の主点の位置への方向を示すベクトルである。

第２ベクトル決定部３４６は、位置情報ｄ１と、第２プロジェクター１０２が投写レンズ１４０を介して表面２ａに投写するパターン画像Ｇ１と、第２撮像画像と、に基づいて、第２ベクトルを決定する。

第２プロジェクター１０２が投写レンズ１４０を介して表面２ａに投写するパターン画像Ｇ１は、第２画像の一例である。第２撮像画像は、第２プロジェクター１０２が投写レンズ１４０を介してパターン画像Ｇ１を表面２ａへ投写する状況で表面２ａを第１カメラ２１０が撮像することによって生成される画像である。第２ベクトルは、測定部分２ｂの位置から第２プロジェクター１０２が投写レンズ１４０の主点の位置への方向を示すベクトルである。

第３プロジェクター１０３は、位置情報ｄ１と、第３プロジェクター１０３が投写レンズ１４０を介して表面２ａに投写するパターン画像Ｇ１と、第３撮像画像と、に基づいて、第３ベクトルを決定する。

第３プロジェクター１０３が投写レンズ１４０を介して表面２ａに投写するパターン画像Ｇ１は、第３画像の一例である。第３撮像画像は、第３プロジェクター１０３が投写レンズ１４０を介してパターン画像Ｇ１を表面２ａへ投写する状況で表面２ａを第１カメラ２１０が撮像することによって生成される画像である。第３ベクトルは、測定部分２ｂの位置から第３プロジェクター１０３が投写レンズ１４０の主点の位置への方向を示すベクトルである。

法線ベクトル計測部３４８は、第１ベクトルと、第２ベクトルと、第３ベクトルと、第１値と、第２値と、第３値と、に基づき、測定部分２ｂの法線ベクトルＮを計測する。

第１値は、第１プロジェクター１０１が投写レンズ１４０を介して計測画像Ｇ２を表面２ａに投写する状況における測定部分２ｂの輝度を示す値である。第１プロジェクター１０１が投写レンズ１４０を介して表面２ａに投写する計測画像Ｇ２は、第４画像の一例である。第２値は、第２プロジェクター１０２が投写レンズ１４０を介して計測画像Ｇ２を表面２ａに投写する状況における測定部分２ｂの輝度を示す値である。第２プロジェクター１０２が投写レンズ１４０を介して表面２ａに投写する計測画像Ｇ２は、第５画像の一例である。第３値は、第３プロジェクター１０３が投写レンズ１４０を介して計測画像Ｇ２を表面２ａに投写する状況における測定部分２ｂの輝度に関する値である。第３プロジェクター１０３が投写レンズ１４０を介して表面２ａに投写する計測画像Ｇ２は、第６画像の一例である。

この態様によれば、第１プロジェクター１０１と第２プロジェクター１０２と第３プロジェクター１０３と第１カメラ２１０とのすべての位置を予め定められた位置関係に調整することなく、測定部分２ｂの法線ベクトルＮを計測することができる。測定部分２ｂの法線ベクトルＮの方向は、測定部分２ｂの形状を示すため、測定部分２ｂの微小な歪および微小な傷を計測することが可能になる。

照度差ステレオ法では、平行光を出射する光源が用いられる場合がある。これに対して、この態様では、平行光を発する光源を用いることなく、測定部分２ｂの法線ベクトルＮを計測することができる。また、本態様では、第１プロジェクター１０１と第２プロジェクター１０２と第３プロジェクター１０３とを包含するような大型の光源を用いる必要がない。

照度差ステレオ法では、平行光を出射する光源を用い、かつ、光源ベクトルの推定のために事前に球体の撮影を行い、球体において最も明るい点の座標の解析を行うことで光源ベクトルの方向を推定する場合がある。これに対して、この態様では、平行光を投写することなく、事前の球体計測のような処理を行うことなく、測定部分２ｂの法線ベクトルを計測できる。

３次元計測部３４４は、第１プロジェクター１０１が投写レンズ１４０を介してパターン画像Ｇ１を表面２ａへ投写する状況で表面２ａを第２カメラ２２０が撮像することによって生成される撮像画像と、第１撮像画像と、に基づいて、位置情報ｄ１を生成する。

この態様によれば、第１プロジェクター１０１と第１カメラ２１０との位置関係が固定されていなくても位置情報ｄ１を生成できる。

第１ベクトル決定部３４５は、パターン画像Ｇ１と第１撮像画像とに基づいて、複数の部分２ｃの中から、計測点ｅが位置する対応部分を決定する。第１ベクトル決定部３４５は、位置情報ｄ１を参照することによって、対応部分のカメラ座標系ＣＳ２における位置を決定する。第１ベクトル決定部３４５は、計測点ｅのパターン画像Ｇ１における位置と、対応部分のカメラ座標系ＣＳ２における位置と、に基づいて、第１プロジェクター１０１の投写レンズ１４０の主点の位置と第１カメラ２１０の位置との関係を示す第１関係情報ｈ１を生成する。第１関係情報ｈ１は、関係情報の一例である。第１ベクトル決定部３４５は、第１関係情報ｈ１に基づいて、第１プロジェクター１０１が有する投写レンズ１４０の主点のカメラ座標系ＣＳ２における位置を決定する。第１ベクトル決定部３４５は、測定部分２ｂのカメラ座標系ＣＳ２における位置から第１プロジェクター１０１が有する投写レンズ１４０の主点のカメラ座標系ＣＳ２における位置への方向を示すベクトルを、第１ベクトルとして決定する。

この態様によれば、パターン画像Ｇ１が有する計測点ｅを用いることによって、第１ベクトルを決定できる。

法線ベクトル計測部３４８は、第１プロジェクター１０１が投写レンズ１４０を介して計測画像Ｇ２を表面２ａに投写する状況で表面２ａを第１カメラ２１０が撮像することによって生成される撮像画像に基づいて、第１値を決定する。

この態様によれば、第１ベクトルを決定するために用いられる第１カメラ２１０を、第１値を決定するためにも用いることができる。

Ｂ：変形例
以上に例示した実施形態の変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。

Ｂ１：第１変形例
第１実施形態において、計測画像Ｇ２として、第１位相シフト画像Ｇ１１～第４位相シフト画像Ｇ１４のセットが用いられてもよい。第１位相シフト画像Ｇ１１～第４位相シフト画像Ｇ１４のうちのいずれか１つの画像は、第４画像の一例、第５画像の一例、および、第６画像の一例である。

投写制御部３４１は、計測画像Ｇ２として、第１位相シフト画像Ｇ１１～第４位相シフト画像Ｇ１４のセットを、第１プロジェクター１０１に投写させる。第１プロジェクター１０１が計測画像Ｇ２として表面２ａに投写する第１位相シフト画像Ｇ１１は、第１投写画像の一例である。第１プロジェクター１０１が計測画像Ｇ２として表面２ａに投写する第２位相シフト画像Ｇ１２は、第２投写画像の一例である。第１プロジェクター１０１が計測画像Ｇ２として表面２ａに投写する第３位相シフト画像Ｇ１３は、第３投写画像の一例である。第１プロジェクター１０１が計測画像Ｇ２として表面２ａに投写する第４位相シフト画像Ｇ１４は、第４投写画像の一例である。

カメラ制御部３４２は、第１プロジェクター１０１が第１位相シフト画像Ｇ１１を計測画像Ｇ２として表面２ａに投写する状況で表面２ａを第１カメラ２１０に撮像させる。この状況で第１カメラ２１０が生成する撮像画像を「第４撮像画像」と称する。

カメラ制御部３４２は、第１プロジェクター１０１が第２位相シフト画像Ｇ１２を計測画像Ｇ２として表面２ａに投写する状況で表面２ａを第１カメラ２１０に撮像させる。この状況で第１カメラ２１０が生成する撮像画像を「第５撮像画像」と称する。

カメラ制御部３４２は、第１プロジェクター１０１が第３位相シフト画像Ｇ１３を計測画像Ｇ２として表面２ａに投写する状況で表面２ａを第１カメラ２１０に撮像させる。この状況で第１カメラ２１０が生成する撮像画像を「第６撮像画像」と称する。

カメラ制御部３４２は、第１プロジェクター１０１が第４位相シフト画像Ｇ１４を計測画像Ｇ２として表面２ａに投写する状況で表面２ａを第１カメラ２１０に撮像させる。この状況で第１カメラ２１０が生成する撮像画像を「第７撮像画像」と称する。

法線ベクトル計測部３４８は、取得部３４３を介して、第４撮像画像と、第５撮像画像と、第６撮像画像と、第７撮像画像と、を取得する。法線ベクトル計測部３４８は、第４撮像画像と、第５撮像画像と、第６撮像画像と、第７撮像画像と、に基づいて、第１値を決定する。

第１プロジェクター１０１が第１位相シフト画像Ｇ１１～第４位相シフト画像Ｇ１４を投写する状況で測定部分２ｂを撮像するセル２１２ｐが観測する第１位相シフト画像Ｇ１１の輝度Ｉ_１と、当該セル２１２ｐが観測する第２位相シフト画像Ｇ１２の輝度Ｉ_２と、当該セル２１２ｐｉが観測する第３位相シフト画像Ｇ１３の輝度Ｉ_３と、当該セル２１２ｐｉが観測する第４位相シフト画像Ｇ１４の輝度Ｉ_４は、以下のように表される。
Ｉ_１＝｛Ａ・ｃｏｓ（φ）＋Ｇ｝×Ｒ ・・・式６
Ｉ_２＝｛Ａ・ｃｏｓ（φ－（π／２））＋Ｇ｝×Ｒ ・・・式７
Ｉ_３＝｛Ａ・ｃｏｓ（φ－π）＋Ｇ｝×Ｒ ・・・式８
Ｉ_４＝｛Ａ・ｃｏｓ（φ－（３π／２））＋Ｇ｝×Ｒ ・・・式９
ここで、
φは、位相シフト画像Ｇ１０ａにおける正弦波の位相である。
Ａは、位相シフト画像Ｇ１０ａにおける輝度の振幅である。
Ｇは、グローバルアンビエントであり、環境光などの光成分である。
Ｒは、測定部分２ｂの反射率である。

式６～式９から、グローバルアンビエントＧと位相φとを含むことなく、振幅Ａと反射率Ｒと輝度とを含む式１０を得ることができる。

ここで、
Ｊ_０ ^２＋Ｊ_１ ^２＝（２ＡＲ・ｃｏｓφ）^２＋（２ＡＲ・ｓｉｎφ）^２、
ｔａｎφ＝Ｊ_１／Ｊ_０、
Ｊ_０＝Ｉ_１－Ｉ_３＝２ＡＲ・ｃｏｓφ、
Ｊ_１＝Ｉ_２－Ｉ_４＝２ＡＲ・ｓｉｎφ、
である。

測定部分２ｂの反射率が一定であれば、位相シフト画像Ｇ１０ａを撮像することによって生成される撮像画像が示す輝度は、光源ベクトルと法線ベクトルとに基づく測定部分２ｂの反射率と、位相シフト画像Ｇ１０ａにおける輝度の振幅と、によって定められる。すなわち、測定部分２ｂの反射率が一定であれば、式１０によって示される２ＡＲという値は、輝度値ｉ１すなわち第１値を示す。このため、法線ベクトル計測部３４８は、式１０を用いることによって算出される２ＡＲを、第１値として決定する。

例えば、法線ベクトル計測部３４８は、第４撮像画像を用いることによって、第４撮像画像に示される測定部分２ｂの輝度Ｉ_１を決定する。法線ベクトル計測部３４８は、第５撮像画像を用いることによって、第５撮像画像に示される測定部分２ｂの輝度Ｉ_２を決定する。法線ベクトル計測部３４８は、第６撮像画像を用いることによって、第６撮像画像に示される測定部分２ｂの輝度Ｉ_３を決定する。法線ベクトル計測部３４８は、第７撮像画像を用いることによって、第６撮像画像に示される測定部分２ｂの輝度Ｉ_４を決定する。法線ベクトル計測部３４８は、Ｉ_１～Ｉ_４を式１０に適用することによって、２ＡＲを第１値として決定する。

第２値および第３値も、第１値と同様に決定される。第２値を決定する場合、第２プロジェクター１０２は、計測画像Ｇ２として、第１位相シフト画像Ｇ１１～第４位相シフト画像Ｇ１４のセットを、表面２ａに投写する。第３値を決定する場合、第３プロジェクター１０３は、計測画像Ｇ２として、第１位相シフト画像Ｇ１１～第４位相シフト画像Ｇ１４のセットを、表面２ａに投写する。

なお、計測画像Ｇ２として、第１位相シフト画像Ｇ１１～第４位相シフト画像Ｇ１４のセットの代わりに、第５位相シフト画像Ｇ１５～第８位相シフト画像Ｇ１８のセットが用いられてもよい。

第１変形例によれば、計測画像Ｇ２として、均一な輝度を有する画像とは異なる画像を用いることができる。また、第１値に対する環境光の影響を低減できる。このため、環境光の影響を受け難い計測を行うことが可能である。

また、パターン画像Ｇ１として用いた画像を、計測画像Ｇ２として再度用いることが可能になる。

また、パターン画像Ｇ１の投写を、計測画像Ｇ２の投写としても利用することが可能になる。この場合、パターン画像Ｇ１の撮像が、計測画像Ｇ２の撮像として利用される。したがって、パターン画像Ｇ１の投写と計測画像Ｇ２の投写とを別々に実行する構成に比べて、画像の投写回数を少なくできる。また、パターン画像Ｇ１の撮像と計測画像Ｇ２の撮像とを別々に実行する構成に比べて、画像の撮像回数を少なくできる。

因みに、３位相からなる位相シフト画像では、振幅と反射率とを取得できないため、第１変形例には適さない。

Ｂ２：第２変形例
第１変形例に示されるＩ_１～Ｉ_４の各々は、測定部分２ｂの法線ベクトルＮおよび光源ベクトルｓ１～ｓ３の影響を受ける。このため、Ｉ_１～Ｉ_４を決定するために用いられる第４撮像画像～第７撮像画像の各々では、表面２ａの形状に応じて、相対的に輝度の低い領域が生じ得る。前述の通り、このような輝度の変化は、法線ベクトルＮおよび光源ベクトルｓ１～ｓ３の影響によって発生するため、照度差ステレオ法における法線ベクトル解析において必要である。しかしながら、Ｉ_１～Ｉ_４が、２５６階調を表現可能な８ビット等の整数値で表現される状況では、相対的に暗くなる領域においてＩ_１～Ｉ_４の分解能が低下する可能性がある。

そこで、第２変形例は、相対的に輝度の低い領域を事前に決定し、相対的に輝度の低い領域に投写される位相シフト画像Ｇ１０ａの輝度の振幅Ａを増加し、さらに、上述の式１０を用いて算出される値において、位相シフト画像Ｇ１０ａの輝度の振幅Ａの増加の影響を低減する。

第２変形例では、法線ベクトル計測部３４８は、計測画像Ｇ２として用いられる位相シフト画像Ｇ１０ａにおける輝度の振幅Ａを、表面２ａを第１カメラ２１０が事前に撮像することによって生成される撮像画像に基づいて決定する。

例えば、投写制御部３４１は、第１プロジェクター１０１に計測画像Ｇ２を投写させる前に、第１プロジェクター１０１に、全面白色で均一な輝度を有する画像を、予備画像として表面２ａに投写させる。予備画像は、全面白色で均一な輝度を有する画像に限らず、例えば、全面がクリーム色で均一な輝度を有する画像でもよい。

続いて、カメラ制御部３４２は、第１プロジェクター１０１が予備画像を表面２ａに投写する状況において表面２ａを第１カメラ２１０に撮像させることによって、第１カメラ２１０に撮像画像を生成させる。以下、第１カメラ２１０が、予備画像が投写される表面２ａを撮像することによって生成する撮像画像を「第１生成画像」と称する。第１生成画像は、生成画像の一例である。

法線ベクトル計測部３４８は、第１生成画像に基づいて、計測画像Ｇ２として用いられる位相シフト画像Ｇ１０ａにおける輝度を、当該位相シフト画像Ｇ１０ａ内において調節する。位相シフト画像Ｇ１０ａにおける輝度を当該位相シフト画像Ｇ１０ａ内において調節することは、位相シフト画像Ｇ１０ａが有する各領域における輝度を決定することを意味する。

例えば、法線ベクトル計測部３４８は、まず、第１生成画像が示す各部分２ｃの輝度を決定する。第１生成画像において、各部分２ｃのうちの１つの部分２ｃである第１部分を示す領域は、第１領域の一例である。第１領域の輝度は、第１輝度の一例である。第１生成画像において、第１領域とは異なる各部分２ｃのうちの１つの部分２ｃである第２部分を示す領域は、第２領域の一例である。第２領域の輝度は、第２輝度の一例である。続いて、法線ベクトル計測部３４８は、第１生成画像が示す輝度の中から、最も高い輝度を、最高輝度値として決定する。

続いて、法線ベクトル計測部３４８は、セル２１２ｐごとに、振幅調整値を決定する。例えば、法線ベクトル計測部３４８は、第１生成画像が示す各セル２１２ｐの輝度値を、最高輝度値で除算することによって、各セル２１２ｐの振幅調整値を決定する。

続いて、法線ベクトル計測部３４８は、複数の第１対応ペアの中から、振幅調整値が決定されたセル２１２ｐを有する第１対応ペアを決定する。続いて、法線ベクトル計測部３４８は、決定した第１対応ペアに対応する画素１３０ｐを、対応画素として決定する。

続いて、法線ベクトル計測部３４８は、対応画素における輝度の振幅Ａを、セル２１２ｐの振幅調整値に基づいて、調整振幅Ａ’に変更する。例えば、法線ベクトル計測部３４８は、対応画素における輝度の振幅Ａに、振幅調整値の逆数を乗算することによって、振幅Ａを調整振幅Ａ’に変更する。

続いて、投写制御部３４１は、画素１３０ｐごとに振幅Ａが調整振幅Ａ’に変更された第１位相シフト画像Ｇ１１～第４位相シフト画像Ｇ１４のセットを、計測画像Ｇ２として、第１プロジェクター１０１に投写させる。

このため、振幅Ａが採用される状況では相対的に暗くなる領域を、振幅Ａが採用される状況の明るさよりも明るくできる。よって、振幅Ａが採用される状況でのＩ_１～Ｉ_４における分解能よりも、調整振幅Ａ’が採用される状況でのＩ_１～Ｉ_４における分解能を高くできる。

カメラ制御部３４２は、上述のように、第１カメラ２１０に、第４撮像画像～第７撮像画像を生成させる。

法線ベクトル計測部３４８は、取得部３４３を介して、第４撮像画像と、第５撮像画像と、第６撮像画像と、第７撮像画像と、を取得する。法線ベクトル計測部３４８は、第４撮像画像と、第５撮像画像と、第６撮像画像と、第７撮像画像と、第１生成画像が示す輝度と、に基づいて、第１値を決定する。

振幅Ａが調整振幅Ａ’に変更されているため、Ｉ_１～Ｉ_４を式１０に適用することによって得られる値は、本来得られるべき値である２ＡＲではなく、２Ａ’Ｒとなる。このため、法線ベクトル計測部３４８は、２Ａ’Ｒを、本来得られるべき値である２ＡＲに補正する。

例えば、法線ベクトル計測部３４８は、２Ａ’Ｒに、振幅調整値を乗算することによって、２Ａ’Ｒを、２ＡＲに補正する。ここで、振幅調整値は、第１生成画像に基づいて決定される値である。法線ベクトル計測部３４８は、２Ａ’Ｒを補正することによって得られる２ＡＲを第１値として決定する。このため、２ＡＲにおいて、位相シフト画像Ｇ１０ａの輝度の増加の影響を低減できる。すなわち、法線ベクトル計測部３４８は、第１値として本来得られるべき値を得ることができる。

さらに、第２値が、第１値と同様に決定されてもよい。第２値を決定する場合、第１プロジェクター１０１の代わりに第２プロジェクター１０２が用いられる。さらに、法線ベクトル計測部３４８は、第２値についての調整振幅Ａ’を決定する前に、第２プロジェクター１０２の画素１３０ｐと、当該画素１３０ｐから投写された部分２ｃを観測するセル２１２ｐと、のペアを、第２対応ペアとして、画素１３０ｐごとに決定する。例えば、法線ベクトル計測部３４８は、第１位相シフト画像Ｇ１１と、第２ベクトルを決定する際に用いられた４つの撮像画像と、に基づいて、位相シフト法を用いて、第２対応ペアを決定する。法線ベクトル計測部３４８は、第１対応ペアの代わりに第２対応ペアを用いることによって、第２値を、第１値と同様に決定する。

第３値が、第１値と同様に決定されてもよい。第３値を決定する場合、第１プロジェクター１０１の代わりに第３プロジェクター１０３が用いられる。さらに、法線ベクトル計測部３４８は、第３値についての調整振幅Ａ’を決定する前に、第３プロジェクター１０３の画素１３０ｐと、当該画素１３０ｐから投写された部分２ｃを観測するセル２１２ｐと、のペアを、第３対応ペアとして、画素１３０ｐごとに決定する。例えば、法線ベクトル計測部３４８は、第１位相シフト画像Ｇ１１と、第３ベクトルを決定する際に用いられた４つの撮像画像と、に基づいて、位相シフト法を用いて、第３対応ペアを決定する。法線ベクトル計測部３４８は、第１対応ペアの代わりに第３対応ペアを用いることによって、第３値を、第１値と同様に決定する。

第２変形例においては、法線ベクトル計測部３４８は、第１プロジェクター１０１が投写レンズ１４０を介して予備画像を表面２ａへ投写する状況で表面２ａを第１カメラ２１０が撮像することで生成される第１生成画像に基づいて、第１生成画像における第１領域の第１輝度と、第１生成画像における第２領域の第２輝度と、を決定する。法線ベクトル計測部３４８は、第１位相シフト画像Ｇ１１において第１領域に対応する領域における輝度を、第１輝度に基づいて決定する。法線ベクトル計測部３４８は、第１位相シフト画像Ｇ１１において第２領域に対応する領域における輝度を、第２輝度に基づいて決定する。法線ベクトル計測部３４８は、第２位相シフト画像Ｇ１２において第１領域に対応する領域における輝度を、第１輝度に基づいて決定する。法線ベクトル計測部３４８は、第２位相シフト画像Ｇ１２において第２領域に対応する領域における輝度を、第２輝度に基づいて決定する。法線ベクトル計測部３４８は、第３位相シフト画像Ｇ１３において第１領域に対応する領域における輝度を、第１輝度に基づいて決定する。法線ベクトル計測部３４８は、第３位相シフト画像Ｇ１３において第２領域に対応する領域における輝度を、第２輝度に基づいて決定する。法線ベクトル計測部３４８は、第４位相シフト画像Ｇ１４において第１領域に対応する領域における輝度を、第１輝度に基づいて決定する。法線ベクトル計測部３４８は、第４位相シフト画像Ｇ１４において第２領域に対応する領域における輝度を、第２輝度に基づいて決定する。この態様によれば、Ｉ_１～Ｉ_４における分解能を高くできる。

また、第２変形例においては、法線ベクトル計測部３４８は、第４撮像画像と、第５撮像画像と、第６撮像画像と、第７撮像画像と、第１輝度と、第２輝度と、に基づいて、第１値を決定する。この態様によれば、Ｉ_１～Ｉ_４における分解能を高くしつつ、第１値の精度の低下を抑制できる。

第２変形例では、平行光を発する光源ではなく、プロジェクター１００が用いられる。プロジェクター１００から投写される画像では、画像の端の部分が、画像の中央の部分に比べて暗くなる傾向がある。このため、平行光を発する光源ではなく、プロジェクター１００が用いられる構成において、第２変形例は特に有効である。

Ｂ３：第３変形例
第１実施形態および第１変形例～第２変形例において、第２カメラ２２０が省略されてもよい。この場合、第１プロジェクター１０１と第１カメラ２１０との位置関係は、予め算出される。

第１プロジェクター１０１と第１カメラ２１０との位置関係が予め算出されている場合、３次元計測部３４４は、第１プロジェクター１０１が投写レンズ１４０を介してパターン画像Ｇ１を表面２ａへ投写する状況で表面２ａを第１カメラ２１０が撮像することによって生成される第１撮像画像と、パターン画像Ｇ１と、に基づいて、位置情報ｄ１を生成する。例えば、パターン画像Ｇ１として、第１位相シフト画像Ｇ１１～第４位相シフト画像Ｇ１４のセット、または、第５位相シフト画像Ｇ１５～第８位相シフト画像Ｇ１８のセットが用いられる。この場合、３次元計測部３４４は、位相シフト法を用いることによって、位置情報ｄ１を生成する。

なお、第１プロジェクター１０１と第１カメラ２１０との位置関係が予め算出されていることは、第１関係情報ｈ１が予め算出されていることを意味する。このため、第１ベクトル決定部３４５は、第１関係情報ｈ１を算出する処理を省略できる。

第３変形例によれば、第１カメラ２１０と第２カメラ２２０とを有するステレオカメラの代わりに単眼の第１カメラ２１０が用いられても、第１プロジェクター１０１と第２プロジェクター１０２と第３プロジェクター１０３と第１カメラ２１０とのすべての位置を調整することなく、測定部分２ｂの法線ベクトルＮを計測することができる。また、平行光を投写することなく、事前の球体計測のような処理を行うことなく、測定部分２ｂの法線ベクトルを計測できる。

Ｂ４：第４変形例
第１実施形態および第１変形例～第３変形例において、一般的な照度差ステレオ法と同様に、４つ以上のプロジェクター１００を用いることによって、測定部分２ｂの法線ベクトルが計測されてもよい。例えば、表面２ａが金属のような鏡面反射成分を有する場合、４つプロジェクター１００を用いることによって、測定部分２ｂの法線ベクトルを計測することが有効である。

Ｂ５：第５変形例
第１実施形態および第１変形例～第４変形例において、測定部分２ｂは、複数の部分２ｃのうちの一つに限らず、例えば、複数の部分２ｃのうち２以上の部分２ｃの各々でもよい。

Ｂ６：第６変形例
第１実施形態および第１変形例～第５変形例において、情報処理装置３００は、プロジェクター１００または計測器２００に組み込まれてもよい。

Ｂ７：第７変形例
第１実施形態および第１変形例～第６変形例において、光変調装置の一例として液晶ライトバルブ１３０が用いられた。しかしながら、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置は、１枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。また、液晶パネルおよびＤＭＤ以外にも、光源１２０が発した光を変調可能な構成は、光変調装置として採用できる。

Ｂ８：第８変形例
第１実施形態および第１変形例～第７変形例において、計測システム１は、表面歪計測器、表面欠陥検査装置および３次元形状計測器の少なくとも１つに応用可能である。また、計測システム１は、計測分野全般およびロボティクス分野等に応用可能である。

Ｂ９：第９変形例
第１実施形態および第１変形例～第８変形例において、第１位相シフト画像Ｇ１１～第８位相シフト画像Ｇ１８は、２周期以上の周期を有する正弦波に応じて輝度が変化する位相シフト画像でもよい。なお、この場合、位相接続処理が追加される。

１…計測システム、１００…プロジェクター、１０１…第１プロジェクター、１０２…第２プロジェクター、１０３…第３プロジェクター、１１０…画像処理部、１２０…光源、１３０…液晶ライトバルブ、１４０…投写レンズ、２００…計測器、２１０…第１カメラ、２１１…第１撮像レンズ、２１２…第１イメージセンサー、２２０…第２カメラ、２２１…第２撮像レンズ、２２２…第２イメージセンサー、２３０…第１記憶部、２４０…第１処理部、３００…情報処理装置、３１０…操作部、３２０…表示部、３３０…第２記憶部、３４０…第２処理部、３４１…投写制御部、３４２…カメラ制御部、３４３…取得部、３４４…３次元計測部、３４５…第１ベクトル決定部、３４６…第２ベクトル決定部、３４７…第３ベクトル決定部、３４８…法線ベクトル計測部。

Claims (10)

1. 対象面における複数の部分の位置を示す位置情報と、第１画像と、第１プロジェクターが第１レンズを介して前記第１画像を前記対象面へ投写する状況で前記対象面を第１カメラが撮像することによって生成される第１撮像画像と、に基づいて、前記複数の部分のうちの一つである測定部分の位置から前記第１レンズの主点の位置への方向を示す第１ベクトルを決定することと、
   前記位置情報と、第２画像と、第２プロジェクターが第２レンズを介して前記第２画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第２撮像画像と、に基づいて、前記測定部分の位置から前記第２レンズの主点の位置への方向を示す第２ベクトルを決定することと、
   前記位置情報と、第３画像と、第３プロジェクターが第３レンズを介して前記第３画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第３撮像画像と、に基づいて、前記測定部分の位置から前記第３レンズの主点の位置への方向を示す第３ベクトルを決定することと、
   前記第１ベクトルと、前記第２ベクトルと、前記第３ベクトルと、前記第１プロジェクターが前記第１レンズを介して第４画像を前記対象面に投写する状況における前記測定部分の輝度を示す第１値と、前記第２プロジェクターが前記第２レンズを介して第５画像を前記対象面に投写する状況における前記測定部分の輝度を示す第２値と、前記第３プロジェクターが前記第３レンズを介して第６画像を前記対象面に投写する状況における前記測定部分の輝度を示す第３値と、に基づいて、前記測定部分の法線ベクトルを計測することと、
   を含む計測方法。
2. 前記第１プロジェクターが前記第１レンズを介して前記第１画像を前記対象面へ投写する状況で前記対象面を第２カメラが撮像することによって生成される画像と、前記第１撮像画像と、に基づいて、前記位置情報を生成すること、
   をさらに含む、請求項１に記載の計測方法。
3. 前記第１画像と、前記第１撮像画像と、に基づいて、前記位置情報を生成すること、
   をさらに含む、請求項１に記載の計測方法。
4. 前記位置情報は、前記複数の部分の位置として、前記複数の部分のカメラ座標系における位置を示し、
   前記カメラ座標系は、前記第１カメラの位置に基づく３次元の座標系であり、
   前記第１画像は、特定点を有し、
   前記第１ベクトルを決定することは、
   前記第１画像と前記第１撮像画像とに基づいて、前記複数の部分の中から、前記特定点が位置する対応部分を決定することと、
   前記位置情報を参照することによって、前記対応部分の前記カメラ座標系における位置を決定することと、
   前記特定点の前記第１画像における位置と、前記対応部分の前記カメラ座標系における位置と、に基づいて、前記第１レンズの主点の位置と前記第１カメラの位置との関係を示す関係情報を生成することと、
   前記関係情報に基づいて、前記第１レンズの主点の前記カメラ座標系における位置を決定することと、
   前記測定部分の前記カメラ座標系における位置から前記第１レンズの主点の前記カメラ座標系における位置への方向を示すベクトルを、前記第１ベクトルとして決定することと、
   を含む、請求項１から３のいずれか１項に記載の計測方法。
5. 前記第１プロジェクターが前記第１レンズを介して前記第４画像を前記対象面に投写する状況で前記対象面を前記第１カメラが撮像することによって生成される撮像画像に基づいて、前記第１値を決定すること、
   をさらに含む、請求項１から４のいずれか１項に記載の計測方法。
6. 前記第４画像は、第１投写画像であり、
   前記第１投写画像と第２投写画像と第３投写画像と第４投写画像の各々は、正弦波に合わせて、所定方向において変化する輝度のパターンを示し、
   前記第２投写画像における前記正弦波の位相は、前記第１投写画像における前記正弦波の位相よりも、π／２進んでおり、
   前記第３投写画像における前記正弦波の位相は、前記第２投写画像における前記正弦波の位相よりも、π／２進んでおり、
   前記第４投写画像における前記正弦波の位相は、前記第３投写画像における前記正弦波の位相よりも、π／２進んでおり、
   前記第１プロジェクターが前記第１レンズを介して前記第１投写画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第４撮像画像と、
   前記第１プロジェクターが前記第１レンズを介して前記第２投写画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第５撮像画像と、
   前記第１プロジェクターが前記第１レンズを介して第前記３投写画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第６撮像画像と、
   前記第１プロジェクターが前記第１レンズを介して前記第４投写画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第７撮像画像と、
   に基づいて、前記第１値を決定すること、
   をさらに含む、請求項１から４のいずれか１項に記載の計測方法。
7. 前記第１プロジェクターが前記第１レンズを介して画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することで生成される生成画像に基づいて、前記生成画像における第１領域の第１輝度と、前記生成画像における第２領域の第２輝度と、を決定することと、
   前記第１投写画像において前記第１領域に対応する領域における輝度を、前記第１輝度に基づいて決定することと、
   前記第１投写画像において前記第２領域に対応する領域における輝度を、前記第２輝度に基づいて決定することと、
   前記第２投写画像において前記第１領域に対応する領域における輝度を、前記第１輝度に基づいて決定することと、
   前記第２投写画像において前記第２領域に対応する領域における輝度を、前記第２輝度に基づいて決定することと、
   前記第３投写画像において前記第１領域に対応する領域における輝度を、前記第１輝度に基づいて決定することと、
   前記第３投写画像において前記第２領域に対応する領域における輝度を、前記第２輝度に基づいて決定することと、
   前記第４投写画像において前記第１領域に対応する領域における輝度を、前記第１輝度に基づいて決定することと、
   前記第４投写画像において前記第２領域に対応する領域における輝度を、前記第２輝度に基づいて決定することと、
   をさらに含む、請求項６に記載の計測方法。
8. 前記第１値を決定することは、
   前記第４撮像画像と、前記第５撮像画像と、前記第６撮像画像と、前記第７撮像画像と、前記第１輝度と、前記第２輝度と、に基づいて、前記第１値を決定することを
   含む、請求項７に記載の計測方法。
9. 第１プロジェクターと、
   第２プロジェクターと、
   第３プロジェクターと、
   第１カメラと、
   第２カメラと、
   処理装置と、を含み、
   前記処理装置は、
   前記第１プロジェクターが第１レンズを介して第１画像を対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第１撮像画像と、前記第１プロジェクターが前記第１レンズを介して前記第１画像を前記対象面へ投写する状況で前記対象面を第２カメラが撮像することによって生成される画像と、に基づいて、前記対象面における複数の部分の位置を示す位置情報を生成し、
   前記位置情報と、前記第１画像と、前記第１撮像画像と、に基づいて、前記複数の部分のうちの一つである測定部分の位置から前記第１レンズの主点の位置への方向を示す第１ベクトルを決定することと、
   前記位置情報と、第２画像と、前記第２プロジェクターが第２レンズを介して前記第２画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第２撮像画像と、に基づいて、前記測定部分の位置から前記第２レンズの主点の位置への方向を示す第２ベクトルを決定することと、
   前記位置情報と、第３画像と、前記第３プロジェクターが第３レンズを介して前記第３画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第３撮像画像と、に基づいて、前記測定部分の位置から前記第３レンズの主点の位置への方向を示す第３ベクトルを決定することと、
   前記第１ベクトルと、前記第２ベクトルと、前記第３ベクトルと、前記第１プロジェクターが前記第１レンズを介して第４画像を前記対象面に投写する状況における前記測定部分の輝度を示す第１値と、前記第２プロジェクターが前記第２レンズを介して第５画像を前記対象面に投写する状況における前記測定部分の輝度を示す第２値と、前記第３プロジェクターが前記第３レンズを介して第６画像を前記対象面に投写する状況における前記測定部分の輝度を示す第３値と、に基づいて、前記測定部分の法線ベクトルを計測することと、
   を実行する、計測システム。
10. 第１プロジェクターと、
    第２プロジェクターと、
    第３プロジェクターと、
    第１カメラと、
    処理装置と、を含み、
    前記処理装置は、
    第１画像と、前記第１プロジェクターが第１レンズを介して前記第１画像を対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第１撮像画像と、に基づいて、前記対象面における複数の部分の位置を示す位置情報を生成し、
    前記位置情報と、前記第１画像と、前記第１撮像画像と、に基づいて、前記複数の部分のうちの一つである測定部分の位置から前記第１レンズの主点の位置への方向を示す第１ベクトルを決定することと、
    前記位置情報と、第２画像と、前記第２プロジェクターが第２レンズを介して前記第２画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第２撮像画像と、に基づいて、前記測定部分の位置から前記第２レンズの主点の位置への方向を示す第２ベクトルを決定することと、
    前記位置情報と、第３画像と、前記第３プロジェクターが第３レンズを介して前記第３画像を前記対象面へ投写する状況で前記対象面を前記第１カメラが撮像することによって生成される第３撮像画像と、に基づいて、前記測定部分の位置から前記第３レンズの主点の位置への方向を示す第３ベクトルを決定することと、
    前記第１ベクトルと、前記第２ベクトルと、前記第３ベクトルと、前記第１プロジェクターが前記第１レンズを介して第４画像を前記対象面に投写する状況における前記測定部分の輝度を示す第１値と、前記第２プロジェクターが前記第２レンズを介して第５画像を前記対象面に投写する状況における前記測定部分の輝度を示す第２値と、前記第３プロジェクターが前記第３レンズを介して第６画像を前記対象面に投写する状況における前記測定部分の輝度を示す第３値と、に基づいて、前記測定部分の法線ベクトルを計測することと、
    を実行する、計測システム。

Images