JP2022088887A - 調整方法、計測方法、投写システム、情報処理装置、及びプログラム - Google Patents

Abstract

【課題】投写画像を投写されている被投写物の撮像画像における白又は黒つぶれの発生を回避する。【解決手段】特定部３２１、検出部３２２、推定部３２３及び調整部３２４を有する情報処理装置３０を提供する。特定部３２１は、パターン画像を投写されている被投写物の撮像画像とパターン画像とに基づいてプロジェクター座標系とカメラ座標系との対応関係を特定する。検出部３２２は、輝度が均一な単色画像を投写されている被投写物の撮像画像における第１領域及び第２領域の輝度を検出する。推定部３２３は、単色画像において第１領域に対応付けられる第３領域と第２領域に対応付けられる第４領域について、撮像画像における輝度を飽和させない輝度の範囲を推定する。調整部３２４は、投写画像において第３領域に対応する第５領域及び第４領域に対応する第６領域の輝度を推定部３２３の推定結果に基づいて調整する。【選択図】図１

Description

本開示は、調整方法、計測方法、投写システム、情報処理装置、及びプログラム、に関する。

特許文献１には、輝度が正弦波状に変化する縞パターンの画像を用いる位相シフト法により、計測対象物の３次元形状を計測する技術が開示されている。

特開２００９－１１５６１２号公報

位相シフト法では、縞パターンの画像が計測対象物に投写される。そして、縞パターンの画像を投写されている状態の計測対象物を撮像して得られる撮像画像に基づいて計測対象物の３次元形状が計測される。縞パターンの画像を投写されている状態の計測対象物の撮像画像では、計測対象物の反射特性又は周囲の外光等の影響により、同じ撮像画像内であっても領域によって縞パターンの輝度が異なる場合がある。縞パターンの輝度が高すぎる又は低すぎる等、適正な輝度の範囲で縞パターンが撮像されていない領域については、３次元形状の計測精度が低下する虞があった。

上記課題を解決するために、本開示の調整方法は、プロジェクターから被投写物へ投写する投写画像の調整方法において、前記プロジェクターから前記被投写物へ投写される第１画像と、前記第１画像を投写されている状態の前記被投写物を第１カメラにより撮像して得られる第１撮像画像とに基づいて、前記第１画像内の位置を示すプロジェクター座標系と前記第１撮像画像内の位置を示すカメラ座標系との対応関係を特定し、第２画像を前記プロジェクターから投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第２撮像画像における第１領域の輝度と前記第２撮像画像における第２領域の輝度とを検出し、前記第２画像のうち前記対応関係により前記第１領域に対応付けられる第３領域について、前記第１領域の輝度を上下に飽和させない第１輝度の範囲を、前記第１領域について検出された輝度と前記第３領域の輝度とに基づいて推定し、前記第２画像のうち前記対応関係により前記第２領域に対応付けられる第４領域について、前記第２領域の輝度を上下に飽和させない第２輝度の範囲を、前記第２領域について検出された輝度と前記第４領域の輝度とに基づいて推定し、前記投写画像のうち前記第３領域に対応する第５領域の輝度を前記第１輝度の範囲に収まるように調整し、且つ前記投写画像のうち前記第４領域に対応する第６領域の輝度を前記第２輝度の範囲に収まるように調整する。

また、上記課題を解決するために、本開示の計測方法は、画像内で輝度が周期的に変化する投写画像をプロジェクターから被投写物へ投写し、前記投写画像を投写されている状態の前記被投写物を第１カメラにより撮像して得られる撮像画像と、前記投写画像を投写されている状態の前記被投写物を前記第１カメラとは異なる第２カメラにより撮像して得られる撮像画像と、に基づいて前記被投写物の３次元形状を計測する計測方法において、前記プロジェクターから前記被投写物に対して投写される第１画像と、前記第１画像を投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第１撮像画像とに基づいて、前記第１画像内の位置を示すプロジェクター座標系と前記第１撮像画像内の位置を示すカメラ座標系との対応関係を特定し、第２画像を前記プロジェクターから投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第２撮像画像における第１領域の輝度と第２領域の輝度とを検出し、前記第２画像のうち前記対応関係により前記第１領域に対応付けられる第３領域について、前記第１領域の輝度を上下に飽和させない第１輝度の範囲を、前記第１領域について検出された輝度と前記第３領域の輝度とに基づいて推定し、前記第２画像のうち前記対応関係により前記第２領域に対応付けられる第４領域について、前記第２領域の輝度を上下に飽和させない第２輝度の範囲を、前記第２領域について検出された輝度と前記第４領域の輝度とに基づいて推定し、前記投写画像のうち前記第３領域に対応する第５領域の輝度を前記第１輝度の範囲に収まるように調整し、且つ前記投写画像のうち前記第４領域に対応する第６領域の輝度を前記第２輝度の範囲に収まるように調整する。

また、上記課題を解決するために、本開示の計測方法は、画像内で輝度が周期的に変化する投写画像をプロジェクターから被投写物へ投写し、前記投写画像を投写されている状態の前記被投写物を第１カメラにより撮像して得られる撮像画像と、前記投写画像と、に基づいて前記被投写物の３次元形状を計測する計測方法において、第１画像を前記プロジェクターから投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第１撮像画像と前記第１画像とに基づいて、前記第１画像内の位置を示すプロジェクター座標系と前記第１撮像画像内の位置を示すカメラ座標系との対応関係を特定し、第２画像を前記プロジェクターから投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第２撮像画像における第１領域の輝度と第２領域の輝度とを検出し、前記第２画像のうち前記対応関係により前記第１領域に対応付けられる第３領域について、前記第１領域の輝度を上下に飽和させない第１輝度の範囲を、前記第１領域について検出された輝度と前記第３領域の輝度とに基づいて推定し、前記第２画像のうち前記対応関係により前記第２領域に対応付けられる第４領域について、前記第２領域の輝度を上下に飽和させない第２輝度の範囲を、前記第２領域について検出された輝度と前記第４領域の輝度とに基づいて推定し、前記投写画像のうち前記第３領域に対応する第５領域の輝度を前記第１輝度の範囲に収まるように調整し、且つ前記投写画像のうち前記第４領域に対応する第６領域の輝度を前記第２輝度の範囲に収まるように調整する。

また、上記課題を解決するために、本開示の投写システムは、投写画像を被投写物へ投写するプロジェクターと、前記被投写物を撮像する第１カメラと、情報処理装置と、を備える。前記情報処理装置は、前記プロジェクターから第１画像を投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第１撮像画像と前記第１画像とに基づいて、前記第１画像内の位置を示すプロジェクター座標系と前記第１撮像画像内の位置を示すカメラ座標系との対応関係を特定すること、第２画像を前記プロジェクターから投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第２撮像画像における第１領域の輝度と第２領域の輝度とを検出すること、前記第２画像のうち前記対応関係により前記第１領域に対応付けられる第３領域について、前記第１領域の輝度を上下に飽和させない第１輝度の範囲を、前記第１領域について検出された輝度と前記第３領域の輝度とに基づいて推定すること、前記第２画像のうち前記対応関係により前記第２領域に対応付けられる第４領域について、前記第２領域の輝度を上下に飽和させない第２輝度の範囲を、前記第２領域について検出された輝度と前記第４領域の輝度とに基づいて推定すること、及び、前記投写画像のうち前記第３領域に対応する第５領域の輝度を前記第１輝度の範囲に収まるように調整し、且つ前記投写画像のうち前記第４領域に対応する第６領域の輝度を前記第２輝度の範囲に収まるように調整すること、を実行する。

また、上記課題を解決するために、本開示の情報処理装置は、投写画像を被投写物へ投写するプロジェクターから第１画像を投写されている状態の前記被投写物を第１カメラにより撮像して得られる第１撮像画像と前記第１画像とに基づいて、前記第１画像内の位置を示すプロジェクター座標系と前記第１撮像画像内の位置を示すカメラ座標系との対応関係を特定すること、第２画像を前記プロジェクターから投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第２撮像画像における第１領域の輝度と第２領域の輝度とを検出すること、前記第２画像のうち前記対応関係により前記第１領域に対応付けられる第３領域について、前記第１領域の輝度を上下に飽和させない第１輝度の範囲を、前記第１領域について検出された輝度と前記第３領域の輝度とに基づいて推定すること、前記第２画像のうち前記対応関係により前記第２領域に対応付けられる第４領域について、前記第２領域の輝度を上下に飽和させない第２輝度の範囲を、前記第２領域について検出された輝度と前記第４領域の輝度とに基づいて推定すること、及び、前記投写画像のうち前記第３領域に対応する第５領域の輝度を前記第１輝度の範囲に収まるように調整し、且つ前記投写画像のうち前記第４領域に対応する第６領域の輝度を前記第２輝度の範囲に収まるように調整すること、を実行する。

また、上記課題を解決するために、本開示のプログラムは、コンピューターに、投写画像を被投写物へ投写するプロジェクターから第１画像を投写されている状態の前記被投写物を第１カメラにより撮像して得られる第１撮像画像と前記第１画像とに基づいて、前記第１画像内の位置を示すプロジェクター座標系と前記第１撮像画像内の位置を示すカメラ座標系との対応関係を特定すること、第２画像を前記プロジェクターから投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第２撮像画像における第１領域の輝度と第２領域の輝度とを検出すること、前記第２画像のうち前記対応関係により前記第１領域に対応付けられる第３領域について、前記第１領域の輝度を上下に飽和させない第１輝度の範囲を、前記第１領域について検出された輝度と前記第３領域の輝度とに基づいて推定すること、前記第２画像のうち前記対応関係により前記第２領域に対応付けられる第４領域について、前記第２領域の輝度を上下に飽和させない第２輝度の範囲を、前記第２領域について検出された輝度と前記第４領域の輝度とに基づいて推定すること、及び、前記投写画像のうち前記第３領域に対応する第５領域の輝度を前記第１輝度の範囲に収まるように調整し、且つ前記投写画像のうち前記第４領域に対応する第６領域の輝度を前記第２輝度の範囲に収まるように調整すること、を実行させる。

本開示の実施形態に係る情報処理装置３０を含む計測システム１の構成例を示すブロック図である。 プロジェクター１０から計測対象物ＳＣへ投写するドットパターンの画像の一例を示す図である。 ドットパターンの画像を投写されている状態の計測対象物ＳＣを撮像装置２０により撮像して得られる撮像画像の一例を示す図である。 情報処理装置３０の処理装置３２０がプログラム３１１に従って実行する計測方法の流れを示すフローチャートの一例を示す図である。 本開示の効果を説明するための図である。 本開示の効果を説明するための図である。

以下、図面を参照して本開示の実施形態を説明する。以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。

１．実施形態
図１は、本開示の一実施形態に係る計測システム１の構成例を示す図である。図１に示すように計測システム１は、プロジェクター１０と、撮像装置２０と、情報処理装置３０と、を含む。図１に示す計測システム１は、物体の３次元形状を計測するためのシステムである。計測システム１では、情報処理装置３０による制御の下、３次元形状の計測対象となる計測対象物ＳＣに対してプロジェクター１０から３次元計測のためのパターン画像が投写される。計測システム１では、パターン画像を投写されている状態の計測対象物ＳＣの画像が撮像装置２０によって撮像される。計測システム１では、パターン画像と撮像装置２０による撮像画像とに基づいて計測対象物ＳＣの三次元形状を計測する演算が情報処理装置３０により実行される。計測システム１は本開示における投写システムの一例である。計測対象物ＳＣは本開示における被投写物の一例である。

プロジェクター１０は、例えば、画像を投写するための液晶ライトバルブと、投写レンズと、液晶駆動部と、光源として超高圧水銀ランプと、を備える。プロジェクター１０における光源はメタルハライドランプであってもよい。プロジェクター１０は、例えばケーブルによって情報処理装置３０と通信可能に接続される。プロジェクター１０は、パターン画像を表す画像データを、ケーブルを介した通信により情報処理装置３０から取得する。本実施形態において、プロジェクター１０と情報処理装置３０との間の通信は、例えば、イーサネットやＵＳＢ（Universal Serial Bus）等の規格に準拠した有線通信である。なお、イーサネットは登録商標である。プロジェクター１０と情報処理装置３０との間の通信は、Ｗｉ－Ｆｉ等の規格に準拠した無線通信であってもよい。プロジェクター１０は、取得した画像データの示すパターン画像を計測対象物ＳＣに投写する。

撮像装置２０は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備えたカメラである。以下では、説明を簡略化するため、撮像装置２０は、静止画像を撮像するものとする。なお、撮像装置２０は、静止画像を撮像することに代えて、動画像を撮像してもよい。撮像装置２０は、計測対象物ＳＣを撮像する。撮像装置２０は、プロジェクター１０と同様に、例えばケーブルによって情報処理装置３０と通信可能に接続される。撮像装置２０は、撮像した画像を表す画像データを情報処理装置３０へ送信する。本実施形態では、撮像装置２０と情報処理装置３０との間の通信は、例えばイーサネットやＵＳＢ等の規格に準拠した有線通信であるが、Ｗｉ－Ｆｉ等の規格に準拠した無線通信であってもよい。撮像装置２０は本開示における第１カメラの一例である。

本実施形態では、プロジェクター１０と撮像装置２０とは互いに異なる固定位置に配置される。プロジェクター１０及び撮像装置２０の各々の配置位置は、３次元計測に適するように予め調整済である。また、プロジェクター１０は、投写レンズのレンズ歪みを補正済である。同様に、撮像装置２０は、撮像レンズのレンズ歪みを補正済である。また、撮像装置２０の露光量及びゲインは、３次元計測に適するように調整済である。本実施形態の計測システム１では、位相シフト法により計測対象物ＳＣの３次元形状が計測される。より詳細に説明すると、計測システム１では、まず、情報処理装置３０による制御の下、正弦波状に輝度が変化する縞パターンの画像がプロジェクター１０から計測対象物ＳＣへ投写される。情報処理装置３０は、計測対象物ＳＣに投写する縞パターンの位相を、所定の位相シフト量でシフトさせる。位相シフトは、縞パターンの位相が１周期分移動するまで複数回繰り返される。縞パターンの位相シフトの回数は３又は４が一般的であり、本実施形態では４回である。即ち本実施形態における位相シフト量はπ／２［rad］である。なお、πは円周率である。情報処理装置３０は、縞パターンの位相をシフトさせる毎に、縞パターンの画像を投写されている状態の計測対象物ＳＣを撮像装置２０に撮像させ、その撮像画像を表す画像データを撮像装置２０から取得する。このため、本実施形態では、情報処理装置３０は、位相シフト量が０、π／２、π、及び３π／２といった４つの縞パターンに一対一に対応する４つの画像データを取得する。

位相シフト量が０、π／２、π、及び３π／２の縞パターンを投写されている状態の計測対象物ＳＣを撮像することで得られた４つの画像の各々において座標（ｘ，ｙ）に位置する画素の輝度値Ｉ０（ｘ，ｙ）、Ｉ１（ｘ，ｙ）、Ｉ２（ｘ，ｙ）及びＩ３（ｘ，ｙ）は、夫々、以下の式（１）、式（２）、式（３）及び式（４）により表される。なお、Ａは縞パターンの輝度の振幅である。Ｇは外光等の環境光の輝度である。Ｒは計測対象物ＳＣの物体反射率である。φは正弦波状に変化する輝度の座標（ｘ，ｙ）における位相である。

上記４つの画像上の同じ位置での絶対的な輝度はその位置での計測対象物ＳＣの表面形状又は色等に応じて変化しても、輝度差は必ず縞パターンの位相差に応じた値となる。例えば、Ｉ０（ｘ，ｙ）とＩ１（ｘ，ｙ）との差は、π／２に応じた値となる。そこで、式（１）、式（２）、式（３）及び式（４）からＡ、Ｇ及びＲを消去する演算、具体的には下記の式（５）に示す演算を情報処理装置３０に実行させることにより、計測対象物ＳＣの画像における座標（ｘ，ｙ）での位相φ（ｘ，ｙ）が算出される。

式（５）に従って算出される位相φ（ｘ，ｙ）は、各縞パターンの１周期毎に算出される-π～πの間の値である。式（５）に従って算出される位相φ（ｘ，ｙ）は１周期分の縞パターン内での位置を示すため、相対位相とも呼ばれる。複数周期分の縞パターンが計測対象物ＳＣに投射され、座標（ｘ，ｙ）に位置する画素がｎ個目の縞に対応する場合、座標（ｘ，ｙ）を一意に示す位相はφ（ｘ，ｙ）＋２ｎπと表される。ｎは０以上の整数であり、縞次数と呼ばれる。縞次数は、複数周期分の縞パターンの一端から他端に向かって数えて何周期目の縞パターンであるかを示す。縞次数を考慮した位相は絶対位相とも呼ばれる。位相シフト法により計測対象物ＳＣの三次元形状を計測するには、座標（ｘ，ｙ）の絶対位相を算出することが必要となる。そして、座標（ｘ，ｙ）における絶対位相を算出するには、座標（ｘ，ｙ）における縞次数を推定することが必要となる。縞次数の推定方法としては例えば特許文献１に開示のように、縞パターンの振幅を１周期毎に変化させるとともに各周期における振幅をテーブル等に書き込んでおき、式（１）、式（２）、式（３）及び式（４）から算出される振幅Ａと上記テーブルとに基づいて縞次数を推定する方法が挙げられる。情報処理装置３０は、座標（ｘ，ｙ）における絶対位相に基づいて三角測量の原理により座標（ｘ，ｙ）での高さを算出することで、計測対象物ＳＣの３次元形状を計測する。

位相シフト法による３次元形状の計測の概略は以上の通りであるが、縞パターンの画像を投写されている状態の計測対象物ＳＣの撮像画像では、計測対象物ＳＣの反射特性又は周囲の外光等の影響により、同じ撮像画像内であっても領域によって縞パターンの輝度が異なる場合がある。なお、計測対象物ＳＣの反射特性は、計測対象物ＳＣの表面形状又は色等に応じて定まる。縞パターンの輝度が高すぎる又は低すぎる等、適正な輝度の範囲で縞パターンが撮像されていない領域については、計測対象物ＳＣの３次元形状の計測精度が低下する虞がある。本実施形態における情報処理装置３０は、計測対象物ＳＣの反射特性又は周囲の外光等の影響がある状況下でも、計測対象物ＳＣの３次元形状の計測精度が低下することを回避できるように構成されている。以下、情報処理装置３０を中心に説明する。

情報処理装置３０は、例えばパーソナルコンピューターである。図１に示すように、情報処理装置３０は、通信装置３００、記憶装置３１０、及び処理装置３２０を有する。通信装置３００には、ケーブルを介してプロジェクター１０が接続される。また、通信装置３００には、ケーブルを介して撮像装置２０が接続される。通信装置３００は、撮像装置２０から送信される画像データを受信する。また、通信装置３００は、処理装置３２０による制御の下、計測対象物ＳＣに投写するパターン画像を表す画像データをプロジェクター１０へ送信する。

記憶装置３１０は、処理装置３２０が読み取り可能な記録媒体である。記憶装置３１０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Radom Access Memory）である。

記憶装置３１０の不揮発性メモリーには、処理装置３２０によって実行されるプログラム３１１が予め記憶される。記憶装置３１０の揮発性メモリーはプログラム３１１を実行する際のワークエリアとして処理装置３２０によって利用される。プログラム３１１は、「アプリケーションプログラム」、「アプリケーションソフトウェア」又は「アプリ」とも称され得る。プログラム３１１は、例えば、通信装置３００を介して不図示のサーバー等から取得され、その後、記憶装置３１０に記憶される。

処理装置３２０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサー、即ちコンピューターを含んで構成される。処理装置３２０は、単一のコンピューターで構成されてもよいし、複数のコンピューターで構成されてもよい。処理装置３２０は、プログラム３１１の実行開始を指示する操作が不図示の入力装置に対して為されたことを契機としてプログラム３１１を不揮発性メモリーから揮発性メモリーに読み出す。処理装置３２０は、読み出されたプログラム３１１を実行する。プログラム３１１に従って作動中の処理装置３２０は、図１に示す特定部３２１、検出部３２２、推定部３２３、調整部３２４、及び計測部３２５として機能する。図１に示す特定部３２１、検出部３２２、推定部３２３、調整部３２４、及び計測部３２５は、処理装置３２０をプログラム３１１に従って動作させることで実現されるソフトウェアモジュールである。特定部３２１、検出部３２２、推定部３２３、調整部３２４、及び計測部３２５の各々が担う機能は次の通りである。

特定部３２１は、プロジェクター座標系とカメラ座標系との対応関係を特定する。プロジェクター座標系とは、プロジェクター１０の投写画像内の位置を示す座標系である。プロジェクター座標系の具体例としては、プロジェクター１０の投写画像の左上隅を原点とする２次元座標系が挙げられる。カメラ座標系とは、撮像装置２０の撮像画像内の位置を示す座標系である。カメラ座標系の具体例としては、撮像装置２０の撮像画像の左上隅を原点とする２次元座標系が挙げられる。

本実施形態では、特定部３２１は、図２に示す８×８のドットパターンの画像Ｇ１を表す画像データをプロジェクター１０に与えることで、ドットパターンの画像Ｇ１をプロジェクター１０から計測対象物ＳＣに投写させる。なお、画像Ｇ１において黒く塗りつぶされている部分はプロジェクター１０から光を投写されない部分であり、白抜きの部分はプロジェクター１０から光を投写されるドットの分である。ドットパターンの画像Ｇ１は本開示における第１画像の一例である。

また、特定部３２１は、ドットパターンの画像Ｇ１を投写されている状態の計測対象物ＳＣを撮像装置２０に撮像させる。ドットパターンの画像Ｇ１を投写されている状態の計測対象物ＳＣの撮像装置２０による撮像画像は本開示における第１撮像画像の一例である。そして、特定部３２１は、ドットパターンの画像Ｇ１を投写されている状態の計測対象物ＳＣの撮像画像と、ドットパターンの画像Ｇ１とに基づいて、プロジェクター座標系とカメラ座標系との対応関係を特定する。

図２に示す画像Ｇ１を投写されている状態の計測対象物ＳＣの撮像画像として、図３に示す画像Ｇ２が得られたとする。特定部３２１は、図２に示す画像Ｇ１における８×８個のドットの各々について、当該ドットのプロジェクター座標系における位置と、図３に示す画像Ｇ２において当該ドットに対応するドットについてのカメラ座標系における位置とを対応付けることで、プロジェクター座標系とカメラ座標系との対応関係を特定する。例えば、画像Ｇ１において１行１列目に位置するドットＤＡ１１に対しては、画像Ｇ２におけるドットＤＢ１１が対応付けられる。また、画像Ｇ１において８行８列目に位置するドットＤＡ８８に対しては、画像Ｇ２におけるドットＤＢ８８が対応付けられる。ドットＤＡ１１は本開示における第１特徴点の一例である。ドットＤＡ８８は本開示における第２特徴点の一例である。ドットＤＢ１１は本開示における第３特徴点の一例である。ドットＤＢ８８は本開示における第４特徴点の一例である。

プロジェクター１０から計測対象物ＳＣへの投写画像については、図２に示す８×８個のドットの各々を中心とし、かつ互いに重なり合わない８×８個の領域を設定することができる。図２では、これら８×８個の領域のうち、ドットＤＡ１１を中心する領域ＡＡ１１と、ドットＤＡ８８を中心する領域ＡＡ８８とが点線で図示されている。撮像装置２０による撮像画像についても同様に、図３に示す８×８個のドットの各々を中心とし、かつ互いに重なり合わない８×８個の領域を設定することができる。図３では、これら８×８個の領域のうち、ドットＤＢ１１を中心する領域ＡＢ１１と、ドットＤＢ８８を中心する領域ＡＢ８８とが点線で図示されている。投写画像に対して設定される８×８個の領域の各々は、特定部３２１により特定された対応関係により、撮像画像に対して設定される８×８個の領域の各々に一対一に対応付けられる。具体的には、領域ＡＡ１１に対しては領域ＡＢ１１が対応付けられる。また、領域ＡＡ８８に対しては領域ＡＢ８８が対応付けられる。領域ＡＢ１１は本開示における第１領域の一例である。領域ＡＢ８８は本開示における第２領域の一例である。領域ＡＡ１１は本開示における第３領域の一例である。領域ＡＡ８８は本開示における第４領域の一例である。

検出部３２２は、単色画像を表す画像データをプロジェクター１０に与えることで、計測対象物ＳＣに対して単色画像をプロジェクター１０に投写させる。そして、検出部３２２は、単色画像を投写されている状態の計測対象物ＳＣを撮像装置２０に撮像させる。この単色画像は本開示における第２画像の一例である。単色画像を投写されている状態の計測対象物ＳＣの撮像画像は本開示における第２撮像画像の一例である。本実施形態では、検出部３２２は、画像内での輝度が均一であって、互いに輝度の異なる複数枚の単色画像の各々を計測対象物ＳＣに対してプロジェクター１０に投写させる。更に詳述すると、検出部３２２は、各々画像内での輝度が均一であって、輝度が２０％、４０％、６０％、８０％及び１００％の白色画像の各々を計測対象物ＳＣに対してプロジェクター１０に投写させる。検出部３２２は、複数枚の単色画像の各々について、その単色画像を投写されている状態の計測対象物ＳＣを撮像装置２０に撮像させる。そして、検出部３２２は、撮像画像における領域ＡＢ１１～ＡＢ８８の８×８個の各領域における輝度を単色画像毎に検出する。

推定部３２３は、撮像画像における領域ＡＢ１１～ＡＢ８８の何れにおいても輝度を上下に飽和させない投写画像の輝度の分布を示す輝度分布マップを、検出部３２２による検出結果に基づいて推定する。より詳細には、推定部３２３は、領域ＡＡ１１～ＡＡ８８の８×８個の領域の各々について、特定部３２１により特定された対応関係により対応付けられる領域の輝度を上下に飽和させない輝度の範囲を、検出部３２２により単色画像毎に検出された輝度に基づいて推定する。

例えば、領域ＡＢ１１について、１００％の白色画像に対しては輝度値が上に飽和し、かつ４０％の白色画像に対しては輝度値が下に飽和していたとする。ここで、輝度値が上に飽和するとは、輝度値が上限値であることを示し、輝度値が下に飽和するとは、輝度値が下限値であることを示す。この場合、推定部３２３は、領域ＡＢ１１の輝度を上下に飽和させない領域ＡＡ１１の輝度の範囲を６０％～８０％と推定する。領域ＡＡ１１について推定される輝度の範囲は本開示における第１輝度の範囲の一例である。また、領域ＡＢ８８について、８０％の白色画像に対しては輝度値が上に飽和し、かつ２０％の白色画像に対しては輝度値が下に飽和していたとする。この場合、推定部３２３は、領域ＡＢ８８の輝度を上下に飽和させない領域ＡＡ８８の輝度の範囲を４０％～６０％と推定する。領域ＡＡ８８について推定される輝度の範囲は本開示における第２輝度の範囲の一例である。本実施形態では、領域ＡＡ１１～ＡＡ８８の８×８個の領域の各々について、特定部３２１により特定された対応関係により対応付けられる領域の輝度を上下に飽和させない輝度の範囲が推定部３２３により推定され、推定結果である輝度の範囲の分布が輝度分布マップとなる。

調整部３２４は、位相がπ／２ずつずれた４枚の縞パターンの画像の各々を調整対象画像として以下の処理を実行する。調整部３２４は、調整対象画像を前述の領域ＡＡ１１～ＡＡ８８の各々に一対一に対応する８×８個の領域に区切る。そして、調整部３２４は、調整対象画像を８×８個に区切って得られる領域毎に、推定部３２３により推定された輝度分布マップに基づいて正弦波の振幅を調整する。例えば、領域ＡＡ１１に対応する領域については、調整部３２４は、当該領域に属する各画素の輝度を、領域ＡＡ１１について推定された輝度の範囲に収まるように調整する。４枚の縞パターンの画像の各々において領域ＡＡ１１に対応する領域は本開示における第５領域の一例である。同様に、領域ＡＡ８８に対応する領域については、調整部３２４は、当該領域に属する各画素の輝度を、領域ＡＡ８８について推定された輝度の範囲に収まるように調整する。４枚の縞パターンの画像の各々において領域ＡＡ８８に対応する領域は本開示における第６領域の一例である。

計測部３２５は、調整部３２４により領域毎に輝度を調整済の縞パターンの画像を用いた位相シフト法を実行することで、計測対象物ＳＣの３次元形状を計測する。より詳細に説明すると、計測部３２５は、調整部３２４により領域毎に輝度を調整済の縞パターンの画像をプロジェクター１０に投写させる。また、計測部３２５は、当該パターン画像を投写されている状態の計測対象物ＳＣを撮像装置２０により撮像させる。そして、計測部３２５は、前述の式（５）に示す演算により座標（ｘ，ｙ）における相対位相φ（ｘ，ｙ）を算出する。計測部３２５は、縞次数を推定して絶対位相を算出する。そして、計測部３２５は、座標（ｘ，ｙ）における絶対位相に基づいて三角測量の原理により座標（ｘ，ｙ）での高さを算出することで、計測対象物ＳＣの３次元形状を計測する。

また、プログラム３１１に従って作動している処理装置３２０は、本開示の計測方法を実行する。図４は本開示の計測方法の流れを示すフローチャートである。図４に示すように、本開示の計測方法は、特定処理ＳＡ１１０、検出処理ＳＡ１２０、推定処理ＳＡ１３０、調整処理ＳＡ１４０、及び計測処理ＳＡ１５０を含む。

特定処理ＳＡ１１０では、処理装置３２０は、特定部３２１として機能する。特定処理ＳＡ１１０では、処理装置３２０は、図２に示すドットパターンの画像Ｇ１をプロジェクター１０から計測対象物ＳＣに投写させる。また、処理装置３２０は、ドットパターンの画像Ｇ１を投写されている状態の計測対象物ＳＣを撮像装置２０に撮像させる。そして、処理装置３２０は、ドットパターンの画像Ｇ１を投写されている状態の計測対象物ＳＣの撮像画像と、ドットパターンの画像Ｇ１とに基づいて、プロジェクター座標系とカメラ座標系との対応関係を特定する。

検出処理ＳＡ１２０では、処理装置３２０は、検出部３２２として機能する。検出処理ＳＡ１２０では、処理装置３２０は、互いに輝度値が異なる複数の単色画像の各々を表す画像データをプロジェクター１０に与えることで、計測対象物ＳＣに対して各単色画像をプロジェクター１０に投写させる。また、処理装置３２０は、単色画像毎に、単色画像を投写されている状態の計測対象物ＳＣを撮像装置２０に撮像させる。そして、処理装置３２０は、撮像画像に設定される複数の領域の各々における輝度値を単色画像毎に検出する。

推定処理ＳＡ１３０では、処理装置３２０は、推定部３２３として機能する。推定処理ＳＡ１３０では、処理装置３２０は、撮像画像の何れの領域においても輝度値を上下に飽和させない投写画像の輝度値の分布を示す輝度分布マップを、検出部３２２による検出結果に基づいて推定する。

調整処理ＳＡ１４０では、処理装置３２０は、調整部３２４として機能する。調整処理ＳＡ１４０では、処理装置３２０は、位相がπ／２ずつずれた４枚の縞パターンの画像の各々を調整対象画像とし、調整対象画像の領域毎に推定処理ＳＡ１３０にて推定した輝度分布マップの示す範囲に輝度が収まるように正弦波の振幅を調整する。

計測処理ＳＡ１５０では、処理装置３２０は、計測部３２５として機能する。計測処理ＳＡ１５０では、処理装置３２０は、調整処理ＳＡ１４０にて領域毎に輝度を調整済の縞パターンの画像を用いた位相シフト法を実行することで、計測対象物ＳＣの３次元形状を計測する。

以下、縞パターンの画像を投写されている状態の計測対象物ＳＣの撮像画像において領域ＡＢ１１のみが当該領域の反射特性又は外光等の影響により他の領域よりも輝度が高くなっている場合を例にとって本実施形態の効果を説明する。従来の均一輝度分布に基づく位相シフト方では、領域ＡＢ１１における輝度が飽和しないように全体の輝度が抑制された縞パターンの画像が計測対象物ＳＣに投写されるので、領域ＡＢ１１以外の領域においてはシグナル値が低下する。領域ＡＢ１１以外の領域ではＳ／Ｎ比が低下するので相対位相φ（ｘ，ｙ）の算出精度が低下し、計測対象物ＳＣの３次元形状の計測精度が低下する。

一方、本実施形態の計測方法では、プロジェクター座標系とカメラ座標系との対応関係に基づいて領域ＡＢ１１に対応付けられる領域ＡＡ１１の輝度のみが抑制された縞パターンの画像が計測対象物ＳＣに投写されるので、計測対象物ＳＣの撮像画像の略全体で高いシグナル値が得られ、相対位相φ（ｘ，ｙ）の算出精度の低下を回避できる。このため、本実施形態によれば、反射特性又は外光等の影響により計測対象物ＳＣの３次元形状の計測精度が低下することを回避できる。

以上説明したように、本実施形態によれば、計測対象物ＳＣの反射特性又は周囲の外光等の影響に応じて輝度を調整済の縞パターンの画像が投写される。このため、縞パターンの画像を投写されている状態の計測対象物ＳＣの撮像画像において、輝度値が上に飽和することに起因する白つぶれ又は輝度値が下に飽和することに起因する黒つぶれの発生が回避される。縞パターンの画像を投写されている状態の計測対象物ＳＣの撮像画像において、白つぶれ又は黒つぶれが発生しないので、計測対象物ＳＣの３次元形状の計測精度が低下することはない。このように、本実施形態の計測システム１によれば、計測対象物ＳＣの３次元形状の計測精度が計測対象物ＳＣの反射特性又は周囲の外光等の影響により低下することを回避することが可能になる。

なお、本実施形態では、領域毎に輝度を調整済の縞パターンの画像と、この縞パターンの画像を投写されている計測対象物ＳＣの撮像画像とを用いて三角測量の原理により計測対象物ＳＣの３次元形状が計測された。しかし、領域毎に輝度を調整済の縞パターンの画像を投写されている計測対象物ＳＣを、第１カメラである撮像装置２０により撮像して得られる撮像画像と、第１カメラとは異なる位置に配置される第２カメラにより撮像し得られる撮像画像とを用いて計測対象物ＳＣの３次元形状が計測されてもよい。

第１カメラ及び第２カメラを用いた位相シフト法による３次元計測では、第１カメラによる撮像画像における特徴点の座標と第２カメラによる撮像画像における当該特徴点の座標との視差値から３次元座標が算出される。このため、第１カメラによる撮像画像及び第２カメラによる撮像画像における特徴点の座標のバラツキが小さければ、より分散の小さい３次元座標を算出すること、即ち３次元計測精度を高めることができる。図５は、従来の均一輝度分布に基づく位相シフト法により算出された特徴点の座標の分散の一例を示す図である。一方、図６は領域毎に輝度を調整済の縞パターンの画像を用いて算出された特徴点の座標の分散の一例を示す図である。図５と図６とを比較すれば明らかように、領域毎に輝度を調整済の縞パターンの画像を用いることによって、従来の均一輝度分布に基づく位相シフトに比較して特徴点の座標のバラツキが小さくなっていることが判る。図５におけるＲＭＳＥは０．２６０５３５ピクセルであり、図６におけるＲＭＳＥは０．１１２９９６ピクセルである。なお、ＲＭＳＥとは二乗平均誤差のことである。このように、第１カメラ及び第２カメラを用いた位相シフト法による３次元計測においても、領域毎に輝度を調整済の縞パターンの画像を用いることで、計測対象物ＳＣの反射特性又は周囲の外光等の影響に起因する計測精度の低下が回避される。

２．変形例
上記実施形態は、以下のように変更されてもよい。
（１）上記実施形態では、プロジェクター座標系とカメラ座標系との対応関係を特定するためのパターン画像として、ドットパターンの画像が用いられた。しかし、グレイコードパターン又はバイナリーコードパターンの画像がドットパターンの画像の代わりに用いられてもよい。また、上記実施形態では、画像内の輝度が正弦波状に変化する縞パターンの画像を用いて計測対象物ＳＣの３次元形状が計測された。しかし、縞パターンの画像に代えてグレイコードパターン又はバイナリーコードパターンの画像が用いられてもよい。グレイコードパターン又はバイナリーコードパターンの画像は、縞パターンの画像と同様に、画像内の輝度が周期的に変化する。グレイコードパターン又はバイナリーコードパターンの画像が用いられる場合、明るく撮像される領域については、白部分の画素は灰色等の暗い色に調整されればよい。

（２）上記実施形態では、輝度が互いに異なる４枚の単色画像を用いて輝度分布マップが作成された。しかし、輝度が互いに異なる２又は３枚の単色画像を用いて輝度分布マップが作成されてもよく、輝度が互いに異なる５枚以上の単色画像を用いて輝度分布マップが作成されてもよい。輝度が互いに異なる２枚の単色画像を用いる態様における一方の単色画像は本開示における第１単色画像の一例である。輝度が互いに異なる２枚の単色画像を用いる態様における他方の単色画像は本開示における第２単色画像の一例である。また、画像内での輝度が均一な１枚の単色画像を用いて輝度分布マップが作成されてもよい。具体的には、単色画像を投写されている状態の計測対象物ＳＣの撮像画像における各領域の輝度と当該撮像画像における輝度として予測される基準値との差に応じて輝度分布マップが作成されればよい。

（３）上記実施形態では、プログラム３１１が記憶装置３１０に記憶済であった。しかし、プログラム３１１が単体で製造又は配布してもよい。プログラム３１１の具体的な配布方法としては、フラッシュＲＯＭ（Read Only Memory）等のコンピューター読み取り可能な記録媒体に上記プログラム３１１を書き込んで配布する態様、又はインターネット等の電気通信回線経由のダウンロードにより配布する態様が考えられる。

（４）上記実施形態における特定部３２１、検出部３２２、推定部３２３、調整部３２４、及び計測部３２５はソフトウェアモジュールであったが、検出部３２２、推定部３２３、調整部３２４、及び計測部３２５の一部又は全部がハードウェアであってもよい。このハードウェアの一例としては、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及びＦＰＧＡ（Field Programmable Gate Array）が挙げられる。検出部３２２、推定部３２３、調整部３２４、及び計測部３２５の一部又は全部がハードウェアであっても、上記実施形態と同一の効果が奏される。なお、上記実施形態における情報処理装置３０はタブレット端末又はスマートフォンであってもよい。

（５）上記実施形態における計測部３２５は省略されてもよい。特定部３２１、検出部３２２、推定部３２３、及び調整部３２４を有する情報処理装置によれば、プロジェクター１０から投写画像を投写されている被投写物の撮像画像における白つぶれ又は黒つぶれの発生が回避される。また、この情報処理装置と、プロジェクター１０と、撮像装置２０とを組み合わせて投写システムが構成されてもよい。この投写システムによれば、プロジェクター１０から投写画像を投写されている被投写物の撮像画像における白つぶれ又は黒つぶれの発生が回避される。また、特定処理ＳＡ１１０、検出処理ＳＡ１２０、推定処理ＳＡ１３０、及び調整処理ＳＡ１４０を含む投写画像の調整方法が提供されてもよい。この調整方法によれば、プロジェクター１０から投写画像を投写されている被投写物の撮像画像における白つぶれ又は黒つぶれの発生が回避される。

（６）上記実施形態の調整部３２４は、調整対象画像を領域ＡＡ１１～ＡＡ８８の各々に一対一に対応する８×８個の領域に区切り、領域毎に、領域内の各画素の輝度を輝度分布マップに基づいて調整した。しかし、領域の境界を挟んで隣り合う２つの画素の輝度が不連続に変化することを回避するために、輝度分布マップに基づいて各画素の輝度を調整済の調整対象画像に対して移動平均フィルター等によるフィルター処理を施してもよい。

３．実施形態及び各変形例の少なくとも１つから把握される態様
本開示は、上述した実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

上述の課題を解決するために本開示の投写画像の調整方法は、プロジェクター１０から被投写物へ投写する投写画像の調整方法であって、特定処理ＳＡ１１０、検出処理ＳＡ１２０、推定処理ＳＡ１３０、及び調整処理ＳＡ１４０を含む。特定処理ＳＡ１１０では、プロジェクター１０から被投写物へ投写される第１画像と、第１画像を投写されている状態の被投写物を撮像装置２０により撮像して得られる第１撮像画像とに基づいて、プロジェクター座標系とカメラ座標系との対応関係が特定される。プロジェクター座標系とは、第１画像内の位置を示す座標系である。カメラ座標系とは第１撮像画像内の位置を示す座標系である。検出処理ＳＡ１２０では、第２画像をプロジェクター１０から投写されている状態の被投写物を撮像装置２０により撮像して得られる第２撮像画像における第１領域の輝度と当該第２撮像画像における第２領域の輝度とが検出される。なお、第２画像の一例として単色画像が挙げられる。推定処理ＳＡ１３０では、第２画像のうち前述の対応関係により第１領域に対応付けられる第３領域について、第１領域の輝度を上下に飽和させない第１輝度の範囲が、第１領域について検出された輝度と第３領域の輝度とに基づいて推定される。また、推定処理ＳＡ１３０では、第２画像のうち前述の対応関係により第２領域に対応付けられる第４領域について、第２領域の輝度を上下に飽和させない第２輝度の範囲が、第２領域について検出された輝度と第４領域の輝度とに基づいて推定される。調整処理ＳＡ１４０では、投写画像のうち第３領域に対応する第５領域の輝度が第１輝度の範囲に収まるように調整される。また、調整処理ＳＡ１４０では、投写画像のうち第４領域に対応する第６領域の輝度が第２輝度の範囲に収まるように調整される。本態様の調整方法によれば、投写画像を投写されている状態の被投写物を第１カメラで撮像したときに、撮像画像における白つぶれ又は黒つぶれの発生が回避される。

より好ましい態様の調整方法においては、画像内の輝度が均一な第１単色画像及び第２単色画像であって、互いに輝度が異なる第１単色画像及び第２単色画像の各々を第２画像としてプロジェクター１０に順次投写させて第１輝度の範囲及び第２輝度の範囲の推定が行われてもよい。具体的には、推定処理ＳＡ１３０では、第１単色画像を投写させた場合に検出される第１領域の輝度及び第２単色画像を投写させた場合に検出される第１領域の輝度と、第３領域の輝度とに基づいて、第１輝度の範囲が推定される。同様に、推定処理ＳＡ１３０では、第１単色画像を投写させた場合に検出される第２領域の輝度及び第２単色画像を投写させた場合に検出される第２領域の輝度と、第４領域の輝度とに基づいて、第２輝度の範囲が推定される。

別の好ましい態様の調整方法においては、第１画像は、第１特徴点と、第２特徴点と、を含む画像、具体的にはドットパターンの画像であってもよい。本態様の調整方法における特定処理ＳＡ１１０では、第１画像における第１特徴点の位置と第１撮像画像において第１特徴点に対応する第３特徴点の位置、及び第１画像における第２特徴点の位置と第１撮像画像において第２特徴点に対応する第４特徴点の位置、に基づいて、プロジェクター座標系とカメラ座標系との対応関係が特定される。

別の好ましい態様の調整方法においては、プロジェクター１０から被投写物へ投写する投写画像は、画像内で輝度が周期的に変化する画像、具体的には縞パターンの画像であってもよい。本態様によれば、画像内で輝度が周期的に変化する投写画像を投写されている被投写物の撮像画像の第５領域における白つぶれ又は黒つぶれの発生が回避される。同様に、第６領域における白つぶれ又は黒つぶれの発生も回避される。

また、本開示の計測方法の一態様は、画像内で輝度が周期的に変化する投写画像をプロジェクター１０から被投写物へ投写し、投写画像を投写されている状態の被投写物を第１カメラにより撮像して得られる撮像画像と、投写画像を投写されている状態の被投写物を第１カメラとは異なる第２カメラにより撮像して得られる撮像画像と、に基づいて被投写物の３次元形状を計測する計測方法である。この計測方法は、前述の特定処理ＳＡ１１０、検出処理ＳＡ１２０、推定処理ＳＡ１３０、及び調整処理ＳＡ１４０を含み、プロジェクター１０から被投写物へ投写する投写画像の輝度を調整処理ＳＡ１４０により調整する。本態様の調整方法によれば、被投写物の３次元形状の計測精度が被投写物の反射特性又は周囲の外光等の影響により低下することが回避される。

また、本開示の計測方法の一態様は、画像内で輝度が周期的に変化する投写画像をプロジェクター１０から被投写物へ投写し、この投写画像を投写されている状態の被投写物を第１カメラにより撮像して得られる撮像画像と、投写画像と、に基づいて被投写物の３次元形状を計測する計測方法である。この計測方法は、前述の特定処理ＳＡ１１０、検出処理ＳＡ１２０、推定処理ＳＡ１３０、及び調整処理ＳＡ１４０を含み、プロジェクター１０から被投写物へ投写する投写画像の輝度を調整処理ＳＡ１４０により調整する。本態様の調整方法によっても、被投写物の３次元形状の計測精度が被投写物の反射特性又は周囲の外光等の影響により低下することが回避される。

また、上述の課題を解決するために本開示の投写システムの一態様は、プロジェクター１０と、撮像装置２０と、情報処理装置３０と、を含む。プロジェクター１０は、投写画像を被投写物へ投写する。撮像装置２０は、被投写物を撮像する。撮像装置２０は、本開示における第１カメラの一例である。情報処理装置３０は、前述の特定処理ＳＡ１１０、検出処理ＳＡ１２０、推定処理ＳＡ１３０、及び調整処理ＳＡ１４０を実行する処理装置３２０を有する。本態様によれば、投写画像を投写されている状態の被投写物を撮像装置２０で撮像して得られる撮像画像の第５領域における白つぶれ又は黒つぶれの発生が回避される。同様に、第６領域における白つぶれ又は黒つぶれの発生も回避される。

また、上述の課題を解決するために本開示の情報処理装置の一態様は、特定部３２１と、検出部３２２と、推定部３２３と、調整部３２４と、を含む。特定部３２１は、特定処理ＳＡ１１０を実行する。検出部３２２は、検出処理ＳＡ１２０を実行する。推定部３２３は、推定処理ＳＡ１３０を実行する。調整部３２４は、調整処理ＳＡ１４０を実行する。本態様によれば、投写画像を投写されている状態の被投写物を撮像装置２０で撮像して得られる撮像画像の第５領域における白つぶれ又は黒つぶれの発生が回避される。同様に、第６領域における白つぶれ又は黒つぶれの発生も回避される。

上述の課題を解決するために本開示のプログラムの一態様は、コンピューターに特定処理ＳＡ１１０と、検出処理ＳＡ１２０と、推定処理ＳＡ１３０と、調整処理ＳＡ１４０と、を実行させる。本態様によれば、投写画像を投写されている状態の被投写物を撮像装置２０で撮像して得られる撮像画像の第５領域における白つぶれ又は黒つぶれの発生が回避される。同様に、第６領域における白つぶれ又は黒つぶれの発生も回避される。

１…計測システム、１０…プロジェクター、２０…撮像装置、３０…情報処理装置、３００…通信装置、３１０…記憶装置、３２０…処理装置、３２１…特定部、３２２…検出部、３２３…推定部、３２４…調整部、３２５…計測部、３１１…プログラム、ＳＣ…計測対象物。

Claims (10)

1. プロジェクターから被投写物へ投写する投写画像の調整方法において、
   前記プロジェクターから前記被投写物へ投写される第１画像と、前記第１画像を投写されている状態の前記被投写物を第１カメラにより撮像して得られる第１撮像画像とに基づいて、前記第１画像内の位置を示すプロジェクター座標系と前記第１撮像画像内の位置を示すカメラ座標系との対応関係を特定し、
   第２画像を前記プロジェクターから投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第２撮像画像における第１領域の輝度と前記第２撮像画像における第２領域の輝度とを検出し、
   前記第２画像のうち前記対応関係により前記第１領域に対応付けられる第３領域について、前記第１領域の輝度を上下に飽和させない第１輝度の範囲を、前記第１領域について検出された輝度と前記第３領域の輝度とに基づいて推定し、
   前記第２画像のうち前記対応関係により前記第２領域に対応付けられる第４領域について、前記第２領域の輝度を上下に飽和させない第２輝度の範囲を、前記第２領域について検出された輝度と前記第４領域の輝度とに基づいて推定し、
   前記投写画像のうち前記第３領域に対応する第５領域の輝度を前記第１輝度の範囲に収まるように調整し、且つ前記投写画像のうち前記第４領域に対応する第６領域の輝度を前記第２輝度の範囲に収まるように調整する、
   調整方法。
2. 前記第２画像は単色画像である、請求項１に記載の調整方法。
3. 画像内の輝度が均一な第１単色画像及び第２単色画像であって、互いに輝度が異なる前記第１単色画像及び前記第２単色画像の各々を前記第２画像として前記プロジェクターに順次投写させ、
   前記第１単色画像を投写させた場合に検出される前記第１領域の輝度及び前記第２単色画像を投写させた場合に検出される前記第１領域の輝度と、前記第３領域の輝度とに基づいて、前記第１輝度の範囲を推定し、
   前記第１単色画像を投写させた場合に検出される前記第２領域の輝度及び前記第２単色画像を投写させた場合に検出される前記第２領域の輝度と、前記第４領域の輝度とに基づいて、前記第２輝度の範囲を推定する、請求項２に記載の調整方法。
4. 前記第１画像は、第１特徴点と、第２特徴点と、を含み、
   前記第１画像における前記第１特徴点の位置と前記第１撮像画像において前記第１特徴点に対応する第３特徴点の位置、及び前記第１画像における前記第２特徴点の位置と前記第１撮像画像において前記第２特徴点に対応する第４特徴点の位置、に基づいて前記対応関係を特定する、請求項１乃至３のうちの何れか１項に記載の調整方法。
5. 前記投写画像は、画像内で輝度が周期的に変化する画像である、請求項１乃至４のうちの何れか１項に記載の調整方法。
6. 画像内で輝度が周期的に変化する投写画像をプロジェクターから被投写物へ投写し、前記投写画像を投写されている状態の前記被投写物を第１カメラにより撮像して得られる撮像画像と、前記投写画像を投写されている状態の前記被投写物を前記第１カメラとは異なる第２カメラにより撮像して得られる撮像画像と、に基づいて前記被投写物の３次元形状を計測する計測方法において、
   前記プロジェクターから前記被投写物に対して投写される第１画像と、前記第１画像を投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第１撮像画像とに基づいて、前記第１画像内の位置を示すプロジェクター座標系と前記第１撮像画像内の位置を示すカメラ座標系との対応関係を特定し、
   第２画像を前記プロジェクターから投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第２撮像画像における第１領域の輝度と第２領域の輝度とを検出し、
   前記第２画像のうち前記対応関係により前記第１領域に対応付けられる第３領域について、前記第１領域の輝度を上下に飽和させない第１輝度の範囲を、前記第１領域について検出された輝度と前記第３領域の輝度とに基づいて推定し、
   前記第２画像のうち前記対応関係により前記第２領域に対応付けられる第４領域について、前記第２領域の輝度を上下に飽和させない第２輝度の範囲を、前記第２領域について検出された輝度と前記第４領域の輝度とに基づいて推定し、
   前記投写画像のうち前記第３領域に対応する第５領域の輝度を前記第１輝度の範囲に収まるように調整し、且つ前記投写画像のうち前記第４領域に対応する第６領域の輝度を前記第２輝度の範囲に収まるように調整する、
   計測方法。
7. 画像内で輝度が周期的に変化する投写画像をプロジェクターから被投写物へ投写し、前記投写画像を投写されている状態の前記被投写物を第１カメラにより撮像して得られる撮像画像と、前記投写画像と、に基づいて前記被投写物の３次元形状を計測する計測方法において、
   第１画像を前記プロジェクターから投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第１撮像画像と前記第１画像とに基づいて、前記第１画像内の位置を示すプロジェクター座標系と前記第１撮像画像内の位置を示すカメラ座標系との対応関係を特定し、
   第２画像を前記プロジェクターから投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第２撮像画像における第１領域の輝度と第２領域の輝度とを検出し、
   前記第２画像のうち前記対応関係により前記第１領域に対応付けられる第３領域について、前記第１領域の輝度を上下に飽和させない第１輝度の範囲を、前記第１領域について検出された輝度と前記第３領域の輝度とに基づいて推定し、
   前記第２画像のうち前記対応関係により前記第２領域に対応付けられる第４領域について、前記第２領域の輝度を上下に飽和させない第２輝度の範囲を、前記第２領域について検出された輝度と前記第４領域の輝度とに基づいて推定し、
   前記投写画像のうち前記第３領域に対応する第５領域の輝度を前記第１輝度の範囲に収まるように調整し、且つ前記投写画像のうち前記第４領域に対応する第６領域の輝度を前記第２輝度の範囲に収まるように調整する、
   計測方法。
8. 投写画像を被投写物へ投写するプロジェクターと、
   前記被投写物を撮像する第１カメラと、
   情報処理装置と、を備え、
   前記情報処理装置は、
   前記プロジェクターから第１画像を投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第１撮像画像と前記第１画像とに基づいて、前記第１画像内の位置を示すプロジェクター座標系と前記第１撮像画像内の位置を示すカメラ座標系との対応関係を特定すること、
   第２画像を前記プロジェクターから投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第２撮像画像における第１領域の輝度と第２領域の輝度とを検出すること、
   前記第２画像のうち前記対応関係により前記第１領域に対応付けられる第３領域について、前記第１領域の輝度を上下に飽和させない第１輝度の範囲を、前記第１領域について検出された輝度と前記第３領域の輝度とに基づいて推定すること、
   前記第２画像のうち前記対応関係により前記第２領域に対応付けられる第４領域について、前記第２領域の輝度を上下に飽和させない第２輝度の範囲を、前記第２領域について検出された輝度と前記第４領域の輝度とに基づいて推定すること、及び、
   前記投写画像のうち前記第３領域に対応する第５領域の輝度を前記第１輝度の範囲に収まるように調整し、且つ前記投写画像のうち前記第４領域に対応する第６領域の輝度を前記第２輝度の範囲に収まるように調整すること、を実行する、
   投写システム。
9. 投写画像を被投写物へ投写するプロジェクターから第１画像を投写されている状態の前記被投写物を第１カメラにより撮像して得られる第１撮像画像と前記第１画像とに基づいて、前記第１画像内の位置を示すプロジェクター座標系と前記第１撮像画像内の位置を示すカメラ座標系との対応関係を特定すること、
   第２画像を前記プロジェクターから投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第２撮像画像における第１領域の輝度と第２領域の輝度とを検出すること、
   前記第２画像のうち前記対応関係により前記第１領域に対応付けられる第３領域について、前記第１領域の輝度を上下に飽和させない第１輝度の範囲を、前記第１領域について検出された輝度と前記第３領域の輝度とに基づいて推定すること、
   前記第２画像のうち前記対応関係により前記第２領域に対応付けられる第４領域について、前記第２領域の輝度を上下に飽和させない第２輝度の範囲を、前記第２領域について検出された輝度と前記第４領域の輝度とに基づいて推定すること、及び、
   前記投写画像のうち前記第３領域に対応する第５領域の輝度を前記第１輝度の範囲に収まるように調整し、且つ前記投写画像のうち前記第４領域に対応する第６領域の輝度を前記第２輝度の範囲に収まるように調整すること、
   を実行する情報処理装置。
10. コンピューターに、
    投写画像を被投写物へ投写するプロジェクターから第１画像を投写されている状態の前記被投写物を第１カメラにより撮像して得られる第１撮像画像と前記第１画像とに基づいて、前記第１画像内の位置を示すプロジェクター座標系と前記第１撮像画像内の位置を示すカメラ座標系との対応関係を特定すること、
    第２画像を前記プロジェクターから投写されている状態の前記被投写物を前記第１カメラにより撮像して得られる第２撮像画像における第１領域の輝度と第２領域の輝度とを検出すること、
    前記第２画像のうち前記対応関係により前記第１領域に対応付けられる第３領域について、前記第１領域の輝度を上下に飽和させない第１輝度の範囲を、前記第１領域について検出された輝度と前記第３領域の輝度とに基づいて推定すること、
    前記第２画像のうち前記対応関係により前記第２領域に対応付けられる第４領域について、前記第２領域の輝度を上下に飽和させない第２輝度の範囲を、前記第２領域について検出された輝度と前記第４領域の輝度とに基づいて推定すること、及び、
    前記投写画像のうち前記第３領域に対応する第５領域の輝度を前記第１輝度の範囲に収まるように調整し、且つ前記投写画像のうち前記第４領域に対応する第６領域の輝度を前記第２輝度の範囲に収まるように調整すること、
    を実行させるプログラム。

Images