JP2017184038A - 投影制御装置、プログラム、及び投影システム - Google Patents

Abstract

【課題】複数のプロジェクタにより画像が重複して投影される不規則な面において視認性を高めることが可能な投影制御装置、プログラム、及び投影システムを提供する。【解決手段】投影制御装置ＣＯは、複数のプロジェクタから出力される不規則な面上で重複投影範囲の各プロジェクタ画像のピクセル座標とカメラにより撮像されたカメラ画像のピクセル座標とが対応する対応点を一組とする組を複数特定する。そして、投影制御装置ＣＯは、特定された組内の各対応点に対し、プロジェクタ画像の中心から端までにおける上記組内の各点の位置に基づいて重み付け割合を組毎に決定し、決定された重み付け割合に基づいて組内の各点の輝度を前記組毎に決定する。【選択図】図４

Description

本発明は、投影面に投影される画像の投影範囲が互いに重複するように配置される複数のプロジェクタを備える投影システムの技術分野に関する。

従来、複数のプロジェクタにより投影面に重複して投影される画像に対する輝度を調節するシステムが知られている。例えば特許文献１に開示されたマルチ画面合成システムは、共通スクリーンに投影された時の隣接する映像との輝度の違いによる段差が目立たないように、重なり部分から縁までの輝度を徐々に減らすように調節するように構成されている。

特開２００２−１４０７１５号公報

しかしながら、特許文献１に記載のシステムでは、１平面に同一方向からの２つのプロジェクタにより重複投影される画像に対する輝度調節の場合しか考慮されていない。このため、複数のプロジェクタにより、例えば細かな凹凸がある不規則な面に、異なる方向から画像を重複して投影する場合、特許文献１の技術では、不規則な面に投影された画像中に存在する複数の点を同じ明るさにする輝度の調節をすることができず、視認性が悪くなってしまう。

本発明は、以上の点に鑑みてなされたものであり、複数のプロジェクタにより画像が重複して投影される不規則な面において視認性を高めることが可能な投影制御装置、プログラム、及び投影システムを提供する。

上記課題を解決するために、請求項１に記載の発明は、不規則な面に投影される画像の投影範囲が互いに重複するように配置される複数のプロジェクタと、少なくとも前記投影範囲を撮像するカメラとを備える投影システムにおける投影制御装置であって、前記複数のプロジェクタから出力される前記面上で重複投影範囲の各プロジェクタ画像のピクセル座標と前記カメラにより撮像されたカメラ画像のピクセル座標とが対応する対応点を一組とする組を複数特定する特定手段と、前記特定手段により特定された組内の各点に対し、前記プロジェクタ画像の中心から端までにおける前記組内の各点の位置に基づいて、重み付け割合を前記組毎に決定する第１決定手段と、前記第１決定手段により決定された重み付け割合に基づいて、前記組内の各点の輝度を前記組毎に決定する第２決定手段と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の投影制御装置において、前記第１決定手段は、前記組内の各点のうち、前記位置が前記プロジェクタ画像の中心に近い前記点ほど、前記組内の他の点より相対的に大きい前記重み付け割合を決定することを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の投影制御装置において、複数の前記プロジェクタ画像間において前記特定手段により前記組が特定されない点の輝度を、前記組が特定されない点の周囲に位置する点の輝度であって前記第２決定手段により決定された輝度に基づいて決定する第３決定手段を更に備えることを特徴とする。

請求項４に記載の発明は、請求項１乃至３の何れか一項に記載の投影制御装置において、前記投影範囲内の前記不規則な面における複数の点について、前記プロジェクタから前記投影範囲内の前記不規則な面に光が照射されているときに前記カメラにより前記投影範囲が撮影されたカメラ画像と、前記プロジェクタから前記投影範囲内の前記不規則な面に光が照射されていないときに前記カメラにより前記投影範囲が撮影されたカメラ画像との差分に基づいて、各点のそれぞれの輝度を決定する第４決定手段と、前記第４決定手段により決定された輝度に基づいて、前記第２決定手段により決定された輝度を補正する補正手段と、を更に備えることを特徴とする。

請求項５に記載の発明は、請求項１乃至３の何れか一項に記載の投影制御装置において、前記プロジェクタから、前記投影範囲内の前記不規則な面における複数の点までの距離をそれぞれ決定する第５決定手段と、前記第５決定手段により決定された距離に基づいて、前記第２決定手段により決定された輝度を補正する補正手段と、を更に備えることを特徴とする。

請求項６に記載の発明は、請求項１乃至５の何れか一項に記載の投影制御装置において、前記カメラは、前記不規則な面までの深度情報を含むデプス画像を撮像し、前記投影制御装置は、前記カメラにより撮像されたデプス画像の３次元座標の点の集合から、前記カメラによる撮像範囲内の３次元空間における平面を推定する推定手段と、前記推定手段により推定された平面に属する点の３次元座標から、前記プロジェクタ画像のピクセル座標へ射影変換するホモグラフィ行列を算出する算出手段と、前記算出手段により算出されたホモグラフィ行列に基づいて、複数の前記プロジェクタ画像間において前記ピクセル座標が対応する点を補完する補完手段と、を備えることを特徴とする。

請求項７に記載の発明は、不規則な面に投影される画像の投影範囲が互いに重複するように配置される複数のプロジェクタと、少なくとも前記投影範囲を撮像するカメラとを備える投影システムにおけるコンピュータに、前記複数のプロジェクタから出力される前記面上で重複投影範囲の各プロジェクタ画像のピクセル座標と前記カメラにより撮像されたカメラ画像のピクセル座標とが対応する対応点を一組とする組を複数特定するステップと、前記組内の各点に対し、前記プロジェクタ画像の中心から端までにおける前記組内の各点の位置に基づいて、重み付け割合を前記組毎に決定するステップと、前記組内の各点の重み付け割合に基づいて、前記組内の各点の輝度を前記組毎に決定するステップと、を実行させることを特徴とする。

請求項８に記載の発明は、不規則な面に投影される画像の投影範囲が互いに重複するように配置される複数のプロジェクタと、少なくとも前記投影範囲を撮像するカメラとを備える投影システムであって、前記複数のプロジェクタから出力される前記面上で重複投影範囲の各プロジェクタ画像のピクセル座標と前記カメラにより撮像されたカメラ画像のピクセル座標とが対応する対応点を一組とする組を複数特定する特定手段と、前記特定手段により特定された組内の各点に対し、前記プロジェクタ画像の中心から端までにおける前記組内の各点の位置に基づいて、重み付け割合を前記組毎に決定する第１決定手段と、前記第１決定手段により決定された重み付け割合に基づいて、前記組内の各点の輝度を前記組毎に決定する第２決定手段と、を備えることを特徴とする。

請求項１、２、７及び８に記載の発明によれば、複数のプロジェクタにより画像が重複して投影される不規則な面において明るさの均一化を図ることができ、視認性を高めることができる。

請求項３に記載の発明によれば、対応する点の組が特定されない点であっても適切な輝度を決定することができる。

請求項４、５に記載の発明によれば、プロジェクタから不規則な面における各点までの距離が異なることに起因する明るさのムラを低減し、視認性をより一層高めることができる。

請求項６に記載の発明によれば、複数のプロジェクタ画像間においてピクセル座標が対応する点の組を増やすことができる。

（Ａ）は、本実施形態の投影システムＳの概要構成例を示す図である。（Ｂ）は、投影システムＳが利用される部屋内に配置されたプロジェクタＰ１及びＰ２とカメラＣの位置関係の一例を示す図である。 （Ａ）は、カメラＣにより撮像されたカメラ画像Ｃiの一例を示す図である。（Ｂ）は、プロジェクタＰ１から出力されるプロジェクタ画像Ｐi１の一例を示す図である。（Ｃ）は、プロジェクタＰ２から出力されるプロジェクタ画像Ｐi２の一例を示す図である。（Ｄ）は、プロジェクタ画像において重みを明るさで表した概念図である。 プロジェクタ画像Ｐi１,Ｐi２上のピクセルの輝度を示す概念図である。 実施例１におけるピクセル輝度決定処理の一例を示すフローチャートである。 実施例２におけるピクセル輝度決定処理の一例を示すフローチャートである。 実施例３におけるピクセル輝度決定処理の一例を示すフローチャートである。 推定平面に属する点の３次元座標からプロジェクタのピクセル座標へ射影変換する様子を示す概念図である。 実施例４におけるピクセル輝度決定処理の一例を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

［１．投影システムの構成及び動作概要］
はじめに、図１を参照して、本実施形態の投影システムＳの構成及び動作概要について説明する。投影システムＳは、図１（Ａ）に示すように、プロジェクタＰ１及びＰ２、カメラＣ、及び投影制御装置ＣＯ等を備えて構成される。プロジェクタＰ１及びＰ２は、それぞれ、有線または無線を介して投影制御装置ＣＯと接続される。カメラＣは、有線または無線を介して投影制御装置ＣＯと接続される。なお、投影システムＳは、例えばカラオケ店舗等のアミューズメント施設における部屋において利用される。投影システムＳがカラオケ店舗の部屋に適用される場合、部屋内にはカラオケ用の楽曲再生装置（コマンダ）等が設置される。なお、図１（Ａ）の例では、投影システムＳは、２つのプロジェクタＰ１及びＰ２を備えるように構成したが、３つ以上のプロジェクタが備えられるように構成してもよい。また、図１（Ａ）の例では、投影システムＳは、１つのカメラＣを備えるように構成したが２つ以上のカメラが備えられるように構成してもよい。

プロジェクタＰ１及びＰ２は、それぞれ、投影制御装置ＣＯから出力された画像信号に応じた光を発光部から発光することにより、不規則な面に画像を投影する。プロジェクタＰ１及びＰ２から出力される各画像（以下、「プロジェクタ画像」という）は、２次元平面の画像である。不規則な面の例として、投影する対象面が一平面でなく、プロジェクタからの距離が異なる複数平面で構成される面、または面方向が異なる複数の平面で構成される面である。例えば凹凸がある壁面や障害物が壁に隣接して壁のプロジェクタ側に配置された壁面の表面などが挙げられる。図１（Ｂ）の例では、プロジェクタＰ１は、投影角Θ１に収まる投影範囲内の壁面Ｗ１及び壁面Ｗ２にプロジェクタ画像を投影する。壁面Ｗ１及び壁面Ｗ２は面方向が異なる不規則な面である。プロジェクタＰ２は、投影角Θ２に収まる投影範囲内の壁面Ｗ１及び壁面Ｗ２にプロジェクタ画像を投影する。このように、プロジェクタＰ１及びＰ２は、それぞれのプロジェクタ画像の投影範囲が互いに重複するように配置される。例えば、プロジェクタＰ１の投影範囲とプロジェクタＰ２の投影範囲とは、境界Ｂｏを挟んで壁面Ｗ１の右端部領域と壁面Ｗ２の左端部領域において重複している。このように投影範囲が重複する領域を「重複投影領域」（オーバーラップ領域）という。なお、重複投影領域は、壁面の境界を含まない面上にあってもよい。投影制御装置ＣＯは、あらかじめプロジェクタＰ１による画像の投影範囲と、プロジェクタＰ２による画像の投影範囲を認識する処理を行うことにより、壁面Ｗ１および壁面Ｗ２での重複投影領域を記憶している。

カメラＣは、少なくとも重複投影領域を含む投影範囲を撮像し、撮像した画像（以下、「カメラ画像」という）を投影制御装置ＣＯへ出力する。ここで、カメラ画像は、２次元平面の画像であるが、３次元空間中の複数の２次元平面（例えば、壁面等）が映り込んだ画像である。図１（Ｂ）の例では、カメラＣは、画角θに収まる撮像範囲内であって、プロジェクタＰ１によりプロジェクタ画像が投影される投影範囲と、プロジェクタＰ２によりプロジェクタ画像が投影される投影範囲とを撮像する。また、カメラＣには、赤外線レーザなどによるデプスセンサーが備えられてもよい。この場合、カメラＣは、デプスセンサーにより、プロジェクタ画像の投影面までの深度情報を含むデプス画像を撮像し、撮像したデプス画像を投影制御装置ＣＯへ出力する。デプス画像は、カメラＣの撮像範囲内の３次元空間における投影面上の各位置の３次元座標（x，y，z）を示す。ここで、ｚ座標はカメラＣを含む平面からの深度を示す。

投影制御装置ＣＯは、プロジェクタ画像の投影制御を行う。投影制御装置ＣＯは、図１（Ａ）に示すように、ＩＦ１ａ〜１ｃ、記憶部２、操作部３、及び制御部４を備える。ＩＦ１ａ〜１ｃ、記憶部２、操作部３、及び制御部４は、バス５に接続されている。ＩＦ１ａは、カメラＣとのインターフェースである。ＩＦ１ｂ及び１ｃは、それぞれ、プロジェクタＰ１及びＰ２とのインターフェースである。記憶部２は、例えばハードディスクドライブにより構成される。記憶部２には、ＯＳ（Operating System）、及びアプリケーションプログラム（本発明のプログラムを含む）等が記憶される。アプリケーションプログラムは、ＯＳ上で後述するピクセル輝度決定処理等をＣＰＵに実行させるプログラムである。ピクセル輝度決定処理は、プロジェクタのピクセル座標の輝度を決定する処理である。プロジェクタのピクセル座標とは、プロジェクタから出力されるプロジェクタ画像におけるピクセル（画素）の位置を示す２次元座標である。例えば、縦横のサイズが（width, height）であるプロジェクタ画像では、座標は、（0 ≦ x ≦ width-1）, （0 ≦ y ≦ height-1）の範囲を取りうる。また、記憶部２には、投影対象となる画像等が含まれる。操作部３は、オペレータからの操作指示を受け付け、その操作指示に応じた信号を制御部４へ出力する。制御部４は、コンピュータとしてのＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等により構成される。制御部４は、本発明の特定手段、第１決定手段、第２決定手段、第３決定手段、第４決定手段、第５決定手段、補正手段、推定手段、算出手段、及び補完手段の一例である。

ここで、ピクセル輝度決定処理の概要について、図２を参照して説明する。ピクセル輝度決定処理では、先ず、制御部４は、プロジェクタＰ１及びＰ２のそれぞれのピクセル座標と、カメラＣにより撮像されたカメラ画像のピクセル座標との対応関係から、複数のプロジェクタ画像Ｐi１，Ｐi２による重複投影領域内において複数のプロジェクタ画像Ｐi１，Ｐi２間でピクセル座標が対応する点（以下、「対応点」という）の組を複数特定する。つまり、プロジェクタＰ１及びＰ２から出力される上記不規則な面上で重複投影範囲の各プロジェクタ画像Ｐi１，Ｐi２のピクセル座標と、カメラＣ１により撮像されたカメラ画像のピクセル座標とが対応する対応点を一組とする組が複数特定される。ここで、プロジェクタＰ１及びＰ２のそれぞれのピクセル座標と、カメラ画像のピクセル座標との対応関係は、例えば、プロジェクタ画像としてパターン画像を用いたGrayCodeパターン解析（例えば、特開2007-142495号公報に開示）により求めることができる。

制御部４は、このようなピクセル座標の対応関係に基づき、カメラ画像のピクセル座標を介して、プロジェクタＰ１のピクセル座標とプロジェクタＰ２のピクセル座標とが対応する対応点の組を複数特定する。例えば、図２（Ｂ）に示すプロジェクタ画像Ｐi１のピクセル座標（xp1, yp1）のピクセルと、図２（Ｃ）に示すプロジェクタ画像Ｐi２のピクセル座標（xp2, yp2）のピクセルとは、図２（Ａ）に示すカメラ画像Ｃiのピクセル座標（xc, yc）を介して対応する対応点の組を構成する。これは、プロジェクタＰ１のピクセル座標（xp1, yp1）のピクセルと、プロジェクタＰ２のピクセル座標（xp2, yp2）のピクセルとが投影面の重複投影領域上の同じ点に投影されていることを表す。本実施形態の輝度決定は、対応点ごとに行なわれるため、複雑な形状に合わせるためには、できるだけ限り多くの対応点（換言すると、密な対応点）を特定することが望ましい。なお、プロジェクタ画像Ｐi１のピクセル座標（xp1, yp1）は、プロジェクタ画像Ｐi１の中心を原点（0,0)とする座標である。また、プロジェクタ画像Ｐi２のピクセル座標（xp2, yp2）は、プロジェクタ画像Ｐi２の中心を原点（0,0)とする座標である。また、本実施形態では、１組は２つの対応点から構成される例と示しているが、これに限定されるものではない。例えばプロジェクタが３台以上設けられ、３台以上のプロジェクタの投影範囲が重複する場合、１組は３つ以上の対応点から構成されることになる。

制御部４は、上述したように特定された組内の各対応点に対し、各点が属するプロジェクタ画像の中心から端までにおける上記組内の各点の位置に基づいて、重み付け割合を組毎に決定する。ここで、各対応点の位置は、プロジェクタ画像のピクセル座標で表される。重み付け割合の決定にあたって、先ず、制御部４は、組内の各対応点の明るさの指標となる重み（重み値）を算出する。重みは、組内の各対応点の位置がプロジェクタ画像の中心に近いほど大きく、端へ行くほど小さくなるように決定される便宜上の値である。図２（Ｄ)は、プロジェクタ画像において重みを明るさで表しており、プロジェクタ画像の中心に近いほど明るく（重みが大きく）、端へ行くほど暗く（重みが小さく）なっている。ピクセル座標(x,y)の対応点の重みは、例えば、下記（１）式で算出される。

1-Max（|2x/(width-1)-1|, |2y/(height-1)-1|）・・・（１）

ここで、Max（a, b）は、a, bどちらか大きい方の値が選択されることを表す。|a|は、aの絶対値を表す。上記（１）式によれば、プロジェクタ画像の中心の重みが1、プロジェクタ画像の端の重みが0として算出され、プロジェクタ画像の中心に近い対応点ほど、組内の他の対応点より相対的に大きい重み（0≦重み≦1）が算出される。なお、対応点の重みは、上記（１）式以外の計算式で算出されてもよい。例えば、プロジェクタ画像の中心から対応点までの距離が短いほど大きい重みを算出する計算式が用いられてもよい。

次に、制御部４は、組内の各対応点の重みを、組内の対応点の重みの総和で割ることで、組内の各対応点の重み付け割合を組毎に決定する。これにより、制御部４は、組内の各点のうち、その位置がプロジェクタ画像の中心に近い対応点ほど、組内の他の対応点より相対的に大きい重み付け割合を決定する。例えば、プロジェクタ画像Ｐi１上の対応点（ピクセル座標（xp1, yp1）のピクセル）の重みが0.1であり、プロジェクタ画像Ｐi２上の対応点（ピクセル座標（xp2, yp2）のピクセル）の重みが0.4であるとする。この場合、プロジェクタ画像Ｐi１上の対応点の重み割合は0.2（＝0.1/(0.1+0.4)）として決定され、プロジェクタ画像Ｐi２上の対応点の重み割合は0.8（＝0.4/(0.1+0.4)）として決定される。つまり、決定された各重み割合を組内で合計すると1になる。

そして、制御部４は、決定された重み付け割合に基づいて、組内の各対応点の輝度（輝度値）を組毎に決定する。これにより、複数のプロジェクタにより画像が重複して投影される不規則な面において明るさの均一化を図ることができ、視認性を高めることができる。例えば、対応点の重み付け割合が、そのまま、その対応点の輝度値（≦1）として決定される。これにより、図３（Ａ），（Ｂ）に示すように、プロジェクタ画像Ｐi１とプロジェクタ画像Ｐi２との重複投影領域において、プロジェクタ画像Ｐi１，Ｐi２の端に近いほど暗く（輝度が小さく）、プロジェクタ画像Ｐi１，Ｐi２の中心に近いほど明るく（輝度が大きく）なっている。つまり、輝度がグラデーション状に連続的に変化している。そして、プロジェクタ画像Ｐi１とプロジェクタ画像Ｐi１とを重複投影領域で重ね合わせると、理想的には、図３（Ｃ）に示すように、重複投影領域以外の領域と同じようにグラデーションがなくなる。なお、図３（Ａ）、（Ｂ）では、便宜上、プロジェクタ画像Ｐi１，Ｐi２を長方形により示すが、これらのプロジェクト画像Ｐi１，Ｐi２を例えば図２（Ａ）に示す重複投影領域へ投影させるとき、プロジェクト画像Ｐi１，Ｐi２が投影される面に障害物Ｘのように不規則な面が存在すると、プロジェクト画像Ｐi１，Ｐi２は、長方形でなく、投影面の形状に応じて一部領域の画像が大きくなり歪な多角形の形状となる。

なお、プロジェクタの特性や設置された環境などの影響を考慮し、制御部４は、決定された輝度値に対してガンマ補正等の補正を行ってもよい。また、本実施形態のように不規則な平面に画像を投影すると、プロジェクタからの距離が場所によって異なる。この場合、距離によって明るさが異なるため、上述したように輝度値を決定しただけでは十分とは言えない場合がある。そこで、制御部４は、プロジェクタの投影範囲内の不規則な面の輝度値に基づいて、上記決定された輝度値を補正するとよい。或いは、制御部４は、プロジェクタの投影範囲内の不規則な面における複数の点までの距離に基づいて、上記決定された輝度値を補正するとよい。これにより、プロジェクタから不規則な面における各点までの距離が異なることに起因する明るさのムラを低減し、視認性をより一層高めることができる。これらの輝度補正の詳細は後述する。

なお、上述したGrayCodeパターン解析では、例えば、GrayCodeパターンの取得精度（測定誤差）や、プロジェクタの解像度に対してカメラ画像の解像度が充分でないなどの影響により、プロジェクタのピクセル座標の中には、カメラ画像のピクセル座標との対応関係が求まらず、その結果、他のプロジェクタとの間で対応点をとれない（つまり、組が特定されない）ピクセル座標も存在する場合がある。このような場合、制御部４は、複数のプロジェクタ画像間において組が特定されない点（ピクセル）の輝度値を、組が特定されない点の周囲に位置する点（ピクセル）の輝度値に基づいて決定するとよい。

［２．投影システムＳにおけるピクセル輝度決定処理の詳細］
次に、投影制御装置ＣＯにより行われるピクセル輝度決定処理の詳細について、実施例１〜実施例４に分けて説明する。なお、本実施形態において、ピクセル輝度決定処理が行われる前に、投影制御装置ＣＯによりあらかじめ重複投影領域が特定され、記憶部２に記憶されている。そして重複投影領域内について、ピクセル輝度決定処理が行われる。

（実施例１）
先ず、図４を参照して、実施例１におけるピクセル輝度決定処理について説明する。図４に示す処理は、例えば、オペレータによる操作部３の操作にしたがって開始される。図４に示す処理が開始されると、制御部４は、複数のプロジェクタのそれぞれのピクセル座標とカメラ画像のピクセル座標との対応関係を特定する（ステップＳ１）。例えば、図１（Ａ）の構成の場合、制御部４は、プロジェクタＰ１へ投影指令を与えることで、予め記憶されたパターン画像を投影範囲内の不規則な面に投影させる。

次いで、制御部４は、カメラＣへ撮像指令を与えることで、不規則な面に投影されたパターン画像を撮像させ、そのカメラ画像を取得する。次いで、制御部４は、例えばGrayCodeパターン解析により、上記パターン画像とカメラ画像とを解析して、プロジェクタＰ１のピクセル座標とカメラ画像のピクセル座標との対応関係を特定する。同様の方法で、制御部４は、プロジェクタＰ２のピクセル座標とカメラ画像のピクセル座標との対応関係を特定する。

ステップＳ１で対応関係が特定されると、制御部４は、図４に示すループ処理Ｌ１を、カメラ画像の全てのピクセル座標に対して行う。ステップＳ２では、制御部４は、ステップＳ１で特定された対応関係を参照して、カメラ画像のピクセル座標に対応するプロジェクタが１つであるか否かを判定する。ここで、カメラ画像のピクセル座標に対応するプロジェクタとは、カメラ画像のピクセル座標に対応するピクセル座標を有するプロジェクタを意味する。制御部４は、カメラ画像のピクセル座標に対応するプロジェクタが１つであると判定した場合（ステップＳ２：ＹＥＳ）、ステップＳ３へ進む。一方、制御部４は、カメラ画像のピクセル座標に対応するプロジェクタが１つでないと判定した場合（ステップＳ２：ＮＯ）、ステップＳ４へ進む。

ステップＳ３では、制御部４は、カメラ画像のピクセル座標に対応する、プロジェクタのピクセル座標のピクセルの輝度値を1に決定し、次のピクセル座標に対するループ処理Ｌ１へ進む。ステップＳ４では、制御部４は、ステップＳ１で特定された対応関係を参照して、カメラ画像のピクセル座標にプロジェクタが２つ以上あるか否かを判定する。制御部４は、カメラ画像のピクセル座標に対応するプロジェクタが２つ以上あると判定した場合（ステップＳ４：ＹＥＳ）、ステップＳ５へ進む。一方、制御部４は、カメラ画像のピクセル座標に対応するプロジェクタが２つ以上ないと判定した場合（ステップＳ４：ＮＯ）、次のピクセル座標に対するループ処理Ｌ１へ進む。

ステップＳ５では、制御部４は、カメラ画像のピクセル座標との対応関係から、複数のプロジェクタ間においてピクセル座標が対応する対応点の組（つまり、ピクセルの組）を特定する。次いで、制御部４は、ステップＳ５で特定された組内の各対応点の位置（つまり、プロジェクタ画像の中心から端までにおける位置）に基づいて、上述したように、組内の各対応点の重み付け割合を決定する（ステップＳ６）。次いで、制御部４は、ステップＳ６で決定された重み付け割合に基づいて、組内の各対応点の輝度値を決定する（ステップＳ７）。つまり、組内の各ピクセルの輝度値が決定される。ここで、例えば、明るさ半分（輝度値＝0.5）にした２台のプロジェクタから各対応点を重ね合わせて投影した時に、明るさ最大（輝度値＝1）のプロジェクタ１台のときと同じ明るさになるのであれば、ステップＳ７で決定された輝度値がそのまま輝度値として決定される。そうでない場合、制御部４は、ステップＳ７で決定された輝度値に対してガンマ補正等の補正を行うことで、各プロジェクタの対応点を重ね合わせて投影した時に調度良い輝度値を決定するとよい。ステップＳ７の処理が終了すると、次のピクセル座標に対するループ処理Ｌ１へ進む。

そして、カメラ画像の全てのピクセル座標に対して上記ループ処理Ｌ１が終了すると、制御部４は、上記ループ処理Ｌ１で輝度値が決定されなかった点（以下、「未決定点」という）の輝度値を補間する輝度補間処理を各プロジェクタに対して実行し（ステップＳ８）、処理を終了する。輝度補間処理では、先ず、制御部４は、ドロネー三角形分割などの三角形分割アルゴリズムを用いて、対応点を頂点とする三角形分割を行う。これにより、対応点から三角形の面が生成される（ポリゴン化）。未決定点は、生成された三角形のうちのいずれかの一つに含まれている。次に、制御部４は、未決定点が含まれる三角形の３頂点（つまり、未決定点の周囲に位置する対応点）の輝度値から未決定点の輝度値を決定する。これは、三角形の重心座標系から線形補間により求めることができる。例えば、制御部４は、３頂点とそれぞれと未決定点とを結ぶ３つの線により上記三角形を更に３つの小三角形に分割し、三角形の面積に対する各小三角形の面積の比率を算出する。そして、制御部４は、３頂点の輝度値に対して、それぞれに対応する小三角形の面積の比率を乗算して得た値の総和を未決定点の輝度値として決定する。これにより、対応する点の組が特定されない未決定点であっても適切な輝度を決定することができる。なお、三角形分割アルゴリズム以外の方法を用いて、未決定点の周囲に位置する対応点の輝度値から未決定点の輝度値を決定するように構成してもよい。

（実施例２）
次に、図５を参照して、実施例２におけるピクセル輝度決定処理について説明する。実施例２におけるピクセル輝度決定処理では、実施例１におけるピクセル輝度決定処理において、プロジェクタの投影範囲内の不規則な面の輝度値が利用される。図５に示すステップＳ１１は、図４に示すステップＳ１と同様である。

ステップＳ１２では、制御部４は、不規則な面の輝度値を決定する不規則面輝度決定処理を実行する。例えば、図１（Ａ）の構成の場合、不規則面輝度決定処理において、制御部４は、プロジェクタＰ１から投影範囲内の不規則な面に光が照射されているときに（点灯時）、カメラＣへ撮像指令を与えることで、光が照射されている投影範囲を撮像させ、そのカメラ画像（以下、「第１カメラ画像」という）を取得する。ここで、光が照射されているときとは、例えば、プロジェクタＰ１により例えば白色画像が投影されているときである。次いで、制御部４は、プロジェクタＰ２から投影範囲内の不規則な面に光が照射されていないときに（消灯時）、カメラＣへ撮像指令を与えることで、光が照射されていない投影範囲を撮像させ、そのカメラ画像（以下、「第２カメラ画像」という）を取得する。次いで、制御部４は、投影範囲内の不規則な面における複数の点について、第１カメラ画像と第２カメラ画像との差分に基づいて、各点（つまり、カメラ画像上の点）のそれぞれの輝度値を決定する。ここで、不規則な面における複数の点とは、カメラ画像上の点のうち、プロジェクタＰ１のピクセル座標との間で対応関係が特定されたピクセル座標の点（つまり、プロジェクタＰ１のピクセルに対応する点）である。同様の方法で、制御部４は、プロジェクタＰ２についても、点灯時と消灯時のそれぞれの第１カメラ画像及び第２カメラ画像を取得し、第１カメラ画像と第２カメラ画像との差分に基づいて、投影範囲内の不規則な面における複数の点のそれぞれの輝度値を決定する。

次いで、制御部４は、ステップＳ１２で決定された全ての輝度値（全てのプロジェクタのピクセルに対応する点の輝度値）のうちから最大値（以下、「最大輝度値」という）を特定する（ステップＳ１３）。次いで、制御部４は、ステップＳ１３で特定された最大輝度値が1になるように、ステップＳ１２で決定された全ての輝度値を正規化する（ステップＳ１４）。次いで、制御部４は、ステップＳ１４で正規化された各輝度値のうちから最小値（以下、「最小輝度値」という）を特定し、特定した最小輝度値を、変数minに代入する（ステップＳ１５）。次いで、制御部４は、ステップＳ１５で最小輝度値が代入されたminが1になるように、ステップＳ１４で正規化された各輝度値の大小関係を逆転させた値を、各プロジェクタのピクセルに対応する点の係数ｋ1として算出する（ステップＳ１６）。例えば、この係数ｋ1は下記（２）式で算出することができる。

係数ｋ1＝（1+min）−正規化された輝度値・・・（２）

ここで、minが0であるとすると、正規化された輝度値が最小輝度値（＝0）である場合、係数ｋ1は1となる。一方、正規化された輝度値が最大輝度値（＝1）である場合、係数ｋ1は0となる。つまり、ステップＳ１２で決定された輝度値が大きい点（明るい点）ほど、その係数ｋ1は小さくなる。

なお、ステップＳ１２〜Ｓ１６の処理は、全てのプロジェクタが同じ性能であることが前提であり、プロジェクタ毎の明るさ等が異なる場合は、これを考慮する必要がある。

次いで、制御部４は、図５に示すループ処理Ｌ１を、カメラ画像の全てのピクセル座標に対して行う。図５に示すステップＳ１７〜Ｓ２２の処理は、図４に示すステップＳ２〜Ｓ７の処理と同様である。ステップＳ１８またはステップＳ２２の処理後、ステップＳ２３へ移行する。ステップＳ２３では、制御部４は、ステップＳ１８またはステップＳ２２で決定された各ピクセルの輝度値に対して、それぞれのピクセルに対応する点の係数ｋ1を乗算することで、ステップＳ１８またはステップＳ２２で決定された各ピクセルの輝度値を補正する。これにより、プロジェクタから不規則な面における各点までの距離が異なることに起因する明るさのムラを低減し、視認性をより一層高めることができる。なお、図５に示すステップＳ２４の処理は、図４に示すステップＳ８の処理と同様である。

（実施例３）
次に、図６を参照して、実施例３におけるピクセル輝度決定処理について説明する。実施例３におけるピクセル輝度決定処理では、実施例１におけるピクセル輝度決定処理において、カメラＣのデプスセンサーにより撮像されたデプス画像が利用される。実施例３では、投影制御装置ＣＯから、カメラＣからカメラ画像とデプス画像とを取得する。なお、カメラ画像のピクセル座標と、デプス画像の３次元座標とは対応付けられている。図６に示すステップＳ３１は、図４に示すステップＳ１と同様である。

ステップＳ３２では、制御部４は、複数のプロジェクタのそれぞれのピクセル座標とデプス画像の３次元座標との対応関係を特定する。プロジェクタのピクセル座標とデプス画像の３次元座標との対応関係は、プロジェクタのピクセル座標とカメラ画像のピクセル座標との対応関係と、デプス画像の３次元座標とカメラ画像のピクセル座標との対応関係から求めることができる。なお、プロジェクタのピクセル座標のうち、カメラ画像のピクセル座標との対応関係が定まらないピクセル座標は、デプス画像の３次元座標との対応関係も定まらないことになる。

次いで、制御部４は、デプス画像の３次元座標の点の集合から、カメラＣによる撮像範囲内の３次元空間における平面を推定する（ステップＳ３３）。推定される平面（以下、「推定平面」という）は、原点(0,0,0）からの距離と法線ベクトルにより定義され、推定平面の式は、公知の下記（３）式で表すことができる。

ax＋by＋cz＋d＝０・・・（３）

ここで、推定平面の法線ベクトルは（a,b,c)となる。３次元座標（x，y，z）の各点との２乗距離が最小となる平面の係数a,b,c,dが求めることで推定平面が定まる。例えば、壁面Ｗ１に対応する平面、壁面Ｗ１に対応する平面、障害物に対応する平面など、複数の推定平面が上記（３）式により定まる。

次いで、制御部４は、推定平面の式に基づいて、デプス画像の３次元座標の点のうち、いずれの推定平面に属さない点を推定平面に属するように補正する（ステップＳ３４）。この補正では、例えば、推定平面に属さない点と最も近い推定平面との間の垂線に沿って、推定平面に属さない点の３次元座標がその推定平面上の３次元座標に座標変換される。

次いで、制御部４は、図６に示すループ処理Ｌ０を、推定平面と、プロジェクタとの全ての組合せに対して行う。ステップＳ３５では、制御部４は、推定平面に属する点の３次元座標から、プロジェクタのピクセル座標へ射影変換するホモグラフィ行列を算出する。ホモグラフィ行列は、３×３行列であり、２つの平面間の射影変換を行うことができる。図７の例では、推定平面Ｆ１からプロジェクタＰ１の平面へ射影変換するホモグラフィ行列Ｈ１、推定平面Ｆ２からプロジェクタＰ１の平面へ射影変換するホモグラフィ行列Ｈ２、推定平面Ｆ１からプロジェクタＰ２の平面へ射影変換するホモグラフィ行列Ｈ３、及び推定平面Ｆ２からプロジェクタＰ２の平面へ射影変換するホモグラフィ行列Ｈ４が算出される。ここで、プロジェクタの平面とは、プロジェクタから出力されるプロジェクタ画像の平面である。

次いで、制御部４は、ステップＳ３５で算出されたホモグラフィ行列に基づいて、デプス画像の３次元座標とプロジェクタのピクセル座標との対応関係を補完（補正）する（ステップＳ３６）。例えば、ある推定平面Ｆ１の属する点の３次元座標がプロジェクタＰ１のピクセル座標に対応していない場合（つまり、対応関係が定まっていない場合）、その推定平面Ｆ１に属する点の３次元座標からプロジェクタＰ１のピクセル座標へ射影変換するホモグラフィ行列Ｈ１により、プロジェクタＰ１のピクセル座標を求めることができる。これにより、その推定平面Ｆ１に属する点の３次元座標とプロジェクタＰ１のピクセル座標との対応関係を補完することができる。また、この場合において、仮に、推定平面Ｆ１の属する点のピクセル座標がプロジェクタＰ２のピクセル座標に対応している場合、上記３次元座標とプロジェクタＰ１のピクセル座標との対応関係の補完により、プロジェクタＰ１とプロジェクタＰ２間においてピクセル座標が対応する対応点を補完することができる。つまり、複数のプロジェクタ間においてピクセル座標が対応する点の組を増やすことができる。また、推定平面Ｆ１の属する点の３次元座標がプロジェクタＰ１のピクセル座標に対応している場合であっても、その推定平面Ｆ１に属する点の３次元座標からプロジェクタＰ１のピクセル座標へ射影変換するホモグラフィ行列Ｈ１により、プロジェクタＰ１のピクセル座標を求めてもよい。この場合、ステップＳ３２で特定された対応関係において３次元座標と対応するプロジェクタＰ１のピクセル座標を、ホモグラフィ行列Ｈ１により求められたプロジェクタＰ１のピクセル座標に補正することができる。

次いで、制御部４は、図６に示すループ処理Ｌ１を、カメラ画像の全てのピクセル座標に対して行う。図６に示すステップＳ３７〜Ｓ４３の処理は、図４に示すステップＳ２〜Ｓ８の処理と同様である。また、図６に示すステップＳ３７〜Ｓ４３の処理に代えて、図５に示すステップＳ１７〜Ｓ２４の処理が行われてもよい。

（実施例４）
次に、図８を参照して、実施例４におけるピクセル輝度決定処理について説明する。実施例４におけるピクセル輝度決定処理では、実施例１におけるピクセル輝度決定処理において、カメラＣのデプスセンサーにより撮像されたデプス画像と、プロジェクタの投影範囲内の不規則な面における複数の点までの距離が利用される。図８に示すステップＳ５１〜Ｓ５６の処理は、図６に示すステップＳ３１〜Ｓ３６の処理と同様である。なお、図８に示すステップＳ５３〜Ｓ５６の処理は行われなくてもよい。この場合、ステップＳ５２の処理が行われると、ステップＳ５７の処理に移行される。

ステップＳ５７では、制御部４は、３次元空間における各プロジェクタの位置（以下、「プロジェクタ位置」という）を特定する。プロジェクタ位置は、事前に測定して入力してもよいが推定してもよい。例えば、各プロジェクタをカメラとみなすと、プロジェクタから見える画像は、ステップＳ５１で特定された対応関係における各プロジェクタのピクセル座標から求めることができる。そして、プロジェクタ位置は、デプス画像の３次元座標と、プロジェクタから見える画像のピクセル座標との対応関係から、公知のPnP（Perspective-n-Pont Problem）問題を解くことで求めることができる。

次いで、制御部４は、各プロジェクタ位置から、デプス画像の３次元座標の各点（つまり、投影範囲内の不規則な面における複数の点）までの距離（以下、「プロジェクタ距離」という）を算出する（ステップＳ５８）。次いで、制御部４は、各プロジェクタ距離のうちから最大値（以下、「最大距離」という）を特定する（ステップＳ５９）。次いで、制御部４は、各プロジェクタ距離と最大距離とから、各プロジェクタのピクセルに対応する点の係数ｋ2を算出する（ステップＳ６０）。例えば、この係数ｋ2は下記（４）式で算出することができる。

係数ｋ2＝プロジェクタ距離^２／最大距離^２・・・（４）

なお、ステップＳ５７〜Ｓ５９の処理は、全てのプロジェクタが同じ性能であることが前提であり、プロジェクタ毎の明るさ等が異なる場合は、これを考慮する必要がある。

次いで、制御部４は、図８に示すループ処理Ｌ１を、デプス画像の全ての３次元座標に対して行う。ステップＳ６１では、制御部４は、デプス画像の３次元座標に対応するプロジェクタが１つであるか否かを判定する。制御部４は、デプス画像の３次元座標に対応するプロジェクタが１つであると判定した場合（ステップＳ６１：ＹＥＳ）、ステップＳ６２へ進む。一方、制御部４は、デプス画像の３次元座標に対応するプロジェクタが１つでないと判定した場合（ステップＳ６１：ＮＯ）、ステップＳ６３へ進む。

ステップＳ６２では、制御部４は、デプス画像の３次元座標に対応する、プロジェクタのピクセル座標のピクセルの輝度値を１に決定し、ステップＳ６７へ進む。ステップＳ６３では、制御部４は、デプス画像の３次元座標にプロジェクタが２つ以上あるか否かを判定する。制御部４は、デプス画像の３次元座標に対応するプロジェクタが２つ以上あると判定した場合（ステップＳ６３：ＹＥＳ）、ステップＳ６４へ進む。一方、制御部４は、デプス画像の３次元座標に対応するプロジェクタが２つ以上ないと判定した場合（ステップＳ６３：ＮＯ）、次のピクセル座標に対するループ処理Ｌ１へ進む。

ステップＳ６４では、制御部４は、デプス画像の３次元座標との対応関係から、複数のプロジェクタ間においてピクセル座標が対応する対応点の組を特定する。次いで、制御部４は、ステップＳ６４で特定された組内の各対応点の位置に基づいて、上述したように、組内の各対応点の重み付け割合を決定する（ステップＳ６５）。次いで、制御部４は、ステップＳ６５で決定された重み付け割合に基づいて、組内の各対応点の輝度値を決定し（ステップＳ６６）、ステップＳ６７へ進む。

ステップＳ６７では、制御部４は、ステップＳ６２またはステップＳ６６で決定された各ピクセルの輝度値に対して、それぞれのピクセルに対応する点の係数ｋ2を乗算することで、ステップＳ６２またはステップＳ６６で決定された各ピクセルの輝度値を補正する。つまり、光は距離の２乗に反比例するので、プロジェクタ距離^２に基づく係数ｋ2が輝度値に乗算される。プロジェクタから不規則な面における各点までの距離が異なることに起因する明るさのムラを低減し、視認性をより一層高めることができる。なお、図８に示すステップＳ６８の処理は、図４に示すステップＳ８の処理と同様である。

以上説明したように、上記実施形態によれば、投影制御装置ＣＯは、複数のプロジェクタから出力される上記不規則な面上で重複投影範囲の各プロジェクタ画像のピクセル座標とカメラにより撮像されたカメラ画像のピクセル座標とが対応する対応点を一組とする組を複数特定する。そして、投影制御装置ＣＯは、特定された組内の各対応点に対し、プロジェクタ画像の中心から端までにおける上記組内の各点の位置に基づいて重み付け割合を組毎に決定し、決定された重み付け割合に基づいて組内の各点の輝度を前記組毎に決定するように構成したので、不規則な面に投影された画像中に存在する複数の点を同じ明るさにする輝度の調整をすることが可能となり、複数のプロジェクタにより画像が重複して投影される不規則な面において視認性を高めることができる。

Ｃ カメラ
Ｐ１，Ｐ２ プロジェクタ
ＣＯ 投影制御装置
Ｓ 投影システム

Claims (8)

1. 不規則な面に投影される画像の投影範囲が互いに重複するように配置される複数のプロジェクタと、少なくとも前記投影範囲を撮像するカメラとを備える投影システムにおける投影制御装置であって、
   前記複数のプロジェクタから出力される前記面上で重複投影範囲の各プロジェクタ画像のピクセル座標と前記カメラにより撮像されたカメラ画像のピクセル座標とが対応する対応点を一組とする組を複数特定する特定手段と、
   前記特定手段により特定された組内の各点に対し、前記プロジェクタ画像の中心から端までにおける前記組内の各点の位置に基づいて、重み付け割合を前記組毎に決定する第１決定手段と、
   前記第１決定手段により決定された重み付け割合に基づいて、前記組内の各点の輝度を前記組毎に決定する第２決定手段と、
   を備えることを特徴とする投影制御装置。
2. 前記第１決定手段は、前記組内の各点のうち、前記位置が前記プロジェクタ画像の中心に近い前記点ほど、前記組内の他の点より相対的に大きい前記重み付け割合を決定することを特徴とする請求項１に記載の投影制御装置。
3. 複数の前記プロジェクタ画像間において前記特定手段により前記組が特定されない点の輝度を、前記組が特定されない点の周囲に位置する点の輝度であって前記第２決定手段により決定された輝度に基づいて決定する第３決定手段を更に備えることを特徴とする請求項１または２に記載の投影制御装置。
4. 前記投影範囲内の前記不規則な面における複数の点について、前記プロジェクタから前記投影範囲内の前記不規則な面に光が照射されているときに前記カメラにより前記投影範囲が撮影されたカメラ画像と、前記プロジェクタから前記投影範囲内の前記不規則な面に光が照射されていないときに前記カメラにより前記投影範囲が撮影されたカメラ画像との差分に基づいて、各点のそれぞれの輝度を決定する第４決定手段と、
   前記第４決定手段により決定された輝度に基づいて、前記第２決定手段により決定された輝度を補正する補正手段と、
   を更に備えることを特徴とする請求項１乃至３の何れか一項に記載の投影制御装置。
5. 前記プロジェクタから、前記投影範囲内の前記不規則な面における複数の点までの距離をそれぞれ決定する第５決定手段と、
   前記第５決定手段により決定された距離に基づいて、前記第２決定手段により決定された輝度を補正する補正手段と、
   を更に備えることを特徴とする請求項１乃至３の何れか一項に記載の投影制御装置。
6. 前記カメラは、前記不規則な面までの深度情報を含むデプス画像を撮像し、
   前記投影制御装置は、
   前記カメラにより撮像されたデプス画像の３次元座標の点の集合から、前記カメラによる撮像範囲内の３次元空間における平面を推定する推定手段と、
   前記推定手段により推定された平面に属する点の３次元座標から、前記プロジェクタ画像のピクセル座標へ射影変換するホモグラフィ行列を算出する算出手段と、
   前記算出手段により算出されたホモグラフィ行列に基づいて、複数の前記プロジェクタ画像間において前記ピクセル座標が対応する点を補完する補完手段と、
   を備えることを特徴とする請求項１乃至５の何れか一項に記載の投影制御装置。
7. 不規則な面に投影される画像の投影範囲が互いに重複するように配置される複数のプロジェクタと、少なくとも前記投影範囲を撮像するカメラとを備える投影システムにおけるコンピュータに、
   前記複数のプロジェクタから出力される前記面上で重複投影範囲の各プロジェクタ画像のピクセル座標と前記カメラにより撮像されたカメラ画像のピクセル座標とが対応する対応点を一組とする組を複数特定するステップと、
   前記組内の各点に対し、前記プロジェクタ画像の中心から端までにおける前記組内の各点の位置に基づいて、重み付け割合を前記組毎に決定するステップと、
   前記組内の各点の重み付け割合に基づいて、前記組内の各点の輝度を前記組毎に決定するステップと、
   を実行させることを特徴とするプログラム。
8. 不規則な面に投影される画像の投影範囲が互いに重複するように配置される複数のプロジェクタと、少なくとも前記投影範囲を撮像するカメラとを備える投影システムであって、
   前記複数のプロジェクタから出力される前記面上で重複投影範囲の各プロジェクタ画像のピクセル座標と前記カメラにより撮像されたカメラ画像のピクセル座標とが対応する対応点を一組とする組を複数特定する特定手段と、
   前記特定手段により特定された組内の各点に対し、前記プロジェクタ画像の中心から端までにおける前記組内の各点の位置に基づいて、重み付け割合を前記組毎に決定する第１決定手段と、
   前記第１決定手段により決定された重み付け割合に基づいて、前記組内の各点の輝度を前記組毎に決定する第２決定手段と、
   を備えることを特徴とする投影システム。