JP2016012889A - 画像投写システム - Google Patents

Abstract

【課題】スクリーン１のスクリーン面と３Ｄカメラ４０との間に人物などの介在物を介在させた状態で投写条件を補正することによる投写画像の品質低下を抑えることができる画像投写システムを提供する。
【解決手段】画像投写システムにおいて、３台のプロジェクター（１０、２０、３０）における少なくとも何れか１台と、スクリーン１との間に介在する人物などの介在物を検知する３Ｄカメラ４０と、これによる検知結果に基づいて、３Ｄカメラ４０による撮像結果を補正する制御装置５０とを設け、且つ、３Ｄカメラ４０によって介在物が検知された場合に、補正した撮像結果に基づいて投写条件を補正する処理を実施するように、制御装置５０を構成した。
【選択図】図１

Description

本発明は、画像投写手段によって投写された基準画像を撮像した結果に基づいて、画像投写手段における投写画像の位置、大きさ、台形歪み補正量などの投写条件を補正する画像投写システムに関するものである。

従来、この種の画像投写システムとして、特許文献１に記載のものが知られている。この画像投写システムは、画像投写手段としてのプロジェクターにより、所定の基準画像をスクリーン面などの投写面に投写する。そして、投写面上の基準画像をＣＣＤカメラ等からなる撮像手段によって撮像して得た画像情報に基づいて、投写面における基準画像の位置、投写面における基準画像の大きさ、投写面における基準画像の台形歪み量などを把握する。そして、把握結果に基づいて、投写面における投写画像の位置、大きさ、台形歪み補正量などの投写条件を補正する。この補正により、投写面において、画像を所望の位置に投写したり、所望の大きさで投写したり、台形歪みのない形状で投写したりすることができる。

しかしながら、投写面に投写した基準画像を撮像手段によって撮像する際に、投写面と撮像手段との間に、観客などの介在物が介在して、基準画像の一部が投写面よりも手前の介在物の表面に写し出されることがある。介在物上に写し出された画像部分は、投写面と介在物との投写距離差に起因して、投写面の面方向において本来とは異なった位置に投写されていたり、本来とは異なった大きさに投写されていたりしている可能性がある。また、介在物の表面が平面ではなく複雑な立体形状になっている場合には、その立体形状に起因して、介在物上に写し出された画像部分が本来とは異なった形状になっている可能性もある。にもかかわらず、それらの画像部分の位置、大きさ、形状に基づいて、基準画像の投写位置、大きさ、台形歪み補正量などの投写条件の補正量を決定すると、それらの補正量が適正値からずれて投写画像の品質を低下させてしまうおそれがある。

本発明は、以上の背景に鑑みてなされたものであり、その目的とするところは、投写面と撮像手段との間に介在物を介在させた状態で投写条件を補正することによる投写画像の品質低下を抑えることができる画像投写システムを提供することである。

上記目的を達成するために、本発明は、投写面に画像を投写する画像投写手段と、前記投写面を撮像する撮像手段と、前記画像投写手段によって前記投写面に投写された基準画像を前記撮像手段によって撮像した結果に基づいて、画像投写手段の投写条件を補正する投写条件補正手段とを備える画像投写システムにおいて、前記画像投写手段と前記投写面との間に介在する介在物を検知する介在物検知手段と、前記介在物検知手段による検知結果に基づいて、前記撮像手段による撮像結果を補正する撮像結果補正手段とを設け、且つ、前記介在物検知手段によって前記介在物が検知された場合に、前記撮像結果補正手段によって補正された前記撮像結果に基づいて前記投写条件を補正する処理を実施するように、前記投写条件補正手段を構成したことを特徴とするものである。

本発明によれば、投写面と撮像手段との間に介在物を介在させた状態で投写条件を補正することによる投写画像の品質低下を抑えることができるという優れた効果がある。

実施形態に係る画像投影システムの要部構成を示す平面模式図。 同画像投写システムの３つのプロジェクターによってスクリーン面にそれぞれ投射された３つの光スポットを示す正面図。 同画像投写システムの第１プロジェクターによってスクリーン面に投写された基準静止画について、投写条件補正前の状態を示す正面図。 同第１プロジェクターによってスクリーン面に投写された基準静止画について、投写条件補正後の状態を示す正面図。 同画像投写システムの第２プロジェクターによってスクリーン面に投写された基準静止画について、投写条件補正前の状態を示す正面図。 同第２プロジェクターによってスクリーン面に投写された基準静止画について、投写条件補正後の状態を示す正面図。 同画像投写システムの第３プロジェクターによってスクリーン面に投写された基準静止画について、投写条件補正前の状態を示す正面図。 同第３プロジェクターによってスクリーン面に投写された基準静止画について、投写条件補正後の状態を示す正面図。 観客が介在物となっている状態の画像投写システムを示す平面模式図。 同画像投写システムの３Ｄカメラを用いた距離測定方法の一つであるＴＯＦ法を説明するための平面模式図。 投写条件補正処理において同第２プロジェクターによってスクリーン面に投写された基準静止画を示す正面図。 補正後の同基準静止画を示す正面図。 同画像投写システムの制御装置によって実施される投写条件補正処理における処理フローを示すフローチャート。 変形例に係る画像投影システムの要部構成を示す平面模式図。 同制御装置によって構築された合成画像を示す正面図。

以下、本発明を適用した画像投影システムの一実施形態について説明する。
図１は、実施形態に係る画像投影システムの要部構成を示す平面模式図である。画像投影システムは、画像投影手段として、周知の技術によって画像を投影する第１プロジェクター１０、第２プロジェクター２０、及び第３プロジェクター３０の３台を備えている。なお、プロジェクターの台数は、３台に限定されるものではない。１台、２台、あるいは４台以上であってもよい。

実施形態に係る画像投影システムは、３台のプロジェクターの他に、撮像手段としての３Ｄカメラ４０や、パーソナルコンピューター等からなる制御装置５０なども備えている。制御装置５０内は、ＣＰＵ（Central Processing Unit）、制御プログラムを記憶するＲＯＭ（Read-Only Memory）、データを一時的に記憶するＲＡＭ（Random Access Memory）、不揮発性のフラッシュメモリ、ハードディスク等を有している。そして、記憶手段としてのＲＯＭに、第１プロジェクター１０、第２プロジェクター２０、第３プロジェクター３０に対してそれぞれ個別に投写させるための基準画像としての基準静止画の画像情報（以下、基準静止画データという）を記憶している。また、スクリーン１のスクリーン面に投写させる動画の画像情報（以下、動画データという）を記憶手段としてのハードディスクに記憶している。そして、その動画データに基づいて、動画の全域のうち、互いに異なる領域だけを再現する３つの部分動画（部分画像）の画像情報（以下、部分動画データという）を生成する。そして、それら３つの部分動画データのうち、第１部分動画データを第１プロジェクター１０に出力する。また、第２部分動画データを第２プロジェクター２０に出力する。また、第３部分動画データを第３プロジェクター３０に出力する。

第１部分動画データを受信した第１プロジェクター１０は、オリジナルの動画における全域のうち、画面左右方向における左側端部だけを再現する第１部分動画を、スクリーン１のスクリーン面の左右方向における左側に投写する。また、第２部分動画データを受信した第２プロジェクター２０は、オリジナルの動画における全域のうち、画面左右方向における中央部だけを再現する第２部分動画を、スクリーン１のスクリーン面の左右方向における中央部に投写する。また、第３部分動画データを受信した第３プロジェクター３０は、オリジナルの動画における全域のうち、画面左右方向における右側端部だけを再現する第３部分動画を、スクリーン１のスクリーン面の左右方向における右側に投写する。

スクリーン１のスクリーン面の左右方向において、第１プロジェクター１０によって投写される第１部分動画の右側端部と、第２プロジェクター２０によって投写される第２部分動画の左側端部とは、互いに重なり合う。それら右側端部と左側端部とは、互いに同じ画像であることから、重なり合っている領域でもオリジナルの動画と変わらない動画部分が再現される。また、第２プロジェクター２０によって投写される第２部分動画の右側端部と、第３プロジェクター３０によって投写される第３部分動画の左側端部とが重なり合っている領域においても、同様の理由により、オリジナルの動画と変わらない動画部分が再現される。以下、前述のように重なり合っている領域を重複領域という。

第１部分動画の右端を第２部分動画の左端にピタリと一致させるようにそれぞれの部分動画の位置を微調整することは困難である。一致しない場合には、それら２つの部分動画の間に、非常に目立つ空白を発生させて、動画の画質を著しく悪化させるおそれがある。第２部分動画と第３部分動画との間にも、同様の空白を発生させて動画の画質を著しく悪化させるおそれがある。そこで、それぞれの動画部分に重複領域を設け、重複領域では互いに同じ部分動画を再現するようになっている。

本画像投写システムでは、このように、スクリーン面における互いに異なる領域に対してそれぞれ部分動画を個別に投写し、それら部分動画の組み合わせによって組画像たるオリジナルの動画を再現するマルチプロジェクション方式を採用している。なお、マルチプロジェクション方式ではなく、１つのプロジェクターだけによって動画を投写する方式においても、本発明の適用が可能である。

このようなマルチプロジェクション方式によってオリジナルの動画をスクリーン面に投写するためには、まず、３つのプロジェクターがそれぞれ適切な位置に設置される必要がる。その設置作業は、ユーザーによってなされる。設置作業が終了した後、オリジナルの動画を正しくスクリーン面に投写するためには、後述する初期設定処理、及び投射条件補正処理を実施する必要がある。それらの処理は、投写条件補正手段としての制御装置５０によって行われる。なお、３Ｄカメラ４０は、スクリーン１に投写される動画などの画像を撮影した結果を画像情報として制御装置５０に出力するものである。

制御装置５０は、ユーザーから初期設定開始命令を受けると、初期設定処理を開始する。そして、３台のプロジェクターのそれぞれに対し、画像を含まない光だけをスクリーン１に向けて投射させる。これにより、図２に示されるように、スクリーン１には、第１プロジェクター１０による第１光スポット１１、第２プロジェクター２０による第２光スポット２１、第３プロジェクター３０による第３光スポット３１が投射される。ユーザーは、３Ｄカメラ４０による撮像領域４１が、図示のように、スクリーン面における３つの光スポットを含む範囲になるように、３Ｄカメラ４０を予め設置している。なお、スクリーン１の図示しない外縁は、撮像領域４１よりも外側に位置している。

同図において、第１光スポット１１は、比較的大きな台形歪みを生じていることから、台形状の形状になっている。図示のように、第１光スポット１１の右端の高さ寸法が、左端の高さ寸法よりもかなり大きくなっている。これは、第１プロジェクター１０がスクリーン面に直交する方向に対し、水平方向に沿ってある程度斜めに設置されているからである。このような場合には、台形歪み補正を行わせて、台形状の第１光スポット１１内で画像を矩形上に投写できるようにする必要がある。第２光スポット２１や第３光スポット３１においては、目立った台形歪みは発生していない。なお、台形歪み補正については、後述する。

制御部５０は、次に、３Ｄカメラ４０に対して撮像命令を発して、スクリーン面における第１光スポット１１、第２光スポット２１、及び第３光スポット３１を撮像させ、その撮像によって得られた画像情報を３Ｄカメラから受信する。そして、その画像情報に基づいて、スクリーン面の左右方向における第１光スポット１１の左端から第３光スポット３１の右端までの領域である投射横領域Ａ１と、スクリーン面の上下方向における最小投射縦領域Ａ２とを特定する。更に、投射横領域Ａ１と最小投射縦領域Ａ２とで囲まれる領域を、画像投写領域６１として設定して初期設定処理を終了する。

次に、制御部５０は、制御部５０のハードディスクに記憶している動画データに基づく投写動画を、画像投写領域６１と同じ位置及び同じ大きさでスクリーン面に投写できるようにするために、投写条件補正処理を実施する。まず、図３に示されるように、ＲＯＭに記憶している基準静止画データに基づく基準静止画９０を、第１プロジェクター１０によってスクリーン面に投写させる。そして、その基準静止画９０を３Ｄカメラ４０に撮像させて、得られた画像情報を３Ｄカメラから受信する。その画像情報と、先に設定した画像投写領域６１とに基づいて、第１位置補正量、第１大きさ補正量、及び第１台形歪み補正量を求める。

具体的には、まず、スクリーン面のｘ−ｙ座標（ｘ＝横方向の座標，ｙ＝縦方向の座標）における基準静止画９０の左上端の原点Ｐ１と、画像投写領域６１の第１原点Ｐａとのずれ量を求める。このずれ量に基づいて、原点Ｐ１を第１原点Ｐａまで移動させるための画像の第１位置補正量を求める。また、基準静止画９０の左辺長さＬ１と、画像投写領域６１の縦長さＬａとの差分に基づいて、左辺長さＬ１を縦長さＬａと同じ寸法にするための第１大きさ補正量を求める。また、基準静止画９０の左辺長さＬ１と、基準静止画９０の右辺長さＬ２との差分に基づいて、右辺長さＬ２を左辺長さＬ１と同じ寸法にするための第１台形歪み補正量を求める。そして、それら３つの補正量のデータをフラッシュメモリに記憶する。

次に、制御装置５０は、第１位置補正量、第１大きさ補正量、及び第１台形歪み補正量に基づいて、オリジナルの基準静止画データを補正し、補正後の基準静止画データを第１プロジェクター１０に出力する。これにより、補正後の基準静止画９０を第１プロジェクター１０によってスクリーン面に投写させる。その後、同様の手順により、第１位置補正量、第１大きさ補正量、及び第１台形歪み補正量を求める。図４に示されるように、補正後の基準静止画９０が、目標位置に目標の大きさ且つ目標の形状で投写されている場合には、それら３つの補正量が何れも所定の閾値未満になる。この場合、制御装置５０は、第１プロジェクター１０についての投写条件の補正を終了して、第２プロジェクター２０についての投写条件の補正を開始する。これに対し、何れかの補正量が所定の閾値以上になった場合には、直前に求めた第１位置補正量、第１大きさ補正量、第１台形歪み補正量の加算により、フラッシュメモリ内の第１位置補正量、第２大きさ補正量、第１台形歪み補正量のデータを更新する。その後、更新後の第１位置補正量、第１大きさ補正量、第１台形歪み補正量に基づいて、オリジナルの基準静止画データを補正し、補正後の基準静止画データを第１プロジェクター１０に出力する。以降、新たに求める第１位置補正量、第１大きさ補正量、及び第１台形歪み補正量が何れも閾値未満になるまで、同様の手順を繰り返す。

制御装置５０は、第２プロジェクター２０についての投写条件の補正を開始すると、図５に示されるように、ＲＯＭに記憶している基準静止画データに基づいて、オリジナルの基準静止画９０を、第２プロジェクター２０によってスクリーン面に投写させる。そして、その基準静止画９０を３Ｄカメラ４０に撮像させて、得られた画像情報を３Ｄカメラから受信する。その画像情報と、画像投写領域６１とに基づいて、第１プロジェクター１０の場合と同様の手順により、第２位置補正量、第２大きさ補正量、及び第２台形歪み補正量を求める。なお、第２位置補正量については、基準静止画９０の原点Ｐ１と、画像投写領域６１の上辺の左右方向における所定位置に設定された図示しない第２原点とのずれ量に基づいて求める。第１プロジェクター１０の場合と同様に、第２位置補正量、第２大きさ補正量、及び第２台形歪み補正量が何れも閾値未満になるまで、それら補正量の算出及び更新を繰り返す。これにより、図６に示されるように、第２光スポット２１内で、補正後の基準静止画９０を、目標位置に目標の大きさ且つ目標の形状で投写されるようにする。

その後、制御装置５０は、第３プロジェクター３０についての投写条件の補正を開始する。そして、図７に示されるように、ＲＯＭに記憶している基準静止画データに基づいて、オリジナルの基準静止画９０を、第３プロジェクター３０によってスクリーン面に投写させる。そして、その基準静止画９０を３Ｄカメラ４０に撮像させて、得られた画像情報を３Ｄカメラから受信する。その画像情報と、画像投写領域６１とに基づいて、第１プロジェクター１０の場合と同様の手順により、第３位置補正量、第３大きさ補正量、及び第３台形歪み補正量を求める。なお、第３位置補正量については、基準静止画９０の原点Ｐ１と、画像投写領域６１の上辺の左右方向における所定位置に設定された図示しない第３原点とのずれ量に基づいて求める。第１プロジェクター１０の場合と同様に、第３位置補正量、第３大きさ補正量、及び第３台形歪み補正量が何れも閾値未満になるまで、それら補正量の算出及び更新を繰り返す。これにより、図８に示されるように、第３光スポット３１内で、補正後の基準静止画９０を、目標位置に目標の大きさ且つ目標の形状で投写されるようにする。

このようにして投写条件補正処理を終えた制御装置５０は、ユーザーによって動画の再生命令がなされると、再生処理を実施する。再生処理では、まず、ハードディスク内に記憶している動画データに基づいて、動画の画面上における左側端部だけを切り取った第１部分動画のデータである第１部分動画データを構築する。また、動画の画面上における中央部だけを切り取った第２部分動画のデータである第２部分動画データや、動画の画面上における右側端部だけを切り取った第３部分動画のデータである第３部分動画データを構築する。

その後、フラッシュメモリ内に記憶している第１位置補正量、第１大きさ補正量、及び第１台形歪み補正量に基づいて、第１部分動画データを補正する。また、フラッシュメモリ内に記憶している第２位置補正量、第２大きさ補正量、及び第２台形歪み補正量に基づいて、第２部分動画データを補正する。更に、フラッシュメモリ内に記憶している第３位置補正量、第３大きさ補正量、及び第３台形歪み補正量に基づいて、第３部分動画データを補正する。そして、所定のタイミングで、第１プロジェクター１０に対する補正後の第１部分動画データの転送を開始する。同時に、第２プロジェクター２０に対する補正後の第２部分画像データの転送や、第３プロジェクター３０に対する補正後の第３部分画像データの転送も開始する。これにより、３つの部分動画の組み合わせによる組画像たるオリジナルの動画を、スクリーン１上に投写する。

なお、動画の画像情報の補正により、投写画像の位置、大きさ、及び台形歪みを補正する例について説明したが、物理的な手段を用いてそれらの補正を行ってもよい。例えば、投写レンズ群の位置を光軸と直交する方向に移動可能に各プロジェクターを構成し、各プロジェクターのそれぞれに対して、位置補正量に応じた位置に投写レンズ群を移動させる処理を実行させることで、投写画像の位置を補正してもよい。また、投写倍率を変更可能に各プロジェクターを構成し、各プロジェクターのそれぞれに対して、大きさ補正量に応じた投写倍率に調整する処理を実行させることで、投写画像の大きさを補正してもよい。また、駆動機構によって傾きを自動修正できるよう各プロジェクターを構成し、各プロジェクターのそれぞれに対して、台形歪み量に応じた分だけ傾きを自動修正させることで、投写画像の台形歪みを補正してもよい。

次に、実施形態に係る画像投写システムにおける特徴的な構成について説明する。
図９は、観客９５が介在物となっている状態の画像投写システムを示す平面模式図である。同図に示されるように、３台のプロジェクターにおける少なくとも１台と、スクリーン１との間には、介在物としての観客９５が介在する場合がある。同図では、第２プロジェクター２０によって投写される第２部分動画の一部や、第３プロジェクター３０によって投写される第３部分動画の一部を、自らの表面に写してしまう位置に観客９５が立っている例を示している。

上述した投写条件補正処理の内容については、３台のプロジェクターにおける少なくとも何れか１台と、スクリーン１のスクリーン面との間に、観客９５などの介在物が介在していなかったことを前提に説明していた。制御装置５０は、投写条件補正処理において、観客などの介在物が介在して基準静止画９０の一部が介在物の表面に写し出されている場合には、上述した内容とは異なる処理を実施する。

この画像投写システムでは、３Ｄカメラ４０及び制御装置５０の組み合わせが、プロジェクターとスクリーン面との間に介在して基準静止画９０の一部を自らの表面に写している介在物を検知する介在物検知手段として機能している。制御装置５０は、介在物の有無の他に、介在物の形状や、介在物のスクリーン面方向における位置を検知することができる。

図１０は、３Ｄカメラ４０を用いた距離測定方法の一つであるＴＯＦ法を説明するための平面模式図である。同図において、３Ｄカメラ４０と、スクリーン１との間には、介在物としての観客９５が存在している。３Ｄカメラ４０、撮像対象のある方角に光を広く投射する光源（一般的には赤外光）と、撮像対象で反射した反射光を受光する受光素子とを有している。観客９５等の撮像対象に当たって反射してきた反射光を受光した受光素子の各画素について、受光した時点と、光源から光を発した時点とに基づいて、光が光源から出射してから、撮像対象に当たって受光素子に戻ってくるまで時間を求める。そして、その時間に基づいて、３Ｄカメラ４０と撮像対象との距離を求めることができる。制御装置５０は、基準静止画９０を投写している光スポット（１１、２１、３１）内の全域について、そのような演算を行う。殆どの画素では、スクリーン面で反射した反射光が受光されて距離（以下、スクリーン距離という）の演算結果が同じになるが、観客９５の表面で反射した反射光を受光する画素では、距離の演算結果がスクリーン距離よりも小さくなる。制御装置５０は、このように距離の算出結果がスクリーン距離よりも小さくなる画素（以下、短距離受光画素という）の数が閾値を超えた場合に、介在物としての観客９５の存在を検知する。また、複数の短距離受光画素の配列に基づいて、観客９５の形状や、スクリーン面方向における位置を検知することができる。

図１１は、投写条件補正処理において第２プロジェクター２０によってスクリーン面に投写された基準静止画９０を示す正面図である。図示のように、基準静止画９０の右下部分は、スクリーン面ではなく、スクリーン面に立っている観客９５の表面に写っていて、基準静止画９０の格子形状が歪んでいる。このため、基準静止画９０の右辺長さ（図３のＬ２に相当）が本来よりも短くなっている。位置補正量や大きさ補正量は、上述したように、基準静止画９０の左側端部の格子に基づいて求められ、その格子についてはスクリーン面に正しく投写されている。このため、位置補正量や大きさ補正量については、適切に求めることが可能である。しかし、台形歪み補正量は、基準静止画９０の右辺長さに基づいて求められ、この右辺長さが本来よりも短くなっていることから、台形歪み補正量が適切に求められなくなってしまう。

そこで、制御装置５０は、上述したように、観客９５の形状や位置を検知すると、その検知結果に基づいて、基準静止画９０の全域のうち、観客９５に写し出されている領域を把握する。そして、図１２に示されるように、基準静止画９０の全域のうち、前記領域を除いた画像部分だけを残すように、撮像によって得られた基準静止画９０の画像情報を補正する。そして、補正後の基準静止画９０に基づいて、位置補正量、大きさ補正量、及び台形歪み補正量を求める。台形歪み補正量を求める際、右辺の約下半分が消えていることから、右辺長さをそのまま求めることができない。そこで、基準静止画９０の右端から左端に向けて、格子の上端から下端まで正常に延在している縦辺の有無を探索していく。すると、図示の例では、右辺から数えて４つ目の縦辺が探知される。制御装置５０は、４つ目の縦辺の上下方向の長さ、その縦辺と右辺との距離、その縦辺と左辺との距離などに基づいて、右辺長さの推定値を求める。そして、左辺長さと、推定値とに基づいて、台形歪み補正量を求める。このようにして台形歪み補正量を求めることで、観客９５が介在することに起因する台形歪み補正量の不適切化を抑えて、投写画像の品質低下を抑えることができる。

図１３は、制御装置５０によって実施される投写条件補正処理における処理フローを示すフローチャートである。制御装置５０は、まず、カウント値Ｃｔをゼロにリセットした後（ステップ１：以下、ステップをＳと記す）、ＲＯＭから基準静止画データを読み込むＳ２）。そして、カウント値Ｃｔについてゼロを超えるか否かを判定する（Ｓ３）。この判定において、カウント値Ｃｔがゼロを超えること（Ｓ３でＹ）は、後述するＳ１４の工程からの処理フローのループにより、既に求めた位置補正量、大きさ補正量、台形歪み補正量の適否をそれぞれ判定しなければならないことを意味する。そこで、制御装置５０は、フラッシュメモリに記憶している位置補正量、大きさ補正量、及び台形歪み補正量のデータを読み込んで、それら補正量に基づいて基準静止画データを補正する（Ｓ４）。これに対し、カウント値Ｃｔがゼロを超えないこと（Ｓ３でＮ）は、まだ位置補正量、大きさ補正量、及び台形歪み補正量を求めていないことを意味する。そこで、制御装置５０は、基準静止画データを補正するためのＳ４の工程を省略して、処理フローをＳ５に進める。

Ｓ５の工程に進むと、制御装置５０は、３台のプロジェクターのうち、投写条件の補正対象となっているプロジェクターに、基準静止画データに基づく基準静止画９０を投写させる。その後、３Ｄカメラ４０に撮像を実施させた後（Ｓ６）、撮像によって得られた画像情報に基づいて、観客９５等の介在物の有無を検知する。そして、介在物がある場合には（Ｓ７でＹ）、介在物の形状や位置に基づいて撮像結果を補正した後（Ｓ８）、処理フローを後述のＳ９に進める。一方、介在物がない場合には（Ｓ７でＮ）、撮像結果を補正するためのＳ８の工程を省略して、処理フローを後述のＳ９に進める。

Ｓ９の工程に進むと、制御装置５０は、撮像結果に基づいて、位置補正量、大きさ補正量、及び台形歪み補正量を求める。その後、カウント値Ｃｔについてゼロであるか否かを判定する（Ｓ１０）。このとき、カウント値Ｃｔがゼロであること（Ｓ１０でＹ）は、位置補正量、大きさ補正量、及び台形歪み補正量をフラッシュメモリにまだ記憶していないことを意味する。そこで、制御装置５０は、それらの補正量をフラッシュメモリに記憶した後（Ｓ１１）、処理フローを後述のＳ１２の工程に進める。これに対し、カウント値Ｃｔがゼロでない場合（Ｓ１１でＮ）、制御装置５０は、Ｓ１１の工程を省略して、処理フローを後述のＳ１２の工程に進める。

Ｓ１２の工程に進むと、制御装置５０は、Ｓ９の工程で求めた位置補正量、大きさ補正量、及び台形歪み補正量の全てについて、所定の閾値未満であるか否かを判定する（Ｓ１２）。１つ以上の補正量が閾値未満である場合（Ｓ１２でＮ）、それは、位置、大きさ、台形歪みの何れの補正が不完全であることを意味する。そこで、制御装置５０は、フラッシュメモリに記憶している位置補正量、大きさ補正量、及び台形歪み補正量を更新するために、処理フローを後述するＳ１３〜Ｓ１５を介してＳ２の工程にループさせる。これに対し、全ての補正量が閾値未満である場合（Ｓ１２でＹ）、それは、位置、大きさ、及び台形歪みの全ての補正が適切に行われたことを意味する。そこで、制御装置５０は、処理フローを後述のＳ１６の工程に進める。

Ｓ１３の工程に進むと、制御装置５０は、カウント値についてゼロであるか否かを判定する。このとき、カウント値がゼロでない場合（Ｓ１３でＮ）には、Ｓ９で求めた各補正量の加算により、フラッシュメモリに記憶している位置補正量、大きさ補正量、台形歪み量を更新した後、更新後のそれら補正量について、適否を判定する必要がある。そこで、制御装置５０は、かかる更新を行った後（Ｓ１５）、カウント値Ｃｔを１つだけカウントアップする（Ｓ１５）、その後、処理フローをＳ２の工程に進めて、更新後の補正量の適否を判定する。これに対し、カウント値がゼロである場合（Ｓ１３でＹ）には、フラッシュメモリに記憶している各補正量を更新するためのデータが存在しないため、制御装置５０は、Ｓ１４の工程を省略して、処理フローをＳ１５、Ｓ２に順次進める。

位置、大きさ、及び台形歪みの全ての補正が適切に行われると、Ｓ１２の工程において、全ての補正量について閾値未満であると判定される。そして、制御装置５０は、処理フローをＳ１６の工程に進める。

Ｓ１６の工程に進むと、制御装置５０は、全てのプロジェクターについて補正を完了したか否かを判定する。そして、完了していない場合（Ｓ１６でＮ）には、補正対象のプロジェクターを変更した後（Ｓ１７）、処理フローをＳ１にループさせる。これにより、変更後のプロジェクターについての投写条件の補正を開始する。一方、全てのプロジェクターについて補正を完了している場合（Ｓ１６でＹ）には、一連の処理フローを終了させる。

次に、実施形態に係る画像投写システムにおける一部の構成を他の構成に置き換えた変形例について説明する。なお、以下に特筆しない限り、変形例に係る画像投写システムの構成は、実施形態と同様である。
図１４は、変形例に係る画像投影システムの要部構成を示す平面模式図である。変形例に画像投影システムは、撮像手段として、３Ｄカメラの代わりに、第１カメラ４１及び第２カメラ４２を備えている。第１カメラ４１、第２カメラ４２は、スクリーン面を互いに異なる方向から撮像するように配設されている。

制御装置５０は、投写条件補正処理において、第１カメラ４１によって撮像した画像と、第２カメラ４２によって撮像した画像とをそれぞれキーストン補正して長方形に加工し、それらの画像の一致率を最も高くするように互いの画像を重ね合わせる。すると、その合成画像は、例えば、図１５に示されるようなものになる。スクリーン面よりも手前に存在している介在物としての観客９５は、視差によって二重に写し出される。制御装置５０は、このように二重に写し出される領域に介在物があると判断する。そして、その領域を除外するように、撮像によって得られた画像データを補正する。

なお、第１カメラ４１及び第２カメラ４２の組み合わせによって３Ｄカメラを構成して、実施形態と同様の補正を行わせるようにしてもよい。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
［態様Ａ］
態様Ａは、投写面（例えばスクリーン面）に画像を投写する画像投写手段（例えばプロジェクター（１０、２０、３０）と、前記投写面を撮像する撮像手段（例えば３Ｄカメラ４０）と、前記画像投写手段によって前記投写面に投写された基準画像（例えば基準静止画９０）を前記撮像手段によって撮像した結果に基づいて、画像投写手段の投写条件を補正する投写条件補正手段（例えば制御装置５０）とを備える画像投写システムにおいて、前記画像投写手段と前記投写面との間に介在する介在物を検知する介在物検知手段（例えば３Ｄカメラ４０及び制御装置５０の組み合わせ）と、前記介在物検知手段による検知結果に基づいて、前記撮像手段による撮像結果を補正する撮像結果補正手段（例えば制御装置５０）とを設け、且つ、前記介在物検知手段によって前記介在物が検知された場合に、前記撮像結果補正手段によって補正された前記撮像結果に基づいて前記投写条件を補正する処理を実施するように、前記投写条件補正手段を構成したことを特徴とするものである。

かかる構成においては、介在物が検知された場合に、たとえば撮像手段によって撮像された基準画像の全域のうち、介在物が存在している領域の画像部分を消去するなどして、基準画像を補正する。すると、補正後の基準画像の形状と、オリジナルの基準画像の形状との違いにより、補正後の基準画像における全域のうち、投写条件を補正するために参照する領域として適した領域を特定することが可能になる。例えば、基準画像として、格子画像を用いた場合に、補正後の基準画像において、本来ならば画像の位置、大きさ、台形歪みを補正するために参照するはずのマス目やマス配列が消えていたとする。この場合には、本来のマス目やマス配列に代えて、消失していない他のマス目やマス配列を、投写条件の補正に適したものであると特定することが可能である。そして、特定した領域（例えばマス目やマス配列）に基づいて、転写条件を補正する。かかる構成では、介在物の表面に写し出されている不適切な画像領域に基づいて転写条件を補正する場合に比べて、介在物を介在させた状態で投写条件を補正することによる投写画像の品質低下を抑えることができる。

［態様Ｂ］
態様Ｂは、態様Ａにおいて、前記介在物検知手段として、前記介在物の有無、前記介在物の形状、及び前記介在物の投写面方向における位置を検知するものを用い、且つ、前記介在物検知手段によって前記介在物が検知された場合に、前記介在物の前記形状及び前記位置に基づいて、前記撮像手段によって撮像された前記基準画像の全域のうち、前記介在物に写し出されている領域を把握し、前記基準画像における前記領域を除いた画像部分に基づいて、前記投写条件を補正する処理を実施するように、前記投写条件補正手段を構成したことを特徴とするものである。かかる構成では、基準画像の全域のうち、介在物の表面に写し出されている画像領域を転写条件の補正に用いてしまうことを防止することができる。

［態様Ｃ］
態様Ｃは、態様Ｂにおいて、前記撮像手段として、３Ｄカメラを用い、前記３Ｄカメラによる前記基準画像の撮像結果に基づいて、前記基準画像の各部と、前記３Ｄカメラとの距離情報を把握し、把握結果に基づいて、前記介在物の有無、前記介在物の形状、及び前記介在物の投写面方向における位置を検知する処理を実施するように、前記介在物検知手段を構成したことを特徴とするものである。かかる構成では、安価に出回っている市販の３Ｄカメラを、介在物検知手段の一部として機能させて、低コスト化を図ることができる。

［態様Ｄ］
態様Ｄは、態様Ｂにおいて、前記撮像手段として、前記投写面を互いに異なる方向から撮像する複数のカメラを用い、前記複数のカメラのそれぞれによる撮像結果に基づいて、前記介在物の有無、前記介在物の形状、及び前記介在物の投写面方向における位置を検知する処理を実施するように、前記介在物検知手段を構成したことを特徴とするものである。かかる構成では、市場に出回っている安価なカメラを組み合わせて、３Ｄカメラと同様の機能をもたせることで、介在物検知手段の一部として機能させて、低コスト化を図ることができる。

［態様Ｅ］
態様Ｅは、態様Ａにおいて、前記撮像手段として、前記投写面を互いに異なる方向から撮像する複数のカメラを用い、前記複数のカメラのそれぞれによる撮像結果に基づいて、前記基準画像の各部について前記複数のカメラにおける視差情報を把握し、把握結果に基づいて、前記介在物の有無を検知する処理を実施するように、前記介在物検知手段を構成したことを特徴とするものである。かかる構成では、視差を利用して、介在物の有無を検知することができる。

［態様Ｆ］
態様Ｆは、態様Ａ〜Ｅにおいて、前記投写条件として、前記投写面における投写画像の位置を補正する処理を実施するように、前記投写条件補正手段を構成したことを特徴とするものである。かかる構成では、介在物の表面に写し出されている不適切な画像領域に基づいて転写条件を補正する場合に比べて、介在物を介在させた状態で投写画像の位置を補正することによる投写画像の品質低下を抑えることができる。

［態様Ｇ］
態様Ｇは、態様Ａ〜Ｆの何れかにおいて、前記投写条件として、前記投写面における投写画像の大きさを補正する処理を実施するように、前記投写条件補正手段を構成したことを特徴とするものである。かかる構成では、介在物の表面に写し出されている不適切な画像領域に基づいて転写条件を補正する場合に比べて、介在物を介在させた状態で投写画像の大きさを補正することによる投写画像の品質低下を抑えることができる。

［態様Ｈ］
態様Ｈは、態様Ａ〜Ｇの何れかにおいて、前記投写条件として、前記投写面における投写画像の台形歪み補正量を補正する処理を実施するように、前記投写条件補正手段を構成したことを特徴とするものである。かかる構成では、介在物の表面に写し出されている不適切な画像領域に基づいて転写条件を補正する場合に比べて、介在物を介在させた状態で投写画像の台形歪み補正を行うことによる投写画像の品質低下を抑えることができる。

［態様Ｉ］
態様Ｉは、態様Ａ〜Ｈの何れかにおいて、前記画像投写手段として、前記投写面における互いに異なる領域に対してそれぞれ部分画像を個別に投写してそれら部分画像の組み合わせによる組画像を得るための複数の画像投写手段を用い、且つ、前記撮像手段による撮像結果に基づいて、それら複数の画像投写手段の投写条件をそれぞれ個別に補正する処理を実施するように、前記投写条件補正手段を構成したことを特徴とするものである。かかる構成では、マルチプロジェクション方式にて、介在物の表面に写し出されている不適切な画像領域に基づいて転写条件を補正する場合に比べて、介在物を介在させた状態で投写画像の台形歪み補正を行うことによる投写画像の品質低下を抑えることができる。

１：スクリーン
１０：第１プロジェクター（画像投写手段）
２０：第２プロジェクター（画像投写手段）
３０：第３プロジェクター（画像投写手段）
４０：３Ｄカメラ（介在物検知手段の一部、撮像手段）
４１：第１カメラ（撮像手段）
４２：第２カメラ（撮像手段）
５０：制御装置（介在物検知手段の一部、投写条件補正手段、撮像結果補正手段）

特許第４５５３０４６号

Claims (9)

1. 投写面に画像を投写する画像投写手段と、前記投写面を撮像する撮像手段と、前記画像投写手段によって前記投写面に投写された基準画像を前記撮像手段によって撮像した結果に基づいて、画像投写手段の投写条件を補正する投写条件補正手段とを備える画像投写システムにおいて、
   前記画像投写手段と前記投写面との間に介在する介在物を検知する介在物検知手段と、前記介在物検知手段による検知結果に基づいて、前記撮像手段による撮像結果を補正する撮像結果補正手段とを設け、
   且つ、前記介在物検知手段によって前記介在物が検知された場合に、前記撮像結果補正手段によって補正された前記撮像結果に基づいて前記投写条件を補正する処理を実施するように、前記投写条件補正手段を構成したことを特徴とする画像投写システム。
2. 請求項１の画像投写システムにおいて、
   前記介在物検知手段として、前記介在物の有無、前記介在物の形状、及び前記介在物の投写面方向における位置を検知するものを用い、
   且つ、前記介在物検知手段によって前記介在物が検知された場合に、前記介在物の前記形状及び前記位置に基づいて、前記撮像手段によって撮像された前記基準画像の全域のうち、前記介在物に写し出されている領域を把握し、前記基準画像における前記領域を除いた画像部分に基づいて、前記投写条件を補正する処理を実施するように、前記投写条件補正手段を構成したことを特徴とする画像投写システム。
3. 請求項２の画像投写システムにおいて、
   前記撮像手段として、３Ｄカメラを用い、
   前記３Ｄカメラによる前記基準画像の撮像結果に基づいて、前記基準画像の各部と、前記３Ｄカメラとの距離情報を把握し、把握結果に基づいて、前記介在物の有無、前記介在物の形状、及び前記介在物の投写面方向における位置を検知する処理を実施するように、前記介在物検知手段を構成したことを特徴とする画像投写システム。
4. 請求項２の画像投写システムにおいて、
   前記撮像手段として、前記投写面を互いに異なる方向から撮像する複数のカメラを用い、
   前記複数のカメラのそれぞれによる撮像結果に基づいて、前記介在物の有無、前記介在物の形状、及び前記介在物の投写面方向における位置を検知する処理を実施するように、前記介在物検知手段を構成したことを特徴とする画像投写システム。
5. 請求項１の画像投写システムにおいて、
   前記撮像手段として、前記投写面を互いに異なる方向から撮像する複数のカメラを用い、
   前記複数のカメラのそれぞれによる撮像結果に基づいて、前記基準画像の各部について前記複数のカメラにおける視差情報を把握し、把握結果に基づいて、前記介在物の有無を検知する処理を実施するように、前記介在物検知手段を構成したことを特徴とする画像投写システム。
6. 請求項１乃至５の何れかの画像投写システムにおいて、
   前記投写条件として、前記投写面における投写画像の位置を補正する処理を実施するように、前記投写条件補正手段を構成したことを特徴とする画像投写システム。
7. 請求項１乃至６の何れかの画像投写システムにおいて、
   前記投写条件として、前記投写面における投写画像の大きさを補正する処理を実施するように、前記投写条件補正手段を構成したことを特徴とする画像投写システム。
8. 請求項１乃至７の何れかの画像投写システムにおいて、
   前記投写条件として、前記投写面における投写画像の台形歪み補正量を補正する処理を実施するように、前記投写条件補正手段を構成したことを特徴とする画像投写システム。
9. 請求項１乃至８の何れかの画像投写システムにおいて、
   前記画像投写手段として、前記投写面における互いに異なる領域に対してそれぞれ部分画像を個別に投写してそれら部分画像の組み合わせによる組画像を得るための複数の画像投写手段を用い、
   且つ、
   前記撮像手段による撮像結果に基づいて、それら複数の画像投写手段の投写条件をそれぞれ個別に補正する処理を実施するように、前記投写条件補正手段を構成したことを特徴とする画像投写システム。

Images