JP2020508479A - 撮影装置により撮影されたイメージに基づく投影領域自動補正方法及びこのためのシステム - Google Patents

Abstract

本発明は、上映館において投影装置によりコンテンツが投影される領域、いわゆる投影領域を自動に補正することに係り、さらに詳しくは、カメラなどの撮影装置で上映館内の投影領域を撮影し、このように撮影されたイメージと、投影装置による投影領域座標、また最終的にスクリーンまたは壁面などの投影面に投影されるコンテンツイメージとをマッチングさせることにより、ひいてはコンテンツイメージが上映館内の投影面の有効投影領域内において適切に出力されるように自動に補正する方法及びシステムに関する。

Description

本発明は、上映館において投影装置によりコンテンツが投影される領域、いわゆる投影領域を自動に補正することに係り、さらに詳しくは、カメラなどの撮影装置で上映館内の投影領域を撮影し、このように撮影されたイメージと、投影装置による投影領域座標、また最終的にスクリーンまたは壁面などの投影面に投影されるコンテンツイメージとをマッチングさせることにより、ひいてはコンテンツイメージが上映館内の投影面の有効投影領域内において適切に出力されるように自動に補正する方法及びシステムに関する。

上映館内では、空調システムまたはオーディオシステムなどの震動により投影装置が置き違えられることが頻繁であり、このように投影装置が置き違えられる場合、スクリーンまたは壁面のような投影面において、映画、広告物などのコンテンツが正確な位置に投影されることができず、観客に正しい上映サービスを提供することができなくなる。これにより、上映館の運営者にとっては、これを随時に補正しなければならず、従来は、このような投影領域の補正がエンジニアにより手作業で行われてきた。

しかしながら、投影領域の補正を手作業で行う場合、人間による作業であるので、作業の正確さが低下するという問題点があり、また上記した投影領域補正作業は、上映館内において随時に行われなければならなかったので、これに消耗する労働力、費用が少なくないという問題点もあった。

本発明は、上映館内の投影装置の投影領域が置き違えられることを自動に補正するためのものである。

特に、本発明は、構造化された光パターンが投影された投影面のイメージを撮影装置で撮影し、撮影されたイメージ内の投影領域を投影装置の投影領域とマッチングさせることにより、補正が正確に行われるようにすることを目的にする。

また、本発明は、撮影装置により撮影されたイメージと投影装置の投影領域との間のマッチング作業、すなわち相対的変換情報を演算するにあたって、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）技法を用いることにより、壁面のような投影領域上の投影障害領域をフィルタリングし、これにより、投影面上の正確な有効投影領域を抽出することを目的とする。

また、本発明は、投影面にレーザラインを表示することができるレーザ水平器をさらに活用することにより、投影領域をさらに精密に抽出し、これにより、さらに正確な有効投影領域の抽出及び投影領域の補正が行われるようにすることを目的とする。

本発明に係る投影領域自動補正方法は、（ａ）撮影装置により撮影された第１投影面イメージを取得するステップと、（ｂ）前記第１投影面イメージ内の投影領域の各ピクセル座標と投影装置により投影される投影領域の各ピクセル座標とを対応させるステップと、（ｃ）前記第１投影面イメージのピクセル座標と前記投影装置のピクセル座標を用いて、第１投影面イメージと投影装置との間の相対的変換情報を演算するステップと、を含み、前記第１投影面イメージは、光パターンが投影された投影面のイメージであることを特徴とする。

前記第１投影面イメージは、投影装置の各ピクセル座標をビットに変換するステップと、投影装置の各ピクセル座標に時間順序により黒白のイメージを投影するステップと、撮影装置が前記黒白のイメージが投影される投影面を撮影するステップと、により撮影されたことを特徴とする。

前記（ｃ）ステップは、前記投影装置の投影領域から任意の基準ピクセルｘ^ｉを抽出し、前記第１投影面イメージから対応する対応ピクセルｃ^ｉを抽出し、前記基準ピクセルｘ^ｉ及び対応ピクセルｃ^ｉを相手的変換式に代入させて相対的変換情報を演算することを特徴とする。

前記（ｃ）ステップは、第１相対的変換情報Ｈ_{ｉ→ｃａｍ}を演算するが、前記相手的変換式は、
（ｘ^ｉ：投影領域の基準ピクセル、ｃ^ｉ：第１投影面イメージの対応ピクセル）であることを特徴とする。

前記（ｃ）ステップは、第２相対的変換情報Ｈ_{ｃａｍ→ｉ}をさらに演算するが、前記Ｈ_{ｃａｍ→ｉ}は、前記第１相対的変換情報Ｈ_{ｉ→ｃａｍ}の逆行列であることを特徴とする。

前記第２相対的変換情報Ｈ_{ｃａｍ→ｉ}の演算は、ＲＡＮＳＡＣを用い、（ｃ）ステップにおいて前記第２相対的変換情報Ｈ_{ｃａｍ→ｉ}に基づいて取得される有効投影領域は、投影面に具備された設置物により発生する投影障害領域が除去された状態であることを特徴とする。

一つの投影面には、複数の投影装置が対応して具備され、各投影装置により投影される第１投影面イメージに対して前記（ａ）ステップ乃至（ｃ）ステップを行い、前記各投影装置の有効投影領域を合わせて全体の有効投影領域を取得することを特徴とする。

本発明に係る投影領域自動補正方法は、（ｄ）投影装置とコンテンツイメージとの間の第３相対的変換情報Ｈ_{ｉ→ｉｍａｇｅ}を演算するステップをさらに含む。

本発明に係る投影領域自動補正方法は、（ｅ）レーザラインが表示された第２投影面イメージを取得するが、前記レーザラインは、レーザ水平器により出力された光により表示されるステップをさらに含む。

本発明に係る投影領域自動補正方法は、（ｆ）前記第２投影面イメージから複数のラインイメージを抽出し、前記ラインイメージの交差により生成する交差点を取得するステップと、（ｇ）取得された交差点を前記コンテンツイメージの頂点にマッチングさせるステップと、をさらに含む。

一方、本発明に係る投影領域自動補正システムは、投影面を撮影する撮影装置と、前記撮影装置により撮影された第１投影面イメージを取得し、前記第１投影面イメージ内の各ピクセルと投影装置により投影される投影領域の各ピクセル座標とを対応させて相対的変換情報を演算し、前記相対的変換情報に基づいて投影装置の有効投影領域を取得する投影管理装置と、上映館内の投影領域のイメージを投影する投影装置と、を含み、前記第１投影面イメージは、前記投影装置により光パターンが投影された投影面のイメージであることを特徴とする。

本発明に係る投影領域自動補正システムは、前記投影面上にレーザラインの表示のための光を出力するレーザ水平器をさらに含み、前記投影管理装置は、前記撮影装置により撮影された第２投影面イメージをさらに取得することを特徴とする。

前記投影管理装置は、前記第２投影面イメージから複数のラインイメージを抽出し、前記ラインイメージの交差により生成する交差点を取得し、前記取得された交差点をコンテンツイメージの頂点にマッチングさせることを特徴とする。

本発明によれば、高解像度のカメラのような撮影装置を自動補正に活用することにより、大規模の上映館において単一の撮影装置のみで高い補正品質の自動補正が可能になるという効果がある。

また、本発明によれば、スクリーン及び上映館内の壁面を全て活用する多面上映館において、特に壁面の設置物により発生する投影障害領域を効果的に除去することができるので、既存に比べてさらに正確な投影領域の補正が可能になるという効果がある。

また、本発明によれば、レーザ水平器を活用することにより、精密な投影領域の補正が可能になるという効果がある。

図１は、本発明に係る投影領域自動補正システムの概略的な構成を示す図である。 図２は、本発明の一実施形態による投影領域自動補正方法を順次に示す図である。 図３は、構造化された光パターンが投影された投影面を撮影したイメージを示す図である。 図４は、図２での撮影されたイメージを分析した結果を視覚化した図である。 図５は、投影装置の投影領域と撮影されたイメージ内の投影領域とがマッチングされた様子を概念的に示す図である。 図６は、上映館内の投影面中の壁面の投影障害領域がフィルタリングされた以後の投影領域を示す図である。 図７は、上映館内の投影面中の壁面の有効投影領域が抽出された様子を示す図である。 図８は、レーザ水平器から出力されたレーザラインが上映館内の壁面に表示された様子を示す図である。 図９は、レーザラインの交差により交差点が生成された様子を示す図である。

本発明の目的と技術的構成およびそれに伴う作用効果に関する詳細な事項は、本発明の明細書に添付した図面に基づく以下の詳細な説明によりなお一層明確に理解できる筈である。添付図面を参照して本発明に係る実施形態について詳細に説明する。

図面に表示され、且つ、下記に説明される機能ブロックは、採用可能な実現の例に過ぎない。他の実現においては、詳細な説明の思想および範囲を逸脱しない範囲内において他の機能ブロックが使用可能である。なお、本発明の１以上の機能ブロックが個別のブロックとして表示されるが、本発明の機能ブロックのうちの１以上は、同じ機能を実行する様々なハードウェア及びソフトウェア構成の組み合わせであってもよい。

また、「ある構成要素を含む」という表現は「開放型」の表現であり、単に当該構成要素が存在することを指すものに過ぎず、さらなる構成要素を排除するものと理解されてはならない。

さらに、ある構成要素が他の構成要素に「連結されている」と言及されるとき、またはある構成要素が他の構成要素に「接続されている」と言及されるときには、その他の構成要素に直接的に連結または接続されていてもよく、これらの間に他の構成要素が存在してもよいものと理解されるべきである。

また、後述する曲面へのイメージ投影方法は、様々なハードウェア及びソフトウェアの連動動作により実現できると理解すべきであろう。例えば、本発明は、複数の投影装置及び前記複数の投影装置と有線または無線にて連結される投影管理装置（サーバ）の連動動作により実現でき、このような連動のほかに、様々なハードウェア及びソフトウェアの連動動作により実現できる。

図１は、本発明に係る投影領域３１０の自動補正を行うために必要な詳細装置構成を簡略に示す図である。

図１によれば、投影領域３１０の自動補正システムは、撮影装置１００、投影装置３００、投影管理装置２００を含み、付加的にレーザ水平器４００をさらに含む。

先ず、撮影装置１００は、写真撮影のための光学器機を意味するものであって、本発明での撮影装置１００は、上映館内の投影面を撮影するのに活用される。撮影装置１００の解像度は、上映館の面積、投影装置３００の個数、及び投影装置３００の解像度に基づいて決まる。投影装置３００は、２６００＊６５０の解像度であり、横方向長さが２０ｍで、縦方向長さが６．６ｍである壁面５００に映像を投影する。

この場合、横方向では、１ｃｍ当たり１．３ｐｘの解像度を有する。

算出過程は、以下の通りである。

２６００ｐｘ／２０ｍ＝１．３ｐｘ／ｃｍ

投影装置の横方向のピクセル数を壁面の横方向長さで割れば、横方向に対する単位ｃｍ当たりのピクセル数を算出することができる。

また、縦方向では、１ｃｍ当たり０．９８４８ｐｘの解像度を有する。

算出過程は、以下の通りである。

投影装置の縦方向のピクセル数を壁面の縦方向長さで割れば、縦方向に対する単位ｃｍ当たりのピクセル数を算出することができる。

このとき、撮影装置は、横方向に対する単位ｃｍ当たりのピクセル数と縦方向に対する単位ｃｍ当たりのピクセル数のうち、単位ｃｍ当たりのピクセル数がさらに多い単位ｃｍ当たりのピクセル数以上の解像度を有する。すなわち、上述した例では、横方向に対する単位ｃｍ当たりのピクセル数がさらに多いので、カメラ解像度は、少なくとも１ｃｍ当たり１．３ｐｘ以上の解像度を有さなければならない。

撮影装置の画角は、レンズの焦点距離に応じて可変する。横方向長さが２０ｍで、縦方向長さが６．６ｍである壁面５００の全体面積を、撮影装置が撮像するために必要なレンズの焦点距離は、１８〜２４ｍｍである。

このとき、この詳細な説明において言及される上映館とは、一般に、映画コンテンツが上映される空間であって、一つ以上のスクリーン６００及び壁面５００を含むことを前提とし、さらには、複数の投影装置３００により、スクリーン６００及び壁面５００に同期化したコンテンツ映像を投影して、観客に没入感を与えることができる、いわゆる多面上映館であってもよい。

一方、撮影装置１００は、後述する投影管理装置２００とは独立した別個の装置として機能してもよく、または投影管理装置２００と有線または無線で連結されて、撮影したイメージを直接送受信可能にしてもよい。

次に、投影装置３００とは、コンテンツ映像を投影面に投影する装置をいい、上映館内には、複数の投影装置３００が具備され、それぞれの投影装置３００は、後述する投影管理装置２００と有線または無線で連結され、投影管理装置２００の制御により駆動される。また、前記投影装置３００は、上映館内の一つの投影面に複数個が対応して設置され、または複数の投影面のそれぞれに一つの投影装置３００が対応して設置されてもよい。

次に、投影管理装置２００は、上映館内に設置された複数の投影装置３００を制御するのみならず、投影しようとするコンテンツ映像を管理することを基本機能とするが、本発明での投影管理装置２００は、後述するように投影領域３１０を自動に補正する機能も行う。投影管理装置２００の機能については、後でさらに詳述する。

最後に、レーザ水平器４００は、上映館内の投影面上にレーザライン４１０の表示のための光を出力する装置を称する。レーザ水平器４００は、投影面上に複数の光を出力してレーザライン４１０を表示することができ、レーザライン４１０が表示された投影面を撮影し、このように撮影された投影面イメージを分析することにより、さらに精密な投影領域３１０を抽出することができるようになる。

以下、図２を参考して、本発明に係る投影領域３１０の自動補正方法の概略的な過程について説明する。

図２によれば、本発明による投影領域３１０の自動補正方法は、投影管理装置２００が撮影装置１００により撮影された第１投影面イメージ１０を取得する第１ステップ（Ｓ２１０）と、投影管理装置２００が、前記第１投影面イメージ１０内の各ピクセルと投影装置３００により投影される投影領域３１０の各ピクセル座標を対応させる第２ステップ（Ｓ２２０）と、投影管理装置２００が、前記第１投影面イメージ１０のピクセル座標と前記投影装置３００のピクセル座標を用いて、第１投影面イメージ１０と投影装置３００との間の相対的変換情報を演算する第３ステップ（Ｓ２３０）と、を含む。また、これに加えて、投影装置３００とコンテンツイメージとの間の相対的変換情報を演算する第４ステップ（Ｓ２４０）と、投影管理装置２００がレーザライン４１０が表示された第２投影面イメージ３０を取得する第５ステップ（Ｓ２５０）と、投影管理装置２００が前記第２投影面イメージ３０からラインイメージ４１１を抽出して交差点４１３を取得する第６ステップ（Ｓ２６０）と、最後に投影管理装置２００が前記取得した交差点４１３を前記コンテンツイメージの頂点にマッチングさせる第７ステップ（Ｓ２７０）と、を含む。

以下、各ステップについて詳述する。

第１ステップは、投影管理装置２００が第１投影面イメージ１０を取得するステップであるが、このとき、第１投影面イメージ１０とは、光パターンが投影された投影面を撮影装置１００が撮影したイメージを意味する。

撮影装置１００により取得されたイメージに基づいて、投影装置３００が投影する映像を補正するためには、投影装置３００の各ピクセルが、撮影装置１００により取得されたイメージのどの座標と対応するかが分かる必要がある。このため、既存は、チェッカーボードのような単一のイメージパターンを用いていたが、このような単一のイメージパターンを活用する場合、全てのピクセルの対応関係を把握し難く、特に障害物が存在する場合は、正確さが低下する結果をもたらしてしまう。本発明では、全てのピクセルに対して撮影装置１００とプロジェクタとの間の対応関係を把握するために、グレーコードに基づく光パターンイメージを活用し、このとき、光パターンイメージは、時系列的に構造が変わることを特徴とする。

図３は、第１投影面イメージ１０の例を示す図である。図３に示すように、光パターンイメージＡ、Ａ’は、横軸に白と黒のラインが交互に変わりながら投影され、または同じ方式で縦軸が変わってもよいが、これは、投影装置３００の各ピクセルの座標をビットに変換し、ビットの各桁を時間順序により黒白で表示して投影するにより示されるイメージである。後述するが、投影管理装置２００は、このような投影面のイメージ(第１投影面イメージ１０)を分析し、撮影装置１００により撮れた第１投影面イメージ１０から投影装置３００の各ピクセルの位置を把握するようになる。

一方、このとき、グレーコードは、ビット変換の一種であり、バイナリ変換とは異なり、十進数を変換するとき、隣接数に対してビット変換を最小化する方式により実現されるが、このような特性のため、第１投影面イメージ１０の解読時、エラーが生じても、その値の変化が小さく、安定的な対応関係の把握が可能である。

一方、任意の投影装置３００をＰ_ｉと表現し、ｘ^ｉを任意のプロジエクターＰ_ｉのピクセル座標とすると、投影装置３００の各ピクセル座標別のビット変換は、下記の方式で行われる。

数式１は、２進コードをグレーコードに変換する式である。先ず、ｘ^ｉの座標を２進コードに変換し、２進コードに変換された座標を後ろへ１列ずつシフトさせる。２進コードに変換された後、１列ずつ後ろへシフトされた座標とｘ^ｉの座標と２進コードに変換した座標とを排他的ＯＲ（ｅｘｃｌｕｓｉｖｅ ＯＲ）演算を行う。例えば、ｘ^ｉ座標が（１，２）であった場合、２進コードに変換すれば、（０００００００００１，００００００００１０）であり、この２進コード値を１列だけ後ろへシフトするようにビット演算すれば、（００００００００００、０００００００００１）である。この２つのコードの（０００００００００１、００００００００１０）と（００００００００００、０００００００００１）を排他的ＯＲ演算すれば、グレーコードである（０００００００００１、００００００００１１）が算出される。

前記数式１によって横軸（ｘ）と縦軸（ｙ）の座標のビット変換が行われてから、各ビットの桁値によりパターンを生成(ビットが１であれば白、ビットが０であれば黒)した後、撮影装置１００で撮影したものが、図３に示す第１投影面イメージ１０である。

投影装置３００の解像度が１０２４＊７６８である場合、ｘ座標は、０〜１０２３のいずれか一つであり、ｙ座標は、０〜７６７のいずれか一つである。上述した過程により、投影装置３００のピクセル座標をグレーコードに変換すれば、最大１０桁の２進数に変換される。投影装置３００は、各ピクセルの位置に、当該ピクセルのｘまたはｙ座標に該当するグレーコードの最大桁から順次に桁の数字により黒または白のイメージを投影する。

このとき、投影装置３００は、（１）ピクセル座標のうち、ｘ座標から変換されたグレーコードに基づいて黒または白のイメージを投影し、（２）ｙ座標から変換されたグレーコードに基づいて黒または白のイメージを投影し、（３）ピクセル座標のうち、ｘ座標から変換されたグレーコードの補数に基づいて黒または白のイメージを投影し、（４）ピクセル座標のうち、ｙ座標から変換されたグレーコードの補数に基づいて黒または白のイメージを投影し、（５）全ピクセルが全て黒であるイメージを投影し、（６）全ピクセルが全て白であるイメージを投影する。

投影装置がイメージを投影する方法は、上述した（１）乃至（６）の順序に限定されず、（１）乃至（６）の順序と無関係であってもよい。

例えば、前記（１）ピクセル座標のうち、ｘ座標から変換されたグレーコードに基づいて黒または白のイメージを投影する場合、投影装置の（１，２）は、グレーコードを用いてビット変換すれば（０００００００００１，００００００００１１）であり、１番目から９番目のビット数が０であるので、投影装置は、投影装置の（１，２）の座標位置に黒イメージを一定時間の間隔で９回投影する。その後、１０番目のビット数が１であるので、投影装置は、白イメージを１回投影する。

第２ステップは、投影管理装置２００が、前記第１投影面イメージ１０内の投影領域３１０の各ピクセルと実際投影装置３００により投影される投影領域３１０の各ピクセル座標とを対応させ、相手的変換情報を演算するステップである。

投影管理装置２００は、第１投影面イメージ１０を分析乃至解読して、第１投影面イメージ１０から投影装置３００の各ピクセルの位置を把握する。第１投影面イメージ１０の解読は、投影管理装置２００が時間順に撮影された第１投影面イメージ１０を読み込んだ後、第１投影面イメージ１０の各ピクセルの値が、白であれば１、黒であれば０にビットの各桁を変換する。その後、前記数式１を逆に演算すれば、投影装置３００でのピクセル座標値が得られるが、この過程で、第１投影面イメージ１０と投影装置３００の投影領域３１０との間にピクセル単位の対応関係、すなわち、第１投影面イメージ１０から抽出された投影領域３１０の各ピクセル座標と投影装置３００(投影領域３１０)の各ピクセル座標との間の相互対応関係が成立する。図４は、第１投影面イメージ１０のパターンを解読した結果を視覚化した様子であり、図５は、投影装置３００の投影領域３１０と第１投影面イメージ１０内の投影領域３１０とのピクセル座標が、互いにマッチングされた様子を概念的に示す図である。

第３ステップは、投影管理装置２００が予め取得した第１投影面イメージ１０のピクセル座標、投影装置３００の投影領域３１０のピクセル座標を活用して、第１投影面イメージ１０と投影装置３００との間の相対的変換情報を演算するステップである。相対的変換情報は、対応点間の関係をホモグラフィー行列で表示したものであって、任意の平面または空間内の任意の点が他の平面または空間内のどの点に移されるか、その関係を定義しておいたものを称する。

任意の投影装置３００をＰ_ｉと表現し、ｘ^ｉを任意のプロジエクターＰ_ｉのピクセル座標とし、第１投影面イメージ１０内の前記ｘ^ｉと対応するピクセル座標をｃ^ｉとすると、投影装置３００のピクセル座標を第１投影面イメージ１０のピクセル座標に変換する第１相対的変換情報Ｈ_{ｉ→ｃａｍ}は、下記のように求められる（ｉは、投影装置３００、ｃａｍは、第１投影面イメージ１０を意味する)。

上記した数式２は、ｘ^ｉとｃ^ｉの位置差を最小化するｘ^ｉの最適化されたホモグラフィー行列を求めることを意味する。数式２は、直接線形変換（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を用いて解決することができる。一方、この時点で、前記数式２により相対的変換情報を演算するときは、ＲＡＮＳＡＣを用いることにより、外れ値（ｏｕｔｌｉｅｒ ｖａｌｕｅｓ）を排除したまま、ホモグラフィー行列を求める。

ＲＡＮＳＡＣは、ノイズがあるデータから所望のデータの数学的モデルを選ぶための反復法であるが、ＲＡＮＳＡＣは、一定の確率で適切な結果を生成し、反復回数を増加させるほど前記確率が増加するという点において、非決定性アルゴリズムとみなされる。

一方、前記第１ステップ乃至第３ステップの過程はいずれも、上映館内の投影面のうちでも、コンテンツイメージが観客によく見える「有効投影領域５６０」を抽出するための過程であるが、上述したように、上映館内の壁面５００の場合、投影装置、スピーカー、座席、柱などの設置物５４０により正しい投影が行われない領域、いわゆる投影障害領域５５０が存在する。

このような投影障害領域で生成したｘ^ｉ(プロジエクターのピクセル座標)とｃ^ｉ(ｘ^ｉに対応するイメージのピクセル座標)の対応関係を含めて数式２を演算すると、正確なホモグラフィーが得られない。投影障害領域５５０をノイズと判断し、当該値を演算から除外しなければ、投影面のイメージを撮影装置で撮影し、撮影されたイメージ内の投影領域を投影装置の投影領域とマッチングさせる相対的変換情報の演算が正確に行われない。投影障害領域を除き、優勢なホモグラフィーを計算するために、ＲＡＮＳＡＣを用いて最終的に数式２を計算する。

投影障害領域の区別は、第１相対的変換情報Ｈ_{ｉ→ｃａｍ}の逆行列を演算し、第２相対的変換情報Ｈ_{ｃａｍ→ｉ}を求め、Ｈ_{ｃａｍ→ｉ}を用いてｃ^ｉを投影装置３００の投影領域３１０に変換した後、これに対応するｘ^ｉとの距離差の大きいものは、壁面５００に設置物５４０が存在すると判断することにより行われる。

図６は、上述した過程を経て壁面５００の投影障害領域５５０がフィルタリングされる前の有効投影領域５６０と、フィルタリングされた後の有効投影領域５６０を示す図である。

一方、前記第１ステップ乃至第３ステップの過程は、上映館内に設置されたそれぞれの投影装置３００と投影面との間で全て行われ、各ステップの実行により抽出された有効投影領域５６０を一つに併合して「全体の有効投影領域５６０」を取得することができる。例えば、上映館内の一側壁面５００に対応して二つの投影装置３００が設置されている場合、各投影装置３００別に第１ステップ乃至第３ステップが行われると、投影管理装置２００としては、各投影装置３００別に有効投影領域５６０を取得することができるが、このように取得した有効投影領域５６０を一つに併合する場合、前記一側壁面５００の全体の有効投影領域５６０を取得するようになる。図７は、複数の有効投影領域５６０が併合され、一つの全体の有効投影領域５６０が得られた様子を示す図である。

一方、有効投影領域５６０を求めた後、最終的に投影領域３１０を補正するためには、実際の投影面に投影されるべきコンテンツイメージと、前記投影装置３００による投影領域３１０との間の相対的変換情報、すなわち、第３相対的変換情報Ｈ_{ｉ→ｉｍａｇｅ}を演算しなければならないが、上記した図２の第４ステップが本ステップに該当する(ｉｍａｇｅは、コンテンツイメージを意味する)。

Ｈ_{ｉ→ｉｍａｇｅ}を演算するためには、行列間の連鎖法則（ｃｈａｉｎ ｒｕｌｅ）を用いるが、具体的には、第１投影面イメージ１０とコンテンツイメージとの間の相対的変換情報Ｈ_{ｃａｍ→ｉｍａｇｅ}、また予め求めた投影装置３００と第１投影面イメージ１０との間の相対的変換情報Ｈ_{ｉ→ｃａｍ}を用いてＨ_{ｉ→ｉｍａｇｅ}を求める。

このように第４ステップまでの過程を経る場合は、最終的に投影装置３００の投影領域３１０とコンテンツイメージのと間の対応関係が正義されるので、つまり、投影管理装置２００としては、投影装置３００を制御することにより、コンテンツイメージが有効投影領域５６０に正確に投影されるようにすることができる。

一方、本発明が前提としている多面上映館の場合、壁面５００を投影面として活用するが、壁面５００の全体を投影可能な領域として活用するのではなく、一部領域のみを有効投影領域５６０として活用する。したがって、壁面５００の全体のうち、どの領域が有効投影領域５６０であるかをさらに精密に区分する必要がある。また、コンテンツイメージが壁面５００に投影されるときの有効投影領域５６０を決めるにあたっては、上映館の正面のスクリーン６００に投影されるコンテンツイメージとの連結性が最大限維持される必要がある。

このため、本発明では、レーザ水平器４００を活用し、コンテンツイメージが投影されるべき領域と投影装置３００の投影領域３１０を正確に一致させる方法を提案する。図２の第５ステップ乃至第７ステップは、レーザ水平器４００を活用して、投影領域３１０とコンテンツイメージを精密に合わせる過程を示すものである。

先ず、第５ステップは、投影管理装置２００が撮影装置１００により撮影された第２投影面イメージ３０を取得するステップであるが、このとき、第２投影面イメージ３０は、レーザ水平器４００により出力されたレーザライン４１０が投影面に表示された状態で撮影されたイメージである。図８は、上映館内の一側壁面５００にレーザライン４１０が照射された状態で、撮影装置１００が撮った第２投影面イメージ３０を示す図である。図８を参照すれば、レーザ水平器４００は、４つのレーザライン４１０(上・下・左・右)が投影面に表示されるように複数個が設置されてもよく、このとき、特に下辺に対応するレーザ水平器４００は、正面スクリーン６００の下端ラインと一致するように設置されることが好ましい。また、上辺に対応するレーザ水平器４００は、正面スクリーン６００の中心を通る横軸ラインと一致するように設置されることが好ましい。このように、レーザライン４１０の上辺及び下辺が正面スクリーン６００と並んで一致するように設置することは、上述したように、壁面５００に投影されるコンテンツイメージと正面スクリーン６００に投影されるコンテンツイメージとの連結性を最大限維持するためである。一方、左辺、右辺に対応するレーザ水平器４００は、それぞれコンテンツイメージの横方向の始めと終わりに対応して設置する。

第６ステップは、投影管理装置２００が、レーザライン４１０の表示された第２投影面イメージ３０から複数のラインイメージ４１１を抽出し、前記ラインイメージ４１１の交差により生成される交差点４１３を取得するステップである。レーザライン４１０は、好ましくは赤色で表示されるが、投影管理装置２００は、第２投影面イメージ３０に対してＲＧＢチャンネル分析を行うことにより、Ｒ値の高いピクセルを抽出してラインイメージ４１１のみを抽出することができる。また、このように抽出されたラインイメージ４１１は、必ず交差しながら交差点４１３を生成するが、投影管理装置２００は、前記ラインイメージ４１１に対してハフ変換（Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍ）を行って直線の方程式を求め、各辺の直線の方程式から交差点４１３を演算する。図９は、図８の第２投影面イメージ３０からラインイメージ４１１が抽出された様子、交差点４１３が演算された様子を示す図である。

最後に、第７ステップは、投影管理装置２００が前記演算された交差点４１３を前記コンテンツイメージの頂点にマッチングさせるステップである。すなわち、投影管理装置２００は、第２投影面イメージ３０と前記コンテンツイメージとの間の相対的変換情報Ｈ_{ｃａｍ→ｉｍａｇｅ}を上記した数式２のような方式で演算するが、このように演算された相対的変換情報Ｈ_{ｃａｍ→ｉｍａｇｅ}は、投影装置３００と第２投影面イメージ３０との間の相対的変換情報Ｈ_{ｉ→ｃａｍ}(Ｈ_{ｉ→ｃａｍ}も数式２のような方式で演算する)との連鎖法則関係により、最終的には投影装置３００とコンテンツイメージとの間の相対的変換情報Ｈ_{ｉ→ｉｍａｇｅ}を演算するのに活用される。

その結果、投影管理装置２００は、投影装置３００とコンテンツイメージとの間の相対的変換情報を求めることにより、コンテンツイメージと投影装置３００の投影領域３１０が正確に一致して投影されるように投影装置３００を制御することができる。

以上、本発明について説明したが、本発明が属する技術分野における通常の知識を有する者であれば、本発明の技術的思想および必須的特徴を保ったままで他の形態によっても実施可能であることを認知できる筈である。

したがって、上述した実施形態は、単に例示に過ぎず、本発明の範囲を上記した実施形態に制限しようとするものではない。また、図示された流れ図は、本発明を実施するに当たって、最も好適な結果を得るために、例示的に示した順序に過ぎず、他のステップがさらに追加されまたは一部のステップが削除され得ることは言うまでもない。

本発明の範囲は、特許請求の範囲により定められるべきであるが、特許請求の範囲の記載事項から直接的に導き出される構成はもとより、それと等価である構成から導き出されるあらゆる変更または変形された形態もまた本発明の権利範囲に含まれるものと解釈されるべきである。

１０ 第１投影面イメージ
３０ 第２投影面イメージ
１００ 撮影装置
２００ 投影管理装置
３００ 投影装置
３１０ 投影領域
４００ レーザ水平器
４１０ レーザライン
４１１ ラインイメージ
４１３ 交差点
５００ 壁面投影面
５４０ 設置物
５５０ 投影障害領域
５６０ 有効投影領域
６００ スクリーン
Ａ、Ａ’ 光パターンイメージ

Claims (13)

1. （ａ）撮影装置により撮影された第１投影面イメージを取得するステップと、
   （ｂ）前記第１投影面イメージ内の投影領域の各ピクセル座標と投影装置により投影される投影領域の各ピクセル座標とを対応させるステップと、
   （ｃ）前記第１投影面イメージのピクセル座標と前記投影装置のピクセル座標を用いて、第１投影面イメージと投影装置との間の相対的変換情報を演算するステップと、を含み、
   前記第１投影面イメージは、光パターンが投影された投影面のイメージであることを特徴とする投影領域自動補正方法。
2. 前記第１投影面イメージは、
   投影装置の各ピクセル座標をビットに変換するステップと、
   投影装置の各ピクセル座標に時間順序により黒白のイメージを投影するステップと、
   撮影装置が前記黒白のイメージが投影される投影面を撮影するステップと、により撮影されたことを特徴とする請求項１に記載の投影領域自動補正方法。
3. 前記（ｃ）ステップは、
   前記投影装置の投影領域から任意の基準ピクセルｘ^ｉを抽出し、前記第１投影面イメージから対応する対応ピクセルｃ^ｉを抽出し、前記基準ピクセルｘ^ｉ及び対応ピクセルｃ^ｉを相手的変換式に代入させて相対的変換情報を演算することを特徴とする請求項１に記載の投影領域自動補正方法。
4. 前記（ｃ）ステップは、
   第１相対的変換情報Ｈ_{ｉ→ｃａｍ}を演算するが、
   前記相手的変換式は、
   （ｘ^ｉ：投影領域の基準ピクセル、ｃ^ｉ：第１投影面イメージの対応ピクセル）であることを特徴とする請求項３に記載の投影領域自動補正方法。
5. 前記（ｃ）ステップは、第２相対的変換情報Ｈ_{ｃａｍ→ｉ}をさらに演算するが、
   前記Ｈ_{ｃａｍ→ｉ}は、前記第１相対的変換情報Ｈ_{ｉ→ｃａｍ}の逆行列であることを特徴とする請求項４に記載の投影領域自動補正方法。
6. 前記第２相対的変換情報Ｈ_{ｃａｍ→ｉ}の演算は、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）を用い、（ｃ）ステップにおいて前記第２相対的変換情報Ｈ_{ｃａｍ→ｉ}に基づいて取得される有効投影領域は、投影面に具備された設置物により発生する投影障害領域が除去された状態であることを特徴とする請求項５に記載の投影領域自動補正方法。
7. 一つの投影面には、複数の投影装置が対応して具備され、
   各投影装置により投影される第１投影面イメージに対して前記（ａ）ステップ乃至（ｃ）ステップを行い、
   前記各投影装置の有効投影領域を合わせて全体の有効投影領域を取得することを特徴とする請求項１に記載の投影領域自動補正方法。
8. （ｄ）投影装置とコンテンツイメージとの間の第３相対的変換情報Ｈ_{ｉ→ｉｍａｇｅ}を演算するステップをさらに含むことを特徴とする請求項１に記載の投影領域自動補正方法。
9. （ｅ）レーザラインが表示された第２投影面イメージを取得するが、前記レーザラインは、レーザ水平器により出力された光により表示されるステップをさらに含むことを特徴とする請求項８に記載の投影領域自動補正方法。
10. （ｆ）前記第２投影面イメージから複数のラインイメージを抽出し、前記ラインイメージの交差により生成する交差点を取得するステップと、
    （ｇ）取得された交差点を前記コンテンツイメージの頂点にマッチングさせるステップと、をさらに含むことを特徴とする請求項９に記載の投影領域自動補正方法。
11. 投影面を撮影する撮影装置と、
    前記撮影装置により撮影された第１投影面イメージを取得し、前記第１投影面イメージ内の各ピクセルと投影装置により投影される投影領域の各ピクセル座標とを対応させて相対的変換情報を演算し、前記相対的変換情報に基づいて投影装置の有効投影領域を取得する投影管理装置と、
    上映館内の投影領域のイメージを投影する投影装置と、を含み、
    前記第１投影面イメージは、前記投影装置により光パターンが投影された投影面のイメージであることを特徴とする投影領域自動補正システム。
12. 前記投影面上にレーザラインの表示のための光を出力するレーザ水平器をさらに含み、
    前記投影管理装置は、前記撮影装置により撮影された第２投影面イメージをさらに取得することを特徴とする請求項１１に記載の投影領域自動補正システム。
13. 前記投影管理装置は、前記第２投影面イメージから複数のラインイメージを抽出し、前記ラインイメージの交差により生成する交差点を取得し、前記取得された交差点をコンテンツイメージの頂点にマッチングさせることを特徴とする請求項１２に記載の投影領域自動補正システム。