JP2014225182A - 画像投影システム、画像処理装置およびプログラム - Google Patents

Abstract

【課題】投影対象物が提供する投影面に対し画像を投影するための画像投影システム等を提供する。
【解決手段】画像投影システムは、投影面に形成された基準パターンを撮像装置で撮像した基準パターン画像を取得する基準パターン画像取得手段１３０と、投影装置から投影面へ投影された投影パターンを基準パターン画像１７０ａと略同一視点から撮像した投影パターン画像１７２ａを取得する投影パターン画像取得手段１４０と、基準パターン画像１７０ａ、１７２ａから基準パターンの位置を抽出する抽出手段１３０と、投影パターン画像の投影パターンの位置を投影面座標系上に対応付ける対応付け手段１５０と、対応付けに基づき、投影装置に投影面に投影させる対象画像１７４に対し画像変換を施す画像変換手段１６０と、を含む。
【選択図】図２

Description

本発明は、画像投影システム、画像処理装置およびプログラムに関し、より詳細には、投影対象物が提供する投影面に対し画像を投影するための画像投影システム、画像処理装置およびプログラムに関する。

従来より、デジタルサイネージなどの用途では、種々の形状の平面スクリーンや、立体物の表面上に画像を投影させたいという要望がある。近年、このような要望に応えるべく、プロジェクタなどの画像投影装置の出力画像を、投影対象物の表面形状に適応させて、種々の形状を有する表面上に局所歪みを最小化しながら投影する技術が開発されている。

例えば、特開２００４−２８８１８１号公報（特許文献１）は、プロジェクタの出力画像を表示面の形状に適応させることを目的としたプロジェクタを開示する。特許文献１では、プロジェクタにより構造化パターンが表示面上に投影され、構造化パターンの入力画像が、プロジェクタに対して固定の物理的関係にあるカメラによって取得される。そして、入力画像から、構造化パターンの３次元メッシュが、プロジェクタの座標枠において決定される。テクスチャの座標は、プロジェクタの座標枠において決定され、表示領域に従って更新される。次に、テクスチャが３次元メッシュに写像され、テクスチャ処理された３次元メッシュが表示面上にレンダリングされる。

しかしながら、出力画像を投影対象物の表面形状に適応させる従来技術の画像投影技術では、ステレオカメラや、物理的に固定したカメラ・プロジェクタシステムなど、高価な装置を要したり、設置が容易でなかったりするものであった。すなわち、上記従来技術は、投影対象物の表面形状を測定する三次元計測を基盤としており、立体物へ投影する場合、三次元計測を行うための高価な装置を準備し、あるいは手間のかかる作業を行わなければなかった。上記特許文献１の従来技術でも、物理的に固定したカメラ・プロジェクタシステムを要する。したがって、より簡便に出力画像を投影対象物の表面形状に適応させる事ができる技術の開発が求められていた。

本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、本発明は、撮像装置間または撮像装置および投影装置間の位置を固定することを要せずに、３次元形状を有する投影面上で歪みのない投影像を得ることができる、画像投影システム、画像処理装置およびプログラムを提供することを目的とする。

本発明は、上記課題を解決するために、投影装置と、撮像装置とを含み、下記特徴を有する画像投影システムを提供する。本画像投影システムは、投影面に形成された基準パターンを上記撮像装置で撮像した基準パターンの画像を取得する基準パターン画像取得手段と、上記投影装置から投影面へ投影された投影パターンを基準パターンと略同一視点から撮像装置で撮像した投影パターンの画像を取得する投影パターン画像取得手段とを含む。本画像投影システムは、さらに、投影面上の投影面座標系を定義するために、基準パターンの画像から基準パターンの位置を抽出する抽出手段と、投影パターンの画像の投影パターンの位置を投影面座標系上に対応付ける対応付け手段と、対応付けに基づき、投影装置に投影面に投影させる対象画像に対し画像変換を施す画像変換手段とを含む。

上記構成により、撮像装置間または撮像装置および投影装置間の位置を固定することを要せずに、３次元形状を有する投影面上で歪みのない投影像を得ることができる。

本実施形態によるプロジェクション・システムの概略構成図。 本実施形態によるプロジェクション・システムを構成する制御装置の機能ブロック図。 本実施形態による制御装置が実行する、画像投影処理の全体フローを示すフローチャート。 （Ａ）投影対象物位置取得処理および（Ｂ）投影画像位置取得処理に関連する機能ブロック図。 （Ａ）投影対象物位置取得処理および（Ｂ）投影画像位置取得処理を示すフローチャート。 本実施形態における貼付パターン撮像画像に基づく投影対象物位置取得処理、および投影パターン撮像画像に基づく投影画像位置取得処理を説明する図。 本実施形態における位置対応付け処理を説明する図。 本実施形態におけるマルチプロジェクションの場合の位置対応付け処理を説明する図。 本実施形態による画像変換処理に関連する詳細な機能ブロック図。 本実施形態による画像変換処理を示すフローチャート。 本実施形態による画像変換処理における幾何変換処理を説明する図。 実施形態による画像変換処理におけるエッジブレンディング処理を説明する図。 円筒スクリーン上で環状の投影像を構成する場合の一周接続部分を決定する処理を説明する図。 （Ａ，Ｂ）特定の視点から（Ｃ，Ｄ）投影対象物表面の各局所平面の法線方向から見て、歪みのない投影を模式的に説明する図。

以下、本実施形態について説明するが、実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、画像投影システムおよび画像処理装置の一例として、１以上のプロジェクタと、１以上のカメラと、制御装置とを含むプロジェクション・システム、および制御装置を用いて説明する。

（用語の説明）
以下、まず、本実施形態を説明するにあたって、用語について説明する。本実施形態において、「パターン」とは、図形要素が所定の規則で配置されてなす模様をいい、撮像装置で撮像し、座標情報の取得するために利用される。例示としては、背景に対してコントラストを有するドットを２次元に配列したドット模様、背景に対してコントラストを有する円形状を２次元に配列した水玉模様、互いにコントラストを有する２色の正方形マスが水平および垂直方向に交互に配列された市松模様、背景に対してコントラストを有するラインを２次元に配列した格子模様など、種々の模様を挙げることがきる。なお、コントラストを有するとは、注目する要素とそれ以外の背景または他の要素とが区別できるような特徴の差を有することをいう。撮像された画像において明るさの差を有することの他、画像において色の所定成分（色相、彩度、明度、赤、青、緑など種々の色空間の成分を挙げることができる。）において差を有することも含まれる。

本実施形態において、「貼付パターン」とは、投影する対象となる立体物（以下、投影対象物と参照する。）の表面に貼り付けられたパターンをいい、投影対象物の表面形状に関する情報を取得するために利用される。貼付パターンの態様としては、所定のパターンが印刷された被覆体（シート）を投影対象物の表面に貼り付ける態様、投影対象物の表面にマーカ（表面とコントラストを有する図形要素）を直接貼り付けてパターンを画定する態様などを挙げることができる。「貼付パターン」は、本実施形態において投影対象物表面での座標系を規定する基準パターンを構成する。また、本実施形態において、「投影パターン」とは、投影対象物に投影されたパターンをいい、投影する画像の投影面上での歪みに関する情報を取得するために利用される。本実施形態において、「投影パターン出力画像」とは、投影対象物に投影パターンを投影するために投影装置が出力する出力画像をいう。

本実施形態において「パターン抽出」とは、パターン（貼付パターンおよび投影パターンを含む。）を撮像した撮像画像から、パターンを構成する図形要素に基づく特徴点の座標情報を取得し、メッシュを生成する処理をいう。ここで、「メッシュ」とは、パターンの図形要素に基づく特徴点の座標を座標間の位置関係を規定した配列にしたものをいい、コンピュータで扱い易い形式とされている。簡便には、パターンの各ドット中心がメッシュの格子点に対応付けられるが、これに特に限定されるものではない。また、「貼付メッシュ」とは、投影対象物に貼り付けられた貼付パターンを撮像し、パターン抽出してメッシュ化したものをいい、本実施形態における基準メッシュを構成する。「投影メッシュ」とは、投影対象物に投影された投影パターンを撮像し、パターン抽出してメッシュ化したものをいう。

以下、図１〜図１４を参照しながら、本実施形態によるプロジェクション・システム１００について説明する。

（全体構成）
図１は、本実施形態によるプロジェクション・システム１００の概略構成を示す。本実施形態によるプロジェクション・システム１００は、本システムの全体制御を行う制御装置１１０と、記憶装置１１２と、プロジェクタ１１４と、カメラ１１６とを含み構成される。プロジェクション・システム１００の最小構成では、１つのプロジェクタ１１４および１つのカメラ１１６を含むことができる。一方、図１に示す実施形態では、複数のプロジェクタ１１４ａ，１１４ｂ・・・および複数のカメラ１１６ａ，１１６ｂ・・・が設けられている。これにより、複数のプロジェクタからの投影像を投影面上で合成し、単一のプロジェクタよりも大きな領域に画像を投影する、いわゆるマルチプロジェクションに対応した構成とされている。

プロジェクタ１１４は、液晶方式、ＣＲＴ（Cathode Ray Tube）方式、ＤＬＰ（Digital Light Processing）方式、ＬＣＯＳ（Liquid Crystal On Silicon）方式などを採用した投影装置である。プロジェクタ１１４は、制御装置１１０から本プロジェクタ１１４に入力された画像を投影対象物の投影面へ向けて投影する。カメラ１１６は、それぞれ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子と、固体撮像素子上に結像するためレンズなどの結像光学系とを含む撮像装置である。カメラ１１６は、所定の視点から被写体を撮像し、制御装置１１０に撮像画像を出力する。

本プロジェクション・システム１００では、投影面を提供する投影対象物１２０が設置されており、説明する実施形態では、投影対象物１２０は、側面が投影面となる円筒形状を有した円筒スクリーン（円筒ないし円柱である。）を構成している。プロジェクタ１１４各々は、この投影対象物１２０の投影面上に、プロジェクタ間で投影中心の位置をずらしながら、自身に入力された画像を投影する。マルチプロジェクションが行われる場合は、複数のプロジェクタ１１４からの投影像が投影面上で重なり合わせられて、単一の投影像が合成される。説明する実施形態では、カメラ１１６各々は、プロジェクタ１１４各々に対応して設けられている。そして、カメラ１１６各々は、投影対象物１２０の投影面の少なくとも一部が視野に入るように、かつ、対応するプロジェクタ１１４が投影する投影像が視野に入るように、カメラ視点および視野が設定されている。

記憶装置１１２は、種々のデータを記憶する装置である。説明する実施形態では、記憶装置１１２は、円筒スクリーンに投影しようとする投影対象画像データ、その投影対象画像に対して画像補正や幾何変換を施した出力画像データ、後述する処理で用いられる種々の中間データを格納する。投影対象画像は、静止画として与えられてもよいし、動画中の任意のタイミングのフレームとして与えられてもよい。

制御装置１１０は、記憶装置１１２から投影対象画像データを読み出し、プロジェクタ１１４各々から投影させる出力画像データを生成し、プロジェクタ１１４に対し画像の投影を行わせる。上述したマルチプロジェクションが行われる場合は、制御装置１１０は、全体として投影する対象となる投影対象画像データを、プロジェクタ１１４各々が担当する画像データ各々に分割する処理を実行する。制御装置１１０は、汎用コンピュータとして実装されてもよいし、専用コントローラとして実装されてもよいし、いずれかのプロジェクタ１１４に組み込まれてもよい。

投影対象画像からプロジェクタ１１４が実際に出力する出力画像を生成する際の画像補正および幾何変換のパラメータは、事前にカメラ１１６で投影対象物１２０を撮像して得られた撮像画像に基づいて制御装置１１０が算出する。

上記プロジェクション・システム１００において、投影面は、円筒形状などの３次元形状を有しており、プロジェクタ１１４各々の光源から投影面までの距離が位置によって変化する。このため、そのまま画像を投影したとしても、投影された投影像には歪みが生じてしまう。このような歪みを補正するために、通常、投影面の表面形状を取得することが行われる。しかしながら、その場合、基線長が定義されたステレオカメラ、あるいは物理的な位置が制御されたプロジェクタおよびカメラのシステムを構成して、投影面の３次元計測が行われる。

これに対して、本実施形態によるシステム１００では、図１に示すように、上記投影対象物１２０の表面に、貼付パターン１２２を形成する。そして、投影面上に形成された貼付パターン１２２をカメラ１１６で撮像し、得られた撮像画像を用いて投影面の表面形状に関する情報を取得し、この情報に基づいて、上記パラメータを算出し、適切な出力画像を得る構成を採用している。

なお、貼付パターンは、種々の態様とすることができるが、以下、図１に示すように、複数のドットを格子状に配置したドット模様のパターンを印刷したシートが、投影対象物１２０の側面に貼り付けられている態様を例示して説明する。

図２は、本実施形態によるプロジェクション・システム１００を構成する、制御装置１１０の機能ブロック図である。図２に示す制御装置１１０は、投影対象物位置取得部１３０と、投影画像位置取得部１４０と、位置対応付け部１５０と、画像変換係数算出部１５２と、画像変換部１６０とを含み構成される。

上述したように、プロジェクション・システム１００では、画像補正および幾何変換のパラメータを算出するために、カメラ１１６各々により、図１に示した円筒スクリーン上に形成された貼付パターン１２２が事前に撮像される。本システムでは、さらに、プロジェクタ１１４各々から円筒スクリーンに所定の投影パターン出力画像を投影し、対応するカメラ１１６各々により、上記貼付パターン１２２の場合と略同一の視点から、投影されている投影パターンが事前に撮像される。そして、制御装置１１０には、円筒スクリーン上の貼付パターン１２２が撮像された貼付パターン撮像画像１７０と、円筒スクリーン上の投影パターンが撮像された投影パターン撮像画像１７２とが、カメラ１１６各々から入力される。

投影対象物位置取得部１３０は、投影対象物の表面形状に関する位置情報を取得する手段である。投影対象物位置取得部１３０は、入力された貼付パターン撮像画像１７０を取得し、貼付パターン撮像画像１７０から貼付パターンを構成している各ドットを識別し、ドットの中心位置（撮像画像の座標系）を抽出し、貼付メッシュを生成する。投影画像位置取得部１４０は、投影対象物に投影された投影像に関する位置情報を取得する手段である。投影画像位置取得部１４０は、上記入力された投影パターン撮像画像１７２を取得し、投影パターン撮像画像１７２から投影パターンを構成する各ドットを識別し、ドットの中心位置を抽出し、投影メッシュを生成する。

投影対象物位置取得部１３０および投影画像位置取得部１４０により取得された位置情報は、略同一視点で撮像された撮像画像１７０，１７２から抽出されたものであるため、撮像画像１７０，１７２の画素位置により対応付けが可能となっている。位置対応付け部１５０は、略同一視点で撮像された撮像画像１７０，１７２に基づき、貼付パターンおよび投影パターンを構成する図形要素の位置の対応付け処理を実行する。なお、位置対応付け部１５０が実行する対応付け処理については、詳細を後述する。

マルチプロジェクションが行われる場合は、プロジェクタ１１４毎に、貼付パターン撮像画像１７０ａ・・・および投影パターン撮像画像１７２ａ・・・が入力され、各プロジェクタ毎に上述した処理が行われることになる。

画像変換係数算出部１５２は、上述した対応付けに基づいて、投影したい画像１７４を、適切な投影像が得られるように実際にプロジェクタ１１４が出力する出力画像１７６に変換するための画像補正および幾何変換のパラメータを算出する。画像変換部１６０は、対応付けに基づき算出されたパラメータを用いて、投影面に投影したい対象画像１７４に対して画像補正および幾何変換を施し、出力画像１７６を生成する。

マルチプロジェクションが行われる場合は、画像変換部１６０は、全体として投影する対象となる投影対象画像をプロジェクタ１１４各々が担当する画像各々に分割する。そして、画像変換部１６０は、それぞれの画像について、複数のプロジェクタ１１４からの投影像が投影面上で重なり合わせられて一体的な投影画像が合成されるように、画像補正および幾何変換を施す。

図３は、本実施形態による制御装置１１０が実行する、画像投影処理の全体フローを示すフローチャートである。図３に示す処理は、ステップＳ１００から開始し、ステップＳ１０１では、制御装置１１０は、各カメラ１１６により、略同一視点から、貼付パターンおよび投影パターンを撮像させる。なお、貼付パターンを撮像する際には、貼付パターンをスポットライトなどの光源で照らして、貼付パターンを明瞭とし、貼付パターン以外のノイズを抑制するなどの工夫が行われてもよい。

略同一視点からの撮像は、例えば、投影対象物１２０の投影面に貼付パターンが印刷されたシートを被せて撮像を行った後、貼付パターンを剥がすあるいは隠すなどした後に、投影面に投影パターンを投影し、各カメラ１１６から同一条件で撮像することにより、行うことができる。あるいは、貼付パターンに対し投影パターンを重ねて投影し、１枚の撮像画像から貼付パターンと撮像パターンとを分離して抽出してもよい。すなわち、投影面に形成された貼付パターンに対し投影パターンを重ねて投影したシーンを撮像した単一の撮像画像から派生する画像として、上記貼付パターン撮像画像１７０および投影パターン撮像画像１７２が得られてもよい。この場合、カメラを固定することを要せず、撮像回数も削減することができる。

単一の撮像画像からの貼付パターンおよび撮像パターンの分離抽出は、例えば、撮像画像を色成分と、明るさ成分に分離することにより行うことができる。例えば、イエローの背景に、シアンのドットを配置したパターンでは、イエローとシアンは、明るさ（明度）成分でのコントラスト小さいが、ＲＧＢ色空間ではＲ成分とＢ成分とで分離することができる。このため、ＲまたはＢの色成分（色相）では高いコントラストを得ることができる。このような貼付パターンを用いる場合、白の背景に黒のドットを配置したような、明るさでコントラストを有する投影パターンを好適に用いることができる。

なお、説明する実施形態において、複数の撮像画像について「略同一の視点から撮像する」とは、同一の条件（カメラ位置、方向、ズーム）で複数回に分けて撮像することの他、単一の画像から色成分を分離により複数の撮像画像を得る前提で１回撮像すること、当該撮像画像間で画素の対応付けができる程度の範囲で撮像条件（カメラ位置、方向およびズーム）が変化することを許容しながら複数回に分けて撮像することを含む。

ステップＳ１０２では、制御装置１１０は、プロジェクタ１１４を識別する変数ｎを初期化し、プロジェクタｎ（ｎ＝１，…Ｎ：Ｎは台数）毎に、ステップＳ１０３〜ステップＳ１０７の処理を実行する。ステップＳ１０３では、制御装置１１０は、投影対象物位置取得部１３０により、プロジェクタｎについて、取得された貼付パターン撮像画像１７０に基づき、後述する投影対象物位置取得処理を実行する。ステップＳ１０４では、制御装置１１０は、投影画像位置取得部１４０により、プロジェクタｎについて、取得された投影パターン撮像画像１７２に基づき、後述する投影画像位置取得処理を実行する。ステップＳ１０５では、制御装置１１０は、位置対応付け部１５０により、取得された投影対象物および投影画像の位置情報（貼付パターン（貼付メッシュ）および投影パターン（投影メッシュ））の対応付けを行う。

ステップＳ１０６では、制御装置１１０は、現在の変数ｎが、最大値Ｎに達したか、つまり、すべてのプロジェクタ（ｎ＝１，…，Ｎ）についてステップＳ１０３〜ステップＳ１０５の処理が実行されたか否かを判定する。ステップＳ１０６で、変数ｎが、最大値Ｎに達していないと判定された場合（ＮＯ）は、ステップＳ１０７へ処理を分岐させ、次のプロジェクタｎ（ｎ←ｎ＋１）に対し処理を進め、ステップＳ１０３へ処理をループさせる。これにより、プロジェクタの台数分だけ、ステップＳ１０３〜ステップＳ１０５の処理を実行させる。一方、ステップＳ１０６で、変数ｎが最大値Ｎに達したと判定された場合（ＹＥＳ）は、ステップＳ１０８へ処理が進められる。

ステップＳ１０８では、制御装置１１０は、画像変換係数算出部１５２により、各プロジェクタについての対応付け結果に基づいて、上記画像補正および幾何変換のパラメータを算出する。ステップＳ１０９では、制御装置１１０は、投影する対象となる画像１７４に対し、算出されたパラメータに従って画像補正および幾何変換を施し、各プロジェクタｎ毎の出力画像１７６ａ・・・を生成し、ステップＳ１１０で、本処理を終了させる。生成された出力画像１７６ａ・・・は、それぞれ、対応するプロジェクタ１１４に入力されて、投影されることになる。

以下、図４〜図１３を参照しながら、本実施形態における投影対象物位置取得処理、投影画像位置取得処理、位置対応付け処理、画像変換係数算出処理および画像変換処理の詳細について説明する。

（投影対象物位置取得処理および投影画像位置取得処理）
図４は、（Ａ）投影対象物位置取得処理および（Ｂ）投影画像位置取得処理に関連する、詳細な機能ブロックを示す図である。図５は、（Ａ）投影対象物位置取得処理および（Ｂ）投影画像位置取得処理を示すフローチャートである。図６は、本実施形態における貼付パターン撮像画像に基づく投影対象物位置取得処理、および投影パターン撮像画像に基づく投影画像位置取得処理を説明する図である。

図４（Ａ）は、投影対象物位置取得部１３０の詳細な機能ブロックを示す。図４（Ａ）に示す投影対象物位置取得部１３０は、貼付パターン撮像画像取得部１３２と、貼付パターン抽出部１３４と、貼付メッシュ生成部１３６と、マルチプロジェクションが行われる場合の貼付メッシュ合成部１３８とを含む。

貼付パターン撮像画像取得部１３２は、投影対象物１２０の投影面に貼り付けられた貼付パターン１２２を各カメラ１１６で撮像した貼付パターン撮像画像１７０を取得し、貼付パターン抽出部１３４に出力する。

図６には、貼付パターン１２２が貼付メッシュとともに示されているが、貼付パターン１２２は、投影面上で座標系（以下、投影面上で定義される座標系を投影面座標系と参照する。）を規定するものである。説明する実施形態では、投影面座標系は、半径ｒ＝１とした円筒座標系（θ，ｚ）とされている。この貼付パターン１２２が形成された投影対象物１２０表面をカメラ１１６で撮像すると、図６に示すような貼付パターン撮像画像１７０が得られる。典型的には、貼付パターン撮像画像１７０には、円筒スクリーン上に形成された貼付パターン１２２の一部の範囲が写り込むことになる。

貼付パターン抽出部１３４は、入力された貼付パターン撮像画像１７０からパターン抽出を実施し、貼付パターンを構成する画像中のドットを特徴点として識別し、各ドットの中心座標位置（撮像画像上での画素位置）を取得し、貼付メッシュ生成部１３６に出力する。貼付メッシュ生成部１３６は、各ドットの座標情報の集合として与えられたデータから、ドットの座標間の位置関係を規定した配列を形成し、コンピュータが扱いやすいメッシュのデータ形式に変換する。簡便には、図６に示すように、貼付パターンのドット中心を格子点とした貼付メッシュを生成することができる。

なお、画像からドットなどの所定の図形要素を識別し、ドットの座標情報を取得する手法や、座標情報から、座標間の位置関係を規定した配列に変換し、メッシュを生成する手法については、既知の如何なるアルゴリズムを使用することができる。

貼付メッシュ合成部１３８は、マルチプロジェクションが行われる場合に用いられる。貼付メッシュ合成部１３８は、複数の視点から撮像された複数の貼付パターン撮像画像１７０に基づき得られた複数の貼付メッシュを合成し、単一の投影面座標系上で合成された貼付メッシュを定義する。上述したように、カメラ１１６から１つの視点で撮像された貼付パターン撮像画像１７０には、貼付パターン１２２の一部が写り込むことになるが、貼付パターン１２２自体は、投影面上に連続的に形成されている。ここで、各視点間の貼付パターンの位置関係が既知であれば、複数視点で撮像された貼付パターン撮像画像１７０ａ・・・から抽出された貼付パターンおよび貼付メッシュをつなぎ合わせることができる。

図５（Ａ）は、投影対象物位置取得部１３０が実行する、投影対象物位置取得処理の流れを示す。図５（Ａ）に示す処理は、図３に示したステップＳ１０３で呼び出されて、ステップＳ２００から開始される。ステップＳ２０１では、貼付パターン撮像画像取得部１３２は、プロジェクタｎについての貼付パターン撮像画像１７０を取得する。ステップＳ２０２では、貼付パターン抽出部１３４は、入力された貼付パターン撮像画像１７０に対しパターン抽出を実施し、プロジェクタｎについてのドット中心座標位置データを取得する。ステップＳ２０３では、貼付メッシュ生成部１３６は、ドット中心座標位置データから、プロジェクタｎについての貼付メッシュを生成する。

ステップＳ２０４では、投影対象物位置取得部１３０は、マルチプロジェクションが行われるか否かを判定し、判定結果に応じて処理を分岐させる。ステップＳ２０４で、マルチプロジェクションが行われると判定された場合（ＹＥＳ）は、ステップＳ２０５へ処理を分岐させる。ステップＳ２０５では、貼付メッシュ合成部１３８は、複数の視点（複数のプロジェクタ）について得られた貼付メッシュを、事前指定された視点間で写り込む貼付パターン１２２の重複範囲の情報に基づき、同一の座標系上で合成する。重複範囲の情報は、例えばθ方向で重複するメッシュの数などによって事前指定される。そして、ステップＳ２０６で、呼び出し元の図３に示すメイン処理に戻される。

図４（Ｂ）は、投影画像位置取得部１４０の詳細な機能ブロックを示す。図４（Ｂ）に示すように投影画像位置取得部１４０は、投影パターン撮像画像取得部１４２と、投影パターン抽出部１４４と、投影メッシュ生成部１４６とを含み構成される。

投影パターン撮像画像取得部１４２は、プロジェクタ１１４から投影面へ投影された投影パターン１２４を、上記貼付パターン撮像画像１７０と略同一視点から撮像した投影パターン撮像画像１７２を取得し、投影パターン抽出部１４４に出力する。図６に示すような、ドットが規則的に並べられた投影パターン出力画像１７８を投影面に投影し、撮像すると、図６に示すような投影パターン撮像画像１７２が得られる。投影面は、３次元形状を有しているので、典型的には、投影パターン撮像画像１７２には、円筒スクリーン上に歪んで投影された投影パターンが写り込むことになる。

投影パターン抽出部１４４は、入力された投影パターン撮像画像１７２からのパターン抽出を実施し、投影パターンを構成する撮像画像中のドットを特徴点として識別し、各ドットの中心座標位置を取得し、投影メッシュ生成部１４６に出力する。投影メッシュ生成部１４６は、各ドットの座標情報の配列として与えられるデータから、ドットの座標間の位置関係を規定した配列を構成し、メッシュに変換する。なお、貼付パターンと同様に、図形要素の座標情報の取得、メッシュの生成については、これまで知られた如何なるアルゴリズムを使用することができる。

図５（Ｂ）は、投影画像位置取得部１４０が実行する、投影画像位置取得処理の流れを示す。図５（Ｂ）に示す処理は、図３に示したステップＳ１０４で呼び出されて、ステップＳ３００から開始される。ステップＳ３０１では、投影パターン撮像画像取得部１４２は、プロジェクタｎについての投影パターン撮像画像１７２を取得する。ステップＳ３０２では、投影パターン抽出部１４４は、入力された投影パターン撮像画像１７２に対してパターン抽出を実施し、プロジェクタｎについてのドット中心座標位置データを取得する。ステップＳ３０３では、投影メッシュ生成部１４６は、ドットの中心座標位置データから、プロジェクタｎについての投影メッシュを生成し、ステップＳ３０４で、呼び出し元の図３に示すメイン処理に戻す。

（位置対応付け処理）
図７は、本実施形態における位置対応付け処理を説明する図である。図８は、本実施形態におけるマルチプロジェクションの場合の位置対応付け処理を説明する図である。

図７には、撮像画像の座標上で投影パターン（投影メッシュ）を貼付メッシュ上に重ね合わせた図１８０が示されている。上述したように、取得された貼付パターン（貼付メッシュについても同じ。）および投影パターン（投影メッシュについても同じ。）の位置情報は、略同一視点で撮像された撮像画像１７０，１７２から抽出されたものであるため、撮像画像１７０，１７２の画素位置により対応付けが可能となっている。

ここで、投影パターン出力画像１７８、投影パターン撮像画像１７２、投影面座標系１８２上での投影パターンの所定ドットＱの中心座標位置をそれぞれ、Ｑｐ、Ｑｃ、Ｑｍと参照し、貼付パターン撮像画像１７０および投影面座標系１８２上のドットＱを囲む４つの格子点の座標位置をＡｃ、Ｂｃ、Ｃｃ、ＤｃおよびＡｍ、Ｂｍ、Ｃｍ、Ｄｍと参照する。撮像画像上のドット座標Ｑｃには、格子点Ａｃ、Ｂｃ，Ｃｃ，Ｄｃがなす小領域における相対的な位置関係を求めることができる。また、格子点Ａｃ、Ｂｃ，Ｃｃ，Ｄｃは、投影面座標系上の格子点Ａｍ、Ｂｍ，Ｃｍ，Ｄｍに対応付けることができる。したがって、ドット座標Ｑについても、格子点Ａｍ、Ｂｍ，Ｃｍ，Ｄｍがなす小領域における相対的な位置関係に基づき、投影面座標系１８２上の位置座標Ｑｍを決定することができる。

このように、略同一の視点からの画像における画素位置に基づいて対応付けを行うことにより、投影パターン撮像画像１７２内の投影パターンのドット位置座標Ｑｃを、投影面座標系上に対応付けることができる。さらに、投影パターン出力画像内のドット位置が既知であるので、上記対応付けに基づいて、投影パターン出力画像におけるドット画素位置Ｑｐも投影面座標系上に対応付けることができる。投影メッシュについても同様である。したがって、出力画像の座標系から投影面座標系への幾何変換、その逆の投影面座標系から出力画像の座標系への幾何変換が可能となる。

また、マルチプルジェクションが行われる場合は、図８に示すように、各プロジェクタｎ毎に、投影メッシュ（投影パターン）と貼付メッシュ（貼付パターン）の対応付けが行われる（１８２−１〜１８２−４）。このとき、上述したように複数視点の貼付メッシュが合成されるので、単一の投影面座標系１８４上での各プロジェクタについての投影パターンおよび投影メッシュ１８５−１〜１８５−４も得ることができる。

（画像変換係数算出処理および画像変換処理）
図９は、本実施形態による画像変換処理に関連する詳細な機能ブロックを示す図である。図１０は、本実施形態による画像変換処理を示すフローチャートである。図１１は、本実施形態による画像変換処理における幾何変換処理を説明する図である。

図９に示す画像変換部１６０は、投影対象画像取得部１６２と、マルチプロジェクションが行われる場合の画像分割部１６４と、エッジブレンディング部１６６と、幾何変換部１６８とを含み構成される。投影対象画像取得部１６２は、投影する対象となる画像１７４を取得する手段である。マルチプロジェクションが行われる場合は、投影像として投影しようとしている全体画像が取得される。

画像分割部１６４は、マルチプロジェクションが行われる場合に、取得された全体画像を、プロジェクタ１１４各々が担当する各対象画像に分割する。エッジブレンディング部１６６は、複数のプロジェクタ１１４間で、投影面上で重なる領域部分に関し、投影面上での画像の明るさの不連続が低減されるように、分割された対象画像各々に対し画像補正を行う。幾何変換部１６８は、対象画像（マルチプロジェクションの場合は分割された対象画像それぞれ）に対し、投影面座標系上で歪みが生じないように幾何変換を施す。

画像変換処理では、図１１に示すように、まず、投影面座標系において歪みのない投影領域（灰色で図示する。）１８６を設定し、この投影領域１８６に対し、投影したい対象画像１７６を挿入する。マルチプロジェクションが行われる場合は、画像分割部１６４は、投影面座標系上に射影されたプロジェクタ毎の投影メッシュに基づき、挿入された対象画像１７６を、プロジェクタ毎の対象画像１８８に分割する。そして、幾何変換部１６８は、分割されたプロジェクタ毎の対象画像を、各プロジェクタの投影する出力画像１９０の座標系に変換する幾何変換処理を行う。

幾何変換処理では、画像変換係数算出部１５２により算出さられる幾何変換パラメータを用いることになるが、幾何変換パラメータの算出方法としては、これまで知られた如何なるアルゴリズムを使用することができる。

例えば、画像を小領域に分割し、小領域毎に射影変換を行う手法を採用することができる。上述した対応付けに基づいて、投影パターン出力画像１７８上のドット中心位置と、投影面座標系上の位置との対応関係が既知である。このため、画像変換係数算出部１５２は、４つの隣接格子点（ドット中心位置）で画定される小領域に分割し、各小領域毎に、投影面座標系から出力画像の座標系へ射影する射影変換のパラメータを算出することができる。幾何変換部１６８は、この小領域毎に算出された幾何変換パラメータを用いて、投影面座標系の投影領域１８６（マルチプロジェクションが行われる場合は、各担当領域）に挿入された対象画像に対して、小領域毎に射影変換を施し、再標本化する。これにより、対象画像から適切な出力画像を生成することができる。

複数のプロジェクタ間で、投影面上で重なる領域部分に関しては、さらに、幾何変換の前にエッジブレンディング部１６６により画像補正が施される。図１２は、本実施形態による画像変換処理におけるエッジブレンディング処理を説明する図である。図１２（Ａ）は、左右のプロジェクタの投影領域１９２Ｌ，１９２Ｒの重なり部分１９４を模式的に示し、図１２（Ｂ）は、均一な白色を投影しようとした場合の左右のプロジェクタの画像の輝度のプロファイル示す。

エッジブレンディング処理とは、図１２に示すように、複数のプロジェクタ１１４の投影範囲が重なる部分１９４で個々のプロジェクタの投光量を滑らかに落とし、継ぎ目を目立たなくする処理をいう。エッジブレンディング処理では、重なる部分において、隣接するプロジェクタの担当領域に近接するに従って画像の輝度Ｘを、グラフ中点線で示す用に線形に減少させることが理想である。しかしながら、画像の輝度Ｘとプロジェクタの投光量Ｙとは通常比例しないため，γ補正（補正後の輝度Ｘ’＝輝度Ｘ^(1／γ)）を行うことが好ましい。また、円筒スクリーンに対して正面の位置から投影するとした場合、向かって円筒の端の方へ進むほど光量が減少するので、平面マルチプロジェクションを行う場合よりも、大きなγ値とした方が、つなぎ目を滑らかにする点で有効である。

このように投影面の歪みの量にあわせて明るさを調節することにより、自然な明るさを実現できる。この場合、投影面がランバート反射し、表面の輝度が視点の角度によらず同じであるとすると、投影面の法線方向から見たときの投光面積の大きさに比例して、明るさが高くなるように補正をかけるとより効果的である。例えば、円筒の中心部分と端の部分で、投光面積が２倍となったら、投光量が２倍となるように対象画像に対し明るさ補正することが好ましい。

また、マルチプロジェクションに関し、円筒スクリーンを（θ方向に）一周して環状の投影面を構成する場合には、合成された貼付メッシュにおいて、一周接続する部分を定義する必要がある。複数の視点から貼付メッシュを合成した貼付メッシュは、貼り合わせられて連続するθ方向の座標値を有するが、３６０°にスケールされていないため、そのままでは、円筒スクリーン上でちょうど一周する投影領域の幅が決定できないためである。

図１３は、円筒スクリーン上で環状の投影像を構成する場合の一周接続部分を決定する処理を説明する図である。上述したように、貼付メッシュにおける一周接続部を決定する形態としては、図１３（Ａ）〜（Ｈ）に示す４つの態様を挙げることができる。

まず、図１３（Ａ）および（Ｂ）に示す第１の態様では、投影面の環の一周を等分する間隔でドットが配置された貼付パターンを準備し、等分する位置に基づき環状接続することができる。複数の視点からの貼付メッシュは、それぞれ、隣接する貼付メッシュとの間で指定されたドットの重複個数に基づいて貼り合わせられ、一周接続された合成メッシュが得られる。この場合は、円筒スクリーンの円周の長さに合わせてドットを配置した貼付パターンを準備することを要するが、環一周の接続部分を容易に決定することができる。

残る態様では、投影面の環の一周をちょうど等分する間隔に限られず、任意の間隔でドットが配置された貼付パターンを用いることができる。図１３（Ｃ）および（Ｄ）に示す第２の態様では、環の一周分に相当する投影面座標系上での長さを事前指定し、この事前指定された長さに基づき環状接続することができる。例えば、円周の長さが、所定メッシュ数（例えば１００．５など整数に限られない。）の長さを有する場合は、この情報に基づいて、投影面座標形状での一周に相当するピクセル長を推定し、環状接続することができる。この場合、環一周を等間隔に分割する貼付パターンを準備しなくとも、環一周の接続部を推定し、調節することが可能となる。

図１３（Ｅ）および（Ｆ）に示す第３の態様では、レーザ墨出し器１９６などを用いて投影対象物上の貼付パターン上に始点および終点となる接続境界１９８を目印して環状接続することができる。この態様では、接続部分に対応する２つのプロジェクタについての貼付パターンの撮像時に、墨出しされた目印１９８を含めて撮像して、各貼付メッシュ上で始点または終点となる境界位置を求める。そして、複数の視点から合成される貼付メッシュ上に接続位置が画定される。この場合、目印を検出する処理を要するが、環一周の長さなどの事前情報を与えずとも、環一周の接続部を推定し、調節することが可能となる。

図１３（Ｇ）および（Ｈ）に示す第４の態様では、複数のうちの始端となるプロジェクタ１１４−１から投影面に目印１９９を投影し、これを一周して終端となるプロジェクタ１１４−Ｎに対するカメラ１１６−Ｎで撮像する。そして、この撮像された撮像画像の目印の位置に基づき、環状接続することができる。この場合、撮像回数が増加するが、レーザ墨出し器１９６などの外部のデバイスを用いなくとも、環一周の接続部を推定し、調節することが可能となる。

いずれの態様でも、投影面座標上で適切な投影領域１８６を設定し、この投影領域１８６に幅方向に循環する投影対象画像１７４を挿入することにより、複数のプロジェクタ１１４から環状のスクリーン上に不連続なく適切な画像を投影することが可能となる。

上記実施形態では、略同一視点から、投影面に形成された貼付パターンを撮像した撮像画像と、プロジェクタから投影面へ投影された投影パターンを撮像した撮像画像が取得される。そして、これらの撮像画像に基づいて、投影対象物の表面形状に関する情報と投影する画像の位置情報とが対応付けられる。貼付パターンは、投影対象物が提供する投影面上で投影面座標系を定義し、上述した対応付けにより、投影面座標系上で歪みがない投影領域を決定することができる。その投影領域に投影したい画像を挿入し、投影する画像の座標系にあわせて座標変換することによって、投影された場合に投影対象物表面の各局所平面の法線方向から見て歪みがないように補正された出力画像が得られる。

図１４（Ａ，Ｂ）は、特定の視点から見て歪みのない投影を模式的に説明する図であり、図１４（Ｃ，Ｄ）は、投影対象物表面の各局所平面の法線方向から見て歪みのない投影を模式的に説明する図である。本実施形態による画像投影処理では、投影面上の座標系に沿って歪みのない投影領域１８６が設定され、そこに対象画像１７４が投影されるように出力画像に幾何変換が施される。このため、図１４（Ｃ，Ｄ）に示すような、投影対象物表面の各局所平面の法線方向から見て歪みがないように補正された投影像を得ることができる。上記貼付パターンは、投影対象物の投影面上に直接形成されるので、投影面形状を３次元計測するためのステレオカメラや物理的に固定したカメラ・プロジェクタシステムを構成することを要しない。

以上説明したように、本実施形態によれば、撮像装置間または撮像装置および投影装置間の位置を固定することを要せずに、３次元形状を有する投影面上で歪みのない投影像を得ることができる、画像投影システム、画像処理装置およびプログラムを提供することができる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…プロジェクション・システム、１１０…制御装置、１１２…記憶装置、１１４…プロジェクタ、１１６…カメラ、１２０…投影対象物、１２２…貼付パターン、１２４…投影パターン、１３０…投影対象物位置取得部、１３２…貼付パターン撮像画像取得部、１３４…貼付パターン抽出部、１３６…貼付メッシュ生成部、１３８…貼付メッシュ合成部、１４０…投影画像位置取得部、１４２…投影パターン撮像画像取得部、１４４…投影パターン抽出部、１４６…投影メッシュ生成部、１５０…位置対応付け部、１５２…画像変換係数算出部、１６０…画像変換部、１６２…投影対象画像取得部、１６４…画像分割部、１６６…エッジブレンディング部、１６８…幾何変換部、１７０…貼付パターン撮像画像、１７２…投影パターン撮像画像、１７４…投影したい画像、１７６…出力画像、１７８…投影パターン出力画像、１８０…重ね合わせ図、１８２…投影面座標系、１８４…単一の投影面座標系、１８５…投影メッシュ、１８６…投影領域、１８８…対象画像、１９０…出力画像、１９２…プロジェクタの投影領域、１９４…重なり部分、１９６…レーザ墨出し器、１９８…接続境界、１９９…目印

特開２００４−２８８１８１号公報

Claims (10)

1. 投影装置と、撮像装置とを含む画像投影システムであって、
   投影面に形成された基準パターンを前記撮像装置で撮像した画像を取得する基準パターン画像取得手段と、
   前記投影装置から前記投影面へ投影された投影パターンを前記基準パターンと略同一視点から前記撮像装置で撮像した画像を取得する投影パターン画像取得手段と、
   前記投影面上の投影面座標系を定義するために、前記基準パターンの画像から前記基準パターンの位置を抽出する抽出手段と、
   前記投影パターンの画像の前記投影パターンの位置を前記投影面座標系上に対応付ける対応付け手段と、
   前記対応付けに基づき、前記投影装置に前記投影面に投影させる対象画像に対し画像変換を施す画像変換手段と
   を含む、画像投影システム。
2. 前記投影面の前記基準パターンは、前記基準パターンを１以上の図形により画定する被覆体を投影対象物の対象表面に貼り付けることによって形成されるか、または、前記基準パターンを画定するように１以上の図形の要素を投影対象物の対象表面に貼り付けることによって形成されることを特徴とし、前記抽出手段は、前記基準パターンの画像から抽出される前記図形に基づく特徴点を用いて、前記基準パターンの位置を抽出することを特徴とする、請求項１に記載の画像投影システム。
3. 前記画像投影システムは、複数の視点から撮像された複数の基準パターンの画像に基づいて、合成された単一の投影面座標系を定義する合成手段をさらに含む、請求項１または２に記載の画像投影システム。
4. 前記投影装置は、複数備えられ、前記画像投影システムは、投影する対象画像を、複数の投影装置各々についての対象画像に分割する画像分割手段と、
   分割された対象画像間の前記投影面上で重なる領域部分に関し、前記投影面上での画像の不連続が低減されるように、分割された対象画像各々に対し画像補正を行う画像補正手段と
   をさらに含み、前記画像変換手段は、分割された対象画像それぞれに対し、前記投影面座標系上で歪みが生じないように画像変換を施すことを特徴とする、請求項１〜３のいずれか１項に記載の画像投影システム。
5. 前記投影面は、少なくとも１つの方向で環を形成していることを特徴とし、前記基準パターンは、前記投影面の環の一周を等分する間隔で図形が配置されており、前記投影面座標系は、等分する位置に基づき環状接続されることを特徴とする、請求項４に記載の画像投影システム。
6. 前記投影面は、少なくとも１つの方向で環を形成していることを特徴とし、前記基準パターンは、前記投影面の環の一周を等分する間隔にかかわらず、所定間隔で図形が配置されており、前記投影面座標系は、
   （１）事前指定された前記環の一周分に相当する投影面座標系上での長さに基づき環状接続されることを特徴とするか、
   （２）前記投影面に形成された目印を撮像した画像に基づき環状接続されることを特徴とするか、または
   （３）前記複数の投影装置のうちの始端となる投影装置から前記投影面に投影された目印を、終端となる視点で撮像した画像に基づき環状接続されることを特徴とする、請求項４に記載の画像投影システム。
7. 前記基準パターンの画像および前記投影パターンの画像は、前記投影面に形成された基準パターンに対して前記投影パターンを重ねて投影したシーンを撮像した単一の撮像画像から派生した画像であることを特徴とする、請求項１〜６のいずれか１項に記載の画像投影システム。
8. 前記投影面上の所定位置に関し、法線方向からみた投影面積の大きさに応じた明るさとなるように、対象画像に対し補正を行う明るさ補正手段をさらに含む、請求項１〜７のいずれか１項に記載の画像投影システム。
9. 投影面に形成された基準パターンを撮像した画像を取得する基準パターン画像取得手段と、
   前記投影面へ投影された投影パターンを前記基準パターンと略同一視点から撮像した画像を取得する投影パターン画像取得手段と、
   前記投影面上の投影面座標系を定義するために、前記基準パターンの画像から前記基準パターンの位置を抽出する抽出手段と、
   前記投影パターンの画像の前記投影パターンの位置を前記投影面座標系上に対応付ける対応付け手段と、
   前記対応付けに基づき、前記投影面に投影する対象画像に対する画像変換のパラメータを算出する算出手段と
   を含む、画像処理装置。
10. コンピュータを、請求項９に記載の画像処理装置の各手段として機能させるためのプログラム。