JP2016142991A - 画像処理システム、情報処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】マルチプロジェクションにおいて、投影範囲が１８０°以上のスクリーン等の様々な投影面に画像を投影できることを目的とする。
【解決手段】投影画像を投影する複数の投影装置、前記投影画像を撮像する撮像装置、及び前記投影装置と前記撮像装置とにそれぞれ接続される１以上の情報処理装置を有する画像処理システムが、前記投影装置によってそれぞれの前記投影画像が投影される位置を前記撮像装置が撮像する第１画像に基づいて第１座標系でそれぞれ取得し、前記撮像装置から距離が一定となる球面を示す第２画像を入力し、前記第２画像の第２座標系を変換して、前記第１座標系及び前記第２座標系を同一の座標系にし、前記座標系で、前記投影画像が有する歪みを補正する補正パラメータを算出し、前記補正パラメータに基づいて、画像を投影させる投影データを生成し、前記投影データに基づく前記画像を投影することにより上記課題を解決する。
【選択図】図１

Description

本発明は、画像処理システム、情報処理装置、画像処理方法、及びプログラムに関する。

プロジェクタが投影する画像を投影面となるスクリーン又は立体物の形状に合わせて補正し、プロジェクタによる新たな視覚効果又は演出等を行う投影手法が知られている。このような投影手法は、プロジェクションマッピングと呼ばれる場合がある。例えば、イベント又はデジタルサイネージ等において、プロジェクションマッピングによる視覚効果又は演出等を活用することが検討されている。

また、複数のプロジェクタによって画像をそれぞれ投影することで、１つのプロジェクタによる投影では得られない大画面の画像を投影できるマルチプロジェクションが知られている。さらに、マルチプロジェクションでは、複数のプロジェクタによるそれぞれの投影範囲を一部重ねることで境界を目立たないようにしたり、重なりの部分が周囲と違和感なく見えるように、重畳領域の明るさの調整等が行われる。

このマルチプロジェクションにおいても、曲面等である立体物に、画像が投影される場合がある（例えば、特許文献１参照）。また、特許文献１には、プロジェクタによって構造化パターンが表示面上に投影され、プロジェクタと固定の物理的関係にあるカメラによって撮影された画像から、構造化パターンの座標を決定し、投影される画像が有する歪みを補正する方法が開示されている。

しかしながら、従来のマルチプロジェクションでは、予め定められた特定の形状であるスクリーンにしか投影できなく、例えば投影範囲が１８０°以上の広いスクリーン等には、投影できない場合がある。

本発明の１つの側面は、マルチプロジェクションにおいて、投影範囲が１８０°以上のスクリーン等の様々な投影面に画像を投影できる画像処理システムを提供することを目的とする。

一態様における、投影画像を投影する複数の投影装置、前記投影画像を撮像する撮像装置、及び前記投影装置と前記撮像装置とにそれぞれ接続される１以上の情報処理装置を有する画像処理システムは、前記投影装置によってそれぞれの前記投影画像が投影される位置を前記撮像装置が撮像する第１画像に基づいて第１座標系でそれぞれ取得する取得部と、前記撮像装置から距離が一定となる球面を示す第２画像を入力する入力部と、前記第２画像の第２座標系を変換して、前記第１座標系及び前記第２座標系を同一の座標系にする変換部と、前記座標系で、前記投影画像が有する歪みを補正する補正パラメータを算出する算出部と、前記補正パラメータに基づいて、画像を投影させる投影データを生成する生成部と、前記投影データに基づく前記画像を投影する投影部とを含む。

マルチプロジェクションにおいて、投影範囲が１８０°以上のスクリーン等の様々な投影面に画像を投影できる。

本発明の一実施形態に係る画像処理システムの全体構成の一例を示す全体構成図である。 本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 本発明の一実施形態に係る投影装置のハードウェア構成の一例を示すブロック図である。 本発明の一実施形態に係る画像処理システムによる全体処理の一例を示すフローチャートである。 本発明の一実施形態に係る丸又は楕円形状のマークを含む投影画像の一例を示す図である。 本発明の一実施形態に係る投影された投影画像の撮像の一例を示す図である。 本発明の一実施形態に係る全天球カメラの一例を示す図である。 本発明の一実施形態に係る投影画像が投影される位置の取得の一例を示す図である。 本発明の一実施形態に係る２次元全天球画像の一例を示す図である。 本発明の一実施形態に係る補正パラメータに基づいて生成される投影データの一例を示す図である。 本発明の一実施形態に係る投影データに基づく投影画像の投影の一例を示す図である。 本発明の一実施形態に係る各投影画像の高さ方向を揃える処理の一例を示す図である。 本発明の一実施形態に係る画像処理システムの機能構成の一例を示す機能ブロック図である。

以下、本発明の実施の形態について説明する。

（全体構成例）
図１は、本発明の一実施形態に係る画像処理システムの全体構成の一例を示す全体構成図である。具体的には、例えば、画像処理システム１は、情報処理装置としてＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１０と、複数の投影装置として複数のプロジェクタ１１と、撮像装置としてカメラ１２とを有する。なお、画像処理システム１は、３台以上のプロジェクタ１１を有してもよい。

また、画像処理システム１では、各プロジェクタ１１は、投影画像Ｉｍｇ１をスクリーン２等の投影面にそれぞれ投影する。この場合、プロジェクタ１１は、ＰＣ１０から出力される投影データＤ１に基づいて投影画像Ｉｍｇ１を投影する。

さらに、画像処理システム１では、カメラ１２は、スクリーン２に投影された投影画像Ｉｍｇ１を撮像して画像データＤ２を生成する。次に、カメラ１２は、生成した画像データＤ２をＰＣ１０に出力する。

なお、投影面は、スクリーン２に限られず、部屋の壁、円筒スクリーン、又は球面スクリーン等でもよい。

（ハードウェア構成例）
図２は、本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。具体的には、ＰＣ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０Ｈ１と、記憶装置１０Ｈ２と、入力Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１０Ｈ３と、入力装置１０Ｈ４と、出力Ｉ／Ｆ１０Ｈ５と、出力装置１０Ｈ６とを有する。

ＣＰＵ１０Ｈ１は、ＰＣ１０が行う各種処理及び各種データの加工を行う演算装置並びにＣＰＵ１０Ｈ１が有する各ハードウェア等を制御する制御装置である。なお、ＣＰＵ１０Ｈ１は、ＣＰＵ１０Ｈ１を補助する演算装置又は制御装置を有してもよい。

記憶装置１０Ｈ２は、ＰＣ１０が使うデータ、プログラム、及び設定値等を記憶する。また、記憶装置１０Ｈ２は、いわゆるメモリ（ｍｅｍｏｒｙ）等である。なお、記憶装置１０Ｈ２は、ハードディスク（ｈａｒｄｄｉｓｋ）等の補助記憶装置等を有してもよい。

入力Ｉ／Ｆ１０Ｈ３は、ＰＣ１０に画像データＤ２等のデータを入力するインタフェースである。具体的には、入力Ｉ／Ｆ１０Ｈ３は、コネクタ等である。なお、入力Ｉ／Ｆ１０Ｈ３は、ネットワーク又は無線等を使用してもよい。

入力装置１０Ｈ４は、ＰＣ１０にコマンド等による操作及びデータを入力する装置である。具体的には、入力装置１０Ｈ４は、例えばキーボード及びマウス等である。

出力Ｉ／Ｆ１０Ｈ５は、ＰＣ１０から投影データＤ１等のデータを出力するインタフェースである。具体的には、出力Ｉ／Ｆ１０Ｈ５は、コネクタ等である。なお、出力Ｉ／Ｆ１０Ｈ５は、ネットワーク又は無線等を使用してもよい。

出力装置１０Ｈ６は、ＰＣ１０からデータ等を出力する装置である。具体的には、出力装置１０Ｈ６は、例えばディスプレイ等である。

なお、入力装置１０Ｈ４及び出力装置１０Ｈ６は、入力装置及び出力装置が一体となっているタッチパネルディスプレイ等でもよい。また、ＰＣ１０は、サーバ、スマートフォン、タブレット、又はモバイルＰＣ等でもよい。

図３は、本発明の一実施形態に係る投影装置のハードウェア構成の一例を示すブロック図である。具体的には、プロジェクタ１１は、入力Ｉ／Ｆ１１Ｈ１と、出力装置１１Ｈ２とを有する。以下、図１に示す各プロジェクタ１１が、図３に示すハードウェア構成であり、各プロジェクタ１１が同一のハードウェア構成である例で説明する。

入力Ｉ／Ｆ１１Ｈ１は、プロジェクタ１１にＰＣ１０（図１）等から投影データＤ１等を入力するインタフェースである。具体的には、入力Ｉ／Ｆ１１Ｈ１は、コネクタ、ドライバ、及び処理ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等である。

出力装置１１Ｈ２は、レンズ等の光学部品及び光源等である。また、出力装置１１Ｈ２は、入力される投影データＤ１等に基づいて投影画像Ｉｍｇ１等を投影する。

（全体処理例）
図４は、本発明の一実施形態に係る画像処理システムによる全体処理の一例を示すフローチャートである。

（カウント値ｎの初期化例（ステップＳ０１））
ステップＳ０１では、画像処理システムは、カウント値ｎを初期化する。具体的には、ステップＳ０１では、画像処理システムは、カウント値ｎに例えば「１」を代入する。なお、カウント値ｎは、画像処理システムが有する複数のプロジェクタのうち、１台のプロジェクタを特定する値である。以下、画像処理システムが、Ｎ台のプロジェクタを有する例で説明する。

（投影画像が投影される位置の取得例（ステップＳ０２））
ステップＳ０２では、画像処理システムは、投影画像が投影される位置を取得する。具体的には、ステップＳ０２では、画像処理システムは、カウント値ｎで特定されるプロジェクタに投影画像を投影させ、投影された投影画像をカメラで撮像する。次に、画像処理システムは、カメラの撮像によって生成される第１画像の画像データから、投影画像に含まれる特徴点を抽出して投影画像が投影される位置を取得する。なお、ステップ０２で投影画像として投影される画像は、特徴点として丸又は楕円形状のマークを含む画像であるのが好ましい。

図５は、本発明の一実施形態に係る丸又は楕円形状のマークを含む投影画像の一例を示す図である。即ち、ステップＳ０２で投影される投影画像Ｉｍｇ１は、例えば図５に示すような丸形状のマークＭを含む画像等が好ましい。以下、図５に示す投影画像Ｉｍｇ１を例に説明する。

まず、ステップＳ０２では、画像処理システムは、プロジェクタによって投影される投影画像Ｉｍｇ１をカメラによって撮像し、投影された投影画像Ｉｍｇ１を示す第１画像の画像データを入力する。次に、画像処理システムは、第１画像の座標系である第１座標系において、画像データから投影画像Ｉｍｇ１に含まれるマークＭの図心位置を抽出し、図心位置の位置座標を計算することで投影画像が投影される位置を取得する。

なお、マークＭの形状は、丸又は楕円形状が好ましい。例えば、マークＭの形状が丸型であり、かつ、投影面に反り等があると、投影面では、マークＭの形状は、楕円形状で投影される。したがって、マークＭの形状が丸型又は楕円形状のいずれかである場合、投影面に反り等があっても、画像処理システムは、各マークＭの中心を計算しやすくできる。

図６は、本発明の一実施形態に係る投影された投影画像の撮像の一例を示す図である。具体的には、図６は、画像処理システムが有する４台のプロジェクタ１１がそれぞれ投影画像Ｉｍｇ１を部屋の壁２１に投影する例である。まず、ステップＳ０２（図４）では、図６に示すように、画像処理システムが有するカメラ１２は、投影されるそれぞれの投影画像Ｉｍｇ１を撮像する。また、投影画像Ｉｍｇ１として投影される画像は、例えば図５に示す画像である。

なお、カメラ１２は、投影される複数の投影画像Ｉｍｇ１を撮像できる画角が水平３６０°である、いわゆる全天球カメラが好ましい。

図７は、本発明の一実施形態に係る全天球カメラの一例を示す図である。例えば、カメラ１２が全天球カメラである場合、カメラ１２は、図７（Ａ）に示すように、第１レンズ１２Ｈ１及び第２レンズ１２Ｈ２を有する。第１レンズ１２Ｈ１及び第２レンズ１２Ｈ２は、それぞれ画角が１８０°である広角レンズ等であり、カメラ１２は、図７（Ｂ）に示すように、カメラ１２の周辺３６０°を撮像することができる。なお、カメラ１２は、全方位カメラ、広角カメラ、魚眼レンズを使うカメラ、又はこれらの組み合わせでもよい。

まず、カメラ１２は、図７（Ｃ）及び図７（Ｄ）にそれぞれ示すように、第１レンズ１２Ｈ１及び第２レンズ１２Ｈ２によって、それぞれ１８０°の範囲を撮像する。次に、カメラ１２は、図７（Ｃ）及び図７（Ｄ）にそれぞれ示す画像を組み合わせて、カメラ１２の周辺３６０°を示す図７（Ｅ）の画像データＤ２を生成する。

図８は、本発明の一実施形態に係る投影画像が投影される位置の取得の一例を示す図である。具体的には、図８は、図６に示す各プロジェクタ１１がそれぞれ投影画像Ｉｍｇ１を投影する状態でカメラ１２（図７）が撮像すると生成される画像の例を示し、図７（Ｅ）に示す画像データＤ２の例を示す図である。この場合、画像データＤ２には、図５に示すマークＭ等の特徴点が撮像される。なお、図７（Ｃ）乃至（Ｅ）では、風景の画像を示しているが、位置の取得の際には、例えば図５に示す画像が投影され、カメラ１２は、マークＭを含む投影画像Ｉｍｇ１を撮像する。

そのため、画像処理システムは、各投影画像Ｉｍｇ１が投影される位置を特徴点の位置から取得することができる。なお、特徴点の位置は、例えばＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）等によって抽出されてもよい。

（カウント値ｎがプロジェクタの台数Ｎであるか否かの判断例（ステップＳ０３））
図４に戻り、ステップＳ０３では、画像処理システムは、カウント値ｎがプロジェクタの台数Ｎであるか否かを判断する。また、カウント値ｎがプロジェクタの台数Ｎであると画像処理システムが判断すると（ステップＳ０３でＹＥＳ）、画像処理システムは、ステップＳ０５に進む。一方、カウント値ｎがプロジェクタの台数Ｎでないと画像処理システムが判断すると（ステップＳ０３でＮＯ）、画像処理システムは、ステップＳ０４に進む。

（カウント値ｎのカウントアップ例（ステップＳ０４））
ステップＳ０４では、画像処理システムは、カウント値ｎに「１」を加算する、いわゆるカウントアップを行う。

即ち、ステップＳ０３及びステップＳ０４によって、画像処理システムは、画像処理システムが有するＮ台のそれぞれのプロジェクタについて、投影画像が投影される位置をそれぞれ取得する。

（２次元全天球画像の入力例（ステップＳ０５））
ステップＳ０５では、画像処理システムは、第２画像として、例えばいわゆる２次元全天球画像を入力する。

図９は、本発明の一実施形態に係る２次元全天球画像の一例を示す図である。
具体的には、ステップＳ０５（図４）では、画像処理システムは、例えば図７に示す全天球カメラ等のカメラ１２によって、カメラ１２を原点とする距離が一定の球面を示す球座標系で画像を撮像し、撮像される画像を示す２次元全天球画像データＤ３を入力する。また、２次元全天球画像データＤ３は、原点からの距離が一定であるため、距離のデータを省略し、図示するように、ある軸からの角度θと、他の軸からの角度φとの２次元座標（θ，φ）で示される第２座標系のデータの例である。

なお、２次元全天球画像データＤ３は、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を距離が一定である球座標系に投影した仮想的な２次元全天球画像のデータでもよい。

（座標系の変換例（ステップＳ０６））
図４に戻り、ステップＳ０６では、画像処理システムは、ステップＳ０５で入力される２次元全天球画像データＤ３（図９）の座標系を２次元画像データＤ２（図７）の座標系に変換する。例えば、画像処理システムは、２次元全天球画像データＤ３及び２次元画像データＤ２をメルカトル（ｍｅｒｃａｔｏｒ）図法又は正距円筒図法等によって変換し、座標系を同一にする。なお、ステップＳ０６では、画像処理システムは、２次元全天球画像データＤ３及び２次元画像データＤ２のそれぞれの座標系において重力方向を同一にしてもよい。

また、ステップＳ０６では、画像処理システムは、２次元全天球画像データＤ３の第２座標系及び２次元画像データＤ２の第１座標系をそれぞれ変換し、それぞれの座標系を同一の座標系にしてもよい。

なお、ステップＳ０６は、２次元全天球画像データＤ３の第２座標系が第１座標系で入力される場合、省略されてもよい。具体的には、ステップＳ０２（図４）で投影される投影画像を撮像するカメラ１２が、全天球カメラ等であると、画像処理システムは、投影画像が投影される位置を第１座標系で取得できる。そのため、２次元全天球画像データＤ３の座標系及び２次元画像データＤ２の座標系が予め同一であるため、画像処理システムは、ステップＳ０６に係る処理の一部又は全部を省略できるので、処理負荷を軽減できる。

また、カメラ１２が全天球カメラ等であると、広い範囲を撮像できるため、ステップＳ０２でＮ台のプロジェクタによってそれぞれ投影される複数の投影画像が、１回の撮像で多く撮像される場合が多い。したがって、カメラ１２が全天球カメラ等であると、画像処理システムは、ステップＳ０２等で、ユーザにプロジェクタを動かさせる等の作業を少なくすることができる。

さらに、カメラ１２が全天球カメラ等であると、１回の撮像で多く投影画像が撮像できるため、プラネタリウム（ｐｌａｎｅｔａｒｉｕｍ）のように、同一の点からそれぞれの投影画像が投影されるように、各投影画像を補正できる。例えば、１回の撮像で撮像されると、座標系の原点が同一であるため、画像処理システムは、補正に係る計算等が同一の座標系で計算できる。したがって、投影画像が別々に撮像される場合等と比較して、画像処理システムは、座標系又は座標系の原点を一致させる等の処理が少なくできるため、処理負荷の軽減又は計算精度を良くすること等ができる。

（補正パラメータの算出例（ステップＳ０７））
ステップＳ０７では、画像処理システムは、補正パラメータを算出する。具体的には、ステップＳ０７では、画像処理システムは、ステップＳ０６で変換された座標系上で、ステップＳ０２で取得される投影画像Ｉｍｇ１（図８）の位置に基づいて、投影画像Ｉｍｇ１の歪みを計算する。次に、画像処理システムは、計算される歪みを逆変換によって補正する歪み補正に使われる補正パラメータを算出する。

投影画像Ｉｍｇ１には、歪みが発生する場合が多い。したがって、補正パラメータは、歪曲収差及び色収差等を補正するパラメータを含んでもよい。

（補正パラメータに基づく投影データの生成例（ステップＳ０８））
ステップＳ０８では、画像処理システムは、補正パラメータに基づいて投影データを生成する。具体的には、ステップＳ０７で算出される補正パラメータに基づいて、画像処理システムは、歪み補正等を行い、投影データを生成する。

図１０は、本発明の一実施形態に係る補正パラメータに基づいて生成される投影データの一例を示す図である。具体的には、ステップＳ０７（図４）では、画像処理システムは、図１０（Ａ）に示すように、ステップＳ０６（図４）で変換された座標系上で、投影画像Ｉｍｇ１の位置を計算し、各投影画像Ｉｍｇ１がそれぞれ有する歪みが計算される。次に、ステップＳ０７では、画像処理システムは、各投影画像Ｉｍｇ１の歪みを補正し、図１０（Ｂ）に示す投影データとなるような補正パラメータを各投影画像Ｉｍｇ１についてそれぞれ算出する。さらに、ステップＳ０８では、ステップＳ０７で算出される補正パラメータに基づいて、画像処理システムは、歪み補正が行われた図１０（Ｂ）に示す投影データを生成する。

（投影データに基づく投影画像の投影例（ステップＳ０９））
図４に戻り、ステップＳ０９では、画像処理システムは、投影データに基づいて投影画像を投影する。具体的には、画像処理システムは、ステップＳ０８で生成される投影データが示す画像を投影画像として投影する。

図１１は、本発明の一実施形態に係る投影データに基づく投影画像の投影の一例を示す図である。具体的には、画像処理システムでは、各プロジェクタ１１は、ステップＳ０７（図４）で算出される補正パラメータに基づいて、ステップＳ０８（図４）で生成される投影データが示す画像を投影画像Ｉｍｇ２として投影する。例えば、図１１（Ａ）に図示するように、投影画像Ｉｍｇ２は、歪み補正等が行われた画像である。

なお、ステップＳ０９（図４）では、投影画像Ｉｍｇ２には、エッジブレンディング等が行われてもよい。具体的には、画像処理システムは、投影画像Ｉｍｇ２の格子座標にメッシュを対応付け、メッシュごとに画素値を射影変換してエッジブレンディング等を行う。

また、画像処理システムは、投影画像Ｉｍｇ２が投影される高さ又は幅を調整してもよい。例えば、図１１（Ａ）に示すように、各投影画像Ｉｍｇ２は、壁２１の天井方向（以下、高さ方向と言う。）について、プロジェクタ１１に投影される高さ方向の位置がそれぞれ異なる場合がある。そこで、画像処理システムは、図１１（Ｂ）に図示するように、各投影画像Ｉｍｇ３の高さ方向が揃うように、トリミング等を行ってもよい。

図１２は、本発明の一実施形態に係る各投影画像の高さ方向を揃える処理の一例を示す図である。具体的には、例えば、図１２（Ａ）に示すように、画像処理システムは、ステップＳ０７（図４）及びステップＳ０８（図４）の対象となる領域を領域Ａ１とする。即ち、図１２（Ａ）に示すように、画像処理システムは、ステップＳ０６（図４）で変換された座標系上で、歪みがある状態で領域Ａ１の部分をトリミングする。また、画像処理システムは、画像に含まれる輪郭線等を検出し、図１２（Ｂ）に示すように、歪み等が補正された画像から領域Ａ１の部分をトリミングしてもよい。

なお、画像処理システムは、各投影画像のつなぎ目を滑らかにするため、歪みによる変形を考慮して図１１に示す壁２１等の投影面で矩形に投影されるように、画像をトリミングするのが好ましい。また、画像処理システムは、各投影画像のつなぎ目を滑らかにするため、投影画像に含まれる被写体のエッジ等による輪郭線に基づいて、壁２１等の投影面の形状を求めて、求めれた投影面の形状に合うように、画像をトリミングするのが好ましい。

（機能構成例）
図１３は、本発明の一実施形態に係る画像処理システムの機能構成の一例を示す機能ブロック図である。具体的には、画像処理システム１は、取得部１Ｆ１と、入力部１Ｆ２と、変換部１Ｆ３と、算出部１Ｆ４と、生成部１Ｆ５と、投影部１Ｆ６とを有する。

取得部１Ｆ１は、第１画像の例である投影画像Ｉｍｇ１を撮像した画像に含まれる特徴点等に基づいてそれぞれの投影画像が投影される位置をそれぞれ取得する。なお、取得部１Ｆ１は、例えばＣＰＵ１０Ｈ１（図２）及び入力Ｉ／Ｆ１０Ｈ３（図２）等によって実現される。

入力部１Ｆ２は、距離が一定となる球面を示す第２画像の例である２次元全天球画像データＤ３を入力する。なお、入力部１Ｆ２は、例えば入力Ｉ／Ｆ１０Ｈ３等によって実現される。

変換部１Ｆ３は、２次元全天球画像データＤ３の第２座標系を変換して、２次元全天球画像データＤ３の第２座標系及び取得部１Ｆ１によって取得される投影画像が投影される位置の第１座標系を同一の座標系にする。なお、変換部１Ｆ３は、例えばＣＰＵ１０Ｈ１等によって実現される。

算出部１Ｆ４は、変換部１Ｆ３によって変換された座標系上で、投影画像が有する歪みを補正する補正パラメータを算出する。なお、算出部１Ｆ４は、例えばＣＰＵ１０Ｈ１等によって実現される。

生成部１Ｆ５は、算出部１Ｆ４が算出する補正パラメータに基づいて投影画像を投影させる投影データを生成する。なお、生成部１Ｆ５は、例えばＣＰＵ１０Ｈ１等によって実現される。

投影部１Ｆ６は、生成部１Ｆ５が生成する投影データに基づいて投影画像Ｉｍｇ２等の画像を投影する。なお、投影部１Ｆ６は、例えば出力装置１１Ｈ２（図３）等によって実現される。また、投影部１Ｆ６によって投影される投影画像は、高さ方向が揃えられる投影画像Ｉｍｇ３でもよい。

プロジェクタ等の投影装置によって投影画像Ｉｍｇ１が投影されると、投影画像Ｉｍｇ１に含まれる特徴点等に基づいて、画像処理システム１は、取得部１Ｆ１によって、投影画像Ｉｍｇ１が投影される位置を投影装置ごとに第１座標系でそれぞれ取得する。次に、画像処理システム１は、入力部１Ｆ２によって、全天球カメラで撮像される２次元全天球画像データＤ３を入力する。

さらに、画像処理システム１は、変換部１Ｆ３によって、２次元全天球画像データＤ３の第２座標系を、投影画像Ｉｍｇ１が投影される位置の第１座標系と同一の座標系に変換する。次に、画像処理システム１は、変換部１Ｆ３によって変換された座標系上で、投影画像が有する歪みを補正する補正パラメータを算出するので、生成部１Ｆ５によって歪み等が補正された投影画像Ｉｍｇ２の投影データを生成できる。

ゆえに、画像処理システム１は、複数のプロジェクタ１１（図１１）にそれぞれ投影画像Ｉｍｇ２等を投影させることによって、壁２１（図１１）等の投影範囲が１８０°以上の広い投影面に画像を投影できる。

また、画像処理システム１は、投影画像に含まれる輪郭線等を検出してトリミングを行うことで、投影画像を投影させる高さ方向を揃えることができる。

なお、各処理の全部又は一部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、及びＪａｖａ（登録商標）等のレガシープログラミング言語又はオブジェクト指向プログラミング言語等で記述されたコンピュータに実行させるためのプログラムによって実現されてもよい。即ち、プログラムは、画像処理装置、情報処理装置、又はこれらを含む画像処理システム等のコンピュータに各処理を実行させるためのコンピュータプログラムである。

また、プログラムは、ＲＯＭ又はＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等のコンピュータが読み取り可能な記録媒体に格納して頒布することができる。さらに、記録媒体は、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤ（登録商標）カード、又はＭＯ等でもよい。さらにまた、プログラムは、電気通信回線を通じて頒布することができる。

さらに、画像処理システムは、ネットワーク等によって相互に接続される２以上の情報処理装置を有し、各種処理の全部又は一部を複数の情報処理装置が分散、並列、又は冗長してそれぞれ処理を行ってもよい。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

１ 画像処理システム
１０ ＰＣ
１１ プロジェクタ
１２ カメラ
２ スクリーン
２１ 壁
Ｉｍｇ１、Ｉｍｇ２、Ｉｍｇ３ 投影画像
Ｄ１ 投影データ
Ｄ２ 画像データ
Ｄ３ ２次元全天球画像データ

特開２００４−２８７４３３号公報

Claims (8)

1. 投影画像を投影する複数の投影装置、前記投影画像を撮像する撮像装置、及び前記投影装置と前記撮像装置とにそれぞれ接続される１以上の情報処理装置を有する画像処理システムであって、
   前記投影装置によってそれぞれの前記投影画像が投影される位置を前記撮像装置が撮像する第１画像に基づいて第１座標系でそれぞれ取得する取得部と、
   前記撮像装置から距離が一定となる球面を示す第２画像を入力する入力部と、
   前記第２画像の第２座標系を変換して、前記第１座標系及び前記第２座標系を同一の座標系にする変換部と、
   前記座標系で、前記投影画像が有する歪みを補正する補正パラメータを算出する算出部と、
   前記補正パラメータに基づいて、画像を投影させる投影データを生成する生成部と、
   前記投影データに基づく前記画像を投影する投影部と
   を含む画像処理システム。
2. 投影画像を投影する複数の投影装置、前記投影画像を撮像する撮像装置、及び前記投影装置と前記撮像装置とにそれぞれ接続される１以上の情報処理装置を有する画像処理システムであって、
   前記投影装置によってそれぞれの前記投影画像が投影される位置を前記撮像装置が撮像する第１画像に基づく座標系でそれぞれ取得する取得部と、
   前記座標系で、前記撮像装置から距離が一定となる球面を示す第２画像を入力する入力部と、
   前記座標系で、前記投影画像が有する歪みを補正する補正パラメータを算出する算出部と、
   前記補正パラメータに基づいて、画像を投影させる投影データを生成する生成部と、
   前記投影データに基づく前記画像を投影する投影部と
   を含む画像処理システム。
3. 前記生成部は、前記画像が投影される投影面で、矩形に投影されるように前記投影データを生成する請求項１又は２に記載の画像処理システム。
4. 前記投影面の形状を前記投影画像に含まれる輪郭線に基づいて求める請求項３に記載の画像処理システム。
5. 前記投影画像は、丸又は楕円形状のマークを含む画像であり、
   前記取得部は、前記マークから前記位置を求める請求項１乃至４のいずれかに記載の画像処理システム。
6. 投影画像を投影する複数の投影装置及び前記投影画像を撮像する撮像装置にそれぞれ接続される情報処理装置であって、
   それぞれの前記投影画像が投影される位置を前記撮像装置が撮像する第１画像に基づいて第１座標系でそれぞれ取得する取得部と、
   前記撮像装置から距離が一定となる球面を示す第２画像を入力する入力部と、
   前記第２画像の第２座標系を変換して、前記第１座標系及び前記第２座標系を同一の座標系にする変換部と、
   前記座標系で、前記投影画像が有する歪みを補正する補正パラメータを算出する算出部と、
   前記補正パラメータに基づいて、画像を投影させる投影データを生成する生成部と
   を含む情報処理装置。
7. 投影画像を投影する複数の投影装置、前記投影画像を撮像する撮像装置、及び前記投影装置と前記撮像装置とにそれぞれ接続される１以上の情報処理装置を有する画像処理システムが行う画像処理方法であって、
   前記画像処理システムが、それぞれの前記投影画像が投影される位置を前記撮像装置が撮像する第１画像に基づいて第１座標系でそれぞれ取得する取得手順と、
   前記画像処理システムが、前記撮像装置から距離が一定となる球面を示す第２画像を入力する入力手順と、
   前記画像処理システムが、前記第２画像の第２座標系を変換して、前記第１座標系及び前記第２座標系を同一の座標系にする変換手順と、
   前記画像処理システムが、前記座標系で、前記投影画像が有する歪みを補正する補正パラメータを算出する算出手順と、
   前記画像処理システムが、前記補正パラメータに基づいて、画像を投影させる投影データを生成する生成手順と、
   前記画像処理システムが、前記投影データに基づく前記画像を投影する投影手順と
   を含む画像処理方法。
8. 投影画像を投影する複数の投影装置及び前記投影画像を撮像する撮像装置にそれぞれ接続されるコンピュータに画像処理を実行させるためのプログラムであって、
   前記コンピュータが、それぞれの前記投影画像が投影される位置を前記撮像装置が撮像する第１画像に基づいて第１座標系でそれぞれ取得する取得手順と、
   前記コンピュータが、前記撮像装置から距離が一定となる球面を示す第２画像を入力する入力手順と、
   前記コンピュータが、前記第２画像の第２座標系を変換して、前記第１座標系及び前記第２座標系を同一の座標系にする変換手順と、
   前記コンピュータが、前記座標系で、前記投影画像が有する歪みを補正する補正パラメータを算出する算出手順と、
   前記コンピュータが、前記補正パラメータに基づいて、画像を投影させる投影データを生成する生成手順と、
   前記コンピュータが、前記投影データに基づく前記画像を投影する投影手順と
   をコンピュータに実行させるためのプログラム。