JP2016192600A - 情報処理装置および投影装置 - Google Patents

Abstract

【課題】画像投影装置から離れた位置や範囲から観察される画像に基づいた投影環境の適切度を得ることができる情報処理装置、および投影装置を提供する。【解決手段】情報処理装置２００は、投影部１１０に接続され、投影部１１０からの出力画像が投影される投影面の形状情報２０５と投影部の位置に関する投影点情報２１０とを取得する形状取得部２０１と、投影面を観察する視点位置を示す視点情報２０６を取得する視点取得部２０２と、形状情報２０５と投影点情報２１０と視点情報２０６とから投影面の投影適切度２０７を算出する算出部２０３と、投影適切度２０７に基づく補助情報データ２０８を生成する生成部２０４と、を備える。【選択図】図１

Description

本発明の実施形態は、情報処理装置および投影装置に関する。

プロジェクタなどの画像投影装置が投影面に画像を投影する場合において、どこに画像投
影装置を設置し、どこに投影すべきかを適切に設定することはユーザにとって困難である
。例えば、投影面に投影される理想的な画像と、実際にその投影面に投影された画像を撮
像手段によって撮像した画像とを比較して、撮像画像の再現度を求める手法が知られてい
る。しかしながら、撮像位置から離れた位置や範囲から観察される画像に基づいた投影環
境の適切度を得ることは困難である。

国際公開第２００７／０７２６９５号公報

解決しようとする課題は、画像投影装置から離れた位置や範囲から観察される画像に基
づいた投影環境の適切度を得ることができる情報処理装置および投影装置を提供することにある。

実施形態に係る情報処理装置は、投影部に接続される情報処理装置であって、前記投影
部からの出力画像が投影される投影面の形状情報と前記投影部の位置に関する投影点情報
とを取得する形状取得部と、前記投影面を観察する視点位置を示す視点情報を取得する視
点取得部と、前記形状情報と前記投影点情報と前記視点情報とから前記投影面の投影適切
度を算出する算出部と、前記投影適切度に基づく補助情報データを生成する生成部と、
を備える。

第１の実施形態に係る画像投影装置を表すブロック図である。 第１の実施形態に係る情報処理方法を説明するフローチャート図である。 距離センサを例示する模式的斜視図。 投影面の三次元座標の算出方法を説明する模式的平面図である。 図５（ａ）は第１の実施形態の画像投影装置を例示する模式的斜視図であり、図５（ｂ）は、表示面１１３に表される画像の例を示す図である。 図６（ａ）は投影面と出力画像と観察画像の関係を示す図であり、図６（ｂ）は出力画像を示す図であり、図６（ｃ）は観察画像を示す図である。 図７（ａ）は、レンズの光軸が表示素子の中心と一致している場合を例示する模式的平面図であり、図７（ｂ）は、レンズの光軸が表示素子の中心からｙ方向にずれている場合を例示する模式的平面図である。 外部パラメータＲ_Ｐ、ｔ_Ｐを説明するための図である。 図９（ａ）は、投影面と投影点と視点の関係の一例を示す図であり、図９（ｂ）は、投影面と投影点と視点の関係の他の例を示す図である。 図１０（ａ）は第１の実施形態にかかる補助情報の一例を示す図であり、図１０（ｂ）は第１の実施形態にかかる補助情報の他の例を示す図であり、図１０（ｃ）は第１の実施形態にかかる補助情報の他の例を示す図であり、図１０（ｄ）は第１の実施形態にかかる補助情報の他の例を示す図であり、図１０（ｅ）は第１の実施形態にかかる補助情報の他の例を示す図である。 図１１は、複数の小領域を含む出力画像を示す一例である。 図１２（ａ）は第２の実施形態にかかる出力画像の一例であり、図１２（ｂ）は第２の実施形態にかかる出力画像の他の例である。 図１３（ａ）と図１３（ｂ）は、投影部と撮影装置と投影面の関係の一例を示す模式図である。 第３の実施形態に係る画像投影装置を表すブロック図である。 第３の実施形態に係る情報処理方法を説明するフローチャート図である。 第３の実施形態に係る画像投影装置を表すブロック図である。 第４の実施形態の画像投影装置を例示する模式的斜視図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の
大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場
合であっても、図面により互いの寸法や比率が異なって表される場合もある。各図面中、
同様の構成要素には同一の符号を付して詳細な説明は適宜省略する。

（第１の実施形態）
図１は、第１の実施形態に係る画像投影装置を表すブロック図である。図２は、第１の
実施形態にかかる情報処理方法を説明するフローチャート図である。なお、図１に表した
ブロック図は、本実施形態にかかる情報処理装置の要部構成の一例であり、必ずしも実際
のプログラムモジュールの構成とは一致しない場合がある。

画像投影装置１００は、情報処理装置２００と投影部１１０と距離センサ１１１と入力
部１１２とを備える。情報処理装置２００は、形状取得部２０１と、視点取得部２０２と
、算出部２０３と、生成部２０４と、を備えている。

情報処理装置２００は、例えば、制御部１２６は、ＡＳＩＣ（Application Specific
Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回
路、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電
子回路である。

なお、情報処理装置２００は、投影部１１０と距離センサ１１１と入力部１１２と同じ
筺体に納められていてもよいし、離れて形成されていてもよい。情報処理装置２００は、
投影部１００と直接的または間接的に接続されている。情報処理装置２００からのデータ
は、例えば投影部に有線または無線で送信される。

図１に表したハードウェア構成は、一例であり、各実施形態および各具体例に係る情報
処理装置２００の一部、又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路
又はＩＣ（Integrated Circuit）チップセットとして実現してもよい。各機能ブロックに
ついては、個別にプロセッサ化してもよいし、各機能ブロックの一部、又は全部を集積し
てプロセッサ化してもよい。また、集積回路は、ＬＳＩに限らず専用回路、又は汎用プロ
セッサを用いてもよい。

画像投影装置１００は、投影部１１０が投影面と対向するように設置される。投影面は
、物体の画像投影装置１００と対向する面である。

入力画像データ１０１は生成部２０４によって出力画像に変換され、出力画像は投影部
１１０によって投影面に投影される。以下に、出力画像を投影するための適切な投影面を
選択するための情報処理装置２００における処理について説明する。

距離センサ１１１は、距離センサ１１１から投影面までの距離を計測し、計測によって
得られた距離情報２０９を形状取得部２０１へ送る。

形状取得部２０１は、距離情報２０９から投影面の三次元形状に関する情報(形状情報)
２０５と画像投影装置１００の位置に関する情報(投影点情報)２１０を取得し、形状情報
２０５と投影点情報２１０を算出部２０３に送る。

形状情報２０５は、例えば投影面の凹凸や投影面を構成する点の三次元座標に関する情
報である。投影点情報２１０は、例えば、投影面と画像投影装置１００の相対的な位置に
関する情報である。あるいは、投影点情報２１０は、例えば、ある座標系を使って表わさ
れた画像投影装置１００の位置に関する情報である。

視点取得部２０２には、入力部１１２が接続されている。視点取得部２０２は、ユーザ
が入力部１１２を使用して入力した、投影面を観察するための視点位置に関わる情報(視
点位置情報)２０６を取得し、視点位置情報２０６を算出部２０３に送る。視点位置情報
２０６は、例えば、画像投影装置１００または投影面と視点位置との相対的な位置に関す
る情報である。あるいは、視点位置情報２０６は、ある座標系を使って表わされた視点位
置に関する情報である。

算出部２０３には、入力画像データ１０１が送られる。算出部２０３には、少なくとも
、入力画像データ１０１に含まれる入力画像データ１０１の水平/垂直方向の画素数が送
られる。

算出部２０３は、出力画像が投影面に投影される場合に視点位置から観察されると推定
される画像（推定画像）の出力画像に対する位置ずれと画素情報の欠損(歪・欠損情報)の
少なくとも一方に基づいて、当該投影面が投影に適しているかを示す投影適切度２０７を
算出する。算出部２０３は、投影適切度２０７を生成部２０４に送る。推定画像は、算出
部２０３によって、形状情報２０５、投影点情報２１０、視点位置情報２０６および入力
画像データ１０１を使って得られる。

言い換えると、推定画像は、投影面に出力画像を投影した時に、視点位置において観察
される画像（観察画像）を推定して得た画像である。

位置ずれは、例えば、観察画像内の一点と、この点に対応する出力画像内の点と、の位
置のずれである。画素情報の欠損は、出力画像内の点が、推定画像において存在しないこ
とを意味する。

投影適切度２０７は、推定画像内の位置ずれと欠損が少ないほど大きな値を示す。

生成部２０４は、投影適切度２０７をユーザに報知するための補助情報２０８を生成す
る。補助情報２０８は、例えば投影部１１０へ送られる。補助情報２０８は、例えば、投
影適切度２０７の値を含む。補助情報は、例えば、投影面内の所定の範囲と、その範囲内
の投影適切度２０７の値を含む。

投影部１１０は、補助情報２０８から出力画像を生成し、投影面に投影する。入力画像
データ１０１は、投影部１１０にも送られてもよい。投影部１１０は、入力画像データ１
０１と補助情報を用いて出力画像を生成してもよい。この場合、出力画像は、例えば入力
画像から生成される画像と投影適切度を含む。

次に、本実施形態の情報処理装置２００の動作の詳細について説明する。

図２は、本実施形態にかかる情報処理方法を示すフローチャートである。まず、形状取
得部２０１は、投影面の形状情報２０５と投影点情報２１０を取得し算出部２０３に送る
。視点取得部２０２は、視点位置情報２０６を取得し、算出部２０３に送る(Ｓ２０１)。

ここで、本実施形態の距離センサ１１１ならびに形状取得部２０１について、図面を参
照しつつ説明する。図３は、本実施形態の距離センサ１１１を例示する模式的斜視図であ
る。図４（ａ）〜図４（ｃ）は、投影面の三次元座標の算出方法を説明する模式的平面図
である。図４（ａ）は、投光画像の画素の座標を例示する模式的平面図である。図４（ｂ
）は、投稿画像の画素に対応する受光画像の画素の座標を例示する模式的平面図である。
図４（ｃ）は、投光部と受光部と対象物体との幾何学的関係を例示する模式的平面図であ
る。対象物体３５０は、投影面３５１を有する。距離センサ１１１は、距離センサ１１１
自身と投影面３５１との距離を計測し、その距離に関する視点情報（距離情報）２０９を
形状取得部２０１に送る。形状取得部２０１は、視点情報２０９に基づいて、投影面３５
１の形状情報２０５と、投影点情報２１０と、を取得し算出部２０３に送る。

本実施形態の距離センサ１１１は、投光部１１１ａと、受光部１１１ｂと、を有する。
投光部１１１ａおよび受光部１１１ｂは、互いに略同じ高さに設けられている。例えば、
投光部１１１ａの中心１１１ｃと受光部１１１ｂの中心１１１ｄとを結ぶ中心線Ｃ１は、
距離センサ１１１の底面１１１ｅと略平行である。そのため、距離センサ１１１を水平面
に設置すると、中心線Ｃ１は、水平となる。

投光部１１１ａは、例えば、ランダムパターンを持つ赤外光を投影面３５１に対して投
光する。受光部１１１ｂは、投光部１１１ａが投射した赤外光のうちで投影面３５１から
反射される赤外光を受光する。

ここで、投光部１１１ａが投光する赤外光のパターンおよび受光部１１１ｂが受光する
赤外光のパターンを２次元の画像として考える。投光画像の画素の座標（ｘｐ，ｙｐ）に
対応する受光画像の画素の座標を（ｘｃ，ｙｃ）と表す。形状取得部２０１は、次のよう
にして、投光画像の画素の座標（ｘｐ，ｙｐ）に対応する受光画像の画素の座標（ｘｃ，
ｙｃ）を求めることで、投影面３５１の三次元形状の座標（Ｘｓ，Ｙｓ，Ｚｓ）を求める
ことができる。

図４（ａ）に表したように、投光画像の画素の座標（ｘ１，０）に対応する受光画像の
画素の座標が座標（ｘ２，０）である場合について考える。投光部１１１ａと、受光部１
１１ｂと、投光画像の座標（ｘ１，０）の画素の光があたる対象物体３５０と、の関係は
、図４（ｃ）に表した通りである。図４（ｃ）に表した「Ｌ」は、投光部１１１ａと受光
部１１１ｂとの間の物理的な距離である。図４（ｃ）に表した「Ｄ」は、距離センサ１１
１と対象物体３５０との間の距離である。図４（ｃ）に表した「ｆ」は、受光部１１１ｂ
の焦点距離である。このとき、幾何的な関係から式（１）の関係が成り立つ。

距離センサ１１１と対象物体３５０との間の距離Ｄは、式（１）により式（２）で表さ
れる。

これにより、投光画像の座標（ｘ１，０）の画素の光があたる対象物体３５０の点の三
次元座標（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）は、式（３）〜式（５）で表される。

ここで、ｙ_ｃは受光画像の画素のｙ座標である。

本実施形態では、投光部１１１ａと受光部１１１ｂとが一体となった距離センサ１１１
について説明している。なお、投光部１１１ａが投光し受光部１１１ｂが受光する光は、
可視光であってもよい。

また、距離を計測する手段として、距離センサ１１１の代わりに撮影部を用いてもよい
。この場合には、投影部１１０は、特定のパターンの光を対象物体３５０に投影する。撮
影部は、対象物体３５０を撮影する。撮影部が撮影した画像と、投影部１１０が対象物体
３５０に投影した元のパターンと、の対応関係から撮影部と対象物体３５０との距離情報
を求めることができる。

また、距離センサ１１１の代わりに、複数の撮影部を用いてもよい。この場合には、画
像投影装置１００は、複数の撮影部が撮影した複数の画像の画素の対応関係から撮影部と
対象物体３５０との間の距離を求める。例えば、２つの撮影部同士を結ぶ直線と、対象物
体３５０と、の間の距離を求めることができる。

また、距離センサ１１１が距離を計測する方法は、特定のパターンを持った光を投影す
る方法には限定されない。例えば、距離センサ１１１は、パルス形状に変調した光を投影
面３５１に投影し、投影面３５１において反射した光を受光し、投影した光の位相と受光
した光の位相との間の差に基づいて距離センサ１１１自身と投影面３５１との間の距離を
計測してもよい。このように、距離センサ１１１は、投影部１１０から画像を投影する対
象物体３５０の三次元形状を取得する手段の一例である。対象物体３５０の三次元形状を
取得する手段は、これらに限られるわけではない。

対象物体３５０の三次元形状の座標は、例えば、距離センサ１１１の受光部１１１ｂを
原点として算出される。そのため、距離センサ１１１の受光部１１１ｂと、投影部１１０
と、の間の距離に基づいて、投影点（投影部１１０）の座標を設定することができる。例
えば、投影部１１０と受光部１１１ｂとが、ｘ方向にｐｘ、ｙ方向にｐｙ、ｚ方向にｐｚ
だけ互いに離れている場合には、投影点の座標は、（Ｘｐ，Ｙｐ，Ｚｐ）＝（ｐｘ，ｐｙ
，ｐｚ）と設定することができる。形状取得部２０１は、投影面の形状情報２０５を算出
し、投影点の投影点情報２１０とともに、算出部２０３へ送る。

視点取得部２０２は、視点情報２０９を取得し算出部２０３へ送る。図５（ａ）は、本
実施形態の画像投影装置１００を例示する模式的斜視図である。本実施の形態では、入力
部１１２は情報処理装置２００と同じ筺体に納められている。入力部１１２は、例えば、
表示面１１３と操作部１１４とを有する。操作部１１４は、例えばボタンである。ユーザ
は、例えば操作部１１４を用いて視点位置の座標を入力する。

図５（ｂ）は、表示面１１３に表される画像の例を示す図である。表示面１１３は、例
えば、ユーザが視点位置情報２０６を入力するための補助情報を表示する。表示面１１３
は、例えば、投影点の位置と視点位置を表示する。

例えば、ユーザが視点位置を入力する前には、表示面１１３には、投影点を原点とし投
影部１１０の投影方向に平行なz軸と、z軸に垂直なx軸とy軸を有する座標系で表された空
間が表示されている。ユーザは、操作部１１４を使って、この座標系で表される視点位置
を設定する。ユーザが視点の座標を設定すると、表示面１１３には、この空間内と視点位
置が表示される。

視点位置情報２０６は、視点位置に関する情報の代わりに視点範囲に関する情報であっ
てもよい。入力部１１２によって、基準となる視点（基準視点）に対して広がりを持った
視点範囲を設定されてもよい。操作部１１４によって基準視点と距離が入力されることに
よって、基準視点を中心としてその距離を半径とする視点範囲が設定されることができる
。表示面１１３には、視点位置の代わりに視点範囲が表示されてもよい。

入力部１１２は、例えば、情報処理装置２００と同じ筺体に納められていなくてもよい
。入力部１１２は、例えば、タブレット端末やパーソナルコンピュータ（ＰＣ）であって
もよい。

例えば、入力部１１２がタッチパネルを有していてもよい。タッチパネルへのタッチ操
作により、タッチパネルに表示される座標空間が回転可能であってもよい。ユーザは、１
点の視点位置または視点範囲をタッチ操作により設定してもよい。視点範囲が設定された
場合は、視点取得部２０２は視点範囲の重心を基準視点とすることができる。

算出部２０３は、投影適切度２０７を算出し、生成部２０４へ送る（Ｓ２０２）。投影
適切度２０７の算出について図６〜図９を使って説明する。なお、図６〜９の説明のため
に用いる「出力画像」は、入力画像データ１０１を使って得られるものであり、補助情報
を含まなくてもよい。

図６（ａ）は投影面と出力画像と観察画像の関係を示す図である。図６（ｂ）は図６（ａ
）に示した投影面に投影する出力画像を示す図である。図６（ｃ）は図６（ａ）に示した
投影面に図６（ｂ）に示した出力画像を投影した時に、視点位置において観察される画像
（観察画像）を示している。算出部２０３は、投影面３５１上の一点と、投影部１１０が
投影面に出力画像を投影する場合に、この一点と対応する出力画像内の一画素を算出する
。投影面３５１上の一点は、例えば投影面３５１を表す三次元座標系で表される。出力画
像内の一画素は、例えば出力画像を表す座標系で表される。

図６（ｂ）、図６（ｃ）では、出力画像および観察画像のそれぞれの画像の中心を原点が
通るように、ｘ軸およびｙ軸が設定されている。図６（ｂ）、図６（ｃ）の例では、出力
画像と観察画像はともに、画面のｘ座標の最小値が「−１」、ｘ座標の最大値が「１」で
あり、ｙ座標の最小値が「−１」、ｙ座標の最大値は「１」であるように座標が設定され
ている。

ここで、出力画像内の一画素の座標をｍ_ｐ＝（ｘ_ｐ，ｙ_ｐ）と表す。出力画像が投影面３
５１に投影される場合にこの一画素に対応する投影面３５１上の一点の三次元座標をＭ＝
（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）と表す。出力画像の一画素の座標ｍ_ｐ＝（ｘ_ｐ，ｙ_ｐ）と、投影面
３５１上の一点の三次元座標Ｍ＝（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）と、の間の関係式は、次の式の通
りである。

式（６）中のＰ_Ｐは、投影部１１０が投影面３５１に画像を投影する際の透視投影行列を
表す。つまり、算出部２０３は、投影面３５１上の点の三次元座標に対応する入力画像の
画素の座標を算出する処理において透視投影変換を実行する。次の式に表したように、透
視投影行列Ｐ_Ｐは、内部パラメータＡ_Ｐと、外部パラメータＲ_Ｐ、ｔ_Ｐと、で表される。

内部パラメータＡ_Ｐは、投影部１１０の特性などを表す。例えば、内部パラメータＡ_Ｐは
、投影部１１０が有するレンズの焦点距離や、投影部１１０が有するレンズの光軸に対す
る表示素子の（画像）中心の位置（座標）などを含む。外部パラメータＲ_Ｐ、ｔ_Ｐは、投
影部１１０の位置や、投影部１１０の姿勢などを表す。例えば、外部パラメータＲ_Ｐ、ｔ
_Ｐは、三次元空間において任意に設定された原点に対して、投影部１１０が存在する位置
や、投影部１１０が画像を投影する方向などを表す。

ここで、図７（ａ）、図７（ｂ）、および図８を参照しつつ、内部パラメータＡ_Ｐおよび
外部パラメータＲ_Ｐ、ｔ_Ｐをさらに説明する。図７（ａ）および図７（ｂ）は、内部パラ
メータＡ_Ｐを説明する模式的平面図である。図７（ａ）は、レンズの光軸が表示素子の中
心と一致している場合を例示する模式的平面図である。図７（ｂ）は、レンズの光軸が表
示素子の中心からｙ方向にずれている場合を例示する模式的平面図である。なお、図７（
ａ）および図７（ｂ）は、ｙｚ平面における模式的平面図である。図８は、外部パラメー
タＲ_Ｐ、ｔ_Ｐを説明するための図である。

まず、内部パラメータＡ_Ｐについて説明する。図７（ａ）および図７（ｂ）に表した例に
おいて、レンズ１２１の光軸１２１ａと対象物３５３の端部３５３ａとの間の距離Ｙ、レ
ンズ１２１の光軸１２１ａと投影像１３３の端部１３３ａとの間の距離ｙ、レンズ１２１
と対象物３５３との間の距離Ｚ、および焦点距離ｆについては、次の式が成り立つ。

図７（ａ）に表した例では、レンズ１２１の光軸１２１ａが投影像１３３を表示する表示
素子１３１の中心１３１ａと一致しているため、表示素子１３１上の投影像１３３のｙ座
標ｙ’については、次の式が成り立つ。

そのため、レンズ１２１の光軸１２１ａに対する表示素子１３１の中心１３１ａの位置の
座標（ｃ_ｘ，ｃ_ｙ）は、（０，０）となる。つまり、ｃ_ｘ＝０およびｃ_ｙ＝０が成り立つ
。一方で、図７（ｂ）に表した例では、レンズ１２１の光軸１２１ａが表示素子１３１の
中心１３１ａからｙ方向にずれている。そのため、表示素子１３１上の投影像１３３のｙ
座標ｙ’については、次の式が成り立つ。

そのため、レンズ１２１の光軸１２１ａに対する表示素子１３１の中心１３１ａの位置の
ｙ座標ｃ_ｙについては、ｃ_ｙ＝０が成り立たない。つまり、レンズ１２１の光軸１２１ａ
と、表示素子１３１の（画素）中心の位置と、に応じて座標ｃ_ｙは、０以外の値となる。
レンズ１２１の光軸１２１ａが表示素子１３１の中心１３１ａからｘ方向にずれている場
合には、レンズ１２１の光軸１２１ａに対する表示素子１３１の中心１３１ａの位置のｘ
座標ｃ_ｘについては、ｃ_ｘ＝０が成り立たない。内部パラメータＡ_Ｐは、次の式で表され
る。

前述したように、式（１１）の中のｃ_ｘ、ｃ_ｙは、レンズ１２１の光軸１２１ａに対する
表示素子１３１の中心１３１ａの位置の座標（ｃ_ｘ，ｃ_ｙ）を表す。式（１４）の中のｆ
_ｘ、ｆ_ｙは、画素単位で表されるレンズ１２１の焦点距離ｆ_ｘ、ｆ_ｙを表す。式（１４）
に表したように、内部パラメータＡ_Ｐは、レンズ１２１の光軸１２１ａに対する表示素子
１３１の中心１３１ａの位置の座標（ｃ_ｘ，ｃ_ｙ）と、画素単位で表されるレンズ１２１
の焦点距離ｆ_ｘ、ｆ_ｙと、を含むパラメータである。

次に、外部パラメータＲ_Ｐ、ｔ_Ｐについて説明する。外部パラメータｔ_Ｐは、投影点の平
行移動を表すパラメータである。外部パラメータｔ_Ｐに関する行列は、投影点の位置を原
点とするための並進行列ｔである。図８に表した例では、並進行列ｔは、次の式で表され
る。

外部パラメータＲ_Ｐは、投影部１１０の投影方向を表すパラメータである。外部パラメー
タＲ_Ｐに関する行列は、投影方向を表すベクトルＶがＺ軸となるように座標を変換するた
めの回転行列Ｒである。回転行列Ｒは、次の式で表される。

これにより、外部パラメータ行列［Ｒ_Ｐ・ｔ_Ｐ］は、ワールド座標で表現されている投影
面３５１の座標を、投影点の位置を原点とし投影方向をｚ軸とした投影部１１０の座標に
変換するための変換行列を表す。なお、回転行列の例として、座標（ｘ，ｙ，ｚ）をｘ軸
まわりに角度αだけ回転させる回転行列Ｒ_ｘは、次の式で表される。

また、回転行列の例として、座標（ｘ，ｙ，ｚ）をｙ軸まわりに角度βだけ回転させる回
転行列Ｒ_ｙは、次の式で表される。

また、回転行列の例として、座標（ｘ，ｙ，ｚ）をｚ軸まわりに角度γだけ回転させる回
転行列Ｒ_ｚは、次の式で表される。

図３〜図４に関して前述したように、形状取得部２０１は、投影面３５１の形状情報２
０５を算出している。そのため、投影面３５１を形成する各点の三次元座標は既知である
。そのため、投影面３５１を形成する全ての点について、投影される出力画像の画素の座
標を式（６）により算出する。

次に、投影面３５１上の一点の三次元座標に対応する観察画像の画素の座標を算出する方
法を説明する。ここで、観察画像の画素の座標をｍ_ｅ＝（ｘ_ｅ，ｙ_ｅ）と表し、投影面３
５１において座標ｍ_ｅ＝（ｘ_ｅ，ｙ_ｅ）に対応する位置の三次元座標をＭ＝（Ｘ_ｓ，Ｙ_ｓ
，Ｚ_ｓ）と表す。観察画像の画素ｍ_ｅ＝（ｘ_ｅ，ｙ_ｅ）と、投影面３５１上の三次元座標
Ｍ＝（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）と、の間の関係式は、次の式の通りである。

式（１７）中のＰ_ｅは、視点取得部２０２が取得した視点位置から投影面３５１を観察す
る際の透視投影行列である。つまり、算出部２０３は、投影面３５１上の点の三次元座標
に対応する観察画像の画素の座標を算出する処理において透視投影変換を実行する。本実
施形態においては、視点からカメラなどの撮影装置を用いて投影面３５１を観察すること
を想定するため、透視投影行列Ｐ_ｅは、撮影装置の内部パラメータおよび外部パラメータ
で決定される。内部パラメータおよび外部パラメータの詳細は、投影部１１０の透視投影
行列Ｐ_Ｐの場合と同様であり、事前にキャリブレーションによって求めることが可能であ
る。

式（６）および式（１７）により、座標（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）の投影面３５１上の点に対
応する入力画像上の画素の座標（ｘ_ｐ，ｙ_ｐ）と、座標（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）の投影面３
５１上の点に対応する観察画像上の画素の座標（ｘ_ｅ，ｙ_ｅ）と、を得ることにより、入
力画像上の画素の座標（ｘ_ｐ，ｙ_ｐ）と、観察画像上の画素の座標（ｘ_ｅ，ｙ_ｅ）と、の
間の対応関係を求めることができる。図６の例では、出力画像上の画素１０２に対応する
のは観察画像１０４上の画素１９１であり、出力画像上の画素１９０に対応するのは観察
画像１０４上の画素１０６である。

このように、式（６）および式（１７）によって出力画像と観察画像の関係が表される。
従って、出力画像と式（６）および式（１７）によって、推定画像を得ることができる。

ここで、出力画像上の画素の座標（ｘ_ｐ，ｙ_ｐ）と観察画像上の画素の座標（ｘ_ｅ，ｙ_ｅ
）との間に対応が求められない場合について図９を用いて説明する。図９（ａ）は、投影
面と投影点と視点の関係の一例を示す図である。図９（ｂ）は、投影面と投影点と視点の
関係の他の例を示す図である。

投影面、視点、投影点が図９（ａ）に示すような関係にある時、出力画像上の画素の座標
（ｘ_ｐ，ｙ_ｐ）が投影範囲５０５に含まれる点（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）に投影される場合を
考える。出力画像は、投影面５０３の投影範囲５０４に投影される。投影範囲５０４のう
ち視点に近い一部分は、視点から遠い他の部分よりも視点側に凸である。

視点５０２から投影面５０３を観察すると、投影範囲５０４の一部である投影範囲５０５
は影になる。投影範囲５０５は、投影面５０３のうち凹凸の境界にある範囲である。

視点５０２からは投影範囲５０５上の点（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）に投影された像を観察する
ことは出来ない。従って、視点５０２における観察画像において出力画像の画素（ｘ_ｐ，
ｙ_ｐ）に対応する画素を求めることは出来ない。すなわち、視点５０２で観察される画像
は、入力画像の画素情報の一部が欠損することとなる。

また、別の例として、図９（ｂ）に示すように、出力画像上の画素の座標（ｘ_ｐ，ｙ_ｐ）
が投影面５０３の一部である投影範囲５０８に含まれる点（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）に投影さ
れる場合を考える。出力画像は投影面５０６の投影範囲５０７に投影される。ここで、投
影範囲５０７の一部である投影範囲５０８に含まれる点（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）は、距離セ
ンサ１１１が距離を計測できないものとする。

例えば、投影面上に鏡面領域が存在すると、投影面５０３の鏡面領域の距離を測定するこ
とが出来ない場合がある。鏡面領域に当たった光は距離センサ１１１の受光部１１１ｂへ
進まずに、投光部１１１ａに戻るためである。また、投影面上に反射率の著しく低い領域
が存在すると、投光部１１１ａからの光が投影面において反射されにくいので、受光部に
十分な量の光が進まない。従って、距離センサ１１１によって反射率が低い領域の距離を
測定することが困難な場合がある。

図９（ｂ）において、投影範囲５０８に含まれる点（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）は、Ｚ座標Ｚｓ
が不明であるため、出力画像の画素の座標（ｘ_ｐ，ｙ_ｐ）との対応関係は求められない。
その結果、出力画像の画素の座標（ｘ_ｐ，ｙ_ｐ）が投影される投影面上の点を求めること
ができない。従って、視点５０２の位置に関わらず、投影面５０６上に投影された像は、
出力画像の画素情報の一部が欠損することとなり、観察画像も、出力画像の一部が欠損す
る。このように、推定画像は、出力画像の一部が欠損する場合がある。

以上を踏まえて、算出部２０３は、出力画像上の全画素（ｘ_ｐ，ｙ_ｐ）それぞれについて
、対応する推定画像の画素（ｘ_ｅ，ｙ_ｅ）のずれ量ｄを、式（１８）を使って算出する。

このずれ量ｄの合計を当該視点における誤差Ｄと表す。ここで、視点取得部２０２で取得
した視点が広がりを持つ範囲として設定されている場合は、視点範囲内の当該視点のイン
デックスをｉとして、当該視点における誤差Ｄ（ｉ）は式（１９）のように表すことが出
来る。

iは視点を表すインデックス（1≦i≦Ｌ）である。Ｌは、視点範囲に含まれる視点の数
であり、任意に設定される。
jは出力画像の画素を表すインデックス（1≦j≦N）である。Ｎは出力画像に含まれる画
素数である。I、j、Ｎ、Ｍはいずれも自然数である。
なお、出力画像の画素（ｘ_ｐ，ｙ_ｐ）に対応する推定画像の画素（ｘ_ｅ，ｙ_ｅ）が求めら
れない場合は、ずれ量ｄを、予め定めたずれ量の最大値ｄ_ｍａｘと設定する。ずれ量の最
大値ｄ_ｍａｘは、例えば、図６の例では、画面内の最長距離である８（＝２^２＋２^２）を
設定することが出来る。また、視点範囲内に含まれるすべての視点位置(１≦ｉ≦Ｌ)に関
して求められる誤差Ｄ（ｉ）のうち、値が最大となる誤差Ｄ（ｉ）をその視点範囲におけ
る代表誤差Ｄ_ｏｕｔとしてもよい。

次に、算出部２０３は、例えば、視点範囲の誤差Ｄと、あらかじめ定めておいた許容でき
る誤差量を表す基準誤差Ｄ_ｔｈとから、投影対象(投影面)が画像を投影するのに適切かど
うかを表す適切度Ｒｌｖ（投影適切度２０７）を式（２１）に従って算出する。

適切度Ｒｌｖは、1に近いほど映像投影に適しており、値が小さくなるほど映像投影に
適さないことを示している。算出部１０３は、適切度Ｒｌｖをとして生成部２０４に送る
。

投影適切度２０７の算出の仕方はこの限りでない。例えば、観察画像全体の面積に対す
る位置ずれも欠損もない領域の面積の割合で表わされる。例えば、位置ずれも欠損もなく
観察画像が観察された場合には、投影適切度２０７は１００パーセントである。あるいは
、投影適切度２０７は、ランクで表わされても良い。

次に、生成部１０５は適切度Ｒｌｖに基づいてユーザに提示する補助情報を生成する（
Ｓ２０３）。

投影部１１０は、補助情報２０８を含む出力画像を投影面に向けて投影する（Ｓ２０４
）。

図１０に本実施形態にかかる補助情報２０８を含む出力画像の例を示す。図１０（ａ）
では、投影画像の右上に補助情報ウィンドウ６０１が表示され、ウィンドウ６０１内に投
影適切度２０７の値が表示されている。ウィンドウ６０１内における投影適切度の表示方
法はこの限りではない。補助情報は、図１０（ｃ）、（ｄ）、（ｅ）に示すように、投影
適切度は、メータを表す図形を用いて表されてもよい。また、投影適切度が十分でない場
合には、図１０（ｂ）に示すように、補助情報は、投影適切度２０７の値に加えて出力画
像を別の場所に投影するように示唆する情報を含んでもよい。

なお、補助情報２０８は画像を形成するための情報でなくてもよい。画像投影装置１０
０が図示しない音出力部を有し、生成部１０５から送られる投影適切度に応じた補助情報
によって音出力部が音を鳴らしてもよい。

このようにして、投影面が定められる。その後、入力画像データ１０１が生成部２０４
に入力されて投影部１１０に送られ、出力画像が生成される。この出力画像は、補助情報
を含まない。出力画像は、投影部１１０によって投影面に投影される。投影部１１０に形
成された像は、視点位置から観察された場合に、位置ずれや画素情報の欠損が少なく、出
力画像に近い。

本実施形態によると、任意の視点位置に対して、投影面が投影に適しているかどうかを
簡便に知ることが可能である。本実施の形態によれば、ユーザは、投影部の位置や向きと
投影面と視点位置とによって定められる投影環境が画像の投影に適しているのか、あるい
は投影環境を変更した方がよいのかを簡単に知ることが可能である。

（第２の実施形態）
本発明の第２の実施形態について説明する。本実施形態においては、出力画像に含まれ
る複数の小領域に対して投影適切度２０７が生成される。すなわち、投影面に含まれる複
数の領域それぞれについて投影適切度２０７が算出される。算出部２０３は、投影適切度
２０７を、出力画像に含まれる複数の小領域毎に算出して生成部２０４に送る。投影適切
度２０７は、出力画像に含まれる小領域が投影される投影面上の領域が、投影に適切かど
うかを表す。生成部２０４は、各小領域の補助情報を生成する。以下、算出部２０３、生
成部２０４について詳細に説明する。

図１１は、複数の小領域を含む出力画像を示す一例である。小領域はＭ個あるものとす
る。Ｍは任意の自然数である。算出部２０３は、各小領域に含まれる画素について、推定
画像の対応する画素との関係を求める。たとえば、任意のｊ番目（１≦ｊ≦Ｍ、ｊは自然
数）の小領域ｊに含まれる画素（ｘ_ｐ，ｙ_ｐ）に対応する推定画像の画素（ｘ_ｅ，ｙ_ｅ）
を求め、ずれ量ｄを算出する。出力画像にＮ個の画素が含まれ（Ｎは自然数）、Ｍ個の小
領域が均等に画素を有するとすると、１つの小領域に含まれる画素の個数はＮ／Ｍ個にな
る。小領域jにおいては、Ｎ／Ｍ個の画素それぞれについて、複数のずれ量ｄが算出され
る。これら複数のずれ量ｄの合計を、領域ｊにおける視点位置ｉの誤差Ｄ（ｉ，ｊ）とす
る。

なお、第1の実施形態と同様に、出力画像の画素（ｘ_ｐ，ｙ_ｐ）に対応する観察画像の
画素（ｘ_ｅ，ｙ_ｅ）が求められない場合は、出力画像の画素（ｘ_ｐ，ｙ_ｐ）に対するずれ
量ｄを、予め定めたずれ量の最大値ｄ_ｍａｘと設定する。さらに，視点位置情報２０６が
視点範囲に関するものである場合には、視点範囲内に含まれる複数の視点位置(１≦ｉ≦
Ｌ)に関して誤差Ｄ（ｉ，ｊ）を算出する。視点範囲内で求められた誤差Ｄ（ｉ，ｊ）の
うち、値が最大となるＤ（ｉ，ｊ）を領域ｊにおける視点範囲内の代表誤差Ｄ_ｏｕｔ（ｊ
）として算出する。

このようにして小領域ｊの誤差Ｄ（またはＤ_ｏｕｔ（ｊ））が求められる。

次に、算出部２０３は、各小領域の代表誤差Ｄ（またはＤ_ｏｕｔ（ｊ））と、あらかじ
め定めておいた許容できる誤差量を表す基準誤差Ｄ_ｔｈとから、投影対象(投影面)が画像
を投影するのに適切かどうかを表す適切度Ｒｌｖ（ｊ）（投影適切度２０７）を式（２３
）に従って算出する。適切度Ｒｌｖ（ｊ）は、小領域毎に算出される。

算出部１０３は、複数の適切度Ｒｌｖ（ｊ）を生成部２０４に送る。

次に、生成部２０４は、投影適切度２０７に基づいてユーザに提示する補助情報を生成
する。投影部１１０は、例えば、入力画像データ１０１に基づく画像と補助情報を含む出
力画像を生成してもよい。

図１２に本実施形態にかかる出力画像の例を示す。図１２（ａ）は、入力画像データ１
０１に基づく画像に重ねて、投影面上の領域毎の投影適切度を表示した出力画像の例であ
る。出力画像に含まれるすべての小領域の投影適切度が表示されてもよい。隣接する複数
の小領域が同じまたは近しい投影適切度有する場合は、それらの小領域をまとめた領域に
ついて、投影適切度の平均値が表示されてもよい。

また、図１２（ｂ）に示すように、投影面の一領域の投影適切度が他の領域の投影適切
度よりも高い場合は、投影部１１０の投影方向がこの一領域に向くように、あるいは投影
方向がこの他の領域から離れるように示唆する情報を補助情報は含んでもよい。この一領
域と隣接しこの他の領域から遠く、投影像のない領域は、投影適切度が高い可能性が高い
ためである。

本実施形態によると、任意の視点位置に対して、投影面が投影に適しているかどうかを
簡便に知ることが可能である。本実施の形態によれば、ユーザは、投影部の位置や向きと
投影面と視点位置とによって定められる投影環境が画像の投影に適しているのか、あるい
は投影環境を変更した方がよいのかを簡単に知ることが可能である。

（第３の実施形態）
本発明の第３の実施形態について説明する。本実施の形態は、投影面の形状情報２０５
と視点位置情報２０６と投影点情報２１０に従って、入力画像データ１０１を補正した補
正画像データ３０２を生成する補正部３０１を新たに備える。算出部２０３は、補正画像
データ３０２を投影部１１０から投影する場合の投影適切度２０７を算出する点が第１の
実施形態と異なる。以下、補正部３０１、算出部２０３について詳細に説明する。

まず、補正部３０１の補正処理について説明する。一般的に、投影装置から画像を投影
しその投影された画像を観察する場合、投影点と視点が一致しない限り、視点で観察され
る画像（観察画像）は出力画像に対して歪む。補正部３０１は、観察画像において入力画
像データ１０１から生成される画像に対する歪が発生しないように、入力画像データ１０
１を補正した補正画像データ３０２を生成する。

投影面に画像を投影した時の画像の歪みについて、図１３を用いて説明する。図１３（
ａ）と図１３（ｂ）は、投影部と撮影装置と投影面の関係の一例を示す模式図である。図
１３（ａ）に表したように、投影部１１０が投影面３５１に第１画像を投影し、撮影装置
３７０が投影面３５１に投影された第２画像（観察画像）を撮影することを考える。ここ
で、第１画像の一画素の座標をｍ_ｐと表し、投影面３５１において座標ｍ_ｐに対応する位
置の三次元座標をＭと表し、さらに投影面３５１の三次元座標Ｍに対応する第２画像の一
画素の座標をｍ_Ｃ１と表すとする。投影部１１０の透視投影行列Ｐ_Ｐと、撮影装置３７０
の透視投影行列Ｐ_Ｃと、を用いると、画素の位置ｍ_ｐと、画素の位置 ｍ_Ｃ１と、の間の
関係は、式（６）と式（１７）を用いて、式（２４）のように表される。

一方で、図１３（ｂ）に表したように、撮影装置３７０が仮想的に投影面３５１に第３画
像を投影し、投影部１１０が仮想的に投影面３５１に投影された第４画像を撮影すること
を考える。仮想的な第３画像の位置ｍ_ｐの画素に対応する仮想的な第４画像の画素の位置
をｍ_Ｃ２とする。画素の位置ｍ_ｐと、画素の位置ｍ_Ｃ２と、の間の関係は、次の式のよう
に表される。

式（２４）および式（２５）から、投影部１１０の位置から投影され撮影装置３７０の位
置で撮影される第２画像の第１画像に対する歪みは、撮影装置３７０の位置から仮想的に
投影され投影部１１０の位置で仮想的に撮影される第４画像の第３画像に対する歪みの逆
歪みであることがわかる。従って、次の式（式（２６））に示すように、撮影装置３７０
の位置から仮想的に投影され投影部１１０の位置で仮想的に撮影される第４画像を、投影
部１１０の位置から投影し（すなわちｍ_ｐ＝ｍ_ｃ２とする）、撮影装置３７０の位置で観
察すれば、歪みはキャンセルされる。すなわち、視点位置において幾何的な歪みを抑えた
観察画像が観察される。

以上を踏まえて、本実施形態にかかる情報処理装置２００を説明する。図１４は、第３
の実施形態に係る画像投影装置を表すブロック図である。図１５は、第３の実施形態に係
る情報処理方法を説明するフローチャート図である。図１５におけるＳ２１１は、図２に
おけるＳ２０１と同じである。

本実施形態にかかる画像投影装置１００は、補正画像を投影部１１０から投影面３５１に
投影することで、基準視点から投影面３５１を観察したときの歪みを抑えた画像表示を行
う。補正部３０１は、入力画像データ１０１から補正画像データ３０２を生成し、投影部
１１０に送る（Ｓ２１２）。

算出部２０３は、補正部３０１で生成した補正画像データ３０２から得られる補正画像を
投影部から投影面に投影する際に、視点において観察される観察画像の出力画像に対する
画素位置のずれと画素情報の欠損(歪・欠損情報) を推定し、当該投影面の投影適切度２
０７を算出する。

補正画像は、基準視点から投影面を見た時に観察される画像が入力画像に対して、画素位
置のずれ(歪)が発生しないように形状が補正されている。投影面の形状、視点の位置、投
影点の位置の関係によっては、図８に示したように、観察画像において出力画像の画素情
報が一部欠落している可能性がある。そのため、まず、投影部から投影する画像が何であ
れ、投影面に投影された画像を基準視点から観察した時に発生する画素の欠損を調査する
。具体的には数式（９）と数式（２０）によって求めた出力画像の画素に対応する観察画
像の画素を算出し、観察画像に対応する画素が存在しない出力画像の画素を欠損画素とし
て定義する。欠損画素に関しては、歪量が予め定めた値ｄ_ｍａｘと設定する。以上により
、投影する映像の種類によらず、投影点から投影面に投影した画像を視点から観察した時
に、欠損する情報を評価することが出来る。観察画像において原画像に対して欠損する画
素に関して歪量ｄ_ｍａｘを足し合わせた値を欠損情報Ｄ１とする。

次に、算出部２０３は視点位置情報２０６に含まれる基準視点以外の視点位置から仮想的
に投影面に投影された映像を観察した時の観察画像の出力画像に対する画素位置のずれと
画素情報の欠損(歪・欠損情報)を推定する。視点取得部２０２において、取得された視点
位置が基準視点１点のみである場合は、基準視点における欠損情報を示す第１の評価情報
のみをもとに投影面の適切度を算出すればよい。視点位置として広がりを持った範囲が取
得された場合は、この範囲に含まれる各視点位置から投影面に投影された画像を観察した
時の歪・欠損情報を評価する必要がある。ここで、本実施の形態では、基準視点位置から
見て観察画像の入力画像に対する画素位置のずれ（歪）が発生しないように補正画像を生
成しているため、基準視点位置以外の視点位置から投影面に投影された補正画像を観察し
た時に発生する出力画像に対する歪・欠損情報は、基準視点から仮想的に投影面に出力画
像を投影し、仮想的に周囲の別の視点から投影面を観察した時に観察される画像の出力画
像に対する歪・欠損情報を推定することで求められる。このことを踏まえて、基準視点以
外の複数の視点に関して式（２２）に従って、歪・欠損情報を推定し、求められた歪・欠
損情報のうち視点範囲の中で最大の値を歪情報Ｄ２として設定する。

算出部２０３は、算出された欠損情報Ｄ１と歪情報Ｄ２を合わせた値を当該環境における
歪・欠損量Ｄ_ｏｕｔ=Ｄ１＋Ｄ２として設定し、この値に基づいて式（２３）に従って投
影適切度Ｒｌｖを算出する（Ｓ２１３）。なお、視点情報が、広がりをもった範囲ではな
くある１点で観察すると設定されている場合は、欠損情報Ｄ１のみを歪・欠損量Ｄｏｕｔ
として設定し、投影適切度Ｒｌｖを算出してもよい。また、視点情報が広がりをもつ範囲
である場合は、歪情報Ｄ２のみを歪・欠損量Ｄｏｕｔとして設定し、投影適切度Ｒｌｖを
算出してもよい。この場合は、基準視点における観察画像において、原画像に対する画素
情報の欠落が無いことを前提としている。以上より、算出部２０３は算出した投影適切度
２０７を生成部２０４に送る。生成部２０４は第１または第２の形態と同様に補助情報を
生成し、補助情報２０８を投影部１１０に送る（Ｓ２１４）。投影部１１０は、補助情報
２０８を合わせて投影面に投影する。投影部１１０は、補助情報２０８に加えて補正画像
も表示しても良い（Ｓ２１５）。

以上、本実施形態によると、任意の視点位置に対して、投影面が投影に適しているかど
うかを簡便に知ることが可能である。本実施の形態によれば、投影面の形状、視点位置、
投影面の位置を取得し、視点位置における観察画像の原画像に対する歪と欠落を推定し、
歪と欠落を表す情報から、投影面が画像に適しているかどうか、ならびに投影に適さない
場合はどちらの方向に投影すべきかを表す情報を補助情報としてユーザに提示するので、
ユーザは、現在置かれている投影環境が適しているのか、投影環境をどう変更すべきかを
簡単に知ることが可能である。

（第４の実施形態）
本発明の第４の実施形態について説明する。本実施の形態は、第１の実施形態と全体的
な構成は同様であるため、第１の実施例との差分について詳細に説明する。本実施の形態
は、投影面を撮影する撮影部４０１を新たに備え、算出部２０３が投影面の投影適切度２
０７を、歪・欠損情報だけでなく、投影面の可視情報も用いて算出する点が第１の実施形
態と異なる。図１６に本実施形態にかかる画像投影装置の構成図を示す。図１６において
は、第３の実施形態に係る画像投影装置に撮影部４０１を加えた例を示している。以下、
撮影部４０１、算出部２０３について詳細に説明する。

まず、撮影部４０１について説明する。撮影部は、例えば図１７に示すように投影部１
１０に付属されていて、投影部１１０から画像が投影されている投影面上の範囲を撮影す
る。撮影部４０１の撮影に際しては、投影部からパターン画像（画面全体が白い画像）を
投影面に投影する。撮影部は投影面上のパターン画像が投影されている範囲を撮影した撮
影情報４０２を算出部２０３へ送る。

算出部２０３は、形状情報２０５、視点位置情報２０６、投影点情報２１０、撮影情報
４０２から、当該投影面の歪・欠損情報と可視情報を生成する。算出部２０３は、第１の
実施例と同様の方法で、式（１８）〜式（２０）に従って、歪・欠損情報の代表誤差Ｄ_ｏ
ｕｔを算出する。次に、算出部は、撮影画像の画素の座標ｍ_ｃと投影面上の３次元座標Ｍ
との対応を求める。

ここで、Ｐ_ｃは撮影部の透視投影変換行列を表す。本実施の形態においては、撮影部は
事前にキャリブレーション処理が済んでいて、内部パラメータ、外部パラメータが求めら
れており、透視投影変換行列Ｐ_ｃが既知であるとする。式（６）と式（２７）から、撮影
画像の画素の座標ｍ_ｃ＝（ｘ_ｃ、ｙ_ｃ）に対応する入力画像(原画像)の画素の座標ｍ_Ｐ＝
（ｘ_Ｐ、ｙ_Ｐ）を求め、撮影画像の座標ｍ_ｃにおける画素値Ｃ（ｘ_ｃ、ｙ_ｃ）と入力画像
の座標ｍ_Ｐにおける画素値Ｐ（ｘ_Ｐ、ｙ_Ｐ）とを算出する。画素値Ｃ（ｘ_ｃ、ｙ_ｃ）と画
素値Ｐ（ｘ_Ｐ、ｙ_Ｐ）との差分をＣ=|Ｃ（ｘ_ｃ、ｙ_ｃ）‐Ｐ（ｘ_Ｐ、ｙ_Ｐ）|として、入
力画像中の全画素で算出し、全画素におけるｃの和を可視情報の誤差Ｃ_ｏｕｔとして算出
する。可視情報の誤差Ｃ_ｏｕｔはすなわち投影部からパターン画像を投影した時に、パタ
ーン画像の各画素の値と、パターン画像の各画素に対応する撮影画像の画素値との差分の
和を表している。そのため、投影面の色が白い場合は、可視情報の誤差Ｃ_ｏｕｔは値が小
さいが、投影面に色がついていたり、模様がついていたりすると、可視情報の誤差Ｃ_ｏｕ
ｔの値は大きくなる傾向がある。算出部２０３は、可視情報の誤差Ｃ_ｏｕｔから可視的な
適切度ＲｌｖＣを算出する。なお、Ｃ_ｔｈは予め求めておいた許容可能な可視情報の誤差
の上限値を意味する。

式（２７）で求めたＲｌｖを形状的な適切度ＲｌｖＤと名付けると、当該投影面の最終的
な投影適切度Ｒｌｖは式（２９）に示すように、ＲｌｖＣとＲｌｖＤを重みαを用いてブ
レンディングすることで算出する。形状情報による画質への影響と可視情報による画質へ
の影響の優先度に応じて、重みαを調整して投影面の適切度Ｒｌｖを算出することが出来
る。

算出部２０３は、式（２９）で求めたＲｌｖを、投影適切度２０７として生成部２０４へ
送る。生成部２０４は第１〜第３の形態と同様に補助情報２０８を生成し、補助情報２０
８を投影部１１０に送る。投影部１１０は、補助情報２０８を合わせて投影面に投影する
。投影部１１０は、補助情報２０８に加えて補正画像も投影面に投影しても良い。

以上、本実施形態によると、任意の視点位置に対して、投影面が投影に適しているかど
うかを簡便に知ることが可能である。本実施の形態によれば、歪と欠落を表す情報と投影
面の可視的な情報を合わせて評価することで、投影面が画像に適しているかどうかを表す
情報を補助情報としてユーザに提示するので、ユーザは、現在置かれている投影環境が適
しているのか、環境を変更した方がよいのかを簡単に知ることが可能である。

以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明の
実施形態は、これらの具体例に限定されるものではない。例えば、導光体に含まれる導光
板、プリズム列部、プリズム体、高屈折率層、低屈折率層及び偏向部、並びに、面光源に
含まれる光源などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択
することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範
囲に包含される。
また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも
、本発明の要旨を包含する限り本発明の範囲に含まれる。

その他、本発明の実施の形態として上述した導光体及び面光源を基にして、当業者が適
宜設計変更して実施し得る全ての導光体及び面光源も、本発明の要旨を包含する限り、本
発明の範囲に属する。

その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想
到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了
解される。

101…入力画像データ、100…画像投影装置、110…投影部、111…距離センサ、112…入力
部、200…情報処理装置、201…形状取得部、202…視点取得部、203…算出部、204…生成
部、205…形状情報、206…視点情報、207…適切度、208補助情報データ、210…投影点情
報

Claims (8)

1. 投影部に接続される情報処理装置であって、
   前記投影部からの出力画像が投影される投影面の形状情報と前記投影部の位置に関する
   投影点情報とを取得する形状取得部と、
   前記投影面を観察する視点位置を示す視点情報を取得する視点取得部と、
   前記形状情報と前記投影点情報と前記視点情報とから前記投影面の投影適切度を算出す
   る算出部と、
   前記投影適切度に基づく補助情報データを生成する生成部と、
   を備えた情報処理装置。
2. 前記算出部は、前記出力画像が前記投影面に投影される場合に前記視点位置から観察さ
   れると推定される推定画像の前記出力画像に対する位置ずれと画素情報の欠損の少なくと
   も一方に基づいて、前記投影面が投影に適しているかを示す投影適切度を算出する、請求
   項１に記載の情報処理装置。
3. 前記視点情報は、一範囲に含まれる複数の視点位置に関する情報である、請求項１また
   は２に記載の情報処理装置。
4. 前記算出部は、前記複数の視点位置のそれぞれに対応する複数の前記投影適切度を求め
   、
   前記生成部は、前記複数の投影適切度のうち最小の投影適切度に基づく前記補助情報デ
   ータを生成する、請求項３記載の情報処理装置。
5. 前記算出部は、前記投影面に含まれる複数の領域それぞれについて前記投影適切度を算
   出し、
   前記生成部は、前記複数の領域それぞれについて補助情報データを生成する、請求項１乃
   至４のいずれか一項に記載の情報処理装置。
6. 前記出力画像を生成するための画像データが入力され、前記形状と前記投影点情報と前
   記視点情報に基づいて前記画像データを補正した補正画像データを生成する補正部をさら
   に備る、請求項１乃至５のいずれか一項に記載の情報処理装置。
7. 前記投影面を撮影する撮影部をさらに備え、
   前記算出部が、撮影部による撮影画像と前記出力画像が前記投影面に投影される場合に
   前記視点位置から観察されると推定される推定画像の前記出力画像に対する位置ずれと画
   素情報の欠損の少なくとも一方に基づいて、前記投影面が投影に適しているかを示す投影
   適切度を算出する、
   請求項１に記載の情報処理装置。
8. 請求項１乃至７のいずれか一項に記載の情報処理装置と、
   前記投影部と、
   を有する投影装置。

Images