JP2021021810A - 投影システム、表示制御装置、投影方法 - Google Patents

Abstract

【課題】 プロジェクターと投影対象物の少なくとも一方が移動する状態で、所望の画像を投影させることが可能な投影システムなどを提供する。【解決手段】 投影システムは、プロジェクター８０と、投影用画像データを記録する記録部と、プロジェクター８０の投影対象物とプロジェクター８０の相対的な位置関係に関する情報を取得する位置情報取得部６０と、位置情報取得部６０からの情報に基づいて、投影用画像データの画像のうち、プロジェクター８０で投影する領域を特定する表示制御部７０とを備える。投影画像データは、投影対象物の形状に関するメッシュデータを構成するメッシュ若しくはメッシュを複数含むメッシュ群に、コンテンツ画像データが設定されたものである。【選択図】図１４

Description

本発明は、投影システムなどに関する。

従来、特許文献１のように、プロジェクターを使った投影システムが提案されている。

特開２００９−１８２４３５号公報

しかし、プロジェクターや投影対象物を固定した状態で使用する必要がある。

したがって本発明の目的は、プロジェクターと投影対象物の少なくとも一方が移動する状態で、所望の画像を投影させることが可能な投影システムなどを提供することである。

本発明に係る投影システムは、プロジェクターと、投影用画像データを記録する記録部と、プロジェクターの投影対象物とプロジェクターの相対的な位置関係に関する情報を取得する位置情報取得部と、位置情報取得部からの情報に基づいて、投影用画像データの画像のうち、プロジェクターで投影する領域を特定する表示制御部とを備える。

投影対象物とプロジェクターの相対的な位置関係に対応して、表示制御部が投影用画像データの画像の中から、プロジェクターで投影する領域を特定する。このため、プロジェクターと投影対象物との相対的な位置関係の変化に応じて、投影される画像のコンテンツを変化させる（所望の画像を投影させる）ことが可能になる。

好ましくは、投影画像データは、投影対象物の形状に関するメッシュデータを構成するメッシュ若しくはメッシュを複数含むメッシュ群に、コンテンツ画像データが設定されたものである。

さらに好ましくは、投影画像データは、コンテンツ画像データが設定されたメッシュ若しくはメッシュ群と、コンテンツ画像データが設定されないメッシュ若しくはメッシュ群を含み、コンテンツ画像データが設定されないメッシュ若しくはメッシュ群には、所定の単色画像の単色画像データが設定される。

投影対象物における意図的にコンテンツ画像データの画像を投影したくない領域については、単色画像データの画像を投影させることにより、投影の影響を最小限に抑えることが出来る。

また、好ましくは、投影システムは、プロジェクターの投影対象物の形状に関する情報を取得する撮像部と、撮像部による前記投影対象物の形状に関する情報を取得する際に、投影対象物に設置される第１基準点と第２基準点とを更に備える。撮像部による投影対象物の形状に関する情報における、第１基準点と第２基準点の画像上の距離と、投影対象物に設置された第１基準点と第２基準点の実際の距離に関する情報に基づいて、表示制御部は、投影用画像データの画像のうち、プロジェクターで投影する領域を特定する。

また、好ましくは、プロジェクターは、投影用画像データの画像のうち、移動前に投影した領域と比べて移動方向にずれた領域の画像を投影する。

また、好ましくは、相対的な位置関係は、プロジェクターの位置と傾きである。位置情報取得部は、プロジェクターの位置と傾きを特定するために、ｘ方向の加速度と、ｘ方向に平行なｙ方向の加速度と、ｘ方向とｙ方向に垂直なｚ方向の加速度と、ローリング角速度と、ピッチング角速度と、ヨーイング角速度を検出する。

ｘ方向の加速度、ｙ方向の加速度、ｚ方向の加速度と、ｘ軸周りの角速度、ｙ軸周りの角速度、ｚ軸周りの角速度を検出することにより、プロジェクターの位置や傾き（方向）が特定される。
このため、投影対象物におけるプロジェクターに投影される領域に応じて、投影される画像のコンテンツを変化させることが可能になる。

さらに好ましくは、位置情報取得部による、プロジェクターの位置と傾きの特定は、プロジェクターが基準位置で且つ所定の方向を向くように配置された状態から開始される。

投影を行う際に、基準位置で且つ所定の方向にプロジェクターが向くように投影前位置合わせが行われる。このため、投影前位置合わせの状態からの移動や回転の変化度合いに基づいて、投影される画像のコンテンツを変化させることが可能になる。

また、好ましくは、相対的な位置関係は、プロジェクターの位置と傾きである。位置情報取得部は、プロジェクターの位置と傾きを特定するために、ローリング角速度と、ピッチング角速度と、ヨーイング角速度を検出し、衛星測位と基地局測位の少なくとも一方を行う。

相対的な位置を特定する場合には、最初に基準位置で且つ所定の方向を向くようにプロジェクターを配置する投影前位置合わせが必要にあるが、測位装置を使って、絶対的な位置を特定する場合には、基準位置にプロジェクターを配置させる必要が無く、適当な箇所で所定の方向を向くようにプロジェクターを配置するだけで、投影前位置合わせが出来る。

また、好ましくは、相対的な位置関係は、プロジェクターの位置と傾きである。位置情報取得部は、プロジェクターの位置と傾きを特定するために、ｘ方向の加速度と、ｘ方向に平行なｙ方向の加速度と、ｘ方向とｙ方向に垂直なｚ方向の加速度と、ローリング角速度と、ピッチング角速度と、ヨーイング角速度を検出し、衛星測位と基地局測位の少なくとも一方を行う。

また、好ましくは、相対的な位置関係は、プロジェクターの位置と傾きである。位置情報取得部は、プロジェクターの位置と傾きを特定するために、第１方向の加速度と、第１方向と垂直な軸周りの角速度を検出する。

また、好ましくは、相対的な位置関係は、プロジェクターの位置と傾きである。位置情報取得部は、プロジェクターの位置と傾きを特定するために、第１方向の加速度と、第１方向に平行な第２方向の加速度と、第１方向と第２方向と垂直な第３方向に平行な軸周りの角速度を検出する。

本発明に係る表示制御装置は、プロジェクターと、投影用画像データを記録する記録部と、プロジェクターの投影対象物とプロジェクターの相対的な位置関係に関する情報を取得する位置情報取得部を備える投影システムの表示制御部である。表示制御部は、位置情報取得部からの情報に基づいて、投影用画像データの画像のうち、プロジェクターで投影する領域を特定する。

本発明に係る投影方法は、プロジェクターの投影対象物とプロジェクターの相対的な位置関係に関する情報を取得する位置情報取得工程と、位置情報取得部からの情報に基づいて、投影用画像データの画像のうち、プロジェクターで投影する領域を特定する投影領域特定工程を実行する。

好ましくは、投影用画像データは、投影対象物の形状に関するメッシュデータを構成するメッシュ若しくは前記メッシュを複数含むメッシュ群に、コンテンツ画像データが設定されたものである。

また、好ましくは、位置情報取得工程の前に、プロジェクターが基準位置で且つ所定の方向を向くように配置される投影前位置合わせ工程が実行される。

以上のように本発明によれば、プロジェクターと投影面の少なくとも一方が移動する状態で、所望の画像を投影させることが可能な投影システムなどを提供することができる。

本実施形態における投影システムの各部材を示す構成図で、位置情報取得部が加速度センサーとジャイロセンサーを含むものである。 第1投影対象物の斜視図である。 第1投影対象物の点群データの画像を含む調整部の表示画面である。 第1投影対象物のメッシュデータの画像を含む調整部の表示画面である。 第１基準点と第２基準点を設置した第1投影対象物の斜視図である。 第１基準点と第２基準点を設置した第1投影対象物の点群データの画像を含む調整部の表示画面である。 第１基準点と第２基準点を設置した第1投影対象物のメッシュデータの画像を含む調整部の表示画面である。 第１コンテンツ画像を示す図である。 第２コンテンツ画像を示す図である。 第３コンテンツ画像を示す図である。 第1投影対象物のメッシュデータに第１コンテンツ画像〜第３コンテンツ画像を当てはめた投影用画像データの画像を含む調整部の表示画面である。 位置合わせを行う状態の第1投影対象物と第１基準点と位置情報取得部と表示制御装置とプロジェクターの斜視図である。 図１２の状態から、第１基準点を乗り除き、投影レンズが前面に近づくように、プロジェクターをｚ軸周りに約４５度回転させた状態を示す斜視図である。 図１３の状態から、投影レンズが前面と右側面の境界から離れるように移動し、且つ、投影レンズを１０度程度下方向に傾けた状態を示す斜視図である。 本実施形態における投影システムの各部材を示す構成図で、位置情報取得部がジャイロセンサーと測位装置と速度センサーを含むものである。 第２投影対象物の斜視図である。 第２投影対象物のメッシュデータの画像を含む調整部の表示画面である。 第２投影対象物のメッシュデータの一部に第１コンテンツ画像〜第３コンテンツ画像を当てはめた投影用画像データの画像を含む調整部の表示画面である。 第１コンテンツ画像〜第３コンテンツ画像を表示させた第２投影対象物と位置情報取得部と表示制御装置とプロジェクターの斜視図である。 第３投影対象物の斜視図である。 第１コンテンツ画像から第３コンテンツ画像を表示させた第３投影対象物と位置情報取得部と表示制御装置とプロジェクターの斜視図である。

以下、本実施形態について、図を用いて説明する（図１〜図１４参照）。
なお、実施形態は、以下の実施形態に限られるものではない。また、一つの実施形態に記載した内容は、原則として他の実施形態にも同様に適用される。また、各実施形態及び各変形例は、適宜組み合わせることが出来る。

本実施形態における投影システム１は、撮像部１０、メッシュデータ生成部２０、投影用画像データ生成部４０、記録部３０、調整部５０、位置情報取得部６０、表示制御部７０、プロジェクター８０を備える（図１参照）。

方向を説明するために、水平方向（左右方向）をｘ方向とし、ｘ方向に垂直な別の水平方向（前後方向）をｙ方向、ｘ方向及びｙ方向に対して垂直な方向（上下方向）をｚ方向として説明する。
図２において、ｘｙｚ軸のそれぞれの矢印が指し示す方向をそれぞれ左方向、前方向、上方向と定義する。

投影用画像データを生成する工程（点群データ取得工程、メッシュデータ生成工程、縮尺算出工程、投影用画像データ生成工程）では、撮像部１０とメッシュデータ生成部２０と記録部３０と投影用画像データ生成部４０と調整部５０が用いられる。
投影用画像データを投影する工程（投影前位置合わせ工程、位置情報取得工程、投影領域特定工程、投影工程）では、記録部３０と位置情報取得部６０と表示制御部７０とプロジェクター８０が用いられる。

次に、投影システム１を構成する各部の詳細について説明する。
各部の説明では、単純な形状（直方体）の投影対象物（第1投影対象物ＳＰ１）の内側面に対して投影を行う形態を説明する。
しかしながら、本実施形態の投影システム１は、複雑な形状の投影対象物（第２投影対象物ＳＰ２、第３投影対象物ＳＰ３）の様々な面に対して投影を行うことも出来、これについては、後述する。
第1投影対象物ＳＰ１は、前面Ａ１、下面Ａ２、右側面Ａ３、後面Ａ４、左側面Ａ５、上面Ａ６を有する直方体形状である（図２参照）。

（撮像部１０）
撮像部１０は、撮影領域の点群データを取得する（点群データ取得工程）。
具体的には、撮像部１０は、撮影領域の凹凸を感知して３Ｄデータとして取り込む３Ｄスキャナーを有し、撮影領域にレーザーを照射したり、センサーをあてたりしながら、三次元の座標データを複数取得し、点群データを生成する。
撮像部１０で生成された点群データは、記録部３０に記録される。

図３は、第1投影対象物ＳＰ１の内側面が撮影領域であるとして、得られた点群データのうち、前面Ａ１と下面Ａ２と右側面Ａ３の点群データの例を示す。
なお、説明のため、図３は、比較的粗めで点と点の間隔が広い点群データを示すが、粗さはこれに限るものではなく、図３に示す例に比べて、点と点の間隔が狭い点群データであってもよい。後述する図６の点群データも同様である。

撮像部１０で生成された点群データが、そのまま、メッシュデータ生成部２０で使用される形態であってもよいが、データ欠損箇所の補完、修正、ノイズ処理、表面スムース処理などが施された後の点群データが、メッシュデータ生成部２０で使用される形態であってもよい。
点群データに対するデータ欠損箇所の補完などは、記録部３０に接続された調整部５０を使って行われる。

（メッシュデータ生成部２０）
メッシュデータ生成部２０は、記録部３０に記録した点群データを読み出し、点の集合体（点群データ）を、三角形などの多角形の集合体（メッシュデータ）に変換する（図４参照、メッシュデータ生成工程）。
メッシュデータ生成部２０で生成されたメッシュデータは、記録部３０に記録される。

図４は、第1投影対象物ＳＰ１の内側面が撮影領域であるとして、得られた点群データのうち、前面Ａ１と下面Ａ２と右側面Ａ３の点群データを変換したメッシュデータの例を示す。
なお、説明のため、図４は、比較的粗めで大きなメッシュの集合体であるメッシュデータを示すが、粗さはこれに限るものではなく、図４に示す例に比べて、小さなメッシュの集合体であるメッシュデータであってもよい。後述する図７のメッシュデータも同様である。

メッシュデータ生成部２０で生成されたメッシュデータが、そのまま、投影用画像データ生成部４０で使用される形態であってもよいが、データ欠損箇所の補完、修正、ノイズ処理、表面スムース処理などが施された後のメッシュデータが、投影用画像データ生成部４０で使用される形態であってもよい。
メッシュデータに対するデータ欠損箇所の補完などは、調整部５０を使って行われる。

（基準点を使った縮尺調整）
撮像部１０による点群データ取得は、撮影領域に、第１基準点１１ａと第２基準点１１ｂが配置された状態で行われる。
第１基準点１１ａと第２基準点１１ｂは、投影用画像データと、実際の撮影領域、すなわちプロジェクター８０の投影対象物の縮尺を求めるために使用される。
第１基準点１１ａと第２基準点１１ｂは、棒状、若しくは円錐形状のものなどが考えられる。
基準点は、第１基準点１１ａと第２基準点１１ｂに限らず、３つ以上の基準点が設けられる形態であってもよい。
本実施形態では、２つの棒状の基準点（第１基準点１１ａと第２基準点１１ｂ）が、ｘ方向に並べて配置される例を示す。

なお、第１基準点１１ａと第２基準点１１ｂの少なくとも一方は、プロジェクター８０を最初に配置する位置（投影前位置合わせの場所）として使用されてもよい。

図２〜図４は、第1投影対象物ＳＰ１に第１基準点１１ａと第２基準点１１ｂとが設置されていない状態を示し、図５〜図７は、第1投影対象物ＳＰ１に第１基準点１１ａと第２基準点１１ｂとが設置された状態を示す。
なお、説明のために、図５〜図７では、第１基準点１１ａや第２基準点１１ｂを大きめに描いているが、大きさはこれに限るものではなく、図５などに示す例に比べて、細長い棒状のものであってもよい。

点群データ若しくはメッシュデータに対応する画像を調整部５０の表示装置に表示させた状態で、使用者は、当該画像の中から第１基準点１１ａと第２基準点１１ｂがある領域を特定する。調整部５０は、第１基準点１１ａに対応する領域と第２基準点１１ｂに対応する領域の距離（画像上の距離ｄｐ１）を算出する。
また、使用者は、実際に第1投影対象物ＳＰ１に設置した第１基準点１１ａと第２基準点１１ｂの距離（実際の距離ｄｒ１）を図り、調整部５０に入力する。
調整部５０は、画像上の距離ｄｐ１と実際の距離ｄｒ１の比率（縮尺）を算出し、表示制御部７０に送信する（縮尺算出工程）。
表示制御部７０は、この縮尺を使って、実際にプロジェクター８０が移動した量に対応した画像領域、すなわち投影用画像データの画像における移動前の画像の位置から移動後の画像の位置への移動量（距離、方向）を算出する。

なお、実際の距離ｄｒ１は、使用者による計測によるものに限らない。
例えば、第１基準点１１ａと第２基準点１１ｂに、ＧＮＳＳ（Global Navigation Satellite System）に基づく衛星測位などで位置情報を取得する測位装置が設けられる形態が考えられる。この場合、第１基準点１１ａと第２基準点１１ｂの位置情報が無線で調整部５０に送信され、調整部５０が、これらの位置情報に基づいて実際の距離ｄｒ１を算出する。
第１基準点１１ａや第２基準点１１ｂに設けられる測位装置は、ＧＮＳＳに基づく衛星測位を行うものの他、携帯電話など基地局との通信で基地局測位を行うものなどが考えられる。

また、第１基準点１１ａに発信部が設けられ、第２基準点１１ｂに受信部が設けられる形態が考えられる。この場合、第２基準点１１ｂは、第１基準点１１ａの発信部からの信号について、第２基準点１１ｂの受信部で受信出来る電波強度を測定し、電波強度に関する情報を調整部５０に送信する。調整部５０は、電波強度に関する情報に基づいて、実際の距離ｄｒ１を算出する。
なお、実際の距離ｄｒ１の算出は、調整部５０によるものに限らず、第１基準点１１ａや第２基準点１１ｂに設けられた制御装置で行われる形態であってもよい。

また、縮尺調整は、基準点を用いたものに限られない。
例えば、投影用画像データの画像をプロジェクター８０で投影し、プロジェクター８０を移動させながら、２以上の投影面に対して、投影用画像データの画像のうち所望の領域が投影されるかを確認しながら、縮尺を手動で調整する形態が考えられる。

（記録部３０）
記録部３０は、撮像部１０で得られた点群データ、メッシュデータ生成部２０で生成されたメッシュデータ、投影用画像データ生成部４０で生成された投影用画像データ、単色画像データ、及びコンテンツ画像データを記録する。

コンテンツ画像データは、第1投影対象物ＳＰ１における、メッシュデータのメッシュ（若しくは複数のメッシュを含むメッシュ群）に対応する領域に投影する画像の画像データ、すなわち、メッシュ若しくはメッシュ群に割り当てる画像データである。

コンテンツ画像データは、調整部５０などを介して、予め記録部３０に記録される。
コンテンツ画像データは、静止画像であってもよいし、動画像であってもよい。

本実施形態では、コンテンツ画像データとして、カーテンを含む画像（第１コンテンツ画像Ｐ１、図８参照）の第１画像データ、横縞模様を含む画像（第２コンテンツ画像Ｐ２、図９参照）の第２画像データ、及び菱形模様を含む画像（第３コンテンツ画像Ｐ３、図１０参照）の第３画像データが記録部３０に記録される。

単色画像データは、黒色など明度が低い所定の単色だけで構成された単色画像の画像データであり、メッシュデータのメッシュ若しくはメッシュ群であって、コンテンツ画像データが設定されないものに対して設定される。

（投影用画像データ生成部４０）
投影用画像データ生成部４０は、記録部３０に記録したメッシュデータとコンテンツ画像データと単色画像データを読み出し、メッシュごと（若しくはメッシュ群ごと）に、コンテンツ画像データの中から当該メッシュ（若しくは当該メッシュ群）に対応する第1投影対象物ＳＰ１の領域に投影するコンテンツ画像データ若しくは単色画像データを設定し、投影用画像データ（３Ｄ画像データ）を生成する（図１１参照、投影用画像データ生成工程）。
すなわち、投影画像データは、メッシュ若しくはメッシュ群に、コンテンツ画像データが設定されたものである。

図１１は、前面Ａ１を形成するメッシュ群に対応する第1投影対象物ＳＰ１の領域に、第１コンテンツ画像Ｐ１を投影する設定を行い、下面Ａ２を形成するメッシュ群に対応する第1投影対象物ＳＰ１の領域に、第２コンテンツ画像Ｐ２を投影する設定を行い、右側面Ａ３を形成するメッシュ群に対応する第1投影対象物ＳＰ１の領域に、第３コンテンツ画像Ｐ３を投影する設定を行った例を示す。

メッシュ若しくはメッシュ群に割り当てるコンテンツ画像データは、それぞれで異なるものであってもよいし、同じものであってもよい。

また、すべてのメッシュ若しくはメッシュ群にコンテンツ画像データを割り当てる必要はなく、一部のメッシュ若しくはメッシュ群には、コンテンツ画像データを割り当てない形態であってもよい。
すなわち、投影画像データは、コンテンツ画像データが設定されたメッシュ若しくはメッシュ群と、コンテンツ画像データが設定されないメッシュ若しくはメッシュ群を含む。
コンテンツ画像データが設定されないメッシュ若しくはメッシュ群には、単色画像データが設定される。

投影対象物における、単色画像データが設定されたメッシュ若しくはメッシュ群に対応する領域には、当該明度が低い単色の画像が投影される。このため、当該領域には、コンテンツ画像データの画像が投影される領域と比べて、殆ど投影された光が見えない。従って、投影対象物における意図的にコンテンツ画像データの画像を投影したくない領域については、単色画像データの画像を投影させることにより、投影の影響を最小限に抑えることが出来る。

コンテンツ画像データの画像と、当該コンテンツ画像データが割り当てられるメッシュ若しくはメッシュ群の形状は同じであってもよいし、異なるものであってもよい。
コンテンツ画像データの画像と、当該コンテンツ画像データが割り当てられるメッシュ若しくはメッシュ群の形状が異なる場合には、メッシュ若しくはメッシュ群の大きさに合わせて拡大縮小した状態、若しくは一部が切り取られた状態で、コンテンツ画像データのメッシュ若しくはメッシュ群への割り当てが行われる。

投影用画像データは、少なくとも２つ以上のコンテンツ画像データの画像を含み、当該少なくとも２つ以上の面（メッシュ若しくはメッシュ群）のそれぞれに、コンテンツ画像データが割り当てられる。

投影用画像データの生成は、投影用画像データ生成部４０が自動的に行う形態が考えられる。
この場合、投影用画像データ生成部４０で生成された投影用画像データが、そのまま、表示制御部７０で使用される形態であってもよいが、コンテンツ画像データや単色画像データのメッシュ若しくはメッシュ群への割り当ての修正が施された後の投影用画像データが、表示制御部７０で使用される形態であってもよい。
コンテンツ画像データのメッシュ若しくはメッシュ群への割り当ての修正は、調整部５０を使って行われる。

また、投影用画像データ生成部４０による自動的なコンテンツ画像データのメッシュ若しくはメッシュ群への割り当てを行わずに、調整部５０を使って使用者が操作を行って、コンテンツ画像データや単色画像データのメッシュ若しくはメッシュ群への割り当てを行う形態であってもよい。
投影用画像データ生成部４０と調整部５０の少なくとも一方で生成された投影用画像データは、記録部３０に記録される。

（調整部５０）
調整部５０は、記録部３０に接続され、表示装置（出力装置）と入力装置を含む装置である。
調整部５０は、点群データやメッシュデータに対する、データ欠損箇所の補完など、コンテンツ画像データの記録部３０への記録、コンテンツ画像データや単色画像データのメッシュ若しくはメッシュ群への割り当てや当該割り当ての修正のために使用される。

（メッシュデータ生成部２０、投影用画像データ生成部４０、調整部５０の構成）
メッシュデータ生成部２０と、投影用画像データ生成部４０と、調整部５０は、別々の装置で構成されてもよいし、１体で構成され、１つのコンピュータなどが、メッシュデータ生成部２０と投影用画像データ生成部４０と調整部５０として機能する、すなわち、点群データ取得工程とメッシュデータ生成工程と縮尺算出工程と投影用画像データ生成工程を実行するプログラムが当該１つのコンピュータなどにインストールされる形態であってもよい。

（位置情報取得部６０）
位置情報取得部６０は、プロジェクター８０の位置情報と傾き情報を取得する（位置情報取得工程）。
具体的には、位置情報取得部６０は、３軸の加速度センサー６１と、３軸のジャイロセンサー６２を有する。
３軸の加速度センサー６１は、ｘ方向の加速度、ｙ方向の加速度、及びｚ方向の加速度を検出する。
３軸のジャイロセンサー６２は、ｘ軸周りの角速度（ローリング角速度）、ｙ軸周りの角速度（ピッチング角速度）、及びｚ軸周りの角速度（ヨーイング角速度）を検出する。
位置情報取得部６０は、ｘ方向の加速度、ｙ方向の加速度、ｚ方向の加速度、ローリング角速度、ピッチング角速度、ヨーイング角速度に基づいて、プロジェクター８０の基準位置からの移動距離及び傾き（方向）を算出し、表示制御部７０に出力する。

ただし、位置情報取得部６０は、ｘ方向の加速度、ｙ方向の加速度、ｚ方向の加速度、ローリング角速度、ピッチング角速度、ヨーイング角速度に関する情報を表示制御部７０に出力するだけで、表示制御部７０が、プロジェクター８０の基準位置からの移動距離及び傾きの算出を行う形態であってもよい。

（表示制御部７０）
表示制御部７０は、位置情報取得部６０で算出されたプロジェクター８０の位置情報と傾き情報に基づいて、投影用画像データの画像のうち、プロジェクター８０で投影する領域を特定する（投影領域特定工程）。
具体的には、表示制御部７０は、プロジェクター８０の位置情報と傾き情報に基づいて、第1投影対象物ＳＰ１におけるプロジェクター８０の投影面に対応する領域を特定し、投影用画像データから特定した領域の画像データを切り出しし、切り出し画像データをプロジェクター８０に出力する。

（プロジェクター８０）
プロジェクター８０は、表示制御部７０で生成された切り出し画像データに対応する画像を投影する（投影工程）。
すなわち、プロジェクター８０は、投影用画像データの画像の一部を投影する。

（位置情報取得部６０と、表示制御部７０と、プロジェクター８０の構成）
位置情報取得部６０と、表示制御部７０と、プロジェクター８０は、別々の装置で構成されてもよいし、一体で構成され、例えば、プロジェクター８０に位置情報取得部６０と表示制御部７０が内蔵される、すなわち、位置情報取得工程と投影領域特定工程と投影工程を実行するプログラムがプロジェクター８０にインストールされる形態であってもよい。
位置情報取得部６０と、表示制御部７０と、プロジェクター８０は、使用者が持ち歩く形態であってもよいが、車両や空中浮遊装置などの移動体に保持される形態であってもよい。

（投影前の位置合わせ）
位置合わせとして、プロジェクター８０が基準位置で所定の方向を向くように、すなわち、第1投影対象物ＳＰ１における所定の投影領域に画像が投影されるように、プロジェクター８０が配置される（投影前位置合わせ工程）。
表示制御部７０は、プロジェクター８０が基準位置で所定の方向を向いた状態で、プロジェクター８０の投影レンズと対向する位置に対応する画像を、投影用画像データの画像から切り出して、プロジェクター８０に出力し、投影させる。

例えば、基準位置で且つ所定の方向として、第１基準点１１ａの上に載置され、且つ水平で第２基準点１１ｂが設置されていた場所の方向に投影レンズが向くように、プロジェクター８０が配置される形態が考えられる。
この場合、第１基準点１１ａは、点群データ取得時に設置された場所に設置される。
表示制御部７０は、プロジェクター８０の投影レンズと対向する位置に対応する画像（第３コンテンツ画像Ｐ３の左寄り領域）を、投影用画像データの画像から切り出して、プロジェクター８０に出力し、投影させる。
図１２は、第１基準点１１ａの上に載置され、且つ水平で第２基準点１１ｂが設置されていた場所の方向に投影レンズが向くようにプロジェクター８０が配置され、右側面Ａ３に、第３コンテンツ画像Ｐ３の一部が投影される例を示す。

当該位置合わせが完了した後は、第１基準点１１ａは第1投影対象物ＳＰ１から取り除かれてよい。
なお、第１基準点１１ａを用いずに、使用者が保持した状態で、基準位置で且つ所定の方向にプロジェクター８０を配置する形態であってもよい。

（投影と表示制御）
当該位置合わせが完了した後に、位置情報取得部６０による基準位置からの移動距離及び傾きの算出、すなわち、プロジェクター８０の位置と傾きの特定が開始される。
プロジェクター８０の移動距離及び傾きの変化に対応して、表示制御部７０は、投影用画像データの画像のうち、移動後のプロジェクター８０で投影する領域を特定し、かかる領域の画像データを切り出し、プロジェクター８０に出力する。

プロジェクター８０が所定の方向に平行移動した場合には、表示制御部７０は、投影用画像データの画像のうち、移動前に投影された領域よりも移動した方向にずれた領域を、プロジェクター８０で投影する領域として特定する。ただし、当該所定の方向は、プロジェクター８０の投影面と投影対象物を結ぶ線と平行な方向を除く。
プロジェクター８０が回転した（傾いた）場合には、表示制御部７０は、投影用画像データの画像のうち、回転前に投影された領域よりも回転した方向にずれた領域を、プロジェクター８０で投影する領域として特定する。
すなわち、プロジェクター８０は、投影用画像データの画像のうち、移動前に投影した領域と比べて移動方向にずれた領域の画像を投影する。

プロジェクター８０の移動や回転により、投影レンズと投影対象物の当該投影レンズと対向する領域との間の距離が短くなった場合には、移動や回転する前よりも投影される領域が小さくなる。
プロジェクター８０の移動や回転により、投影レンズと投影対象物の当該投影レンズと対向する領域との間の距離が長くなった場合には、移動や回転する前よりも投影される領域が大きくなる。

例えば、図１２の状態から、プロジェクター８０の投影レンズが前面Ａ１に近づくようにプロジェクター８０をｚ軸周りに４５度程度回転させると、プロジェクター８０の傾き（方向）が変化する。この場合、位置情報取得部６０は、ヨーイング角速度に基づいて、プロジェクター８０の傾き（方向）を特定する。
表示制御部７０は、位置情報取得部６０で特定された傾き情報に基づいて、投影用画像データの画像のうち、プロジェクター８０で投影する領域を特定し、かかる領域の画像データを切り出し、プロジェクター８０に出力する。
具体的には、表示制御部７０は、投影用画像データの画像のうち、回転前に投影された領域（第３コンテンツ画像Ｐ３の左寄り領域）よりも、左方向にずれた領域（第１コンテンツ画像Ｐ１の右端領域と第３コンテンツ画像Ｐ３の左端領域）を、プロジェクター８０で投影する領域として特定する。
これにより、前面Ａ１の一部と右側面Ａ３の一部とに、プロジェクター８０からの画像が投影される（図１３参照）。

また、図１３の状態から、プロジェクター８０の投影レンズが前面Ａ１と右側面Ａ３の境界部分から離れるように移動し、且つ、投影レンズを１０度程度下方向に傾けると、
プロジェクター８０の位置及び傾き（方向）が変化する。
位置情報取得部６０は、ｘ方向の加速度、ｙ方向の加速度、ローリング角速度、及びピッチング角速度に基づいて、プロジェクター８０の位置と傾き（方向）を特定する。
表示制御部７０は、位置情報取得部６０で特定された位置情報と傾き情報に基づいて、投影用画像データの画像のうち、プロジェクター８０で投影する領域を特定し、かかる領域の画像データを切り出し、プロジェクター８０に出力する。
具体的には、表示制御部７０は、投影用画像データの画像のうち、移動や回転前に投影された領域（第１コンテンツ画像Ｐ１の右端領域と第３コンテンツ画像Ｐ３の左端領域）よりも、下方向にずれて且つ拡大した領域（第１コンテンツ画像Ｐ１の右下領域と第２コンテンツ画像Ｐ２の左上領域と第３コンテンツ画像Ｐ３の左下領域）を、プロジェクター８０で投影する領域として特定する。
これにより、前面Ａ１の一部と下面Ａ２の一部と右側面Ａ３の一部とに、プロジェクター８０からの画像が投影される（図１４参照）。

（発明の効果）
プロジェクター８０の位置や傾きに応じて、表示制御部７０が投影用画像データの画像の中から、プロジェクター８０で投影する領域を特定する。
このため、プロジェクター８０と投影対象物との相対的な位置関係の変化に応じて、投影される画像のコンテンツを変化させる（所望の画像を投影させる）ことが可能になる。

ｘ方向の加速度、ｙ方向の加速度、ｚ方向の加速度と、ｘ軸周りの角速度、ｙ軸周りの角速度、ｚ軸周りの角速度を検出することにより、プロジェクター８０の位置や傾き（方向）が特定される。
このため、投影対象物におけるプロジェクター８０に投影される領域に応じて、投影される画像のコンテンツを変化させることが可能になる。

特に、投影を行う際に、基準位置で且つ所定の方向にプロジェクター８０が向くように投影前位置合わせが行われる。このため、投影前位置合わせの状態からの移動や回転の変化度合いに基づいて、投影される画像のコンテンツを変化させることが可能になる。

（位置や傾きの特定について）
なお、本実施形態では、位置情報取得部６０が加速度センサー６１を有し、プロジェクター８０の位置の特定として、位置情報取得部６０が基準位置からの移動距離を算出し、これにより基準位置に対する相対的な位置が特定される例を示したが、絶対的な位置を特定する形態であってもよい。

この場合は、位置情報取得部６０は、加速度センサー６１に代えて、測位装置６３を有する（図１５参照）。
測位装置６３は、ＧＮＳＳに基づく衛星測位を行うものの他、携帯電話など基地局との通信で基地局測位を行うものなどが考えられる。

相対的な位置を特定する場合には、最初に基準位置で且つ所定の方向を向くようにプロジェクター８０を配置する投影前位置合わせが必要にあるが、測位装置６３を使って、絶対的な位置を特定する場合には、基準位置にプロジェクター８０を配置させる必要が無く、適当な箇所で所定の方向を向くようにプロジェクター８０を配置するだけで、投影前位置合わせが出来る。

なお、位置情報取得部６０は、３軸の加速度センサー６１と、３軸のジャイロセンサー６２と、測位装置６３を有する形態であってもよい。
この場合には、加速度センサー６１からの情報と、測位装置６３からの情報に基づいて、さらに正確にプロジェクター８０の位置を特定することが可能になる。

また、位置情報取得部６０は、プロジェクター８０などを保持する移動体の速度を検知する速度センサー６４を有してもよい。
この場合には、加速度センサー６１からの情報と、測位装置６３からの情報と、速度センサー６４からの情報に基づいて、さらに正確にプロジェクター８０の位置を特定することが可能になる。

（複雑な形状への応用）
ここまで、単純な形状（直方体）の投影対象物（第1投影対象物ＳＰ１）の３面に対して投影を行う形態を説明した。
しかしながら、本実施形態の投影システム１は、複雑な形状の投影対象物（第２投影対象物ＳＰ２、第３投影対象物ＳＰ３）の様々な面に対する投影に応用することが出来る。

例えば、コンサートホール（第２投影対象物ＳＰ２、図１６参照）におけるいくつかの面に対して投影を行う形態が考えられる（図１６〜図２０参照）。
この場合でも、第1投影対象物ＳＰ１に対する投影用画像データを生成する工程と同様で、第２投影対象物ＳＰ２に対応する点群データからメッシュデータが生成される（図１７参照）。

メッシュデータにおけるメッシュ若しくはメッシュ群に、コンテンツ画像データと単色画像データのいずれかを設定して、投影用画像データが生成される（図１８参照）。
図１８は、メッシュデータにおける舞台正面に相当するメッシュ群に第１コンテンツ画像Ｐ１が設定され、舞台床面に相当するメッシュ群に第２コンテンツ画像Ｐ２が設定され、舞台側部に相当するメッシュ群に第３コンテンツ画像Ｐ３が設定され、他のメッシュやメッシュ群に単色画像Ｐ４が設定される例を示す。図１８は、単色画像Ｐ４が投影される領域が斜線で示される。

表示制御部７０は、位置情報取得部６０で特定された位置情報と傾き情報に基づいて、投影用画像データの画像のうち、プロジェクター８０で投影する領域を特定し、かかる領域の画像データを切り出し、プロジェクター８０に出力する（図１９参照）。
図１９は、プロジェクター８０の投影レンズが舞台の右側を向き、投影用画像データの画像のうち、舞台の右側に対応する領域の画像データが切り出しされて、プロジェクター８０から投影された例を示す。図１９は、舞台上や舞台下の単色画像Ｐ４が投影される領域が斜線で示される。

また、複数の家を含む通り（第３投影対象物ＳＰ３、図２０参照）におけるいくつかの面（家の壁）に対して投影を行う形態が考えられる（図２０〜図２１参照）。
この場合でも、第1投影対象物ＳＰ１に対する投影用画像データを生成する工程と同様で、第３投影対象物ＳＰ３に対応する点群データからメッシュデータが生成される。

メッシュデータにおけるメッシュ若しくはメッシュ群に、コンテンツ画像データのいずれかを設定して、投影用画像データが生成される。

表示制御部７０は、位置情報取得部６０で特定された位置情報と傾き情報に基づいて、投影用画像データの画像のうち、プロジェクター８０で投影する領域を特定し、かかる領域の画像データを切り出し、プロジェクター８０に出力する（図２１参照）。
図２１は、プロジェクター８０の投影レンズが通りの左側を向き、通りの左側の手前から３件の家の壁に、奥から第１コンテンツ画像Ｐ１、第２コンテンツ画像Ｐ２、第３コンテンツ画像Ｐ３が、プロジェクター８０から投影され、第２コンテンツ画像Ｐ２と第３コンテンツ画像Ｐ３の上下に単色画像Ｐ４が、プロジェクター８０から投影された例を示す。

（応用例３、投影対象物を含む空間の移動）
なお、本実施形態では、プロジェクター８０が移動し、プロジェクター８０の位置や傾き（方向）を特定することで、プロジェクター８０の投影対象物（第1投影対象物ＳＰ１〜第３投影対象物ＳＰ３）と、プロジェクター８０の相対的な位置関係が特定される。
すなわち、本実施形態では、プロジェクター８０が移動し、投影対象物が固定されるものとして説明した。
しかしながら、プロジェクター８０が固定され、投影対象物が移動する形態であってもよい。
この場合には、位置情報取得部６０は、投影対象物側に設置され、無線でプロジェクター８０側に設けられた表示制御部７０に、投影対象物の移動距離や傾きに関する情報が送信される。

また、プロジェクター８０も、投影対象物も移動する形態であってもよい。
この場合には、位置情報取得部６０は、プロジェクター８０側にも、投影対象物側にも設置される。
表示制御部７０は、プロジェクター８０側の位置情報取得部６０からの移動距離や傾きに関する情報と、投影対象物側の位置情報取得部６０からの移動距離や傾きに関する情報に基づいて、プロジェクター８０と投影対象物の相対的な位置関係を特定する。

（応用例４、２次元移動と１次元移動）
本実施形態では、プロジェクター８０が、３次元空間を移動し、位置情報取得部６０が３次元空間におけるプロジェクター８０の位置や傾き（方向）を特定し、表示制御部７０が、投影用画像データの画像から、プロジェクター８０が投影する領域を特定する形態を説明した。
しかしながら、プロジェクター８０が、２次元空間を移動し、位置情報取得部６０が２次元空間におけるプロジェクター８０の位置や傾き（方向）を特定し、表示制御部７０が、投影用画像データの画像から、プロジェクター８０が投影する領域を特定する形態であってもよい。
例えば、プロジェクター８０がｘ方向とｙ方向の２次元空間のみを移動し、ｚ方向への移動を行わない形態が考えられる。
この場合、位置情報取得部６０は、ｘ方向の加速度と、ｙ方向の加速度と、ｚ軸周りの角速度を検出し、表示制御部７０は、これらの情報からプロジェクター８０の位置や傾きを特定する。

また、プロジェクター８０が、１次元空間を移動し、位置情報取得部６０が１次元空間におけるプロジェクター８０の位置を特定し、表示制御部７０が、投影用画像データの画像から、プロジェクター８０が投影する領域を特定する形態であってもよい。
例えば、プロジェクター８０がｘ方向の１次元空間のみを移動し、ｙ方向やｚ方向への移動を行わない形態が考えられる。
この場合、位置情報取得部６０は、ｘ方向の加速度と、ｚ軸周りの角速度を検出し、表示制御部７０は、これらの情報からプロジェクター８０の位置や傾きを特定する。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 投影システム
１０ 撮像部（点群データ生成、３Ｄスキャナー）
１１ａ 第１基準点
１１ｂ 第２基準点
２０ メッシュデータ生成部
３０ 記録部
４０ 投影用画像データ生成部（３Ｄ画像データ生成）
５０ 調整部
６０ 位置情報取得部
６１ 加速度センサー
６２ ジャイロセンサー
６３ 測位装置
６４ 速度センサー
７０ 表示制御部
８０ プロジェクター
Ａ 直方体形状
Ａ１ 前面
Ａ２ 下面
Ａ３ 右側面
Ａ４ 後面
Ａ５ 左側面
Ａ６ 上面
ｄｐ１ 第１基準点と第２基準点の画像上の距離
ｄｒ１ 第１基準点と第２基準点の実際の距離
Ｐ１ 第１コンテンツ画像
Ｐ２ 第２コンテンツ画像
Ｐ３ 第３コンテンツ画像
Ｐ４ 単色画像
ＳＰ１ 第１投影対象物
ＳＰ２ 第２投影対象物
ＳＰ３ 第３投影対象物

Claims (15)

1. プロジェクターと、
   投影用画像データを記録する記録部と、
   前記プロジェクターの投影対象物と前記プロジェクターの相対的な位置関係に関する情報を取得する位置情報取得部と、
   前記位置情報取得部からの情報に基づいて、前記投影用画像データの画像のうち、前記プロジェクターで投影する領域を特定する表示制御部とを備える、投影システム。
2. 前記投影画像データは、前記投影対象物の形状に関するメッシュデータを構成するメッシュ若しくは前記メッシュを複数含むメッシュ群に、コンテンツ画像データが設定されたものである、請求項１に記載の投影システム。
3. 前記投影画像データは、前記コンテンツ画像データが設定された前記メッシュ若しくは前記メッシュ群と、前記コンテンツ画像データが設定されない前記メッシュ若しくは前記メッシュ群を含み、
   前記コンテンツ画像データが設定されない前記メッシュ若しくは前記メッシュ群には、所定の単色画像の単色画像データが設定される、請求項２に記載の投影システム。
4. 前記プロジェクターの投影対象物の形状に関する情報を取得する撮像部と、
   前記撮像部による前記投影対象物の形状に関する情報を取得する際に、前記投影対象物に設置される第１基準点と第２基準点とを更に備え、
   前記撮像部による前記投影対象物の形状に関する情報における、前記第１基準点と前記第２基準点の画像上の距離と、前記投影対象物に設置された前記第１基準点と前記第２基準点の実際の距離に関する情報に基づいて、前記表示制御部は、前記投影用画像データの画像のうち、前記プロジェクターで投影する領域を特定する、請求項１に記載の投影システム。
5. 前記プロジェクターは、前記投影用画像データの画像のうち、移動前に投影した領域と比べて移動方向にずれた領域の画像を投影する、請求項１に記載の投影システム。
6. 前記相対的な位置関係は、前記プロジェクターの位置と傾きであり、
   位置情報取得部は、前記プロジェクターの位置と傾きを特定するために、ｘ方向の加速度と、前記ｘ方向に平行なｙ方向の加速度と、前記ｘ方向と前記ｙ方向に垂直なｚ方向の加速度と、ローリング角速度と、ピッチング角速度と、ヨーイング角速度を検出する、請求項１に記載の投影システム。
7. 前記位置情報取得部による、前記プロジェクターの位置と傾きの特定は、前記プロジェクターが基準位置で且つ所定の方向を向くように配置された状態から開始される請求項６に記載の投影システム。
8. 前記相対的な位置関係は、前記プロジェクターの位置と傾きであり、
   前記位置情報取得部は、前記プロジェクターの位置と傾きを特定するために、ローリング角速度と、ピッチング角速度と、ヨーイング角速度を検出し、衛星測位と基地局測位の少なくとも一方を行う、請求項１に記載の投影システム。
9. 前記相対的な位置関係は、前記プロジェクターの位置と傾きであり、
   前記位置情報取得部は、前記プロジェクターの位置と傾きを特定するために、ｘ方向の加速度と、前記ｘ方向に平行なｙ方向の加速度と、前記ｘ方向と前記ｙ方向に垂直なｚ方向の加速度と、ローリング角速度と、ピッチング角速度と、ヨーイング角速度を検出し、衛星測位と基地局測位の少なくとも一方を行う、請求項１に記載の投影システム。
10. 前記相対的な位置関係は、前記プロジェクターの位置と傾きであり、
    前記位置情報取得部は、前記プロジェクターの位置と傾きを特定するために、第１方向の加速度と、前記第１方向と垂直な軸周りの角速度を検出する、請求項１に記載の投影システム。
11. 前記相対的な位置関係は、前記プロジェクターの位置と傾きであり、
    位置情報取得部は、前記プロジェクターの位置と傾きを特定するために、第１方向の加速度と、前記第１方向に平行な第２方向の加速度と、前記第１方向と前記第２方向と垂直な第３方向に平行な軸周りの角速度を検出する、請求項１に記載の投影システム。
12. プロジェクターと、投影用画像データを記録する記録部と、前記プロジェクターの投影対象物と前記プロジェクターの相対的な位置関係に関する情報を取得する位置情報取得部を備える投影システムの表示制御部であって、
    前記表示制御部は、前記位置情報取得部からの情報に基づいて、前記投影用画像データの画像のうち、前記プロジェクターで投影する領域を特定する、表示制御部。
13. プロジェクターの投影対象物と前記プロジェクターの相対的な位置関係に関する情報を取得する位置情報取得工程と、
    前記位置情報取得部からの情報に基づいて、投影用画像データの画像のうち、前記プロジェクターで投影する領域を特定する投影領域特定工程を実行する、投影方法。
14. 前記投影用画像データは、前記投影対象物の形状に関するメッシュデータを構成するメッシュ若しくは前記メッシュを複数含むメッシュ群に、コンテンツ画像データが設定されたものである、請求項１３に記載の投影方法。
15. 前記位置情報取得工程の前に、前記プロジェクターが基準位置で且つ所定の方向を向くように配置される投影前位置合わせ工程が実行される、請求項１３に記載の投影方法。

Images