JP2022123300A

JP2022123300A - 表示方法および表示システム

Info

Publication number: JP2022123300A
Application number: JP2021020524A
Authority: JP
Inventors: 一良北林; Kazuyoshi Kitabayashi
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2021-02-12
Filing date: 2021-02-12
Publication date: 2022-08-24
Also published as: US11962948B2; US20220264066A1

Abstract

【課題】部屋等で投写される画像を想像しやすい画像を表示可能な技術を提供する。
【解決手段】、表示方法は、面を含む対象領域と、ディスプレイと、を有する現実空間における前記対象領域を示す対象画像を取得することと、前記面の前記現実空間における位置に対応する第１位置に位置し前記面に対応する仮想面と、仮想プロジェクターと、を有する仮想空間において、前記仮想プロジェクターから前記仮想面に投写される画像を、前記現実空間における前記ディスプレイの位置に対応する第２位置から見た画像である第１表示画像を前記ディスプレイに表示する場合に、前記ディスプレイの位置に関わらず、前記ディスプレイに収まる大きさの前記第１表示画像を前記対象画像に重畳させた第１シミュレーション画像を、前記ディスプレイに表示すること、を含む。
【選択図】図１１

Description

本発明は、表示方法および表示システムに関する。

特許文献１は、プロジェクターから投写される投写画像の見え方に関するシミュレーション画像を表示する情報処理装置を開示する。シミュレーション画像は、プロジェクターが位置する部屋と、投写画像が表示されるスクリーンと、を示す。情報処理装置は、スクリーンが部屋からはみ出してしまう値が入力されると、部屋からはみ出したスクリーンを示すシミュレーション画像を表示する。

国際公開第２０１７／１７９２７２号

特許文献１に記載の情報処理装置が、部屋からはみ出したスクリーンを示すシミュレーション画像を表示する場合、シミュレーション画像において投写画像も部屋からはみ出る可能性がある。投写画像が部屋からはみ出る状態は、現実には生じない。このため、ユーザーは、シミュレーション画像を見ても、実際の部屋等で投写される投写画像を想像しにくいことがある。この場合、ユーザーは値の入力をやり直す必要があり、特許文献１に記載の情報処理装置の利便性は低い。

本発明に係る表示方法の一態様は、面を含む対象領域と、ディスプレイと、を有する現実空間における前記対象領域を示す対象画像を取得することと、前記面の前記現実空間における位置に対応する第１位置に位置し、前記面に対応する仮想面と、仮想プロジェクターと、を有する仮想空間において、前記仮想プロジェクターから前記仮想面に投写される画像を、前記現実空間における前記ディスプレイの位置に対応する第２位置から見た画像である第１表示画像を前記ディスプレイに表示する場合に、前記ディスプレイの位置に関わらず、前記ディスプレイに収まる大きさの前記第１表示画像を前記対象画像に重畳させた第１シミュレーション画像を、前記ディスプレイに表示すること、を含む。

本発明に係る表示システムの一態様は、カメラと、ディスプレイと、少なくとも一つの処理部と、を含み、前記少なくとも一つの処理部は、面を含む対象領域と、前記ディスプレイと、を有する現実空間における前記対象領域を示す対象画像を、前記カメラを用いて取得することと、前記面の前記現実空間における位置に対応する第１位置に位置し、前記面に対応する仮想面と、仮想プロジェクターと、を有する仮想空間において、前記仮想プロジェクターから前記仮想面に投写される画像を、前記現実空間における前記ディスプレイの位置に対応する第２位置から見た画像である第１表示画像を前記ディスプレイに表示する場合に、前記ディスプレイの位置に関わらず、前記ディスプレイに収まる大きさの前記第１表示画像を前記対象画像に重畳させた第１シミュレーション画像を、前記ディスプレイに表示させることと、を実行する。

情報処理装置１を示す図である。情報処理装置１の前面１ａを示す図である。情報処理装置１の背面１ｂを示す図である。対象画像Ｈ１の一例を示す図である。情報処理装置１の一例を示す図である。仮想空間ＶＳの一例を示す図である。第２合成画像Ｙ２の一例を示す図である。サイズａ１の一例を説明するための図である。仮想面Ｃ３と仮想プロジェクターＣ４との距離Ｄｐの調節例を示す図である。壁Ｅ１の認識を説明するためのフローチャートである。第１合成画像Ｙ１と第２合成画像Ｙ２の表示を説明するためのフローチャートである。仮想プロジェクターＣ４を仮想面Ｃ３に近づける前の状況を示す図である。仮想プロジェクターＣ４を仮想面Ｃ３に近づけた後の状況を示す図である。タッチパネル１２に表示されるアイコンｉの一例を示す図である。第１ガイド画像ｔ１の一例を示す図である。対象画像Ｈ１を表示する情報処理装置１の一例を示す図である。画像ｕ１の一例を示す図である。画像ｕ２の一例を示す図である。画像ｕ３の一例を示す図である。ユーザーによって情報処理装置１が振られる状況を示す図である。第２合成画像Ｙ２の一例を示す図である。第２合成画像Ｙ２の他の例を示す図である。第２合成画像Ｙ２のさらに他の例を示す図である。第２合成画像Ｙ２のさらに他の例を示す図である。第２合成画像Ｙ２のさらに他の例を示す図である。画像ｕ５の一例を示す図である。画像ｕ５の他の例を示す図である。画像ｕ５のさらに他の例を示す図である。画像ｕ５のさらに他の例を示す図である。画像ｕ５のさらに他の例を示す図である。メニュー画像ｖ４の一例を示す図である。画像の候補ｖ８の一例を示す図である。第２合成画像Ｙ２の一例を示す図である。

Ａ：第１実施形態
Ａ１：情報処理装置１の概要
図１は、情報処理装置１を示す図である。情報処理装置１は、スマートフォンである。情報処理装置１は、スマートフォンに限らず、例えば、カメラ付きタブレット、カメラ付きのノート型ＰＣ（Personal Computer）、または、カメラが接続されたノート型ＰＣでもよい。情報処理装置１は、表示システムの一例である。情報処理装置１は、現実空間ＲＳに位置する。

現実空間ＲＳは、情報処理装置１に加えて、プロジェクター２と、壁Ｅ１と、天井Ｅ２と、床Ｅ３と、を含む。プロジェクター２の現実空間ＲＳにおける位置は、図１に示される位置に限らず適宜変更可能である。

壁Ｅ１は、鉛直面である。壁Ｅ１は、鉛直面に限らず、水平面と交差する面であればよい。壁Ｅ１は、建物の内壁である。壁Ｅ１は、建物の内壁に限らず、例えば、建物の外壁でもよい。壁Ｅ１の少なくとも一部は、面の一例である。面は、壁Ｅ１の少なくとも一部に限らず、例えば、天井Ｅ２の少なくとも一部、床Ｅ３の少なくとも一部、スクリーン、ホワイトボードまたは扉でもよい。面は、対象領域ＴＲに含まれる。

対象領域ＴＲは、現実空間ＲＳに含まれる。対象領域ＴＲの現実空間ＲＳにおける位置は、図１に示される位置に限らず適宜変更可能である。

プロジェクター２は、光を用いて投写画像Ｆ１を壁Ｅ１に投写する。情報処理装置１は、投写画像Ｆ１の見え方に関する第１合成画像Ｙ１を表示する。第１合成画像Ｙ１は、第１シミュレーション画像の一例である。

情報処理装置１は、前面１ａと、背面１ｂと、カメラ１１と、タッチパネル１２と、を含む。図２は、情報処理装置１の前面１ａを示す図である。図３は、情報処理装置１の背面１ｂを示す図である。

カメラ１１は、情報処理装置１の背面１ｂに位置する。カメラ１１は、撮像領域を撮像する。カメラ１１の撮像領域は、情報処理装置１の移動に応じて移動する。

カメラ１１の撮像領域は、対象領域ＴＲとして用いられる。このため、対象領域ＴＲは、情報処理装置１の移動に応じて移動する。カメラ１１は、プロジェクター２が投写画像Ｆ１を投写していない状況で対象領域ＴＲを撮像することによって、対象領域ＴＲを示す対象画像Ｈ１を生成する。対象領域ＴＲを示す対象画像Ｈ１とは、対象領域ＴＲに存在する物体を示す画像を意味する。

図４は、対象画像Ｈ１の一例を示す図である。対象画像Ｈ１は、壁Ｅ１と、天井Ｅ２と、床Ｅ３とを示す。

図２に示されるように、タッチパネル１２は、情報処理装置１の前面１ａに位置する。タッチパネル１２は、ディスプレイの一例である。タッチパネル１２は、第１合成画像Ｙ１を表示する。

第１合成画像Ｙ１は、タッチパネル１２に収まる大きさのサンプル画像Ｊ１を、対象画像Ｈ１に重畳させた画像である。サンプル画像Ｊ１は、例えば、投写画像Ｆ１を示す。サンプル画像Ｊ１は、投写画像Ｆ１とは異なる画像、例えば、投写画像Ｆ１の色を単色に変更することによって得られる画像でもよい。サンプル画像Ｊ１は、予め設定された透過率を有する。サンプル画像Ｊ１の透過率は、変更可能でもよい。

第１合成画像Ｙ１は、プロジェクター画像Ｌ１を含む。プロジェクター画像Ｌ１は、プロジェクターを示す画像である。プロジェクター画像Ｌ１によって示されるプロジェクターの形状は、プロジェクター２の形状と同一である。プロジェクター画像Ｌ１によって示されるプロジェクターの形状は、プロジェクター２の形状と異なってもよい。プロジェクター画像Ｌ１は、予め設定された透過率を有する。プロジェクター画像Ｌ１の透過率は、変更可能でもよい。

第１合成画像Ｙ１は、経路画像Ｌ２をさらに含む。経路画像Ｌ２は、プロジェクター２が投写画像Ｆ１を投写する際に用いる光の経路を示す画像である。経路画像Ｌ２は、仮想プロジェクターＣ４が画像を投写する際に仮想的に用いる光の経路を示す画像でもある。仮想プロジェクターＣ４は、プロジェクター２に対応する仮想のプロジェクターである。経路画像Ｌ２は、予め設定された透過率を有する。経路画像Ｌ２の透過率は、変更可能でもよい。

第１合成画像Ｙ１は、プロジェクター画像Ｌ１と経路画像Ｌ２とのうち、少なくとも一方を含まなくてもよい。

Ａ２：情報処理装置１の一例
図５は、情報処理装置１の一例を示す図である。情報処理装置１は、カメラ１１と、タッチパネル１２と、動きセンサー１３と、記憶装置１４と、処理装置１５と、を含む。

カメラ１１は、撮像レンズ１１１と、イメージセンサー１１２と、を含む。

撮像レンズ１１１は、光学像をイメージセンサー１１２に結像する。撮像レンズ１１１は、対象領域ＴＲを表す対象画像Ｈ１をイメージセンサー１１２に結像する。

イメージセンサー１１２は、ＣＣＤ（Charge Coupled Device）イメージセンサーである。イメージセンサー１１２は、ＣＣＤイメージセンサーに限らず、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーでもよい。イメージセンサー１１２は、イメージセンサー１１２に結像される光学像に基づいて、撮像データｋを生成する。例えば、イメージセンサー１１２は、撮像レンズ１１１によって結像される対象画像Ｈ１に基づいて、対象画像Ｈ１を示す撮像データｋｔを生成する。撮像データｋｔは、撮像データｋの一例である。

タッチパネル１２は、ディスプレイ１２１と、入力装置１２２と、を含む。ディスプレイ１２１は、種々の画像を表示する。入力装置１２２は、種々の指示等を受け取る。

動きセンサー１３は、加速度センサーと、ジャイロセンサーと、を含む。動きセンサー１３は、情報処理装置１の動きを検出する。例えば、動きセンサー１３は、ユーザーによって動かされる情報処理装置１の動きを検出する。情報処理装置１の動きは、少なくとも、情報処理装置１の移動距離と、情報処理装置１の回転量と、情報処理装置１の向きと、によって表される。動きセンサー１３は、情報処理装置１の動きを示す動きデータｍを生成する。

記憶装置１４は、処理装置１５が読み取り可能な記録媒体である。記憶装置１４は、例えば、不揮発性メモリーと、揮発性メモリーと、を含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）およびＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Random Access Memory）である。記憶装置１４は、プログラムＰ１と、種々のデータと、を記憶する。プログラムＰ１は、例えば、アプリケーションプログラムである。プログラムＰ１は、不図示のサーバーから情報処理装置１に提供される。プログラムＰ１は記憶装置１４に予め記憶されてもよい。

処理装置１５は、１または複数のＣＰＵ（Central Processing Unit）によって構成される。１または複数のＣＰＵは、１または複数のプロセッサーの一例である。プロセッサーは、処理部の一例である。ＣＰＵおよびプロセッサーの各々は、コンピューターの一例である。

処理装置１５は、記憶装置１４からプログラムＰ１を読み取る。処理装置１５は、プログラムＰ１を実行することによって、取得部１５１、認識部１５２および動作制御部１５３として機能する。

処理装置１５は、プログラムＰ１を実行することによって、取得部１５１および動作制御部１５３として機能し、プログラムＰ１とは異なるプログラムを実行することによって認識部１５２として機能してもよい。この場合、プログラムＰ１とは異なるプログラムは記憶装置１４に記憶され、処理装置１５は、プログラムＰ１とは異なるプログラムを記憶装置１４から読み取る。

取得部１５１、認識部１５２および動作制御部１５３の各々は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等の回路によって実現されてもよい。

取得部１５１は、対象領域ＴＲを示す対象画像Ｈ１を取得する。例えば、取得部１５１は、対象画像Ｈ１を示す撮像データｋｔをカメラ１１から取得することによって、対象画像Ｈ１を取得する。また、取得部１５１は、動きセンサー１３から、情報処理装置１の動きを示す動きデータｍを取得する。

認識部１５２は、取得部１５１から、撮像データｋｔと動きデータｍとを取得する。認識部１５２は、撮像データｋｔと動きデータｍとに基づいて、対象領域ＴＲに存在する物体について、３次元計測を実行する。認識部１５２は、動きデータｍに基づいて、カメラ１１の現実空間ＲＳにおける位置を決定する。認識部１５２は、カメラ１１の現実空間ＲＳにおける位置と、撮像データｋｔと、を用いることによって３次元計測を実行する。

認識部１５２は、カメラ１１が壁Ｅ１を撮像しながら情報処理装置１が第１ポイントから第２ポイントに移動される状況においては、以下のように３次元計測を実行する。

認識部１５２は、取得部１５１から、動きデータｍｓを取得する。動きデータｍｓは、カメラ１１が壁Ｅ１を撮像しながら情報処理装置１が第１ポイントから第２ポイントに移動される状況において動きセンサー１３が生成する動きデータｍである。認識部１５２は、動きデータｍｓに基づいて、第１ポイントから第２ポイントまでの距離を、基線長として決定する。基線長は、ベースラインの長さとも称される。

認識部１５２は、取得部１５１から、第１撮像データｋ１と、第２撮像データｋ２と、を取得する。第１撮像データｋ１は、情報処理装置１が第１ポイントに位置するときにカメラ１１が生成した撮像データｋｔである。第２撮像データｋ２は、情報処理装置１が第２ポイントに位置するときにカメラ１１が生成した撮像データｋｔである。第１撮像データｋ１と第２撮像データｋ２との各々は、少なくとも壁Ｅ１を示す。

認識部１５２は、基線長と第１撮像データｋ１と第２撮像データｋ２とを用いる三角測量を実行することによって、３次元計測を実行する。

３次元計測の結果は、対象領域ＴＲに存在する物体の形状を、３次元の座標を用いて表現する。認識部１５２は、３次元計測の結果に基づいて、壁Ｅ１を認識する。例えば、認識部１５２は、３次元計測の結果に基づいて、鉛直面を壁Ｅ１として認識する。認識部１５２は、３次元計測の結果に基づいて、情報処理装置１から壁Ｅ１までの距離ｎを決定する。

動作制御部１５３は、情報処理装置１の動作を制御する。動作制御部１５３は、画像を示す画像データｒをタッチパネル１２に提供することによって、タッチパネル１２に、画像データｒが示す画像を表示させる。

動作制御部１５３は、タッチパネル１２に第１合成画像Ｙ１を表示させる。動作制御部１５３は、３次元計測の結果と、撮像データｋｔと、情報処理装置１の動きを示す動きデータｍと、仮想プロジェクターＣ４の仕様と、に基づいて、第１画像データｒ１を生成する。第１画像データｒ１は、第１合成画像Ｙ１を示す。第１画像データｒ１は、画像データｒの一例である。

動作制御部１５３は、対象画像Ｈ１に、サンプル画像Ｊ１と、プロジェクター画像Ｌ１と、経路画像Ｌ２と、を重畳した画像を、第１合成画像Ｙ１として決定する。

動作制御部１５３は、３次元の仮想空間ＶＳを用いて、サンプル画像Ｊ１等を決定する。図６は、仮想空間ＶＳの一例を示す図である。

動作制御部１５３は、仮想空間ＶＳを用いることによって、現実空間ＲＳにおける物体の配置を再現する。

動作制御部１５３は、壁Ｅ１についての３次元計測の結果を用いることによって、仮想空間ＶＳに第１位置Ｃ１を設定する。仮想空間ＶＳにおける第１位置Ｃ１は、壁Ｅ１の現実空間ＲＳにおける位置に対応する。

動作制御部１５３は、壁Ｅ１についての３次元計測の結果に基づいて、仮想面Ｃ３の形状を決定する。仮想面Ｃ３の形状は、壁Ｅ１についての３次元計測の結果が示す形状と同一である。仮想面Ｃ３は、壁Ｅ１に対応する面である。動作制御部１５３は、第１位置Ｃ１に仮想面Ｃ３を配置する。

動作制御部１５３は、カメラ１１の現実空間ＲＳにおける位置に基づいて、仮想空間ＶＳに第２位置Ｃ２を設定する。仮想空間ＶＳにおける第２位置Ｃ２は、カメラ１１の現実空間ＲＳにおける位置に対応する。カメラ１１は、タッチパネル１２と共に情報処理装置１に位置する。このため、仮想空間ＶＳにおける第２位置Ｃ２は、カメラ１１の現実空間ＲＳにおける位置に対応すると共に、タッチパネル１２の現実空間ＲＳにおける位置に対応する。

動作制御部１５３は、第２位置Ｃ２に仮想プロジェクターＣ４を配置する。このため、仮想空間ＶＳにおいて、第２位置Ｃ２に対する仮想プロジェクターＣ４の相対位置が固定される。仮想空間ＶＳにおいて、第２位置Ｃ２に対する仮想プロジェクターＣ４の相対位置が固定される状態は、第２位置Ｃ２に仮想プロジェクターＣ４が位置する状態に限らない。例えば、仮想空間ＶＳにおいて、第２位置Ｃ２とは異なる位置に仮想プロジェクターＣ４が位置する状態で、第２位置Ｃ２に対する仮想プロジェクターＣ４の相対位置が固定されてもよい。

第２位置Ｃ２は、タッチパネル１２の現実空間ＲＳにおける位置の変化に応じて変わる。このため、仮想空間ＶＳにおいて第２位置Ｃ２に対する仮想プロジェクターＣ４の相対位置が固定される状況では、タッチパネル１２の現実空間ＲＳにおける位置が変わると、仮想空間ＶＳにおいて仮想プロジェクターＣ４の位置が変わる。

仮想プロジェクターＣ４は、プロジェクター２に対応する仮想のプロジェクターである。仮想プロジェクターＣ４の仕様は、プロジェクター２の仕様と同様である。プロジェクター２の仕様は、プログラムＰ１に記載されている。このため、動作制御部１５３は、プロジェクター２の仕様と、仮想プロジェクターＣ４の仕様と、を予め認識している。なお、プロジェクター２の仕様は、プロジェクター２の画角を含む。

動作制御部１５３は、仮想面Ｃ３に対する仮想プロジェクターＣ４の投写レンズの光軸向きを、壁Ｅ１に対する撮像レンズ１１１の光軸の向きに一致させる。なお、動作制御部１５３は、壁Ｅ１の認識結果と、情報処理装置１の動きを示す動きデータｍと、に基づいて、壁Ｅ１に対する撮像レンズ１１１の光軸の向きを決定する。

動作制御部１５３は、仮想面Ｃ３に画像ｖ２１を配置する。画像ｖ２１は、長方形の第１画像を仮想プロジェクターＣ４が仮想面Ｃ３に投写する状況において仮想面Ｃ３に表示される画像である。長方形の第１画像は、例えば、長方形の単色の画像である。長方形の第１画像は、長方形の単色の画像に限らない。長方形の第１画像は、長方形の画像であればよい。仮想プロジェクターＣ４の投写レンズの光軸が仮想面Ｃ３の法線に対して傾いている場合、画像ｖ２１は台形歪を有する。台形歪については後述する。このため、画像ｖ２１は、長方形の第１画像と一致しない可能性を有する。しかしながら、画像ｖ２１は、長方形の第１画像に基づく画像である。

仮想面Ｃ３に表示される画像ｖ２１を第２位置Ｃ２から見た画像を「スクリーン画像ｖ２」と称する。スクリーン画像ｖ２は、第１表示画像と第２表示画像との各々の一例である。

第１表示画像は、仮想空間ＶＳにおいて仮想プロジェクターＣ４から第１位置Ｃ１に位置する仮想面Ｃ３に画像が投写される状況で仮想面Ｃ３に表示される画像を、第２位置Ｃ２から見た画像である。

第２表示画像は、仮想空間ＶＳにおいて第２位置Ｃ２に対する相対位置が固定された仮想プロジェクターＣ４から第１位置Ｃ１に位置する仮想面Ｃ３に画像が投写される状況で仮想面Ｃ３に表示される画像を、第２位置Ｃ２から見た画像である。

画像ｖ２１は、不図示の画像Ｊ１ａが表示される領域を示す画像である。画像ｖ２１は、画像Ｊ１ａのスクリーンとして機能する。

画像Ｊ１ａは、長方形の第２画像を仮想プロジェクターＣ４が仮想面Ｃ３に投写する状況において仮想面Ｃ３に表示される画像である。長方形の第２画像は、例えば、ユーザーによって選択された長方形の画像である。長方形の第２画像は、ユーザーによって選択された長方形の画像に限らない。長方形の第２画像は、長方形の画像であればよい。仮想プロジェクターＣ４の投写レンズの光軸が仮想面Ｃ３の法線に対して傾いている場合、画像Ｊ１ａは台形歪を有する。このため、画像Ｊ１ａは、長方形の第２画像と一致しない可能性を有する。しかしながら、画像Ｊ１ａは、長方形の第２画像に基づく画像である。

サンプル画像Ｊ１は、仮想面Ｃ３に表示される画像Ｊ１ａを第２位置Ｃ２から見た画像である。サンプル画像Ｊ１は、第１表示画像と第２表示画像との各々の一例である。

仮想面Ｃ３における画像ｖ２１の位置は、ユーザーからの位置固定指示に応じて固定される。ユーザーから位置固定指示を得るまでの間、動作制御部１５３は、仮想面Ｃ３における画像ｖ２１の位置を、仮想面Ｃ３と、仮想プロジェクターＣ４の投写レンズの光軸と、の交点の位置に基づいて決定する。例えば、動作制御部１５３は、仮想面Ｃ３における画像ｖ２１の中心の位置を、仮想面Ｃ３と仮想プロジェクターＣ４の投写レンズの光軸との交点の位置に合わせる。画像ｖ２１の中心の位置は、例えば、画像ｖ２１における対角線の交点の位置である。

動作制御部１５３は、スクリーン画像ｖ２をタッチパネル１２に表示させる場合、タッチパネル１２の現実空間ＲＳにおける位置に関わらず、第２合成画像Ｙ２をタッチパネル１２に表示させる。

図７は、第２合成画像Ｙ２の一例を示す図である。第２合成画像Ｙ２は、第１シミュレーション画像の一例である。第２合成画像Ｙ２は、タッチパネル１２に収まる大きさのスクリーン画像ｖ２を対象画像Ｈ１に重畳させた画像である。

タッチパネル１２に収まる大きさのスクリーン画像ｖ２のサイズは、サイズａ１以下である。サイズａ１は、仮想面Ｃ３に表示される画像ｖ２１を第２位置Ｃ２から見た画像のサイズである。

図８は、サイズａ１の一例を説明するための図である。図８では、スクリーン画像ｖ２のサイズおよび形状は、画像ｖ２１のサイズおよび形状と同一である。図８は、サイズａ１と、仮想プロジェクターＣ４と、仮想プロジェクターＣ４の画角Ｃ４ａと、スクリーン画像ｖ２と、仮想面Ｃ３と、仮想カメラＣ５と、仮想カメラＣ５の画角Ｃ５ａと、対象画像Ｈ１と、タッチパネル１２と、の一例を示す。

仮想カメラＣ５は、カメラ１１に対応する仮想のカメラである。仮想カメラＣ５の仕様は、カメラ１１の仕様と同様である。カメラ１１の仕様は、カメラ１１の画角を含む。このため、仮想カメラＣ５の画角Ｃ５ａは、カメラ１１の画角と等しい。カメラ１１の仕様は、プログラムＰ１に記載されている。このため、動作制御部１５３は、カメラ１１の仕様と、仮想カメラＣ５の仕様と、を予め認識している。

仮想カメラＣ５は、仮想プロジェクターＣ４と同様に、第２位置Ｃ２に位置する。仮想カメラＣ５の光軸Ｃ５ｂの位置は、仮想プロジェクターＣ４の光軸Ｃ４ｂの位置と一致する。仮想プロジェクターＣ４の画角Ｃ４ａは、プロジェクター２の画角と等しい。このため、仮想カメラＣ５の画角Ｃ５ａと仮想プロジェクターＣ４の画角Ｃ４ａとの関係は、カメラ１１の画角とプロジェクター２の画角との関係と等しい。

画像ｖ２１のサイズ、および、スクリーン画像ｖ２のサイズａ１は、仮想プロジェクターＣ４の画角Ｃ４ａに依存する。対象画像Ｈ１のサイズは、カメラ１１の画角に依存する。カメラ１１の画角は、仮想カメラＣ５の画角Ｃ５ａと等しい。このため、対象画像Ｈ１のサイズは、仮想カメラＣ５の画角Ｃ５ａに依存する。対象画像Ｈ１のサイズは、タッチパネル１２に収まるサイズに設定されている。

仮想プロジェクターＣ４の画角Ｃ４ａが仮想カメラＣ５の画角Ｃ５ａよりも大きい状況でスクリーン画像ｖ２が対象画像Ｈ１に重畳される場合、スクリーン画像ｖ２は、対象画像Ｈ１に収まらない。スクリーン画像ｖ２が対象画像Ｈ１に収まらない場合、スクリーン画像ｖ２のうち、対象画像Ｈ１に重畳されない部分は、タッチパネル１２に表示されない可能性がある。例えば図８に示すように、対象画像Ｈ１の水平方向の長さがタッチパネル１２の水平方向の長さと一致する状況においてスクリーン画像ｖ２が対象画像Ｈ１に収まらない場合、スクリーン画像ｖ２のうち、対象画像Ｈ１に重畳されない部分は、タッチパネル１２に表示されない。ユーザーは、スクリーン画像ｖ２の全体を表示しないタッチパネル１２を見ても、実際に投写される投写画像Ｆ１を想像しにくい。

そこで、動作制御部１５３は、スクリーン画像ｖ２をタッチパネル１２に表示させる場合、タッチパネル１２の位置に関わらず、第２合成画像Ｙ２をタッチパネル１２に表示させる。第２合成画像Ｙ２は、図７に示されるように、タッチパネル１２に収まる大きさのスクリーン画像ｖ２を対象画像Ｈ１に重畳させた画像である。

動作制御部１５３は、図９に示すように、仮想面Ｃ３と仮想プロジェクターＣ４との距離Ｄｐを調節することによって、スクリーン画像ｖ２の大きさを、タッチパネル１２に収まる大きさに調節する。

例えば、動作制御部１５３は、タッチパネル１２と壁Ｅ１との距離に基づいて仮想面Ｃ３と仮想プロジェクターＣ４との距離Ｄｐを調節することによって、スクリーン画像ｖ２の大きさを、タッチパネル１２に収まる大きさに調節する。なお、タッチパネル１２は情報処理装置１に位置するため、動作制御部１５３は、タッチパネル１２と壁Ｅ１との距離として、情報処理装置１から壁Ｅ１までの距離ｎを用いる。

一例を挙げると、動作制御部１５３は、タッチパネル１２と壁Ｅ１との距離と、仮想プロジェクターＣ４の画角Ｃ４ａと、に基づいて仮想面Ｃ３と仮想プロジェクターＣ４との距離を調節することによって、スクリーン画像ｖ２の大きさを、タッチパネル１２に収まる大きさに調節する。図９は、これらの方法によって仮想プロジェクターＣ４を仮想面Ｃ３に近づけることでスクリーン画像ｖ２の大きさを調節した例である。詳細については図１２、１３を参照して後述する。

動作制御部１５３は、第２合成画像Ｙ２を示す第２画像データｒ２をタッチパネル１２に提供することによって、第２合成画像Ｙ２をタッチパネル１２に表示させる。

また、動作制御部１５３は、例えばユーザーの指示に応じて、スクリーン画像ｖ２をサンプル画像Ｊ１に変更する。

動作制御部１５３は、サンプル画像Ｊ１をタッチパネル１２に表示させる場合、タッチパネル１２の位置に関わらず、第１合成画像Ｙ１をタッチパネル１２に表示させる。第１合成画像Ｙ１は、タッチパネル１２に収まる大きさのサンプル画像Ｊ１を対象画像Ｈ１に重畳させた画像である。例えば、動作制御部１５３は、スクリーン画像ｖ２のサイズを調節する手法と同様の手法で、サンプル画像Ｊ１の大きさを、タッチパネル１２に収まる大きさに調節する。

動作制御部１５３は、第１合成画像Ｙ１を示す第１画像データｒ１をタッチパネル１２に提供することによって、第１合成画像Ｙ１をタッチパネル１２に表示させる。

Ａ３：壁Ｅ１の認識
図１０は、壁Ｅ１を認識する動作を説明するためのフローチャートである。

タッチパネル１２がユーザーから起動指示を受けると、ステップＳ１０１において処理装置１５は、アプリケーションプログラムであるプログラムＰ１の実行を開始する。

続いて、ステップＳ１０２において動作制御部１５３は、カメラ１１に対象領域ＴＲの撮像を開始させる。カメラ１１は、対象領域ＴＲを撮像することによって、撮像データｋｔを生成する。

続いて、ステップＳ１０３において動作制御部１５３は、動きセンサー１３を動作させる。動きセンサー１３は、情報処理装置１の動きを示す動きデータｍを生成する。

続いて、ステップＳ１０４において取得部１５１は、撮像データｋｔと動きデータｍとの取得を開始する。

続いて、ステップＳ１０５において動作制御部１５３は、認識部１５２に壁Ｅ１を認識させる。

ステップＳ１０５では、認識部１５２は、スキャン状況において取得部１５１が取得した撮像データｋｔおよび動きデータｍに基づいて、対象領域ＴＲに存在する物体について、３次元計測を実行する。

スキャン状況は、カメラ１１が壁Ｅ１を撮像しながら情報処理装置１が第１ポイントから第２ポイントに移動される状況を意味する。第１ポイントは、例えば、スキャン状況の開始時点における情報処理装置１の位置である。第２ポイントは、例えば、スキャン状況の終了時点における情報処理装置１の位置である。スキャン状況において取得部１５１が取得した撮像データｋｔは、第１撮像データｋ１と第２撮像データｋ２である。第１撮像データｋ１は、情報処理装置１が第１ポイントに位置するときにカメラ１１が生成した撮像データｋｔである。第２撮像データｋ２は、情報処理装置１が第２ポイントに位置するときにカメラ１１が生成した撮像データｋｔである。スキャン状況において取得部１５１が取得した動きデータｍは、動きデータｍｓである。動きデータｍｓは、カメラ１１が壁Ｅ１を撮像しながら情報処理装置１が第１ポイントから第２ポイントに移動される状況において動きセンサー１３が生成する動きデータｍである。

認識部１５２は、動きデータｍｓに基づいて、第１ポイントから第２ポイントまでの距離を、基線長として決定する。認識部１５２は、基線長と第１撮像データｋ１と第２撮像データｋ２とを用いる三角測量を実行することによって、３次元計測を実行する。

続いて、認識部１５２は、３次元計測の結果に基づいて、壁Ｅ１を認識する。例えば、認識部１５２は、３次元計測の結果に基づいて、鉛直面を壁Ｅ１として認識する。

Ａ４：第１合成画像Ｙ１と第２合成画像Ｙ２との表示
図１１は、第１合成画像Ｙ１と第２合成画像Ｙ２とを表示する動作を説明するためのフローチャートである。図１１に示される動作は、壁Ｅ１が認識された状況において実行される。

ステップＳ２０１において動作制御部１５３は、認識部１５２に、情報処理装置１から壁Ｅ１までの距離ｎを決定させる。

ステップＳ２０１では認識部１５２は、まず、取得部１５１から、情報処理装置１の動きを示す動きデータｍを取得する。続いて、認識部１５２は、動きデータｍに基づいて、情報処理装置１の現実空間ＲＳにおける位置、すなわち、カメラ１１の現実空間ＲＳにおける位置を決定する。続いて、認識部１５２は、３次元計測の結果と、カメラ１１の位置と、に基づいて、情報処理装置１から壁Ｅ１までの距離ｎを決定する。例えば、認識部１５２は、カメラ１１から壁Ｅ１までの距離を、情報処理装置１から壁Ｅ１までの距離ｎとして決定する。

続いて、ステップＳ２０２において動作制御部１５３は、仮想空間ＶＳを生成する。

続いて、ステップＳ２０３において動作制御部１５３は、仮想空間ＶＳに、第１位置Ｃ１と第２位置Ｃ２とを設定する。

ステップＳ２０３では動作制御部１５３は、まず、壁Ｅ１についての３次元計測の結果を用いることによって、仮想空間ＶＳに第１位置Ｃ１を設定する。仮想空間ＶＳにおける第１位置Ｃ１は、壁Ｅ１の現実空間ＲＳにおける位置に対応する。続いて、動作制御部１５３は、カメラ１１の現実空間ＲＳにおける位置に基づいて、仮想空間ＶＳに第２位置Ｃ２を設定する。仮想空間ＶＳにおける第２位置Ｃ２は、カメラ１１の現実空間ＲＳにおける位置に対応する。

続いて、ステップＳ２０４において動作制御部１５３は、仮想空間ＶＳに仮想面Ｃ３を配置する。

ステップＳ２０４では動作制御部１５３は、まず、壁Ｅ１についての３次元計測の結果に基づいて、仮想面Ｃ３の形状を壁Ｅ１の形状に一致させる。続いて、動作制御部１５３は、第１位置Ｃ１に仮想面Ｃ３を配置する。

続いて、ステップＳ２０５において動作制御部１５３は、第２位置Ｃ２に仮想プロジェクターＣ４を配置する。

ステップＳ２０５では動作制御部１５３は、仮想プロジェクターＣ４を第２位置Ｃ２に配置することによって、第２位置Ｃ２に対する仮想プロジェクターＣ４の相対位置を固定する。続いて、動作制御部１５３は、壁Ｅ１の認識結果と、情報処理装置１の動きを示す動きデータｍと、に基づいて、壁Ｅ１に対する撮像レンズ１１１の光軸の向きを決定する。続いて、動作制御部１５３は、仮想面Ｃ３に対する仮想プロジェクターＣ４の投写レンズの光軸の向きを、壁Ｅ１に対する撮像レンズ１１１の光軸の向きに一致させる。

続いて、ステップＳ２０６において動作制御部１５３は、仮想面Ｃ３に画像ｖ２１を配置する。

ステップＳ２０６では動作制御部１５３は、仮想面Ｃ３における画像ｖ２１の中心の位置を、仮想面Ｃ３と、仮想プロジェクターＣ４の投写レンズの光軸と、の交点の位置に合わせる。なお、画像ｖ２１の中心の位置は、仮想面Ｃ３と仮想プロジェクターＣ４の投写レンズの光軸との交点の位置に限らず、当該交点の位置に基づく位置であればよい。続いて、動作制御部１５３は、プロジェクター２の画角に基づいて、情報処理装置１から壁Ｅ１までの距離ｎと、画像ｖ２１のサイズと、の対応関係を決定する。動作制御部１５３は、距離ｎと画像ｖ２１のサイズとの対応関係と、認識部１５２による距離ｎの決定結果と、に基づいて、画像ｖ２１のサイズを決定する。例えば、動作制御部１５３は、距離ｎの増加に応じて、画像ｖ２１のサイズを大きくする。続いて、動作制御部１５３は、仮想空間ＶＳに、仮想プロジェクターＣ４から画像ｖ２１へ向かう投写光の経路を設定する。

続いて、ステップＳ２０７において動作制御部１５３は、第２位置Ｃ２に仮想カメラＣ５を配置する。

ステップＳ２０７では動作制御部１５３は、仮想カメラＣ５を第２位置Ｃ２に配置することによって、第２位置Ｃ２に対する仮想カメラＣ５の相対位置を固定する。続いて、動作制御部１５３は、仮想面Ｃ３に対する仮想カメラＣ５の撮像レンズの光軸の向きを、壁Ｅ１に対する撮像レンズ１１１の光軸の向きに一致させる。

続いて、ステップＳ２０８において動作制御部１５３は、仮想プロジェクターＣ４の画角Ｃ４ａが、仮想カメラＣ５の画角Ｃ５ａ以上であるか否かを判断する。

仮想プロジェクターＣ４の画角Ｃ４ａが仮想カメラＣ５の画角Ｃ５ａ以上であると動作制御部１５３が判断する場合、ステップＳ２０９において動作制御部１５３は、画像ｖ２１の大きさを調節する。仮想プロジェクターＣ４の画角Ｃ４ａが仮想カメラＣ５の画角Ｃ５ａ未満であると動作制御部１５３が判断する場合、ステップＳ２０９は、スキップされる。

ステップＳ２０９では動作制御部１５３は、タッチパネル１２と壁Ｅ１との距離に基づいて仮想面Ｃ３と仮想プロジェクターＣ４との距離を調節することによって、画像ｖ２１の大きさを、タッチパネル１２に収まる大きさに調節する。例えば、動作制御部１５３は、以下に示す式１および式２を用いることによって、タッチパネル１２と壁Ｅ１との距離に基づいて仮想面Ｃ３と仮想プロジェクターＣ４との距離を調節する。具体的には、動作制御部１５３は、仮想プロジェクターＣ４を仮想面Ｃ３に近づけることによって、画像ｖ２１の大きさを調節する。

図１２は、仮想プロジェクターＣ４を仮想面Ｃ３に近づける前の状況を示す図である。図１２に示される状況では、仮想プロジェクターＣ４から仮想面Ｃ３までの距離Ｄｐは、仮想カメラＣ５から仮想面Ｃ３までの距離ｎ２と等しい。なお、動作制御部１５３は、仮想カメラＣ５から仮想面Ｃ３までの距離ｎ２として、情報処理装置１から壁Ｅ１までの距離ｎを用いる。情報処理装置１がタッチパネル１２を含むため、情報処理装置１から壁Ｅ１までの距離ｎは、タッチパネル１２と壁Ｅ１との距離を意味する。このため、仮想カメラＣ５から仮想面Ｃ３までの距離ｎ２は、タッチパネル１２と壁Ｅ１との距離を意味する。

仮想カメラＣ５から仮想面Ｃ３までの距離ｎ２が、情報処理装置１から壁Ｅ１までの距離ｎである場合、対象画像Ｈ１の幅Ｈ１ｗは、式１によって表される。
Ｈ１ｗ＝ｔａｎ（Ｃ５ａ／２）＊ｎ２＊２・・・式１

仮想プロジェクターＣ４の画角Ｃ４ａが仮想カメラＣ５の画角Ｃ５ａ以上である状況において、仮想プロジェクターＣ４から仮想面Ｃ３までの距離Ｄｐが、仮想カメラＣ５から仮想面Ｃ３までの距離ｎ２と等しい場合、スクリーン画像ｖ２の幅ｖ２ｗは、対象画像Ｈ１の幅Ｈ１ｗ以上となる。

図１３は、仮想プロジェクターＣ４を仮想面Ｃ３に近づけた後の状況を示す図である。図１３に示される状況では、仮想プロジェクターＣ４から仮想面Ｃ３までの距離Ｄｐは距離ｎ１１に設定される。距離ｎ１１は、仮想カメラＣ５から仮想面Ｃ３までの距離ｎ２よりも小さい。

動作制御部１５３は、スクリーン画像ｖ２の幅ｖ２ｗ１が対象画像Ｈ１の幅Ｈ１ｗよりも小さくなるように、仮想プロジェクターＣ４から仮想面Ｃ３までの距離Ｄｐを距離ｎ１１に設定する。スクリーン画像ｖ２の幅ｖ２ｗ１が、対象画像Ｈ１の幅Ｈ１ｗよりも小さい場合、図１３に示されるように、スクリーン画像ｖ２の端と、タッチパネル１２の端と、の間に間隙が生じる。このため、スクリーン画像ｖ２の端がユーザーに認識されやすくなる。よって、ユーザーは、スクリーン画像ｖ２のサイズを容易に認識できる。

動作制御部１５３は、式２を用いることによって、距離ｎ１１を決定する。
ｎ１１＝Ｈ１ｗ＊α＊ｂ・・・式２
α＝（Ｄｐ）／（ｖ２ｗａ）、ｂ＝０．９８である。
Ｄｐは、仮想プロジェクターＣ４から仮想面Ｃ３までの距離である。
ｖ２ｗａは、仮想プロジェクターＣ４から仮想面Ｃ３までの距離が距離Ｄｐであるときのスクリーン画像ｖ２の幅である。
αは、仮想プロジェクターＣ４の画角Ｃ４ａによって一意に決まる。すなわち、αは、プロジェクター２の仕様に依存する固定の値である。
ｂは、スクリーン画像ｖ２の幅を対象画像Ｈ１の幅Ｈ１ｗよりも小さくするための係数である。

ｂは、０．９８に限らず、０＜ｂ＜１の関係を満たす値であればよい。例えば、ｂの値は０．９でもよい。

スクリーン画像ｖ２の幅は、仮想プロジェクターＣ４の投写レンズの光軸と、仮想面Ｃ３の法線と、のなす角度の増加に応じて増加する。仮想プロジェクターＣ４の投写レンズの光軸と、仮想面Ｃ３の法線と、のなす角度が０度である場合、動作制御部１５３は、ｂの値として０．９８を用いてもよい。動作制御部１５３は、仮想プロジェクターＣ４の投写レンズの光軸と、仮想面Ｃ３の法線と、のなす角度の増加に応じて、０＜ｂ＜１の関係を満たす範囲で、ｂの値を減少してもよい。この場合、仮想プロジェクターＣ４の投写レンズの光軸と、仮想面Ｃ３の法線と、のなす角度が増加しても、スクリーン画像ｖ２を、タッチパネル１２に収めることが可能になる。

動作制御部１５３は、仮想プロジェクターＣ４の投写レンズの光軸に沿って仮想プロジェクターＣ４を仮想面Ｃ３に近づけることによって、距離Ｄｐを距離ｎ１１に設定する。動作制御部１５３は、距離Ｄｐを距離ｎ１１に設定することによって、スクリーン画像ｖ２の幅を、対象画像Ｈ１の幅Ｈ１ｗよりも小さくする。

説明を図１１に戻す。続いて、ステップＳ２１０において動作制御部１５３は、第２合成画像Ｙ２を決定する。

ステップＳ２１０では動作制御部１５３は、まず、仮想空間ＶＳに、画像ｖ２１と、仮想プロジェクターＣ４と、仮想プロジェクターＣ４から画像ｖ２１へ向かう投写光の経路と、仮想カメラＣ５と、を残しつつ、仮想空間ＶＳから仮想面Ｃ３を削除する。

続いて、動作制御部１５３は、仮想カメラＣ５が撮像を実行したときに得られる画像を、第１仮想画像として決定する。

第１仮想画像は、透過性を有する。第１仮想画像は、仮想面Ｃ３における画像ｖ２１を第２位置Ｃ２から見た画像を含む。第１仮想画像において、仮想面Ｃ３における画像ｖ２１を第２位置Ｃ２から見た画像が、スクリーン画像ｖ２の一例となる。

第１仮想画像は、さらに、仮想プロジェクターＣ４を示す画像を含む。第１仮想画像において、仮想プロジェクターＣ４を示す画像が、プロジェクター画像Ｌ１の一例となる。なお、仮想カメラＣ５と仮想プロジェクターＣ４は、共に、第２位置Ｃ２に位置する。このため、例えば、仮想カメラＣ５が仮想プロジェクターＣ４よりも大きい場合には、仮想プロジェクターＣ４は、仮想カメラＣ５の内部に位置する可能性がある。この場合、仮想カメラＣ５が撮像を実行したときに得られる第１仮想画像には、仮想プロジェクターＣ４を示す画像が含まれない。第１仮想画像が、仮想プロジェクターＣ４を示す画像を含まない場合、動作制御部１５３は、第１仮想画像にプロジェクター画像Ｌ１を追加する。プロジェクター画像Ｌ１が第１仮想画像に追加される位置は、例えば、第１仮想画像における下部である。

第１仮想画像は、さらに、仮想プロジェクターＣ４からスクリーン画像ｖ２へ向かう投写光の経路を示す画像を含む。第１仮想画像において、仮想プロジェクターＣ４からスクリーン画像ｖ２へ向かう投写光の経路を示す画像が、経路画像Ｌ２の一例となる。

続いて、動作制御部１５３は、第１仮想画像を対象画像Ｈ１に重畳することによって、第２合成画像Ｙ２を決定する。

続いて、ステップＳ２１１において動作制御部１５３は、第２合成画像Ｙ２を示す第２画像データｒ２を生成する。

続いて、ステップＳ２１２において動作制御部１５３は、タッチパネル１２に第２画像データｒ２を提供することによって、タッチパネル１２に第２合成画像Ｙ２を表示させる。

続いて、ステップＳ２１３において動作制御部１５３は、画像Ｊ１ａを決定する。ステップＳ２１３では動作制御部１５３は、例えば、ユーザーに指示に応じて、画像Ｊ１ａを決定する。画像Ｊ１ａの形状は、画像ｖ２１の形状と同一である。

続いて、ステップＳ２１４において動作制御部１５３は、画像ｖ２１を画像Ｊ１ａに変更する。

続いて、ステップＳ２１５において動作制御部１５３は、第１合成画像Ｙ１を決定する。

ステップＳ２１５では動作制御部１５３は、仮想カメラＣ５が撮像を実行したときに得られる画像を、第２仮想画像として決定する。

第２仮想画像は、透過性を有する。第２仮想画像は、仮想面Ｃ３における画像Ｊ１ａを第２位置Ｃ２から見た画像を含む。仮想面Ｃ３における画像Ｊ１ａを第２位置Ｃ２から見た画像は、サンプル画像Ｊ１である。

第２仮想画像は、さらに、仮想プロジェクターＣ４を示す画像を含む。第２仮想画像において、仮想プロジェクターＣ４を示す画像が、プロジェクター画像Ｌ１の一例となる。なお、例えば、仮想カメラＣ５が仮想プロジェクターＣ４よりも大きいために、第２仮想画像が、仮想プロジェクターＣ４を示す画像を含まない場合、動作制御部１５３は、第２仮想画像にプロジェクター画像Ｌ１を追加する。プロジェクター画像Ｌ１が第２仮想画像に追加される位置は、例えば、第２仮想画像における下部である。

第２仮想画像は、さらに、仮想プロジェクターＣ４から画像Ｊ１ａへ向かう投写光の経路を示す画像を含む。第２仮想画像において、仮想プロジェクターＣ４から画像Ｊ１ａへ向かう投写光の経路を示す画像が、経路画像Ｌ２の一例となる。

続いて、動作制御部１５３は、第２仮想画像を対象画像Ｈ１に重畳することによって、第１合成画像Ｙ１を決定する。

続いて、ステップＳ２１６において動作制御部１５３は、第１合成画像Ｙ１を示す第１画像データｒ１を生成する。

続いて、ステップＳ２１７において動作制御部１５３は、タッチパネル１２に第１画像データｒ１を提供することによって、タッチパネル１２に第１合成画像Ｙ１を表示させる。

Ａ５：動作の一例
次に、上述の動作の一例を説明する。なお、上述の動作が実行される際に、プロジェクター２は、壁Ｅ１を有する建物に存在してもよいし、壁Ｅ１を有する建物に存在しなくてもよい。ステップＳ１０１では、処理装置１５はプログラムＰ１の実行を開始する。ステップＳ１０１は、タッチパネル１２がユーザーから起動指示を受けると実行される。起動指示は、例えば、タッチパネル１２に表示されるプログラムＰ１のアイコンｉへのタップである。図１４は、タッチパネル１２に表示されるアイコンｉの一例を示す図である。

アイコンｉがタップされると、処理装置１５は、記憶装置１４からプログラムＰ１を読み取る。続いて、処理装置１５は、プログラムＰ１を実行する。

処理装置１５は、プログラムＰ１を実行するまで、タッチパネル１２にスプラッシュ画面を表示させる。処理装置１５がプログラムＰ１を実行すると、動作制御部１５３は、タッチパネル１２に、第１ガイド画像ｔ１を表示させる。

図１５は、第１ガイド画像ｔ１の一例を示す図である。第１ガイド画像ｔ１は、プログラムＰ１を実行することによって実現される情報処理装置１の機能の概要を示す。

例えば、図１５に示される第１ガイド画像ｔ１は、「ＡＲで自分の部屋にプロジェクターを設置してみるよ」というコメントを発するプロジェクターｄ１を示す。ＡＲは、Augmented Reality、すなわち、拡張現実を意味する。

第１ガイド画像ｔ１が示すコメントは、「ＡＲで自分の部屋にプロジェクターを設置してみるよ」というコメントに限らず適宜変更可能である。第１ガイド画像ｔ１は、プロジェクターｄ１を示さなくてもよい。第１ガイド画像ｔ１は、プロジェクターｄ１の代わりに、プロジェクターｄ１とは異なる物体、例えば動物を示してもよい。

続いて、ステップＳ１０２においてカメラ１１は、対象領域ＴＲを撮像することによって撮像データｋｔを生成する。続いて、ステップＳ１０３において動きセンサー１３は、動きデータｍを生成する。続いて、ステップＳ１０４において取得部１５１が、撮像データｋｔと動きデータｍとを取得する。

ステップＳ１０４の完了後、動作制御部１５３は、取得部１５１から撮像データｋｔを取得してもよい。この場合、動作制御部１５３は、撮像データｋｔを画像データｒとしてタッチパネル１２に提供することによって、タッチパネル１２に対象画像Ｈ１を表示させる。図１６は、対象画像Ｈ１を表示する情報処理装置１の一例を示す図である。

ステップＳ１０５では、動作制御部１５３は、まず、画像ｕ１をタッチパネル１２に表示させる。

図１７は、画像ｕ１の一例を示す図である。画像ｕ１は、第２ガイド画像ｔ２を対象画像Ｈ１に重畳させた画像である。第２ガイド画像ｔ２は、「はじめましてプロジェクターを使ってみよう！」というコメントを発するプロジェクターｄ１を示す。

第２ガイド画像ｔ２が示すコメントは、「はじめましてプロジェクターを使ってみよう！」というコメントに限らず適宜変更可能である。第２ガイド画像ｔ２は、プロジェクターｄ１を示さなくてもよい。第２ガイド画像ｔ２は、プロジェクターｄ１の代わりに、プロジェクターｄ１とは異なる物体、例えば動物を示してもよい。

続いて、動作制御部１５３は、画像ｕ２を、タッチパネル１２に表示させる。

図１８は、画像ｕ２の一例を示す図である。画像ｕ２は、第３ガイド画像ｔ３とボタンｖ１とを対象画像Ｈ１に重畳させた画像である。第３ガイド画像ｔ３は、スキャン状況の発生をユーザーに促す画像である。スキャン状況は、カメラ１１が壁Ｅ１を撮像しながら情報処理装置１が第１ポイントから第２ポイントに移動される状況を意味する。ボタンｖ１は、スキャン状況の開始の入力を受け付けるためのボタンである。

第３ガイド画像ｔ３は、「まずは、写したいところでボタンを押してスマホを振ってね」というコメントを発するプロジェクターｄ１を示す。

第３ガイド画像ｔ３が示すコメントは、「まずは、写したいところでボタンを押してスマホを振ってね」というコメントに限らず、スキャン状況の発生をユーザーに促すコメントであれば適宜変更可能である。第３ガイド画像ｔ３は、プロジェクターｄ１を示さなくてもよい。第３ガイド画像ｔ３は、プロジェクターｄ１の代わりに、プロジェクターｄ１とは異なる物体、例えば動物を示してもよい。ボタンｖ１の形態は、図１８に示される形態に限らず適宜変更可能である。

ユーザーは、第３ガイド画像ｔ３のコメントに従って、例えば、壁Ｅ１がタッチパネル１２に表示される状態で、ボタンｖ１を押し、その後、情報処理装置１を振る。

動作制御部１５３は、タッチパネル１２がボタンｖ１へのタップを検出すると、画像ｕ３を、タッチパネル１２に表示させる。

図１９は、画像ｕ３の一例を示す図である。画像ｕ３は、第４ガイド画像ｔ４を対象画像Ｈ１に重畳させた画像である。第４ガイド画像ｔ４は、「壁面をスキャンするよ」というコメントを発するプロジェクターｄ１を示す。

第４ガイド画像ｔ４が示すコメントは、「壁面をスキャンするよ」というコメントに限らず適宜変更可能である。第４ガイド画像ｔ４は、プロジェクターｄ１を示さなくてもよい。第４ガイド画像ｔ４は、プロジェクターｄ１の代わりに、プロジェクターｄ１とは異なる物体、例えば動物を示してもよい。

図２０は、ユーザーによって情報処理装置１が振られる状況を示す図である。ユーザーが情報処理装置１を振ると、スキャン状況が発生する。

スキャン状況において、認識部１５２は、第１撮像データｋ１と、第２撮像データｋ２と、動きデータｍｓと、を取得する。

認識部１５２は、第１撮像データｋ１と、第２撮像データｋ２と、動きデータｍｓと、に基づいて、壁Ｅ１を認識する。

続いて、ステップＳ２０１において動作制御部１５３は、認識部１５２に、情報処理装置１から壁Ｅ１までの距離ｎを決定させる。

続いて、ステップＳ２０５において動作制御部１５３は、仮想空間ＶＳに仮想プロジェクターＣ４を配置する。

ステップＳ２０６では、動作制御部１５３は、まず、仮想面Ｃ３における画像ｖ２１の中心の位置を、仮想面Ｃ３と仮想プロジェクターＣ４の投写レンズの光軸との交点の位置に合わせる。

続いて、動作制御部１５３は、仮想空間ＶＳに、仮想プロジェクターＣ４から画像ｖ２１へ向かう投写光の経路を設定する。

続いて、ステップＳ２０７において動作制御部１５３は、第２位置Ｃ２に仮想カメラＣ５を設置する。仮想カメラＣ５の撮像レンズの光軸の位置は、仮想プロジェクターＣ４の投写レンズの光軸の位置と一致する。

ステップＳ２０９では動作制御部１５３は、仮想プロジェクターＣ４を仮想面Ｃ３に近づけることによって、画像ｖ２１の大きさを調節する。

続いて、ステップＳ２１０において動作制御部１５３は、第２合成画像Ｙ２を決定する。

図２１は、第２合成画像Ｙ２の一例を示す図である。図２１に示される第２合成画像Ｙ２では、第１仮想画像に加えて、第５ガイド画像ｔ５が対象画像Ｈ１に重畳されている。第１仮想画像は、仮想カメラＣ５が撮像を実行することによって得られる画像である。

第２合成画像Ｙ２では、現実空間ＲＳにおけるタッチパネル１２の位置の変化と、現実空間ＲＳにおけるタッチパネル１２の向きの変化と、の各々に応じて、壁Ｅ１に対するスクリーン画像ｖ２の位置が変化する。タッチパネル１２は、情報処理装置１に搭載されている。このため、現実空間ＲＳにおけるタッチパネル１２の位置の変化は、現実空間ＲＳにおける情報処理装置１の位置の変化を意味する。また、現実空間ＲＳにおけるタッチパネル１２の向きの変化は、現実空間ＲＳにおける情報処理装置１の向きの変化を意味する。よって、ユーザーは、情報処理装置１の位置と情報処理装置１の向きとの各々を変えることによって、情報処理装置１がプロジェクター２であるかのような感覚でスクリーン画像ｖ２の位置を調整できる。

また、現実空間ＲＳにおけるタッチパネル１２の位置の変化と、現実空間ＲＳにおけるタッチパネル１２の向きの変化と、の各々に応じて、対象画像Ｈ１に示される壁Ｅ１の部分が変更される。

このため、現実空間ＲＳにおけるタッチパネル１２の位置の変化と、現実空間ＲＳにおけるタッチパネル１２の向きの変化と、のいずれかが生じる場合、第２合成画像Ｙ２の対象画像Ｈ１に示される壁Ｅ１の部分が変更されるのに対して、第２合成画像Ｙ２におけるプロジェクター画像Ｌ１の位置は変更されない。したがって、ユーザーは、タッチパネル１２に表示される第２合成画像Ｙ２を見ることによって、プロジェクター２が情報処理装置１の位置に存在するような感覚で壁Ｅ１におけるスクリーン画像ｖ２の位置を調整できる。

スクリーン画像ｖ２は、操作ボタンｖ３を含む。操作ボタンｖ３は、壁Ｅ１に対してスクリーン画像ｖ２の位置を固定するために用いられる。さらに言えば、操作ボタンｖ３は、ユーザーが位置設定指示を入力するために用いられる。

操作ボタンｖ３の形態は、図２１に示される形態に限らず適宜変更可能である。操作ボタンｖ３を有するスクリーン画像ｖ２の色は、グレーである。操作ボタンｖ３を有するスクリーン画像ｖ２の色は、グレーに限らず適宜変更可能である。

第５ガイド画像ｔ５は、壁Ｅ１に対するスクリーン画像ｖ２の位置を固定する操作をユーザーに促す画像である。第５ガイド画像ｔ５は、「スクリーンの場所が決まったら、操作ボタンを押そう」というコメントを発するプロジェクターｄ１を示す。

第５ガイド画像ｔ５が示すコメントは、「スクリーンの場所が決まったら、操作ボタンを押そう」というコメントに限らず、スクリーン画像ｖ２の位置を固定する操作をユーザーに促すコメントであれば適宜変更可能である。第５ガイド画像ｔ５は、プロジェクターｄ１を示さなくてもよい。第５ガイド画像ｔ５は、プロジェクターｄ１の代わりに、プロジェクターｄ１とは異なる物体、例えば動物を示してもよい。

ユーザーは、情報処理装置１の位置を変えながら第２合成画像Ｙ２を確認する。図２２は、情報処理装置１の位置が、図２１に示される第２合成画像Ｙ２を表示する情報処理装置１の位置よりも、壁Ｅ１に近くなった場合に、情報処理装置１に表示される第２合成画像Ｙ２の一例を示す図である。図２２では、第５ガイド画像ｔ５は省略されている。情報処理装置１が壁Ｅ１に近いほど、壁Ｅ１のサイズに対するスクリーン画像ｖ２のサイズの比は小さくなる。図２２に示されるスクリーン画像ｖ２のサイズは、図２１に示されるスクリーン画像ｖ２のサイズよりも小さい。なお、第２合成画像Ｙ２に示されるスクリーン画像ｖ２のサイズは変更されなくてもよい。

動作制御部１５３は、壁Ｅ１のサイズに対するスクリーン画像ｖ２のサイズの比を小さくする手法をユーザーに知らせるために、「近づくと小さくなるよ」というコメントを発するプロジェクターｄ１を示す画像を、第２合成画像Ｙ２に重畳してもよい。「近づくと小さくなるよ」というコメントは、壁Ｅ１のサイズに対するスクリーン画像ｖ２のサイズの比を小さくする操作を示す第１操作コメントの一例である。

第１操作コメントは、「近づくと小さくなるよ」というコメントに限らず適宜変更可能である。第１操作コメントが示されれば、第１操作コメントを発するプロジェクターｄ１は示されなくてもよい。第１操作コメントを発する物体は、プロジェクターｄ１に限らず、例えば、プロジェクターｄ１とは異なる物体、例えば動物でもよい。

図２３は、情報処理装置１の位置が、図２１に示される第２合成画像Ｙ２を表示する情報処理装置１の位置よりも、壁Ｅ１から遠くなった場合に、情報処理装置１に表示される第２合成画像Ｙ２の一例を示す図である。図２３では、第５ガイド画像ｔ５は省略されている。情報処理装置１が壁Ｅ１から遠いほど、壁Ｅ１のサイズに対するスクリーン画像ｖ２のサイズの比は大きくなる。図２３に示されるスクリーン画像ｖ２のサイズは、図２１に示されるスクリーン画像ｖ２のサイズよりも大きい。なお、第２合成画像Ｙ２に示されるスクリーン画像ｖ２のサイズは変更されなくてもよい。

動作制御部１５３は、壁Ｅ１のサイズに対するスクリーン画像ｖ２のサイズの比を大きくする手法をユーザーに知らせるために、「離れると大きくなるよ」というコメントを発するプロジェクターｄ１を示す画像を、第２合成画像Ｙ２に重畳してもよい。「離れると大きくなるよ」というコメントは、壁Ｅ１のサイズに対するスクリーン画像ｖ２のサイズの比を大きくする操作を示す第２操作コメントの一例である。

第２操作コメントは、「離れると大きくなるよ」というコメントに限らず適宜変更可能である。第２操作コメントが示されれば、第２操作コメントを発するプロジェクターｄ１は示されなくてもよい。第２操作コメントを発する物体は、プロジェクターｄ１に限らず、例えば、プロジェクターとは異なる物体、例えば動物でもよい。

なお、動作制御部１５３は、第２合成画像Ｙ２におけるスクリーン画像ｖ２の透過率を、情報処理装置１から壁Ｅ１までの距離ｎに応じて変更してもよい。例えば、動作制御部１５３は、距離ｎの増加に応じて、第２合成画像Ｙ２におけるスクリーン画像ｖ２の透過率を高くする。この場合、距離ｎの増加に応じて、第２合成画像Ｙ２におけるスクリーン画像ｖ２の視認性が下がる。よって、動作制御部１５３は、壁Ｅ１からプロジェクター２までの距離の増加に応じて壁Ｅ１における投写画像Ｆ１の視認性が下がる現象をシミュレーションできる。

図２４は、撮像レンズ１１１の光軸が壁Ｅ１の法線に対して傾く場合に、情報処理装置１に表示される第２合成画像Ｙ２の一例を示す図である。この場合、スクリーン画像ｖ２は、壁Ｅ１の法線に対する撮像レンズ１１１の光軸の傾きに応じた歪を有する。この歪は台形歪と称される。プロジェクター２が台形歪を補正する歪補正機能を有する場合、動作制御部１５３は、プロジェクター２が有する歪補正機能と同等の歪補正機能によって、スクリーン画像ｖ２の台形歪を補正する。図２５は、図２４に示される台形歪が補正されたスクリーン画像ｖ２を有する第２合成画像Ｙ２の一例を示す図である。図２４および図２５では、第５ガイド画像ｔ５は省略されている。

タッチパネル１２が操作ボタンｖ３へのタップを検出すると、動作制御部１５３は、操作ボタンｖ３がタップされたときにスクリーン画像ｖ２が示されていた位置に、スクリーン画像ｖ２を固定する。さらに言えば、動作制御部１５３は、操作ボタンｖ３がタップされたときに画像ｖ２１が示されていた位置に、画像ｖ２１を固定する。

続いて、動作制御部１５３は、第２合成画像Ｙ２を画像ｕ５に更新する。例えば、動作制御部１５３は、第２合成画像Ｙ２に対して、操作ボタンｖ３の削除と、スクリーン画像ｖ２の色のグレーから青色への変更と、第６ガイド画像ｔ６の追加と、を実行することによって、第２合成画像Ｙ２を画像ｕ５に更新する。スクリーン画像ｖ２の変更後の色は、青色に限らず適宜変更可能である。画像ｕ５は、第１シミュレーション画像の一例である。

図２６は、画像ｕ５の一例を示す図である。画像ｕ５における第６ガイド画像ｔ６は、スクリーン画像ｖ２に表示させる画像の決定をユーザーに促す画像である。

図２６では、第６ガイド画像ｔ６は、「スクリーンをタップしてスクリーンに好きなものを写してみよう」というコメントを発するプロジェクターｄ１を示す。

第６ガイド画像ｔ６が示すコメントは、「スクリーンをタップしてスクリーンに好きなものを写してみよう」というコメントに限らず、スクリーン画像ｖ２に表示させる画像の決定をユーザーに促すコメントであれば適宜変更可能である。第６ガイド画像ｔ６は、プロジェクターｄ１を示さなくてもよい。第６ガイド画像ｔ６は、プロジェクターｄ１の代わりに、プロジェクターｄ１とは異なる物体、例えば動物を示してもよい。

ユーザーは、情報処理装置１を移動しながら画像ｕ５を見ることによって、固定されたスクリーン画像ｖ２を確認できる。図２７は、情報処理装置１の位置が、図２６に示される画像ｕ５を表示する情報処理装置１の位置よりも、壁Ｅ１に近くなった場合に、情報処理装置１に表示される画像ｕ５の一例を示す図である。図２７では、第６ガイド画像ｔ６は省略されている。スクリーン画像ｖ２の位置が固定された状況においても、情報処理装置１と壁Ｅ１との距離の減少に応じて、壁Ｅ１のサイズに対するスクリーン画像ｖ２のサイズの比は小さくなる。図２７に示されるスクリーン画像ｖ２のサイズは、図２６に示されるスクリーン画像ｖ２のサイズよりも小さい。なお、スクリーン画像ｖ２のサイズは一定でもよい。

動作制御部１５３は、「近づくと小さくなるよ」というような第１操作コメントを発するプロジェクターｄ１を示す画像を、画像ｕ５に重畳してもよい。第１操作コメントが示されれば、第１操作コメントを発するプロジェクターｄ１は示されなくてもよい。第１操作コメントを発する物体は、プロジェクターｄ１に限らず、例えば、プロジェクターｄ１とは異なる物体、例えば動物でもよい。

図２８は、情報処理装置１の位置が、図２６に示される画像ｕ５を表示する情報処理装置１の位置よりも、壁Ｅ１から遠くなった場合に、情報処理装置１に表示される画像ｕ５の一例を示す図である。図２８では、第６ガイド画像ｔ６は省略されている。スクリーン画像ｖ２の位置が固定された状況においても、情報処理装置１と壁Ｅ１との距離の増加に応じて、壁Ｅ１のサイズに対するスクリーン画像ｖ２のサイズの比は大きくなる。図２８に示されるスクリーン画像ｖ２のサイズは、図２６に示されるスクリーン画像ｖ２のサイズよりも大きい。なお、スクリーン画像ｖ２のサイズは一定でもよい。

動作制御部１５３は、「離れると大きくなるよ」というような第２操作コメントを発するプロジェクターｄ１を示す画像を、画像ｕ５に重畳してもよい。第２操作コメントが示されれば、第２操作コメントを発するプロジェクターｄ１は示されなくてもよい。第２操作コメントを発する物体は、プロジェクターｄ１に限らず、例えば、プロジェクターｄ１とは異なる物体、例えば動物でもよい。

なお、動作制御部１５３は、画像ｕ５におけるスクリーン画像ｖ２の透過率を、情報処理装置１から壁Ｅ１までの距離ｎに応じて変更してもよい。例えば、動作制御部１５３は、距離ｎの増加に応じて、画像ｕ５におけるスクリーン画像ｖ２の透過率を高くする。

図２９は、撮像レンズ１１１の光軸が壁Ｅ１の法線に対して傾く場合に、情報処理装置１に表示される画像ｕ５の一例を示す図である。この場合、スクリーン画像ｖ２は、壁Ｅ１の法線に対する撮像レンズ１１１の光軸の傾きに応じた台形歪を有する。プロジェクター２が台形歪を補正する歪補正機能を有する場合、動作制御部１５３は、プロジェクター２が有する歪補正機能と同等の歪補正機能によって、スクリーン画像ｖ２の台形歪を補正する。図３０は、図２９に示される台形歪が補正されたスクリーン画像ｖ２を有する画像ｕ５の一例を示す図である。図２９および図３０では、第６ガイド画像ｔ６は省略されている。

ユーザーは、第６ガイド画像ｔ６に従って情報処理装置１を操作することによって、スクリーン画像ｖ２に表示させる画像を決定できる。

タッチパネル１２が画像ｕ５におけるスクリーン画像ｖ２へのタップを検出すると、動作制御部１５３は、メニュー画像ｖ４をタッチパネル１２に表示させる。

図３１は、メニュー画像ｖ４の一例を示す図である。メニュー画像ｖ４は、選択ボタンｖ５を含む。

選択ボタンｖ５は、スクリーン画像ｖ２に表示させる画像、すなわち、サンプル画像Ｊ１を決定するために用いられる。

タッチパネル１２が選択ボタンｖ５へのタップを検出すると、動作制御部１５３は、画像ｖ８１をタッチパネル１２に表示させる。

図３２は、画像ｖ８１の一例を示す図である。画像ｖ８１は、スクリーン画像ｖ２に表示させる画像の候補ｖ８を示す。画像の候補ｖ８は、プロジェクター２から投写される投写画像Ｆ１に対応する画像である。例えば、画像の候補ｖ８は、プロジェクター２から投写される投写画像Ｆ１を示す画像である。画像の候補ｖ８は、例えば、写真データによって示される写真の画像である。画像の候補ｖ８は、文書データによって示される文書の画像でもよい。

ユーザーは、サンプル画像Ｊ１として用いる１つ画像の候補ｖ８をタップする。タッチパネル１２が、画像の候補ｖ８へのタップを検出すると、動作制御部１５３は、タップされた画像の候補ｖ８を長方形の第２画像として決定する。

続いて、ステップＳ２１３において動作制御部１５３は、長方形の第２画像の形状およびサイズを、画像ｖ２１の形状およびサイズに一致させることによって、画像Ｊ１ａを決定する。

なお、動作制御部１５３は、仮想プロジェクターＣ４の位置を、第２位置Ｃ２とは異なる位置に変更した場合、第１合成画像Ｙ１と第２合成画像Ｙ２に、仮想プロジェクターＣ４の位置を調節したことを示す画像を含ませてもよい。
仮想プロジェクターＣ４の位置を調節したことを示す画像は、例えば、「位置調整済み画像です。」というコメントを示す画像である。
仮想プロジェクターＣ４の位置を調節したことを示す画像は、「位置調整済み画像です。」というコメントを示す画像に限らず、適宜変更可能である。

Ａ６：第１実施形態についてのまとめ
第１実施形態に係る表示方法と情報処理装置１は以下の態様を含む。

取得部１５１は、壁Ｅ１を含む対象領域ＴＲを示す対象画像Ｈ１を取得する。動作制御部１５３は、サンプル画像Ｊ１をタッチパネル１２に表示させる場合、タッチパネル１２の位置に関わらず、タッチパネル１２に収まる大きさのサンプル画像Ｊ１を対象画像Ｈ１に重畳させた第１合成画像Ｙ１を、タッチパネル１２に表示させる。サンプル画像Ｊ１は、仮想空間ＶＳにおいて仮想プロジェクターＣ４から第１位置Ｃ１に位置する仮想面Ｃ３に画像が投写される状況で仮想面Ｃ３に表示される画像を第２位置Ｃ２から見た画像である。第１位置Ｃ１は、仮想空間ＶＳにおいて、壁Ｅ１の現実空間ＲＳにおける位置に対応する位置である。第２位置Ｃ２は、仮想空間ＶＳにおいて、タッチパネル１２の現実空間ＲＳにおける位置に対応する位置である。

この態様によれば、タッチパネル１２の位置に関わらず、タッチパネル１２に収まる大きさのサンプル画像Ｊ１を対象画像Ｈ１に重畳させた第１合成画像Ｙ１が、タッチパネル１２に表示される。このため、ユーザーは、タッチパネル１２の位置に関わらず、タッチパネル１２に収まる大きさのサンプル画像Ｊ１を含む第１合成画像Ｙ１を見ることができる。ユーザーは、第１合成画像Ｙ１を見ることによって、プロジェクター２が投写画像Ｆ１を投写する状態を容易に想像できる。よって、利便性のよい情報処理装置１を提供できる。

動作制御部１５３は、仮想面Ｃ３と仮想プロジェクターＣ４との距離を調節することによって、サンプル画像Ｊ１の大きさを、タッチパネル１２に収まる大きさに調節する。この態様によれば、サンプル画像Ｊ１の大きさを調節するためにユーザーが現実空間ＲＳにおいて情報処理装置１を移動することなく、サンプル画像Ｊ１の大きさを、タッチパネル１２に収まる大きさに調節できる。

動作制御部１５３は、タッチパネル１２と壁Ｅ１との距離に基づいて仮想面Ｃ３と仮想プロジェクターＣ４との距離を調節することによって、サンプル画像Ｊ１の大きさを、タッチパネル１２に収まる大きさに調節する。この態様によれば、タッチパネル１２と壁Ｅ１との距離に基づいて、サンプル画像Ｊ１の大きさを、タッチパネル１２に収まる大きさに調節できる。

動作制御部１５３は、タッチパネル１２と壁Ｅ１との距離と、仮想プロジェクターＣ４の画角Ｃ４ａと、に基づいて仮想面Ｃ３と仮想プロジェクターＣ４との距離を調節することによって、サンプル画像Ｊ１の大きさを、タッチパネル１２に収まる大きさに調節する。この態様によれば、タッチパネル１２と壁Ｅ１との距離と、仮想プロジェクターＣ４の画角Ｃ４ａと、に基づいて、サンプル画像Ｊ１の大きさを、タッチパネル１２に収まる大きさに調節できる。

第１合成画像Ｙ１は、プロジェクター２を示す画像であるプロジェクター画像Ｌ１を含む。プロジェクター画像Ｌ１は、第１合成画像Ｙ１のうち第２位置Ｃ２に対応する部分に位置する。この態様によれば、ユーザーは、プロジェクター画像Ｌ１に示されるプロジェクターがサンプル画像Ｊ１を投写する状態を見ることによって、プロジェクター２が投写画像Ｆ１を投写する状態を容易に想像できる。

Ｂ：変形例
以上に例示した実施形態の変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。

Ｂ１：第１変形例
第１実施形態において、動作制御部１５３は、仮想プロジェクターの画角Ｃ４ａを調節することによって、スクリーン画像ｖ２の大きさと、サンプル画像Ｊ１の大きさとを、タッチパネル１２に収まる大きさに調節してもよい。

例えば、動作制御部１５３は、仮想プロジェクターＣ４の画角Ｃ４ａが仮想カメラＣ５の画角Ｃ５ａ以上である場合、仮想プロジェクターＣ４の画角Ｃ４ａを仮想カメラＣ５の画角Ｃ５ａ未満に変更することによって、スクリーン画像ｖ２の大きさと、サンプル画像Ｊ１の大きさとを、タッチパネル１２に収まる大きさに調節する。また、例えば、動作制御部１５３は、仮想プロジェクターＣ４の仕様に含まれる画角Ｃ４ａの値を、カメラ１１の画角Ｃ５ａ未満の値、すなわち、仮想カメラＣ５の画角Ｃ５ａ未満の値に変更してもよい。

第１変形例によれば、仮想プロジェクターＣ４を移動することなく、サンプル画像Ｊ１の大きさと、サンプル画像Ｊ１の大きさとを、タッチパネル１２に収まる大きさに調節できる。また、仮想プロジェクターＣ４の移動後の位置を算出する処理を省略できる。

動作制御部１５３は、仮想プロジェクターＣ４の画角Ｃ４ａを調節する手法として、カメラ１１の有する画角Ｃ５ａ未満の画角を有する機種の仮想プロジェクターを仮想プロジェクターＣ４として用いる手法を用いてもよい。例えば、動作制御部１５３は、仮想プロジェクターＣ４の機種を、カメラ１１の有する画角Ｃ５ａ以上の画角を有する第１の仮想プロジェクターから、カメラ１１の有する画角Ｃ５ａ未満の画角を有する第２の仮想プロジェクターに変更する手法を用いる。具体的には、動作制御部１５３は、プログラムＰ１に記憶されている複数の機種のプロジェクターの仕様を参照し、画角がカメラ１１の画角Ｃ５ａ未満の機種のプロジェクターを仮想プロジェクターＣ４として選択する。この場合、仮想プロジェクターＣ４の変更によって、スクリーン画像ｖ２の大きさと、サンプル画像Ｊ１の大きさとを、タッチパネル１２に収まる大きさに調節できる。

動作制御部１５３は、第１の仮想プロジェクターに対応する実在のプロジェクターの名称と、第２の仮想プロジェクターに対応する実在のプロジェクターの名称と、をタッチパネル１２に表示させてもよい。この場合、ユーザーは、情報処理装置１によってシミュレーションされるプロジェクターを簡単に認識できる。

動作制御部１５３は、仮想プロジェクターＣ４の画角Ｃ４ａを調節する手法として、仮想プロジェクターＣ４の仮想投写レンズの画角を調節する手法を用いてもよい。この場合、動作制御部１５３は、仮想投写レンズの画角を調節することによって、スクリーン画像ｖ２の大きさと、サンプル画像Ｊ１の大きさとを、タッチパネル１２に収まる大きさに調節する。

例えば、動作制御部１５３は、仮想投写レンズの画角が仮想カメラＣ５の画角Ｃ５ａ以上である場合、仮想投写レンズの画角を仮想カメラＣ５の画角Ｃ５ａ未満に変更することによって、スクリーン画像ｖ２の大きさと、サンプル画像Ｊ１の大きさとを、タッチパネル１２に収まる大きさに調節する。また、例えば、動作制御部１５３は、仮想プロジェクターＣ４の仕様に含まれる仮想投写レンズの画角の値を、カメラ１１の画角Ｃ５ａ未満の値、すなわち、仮想カメラＣ５の画角Ｃ５ａ未満の値に変更してもよい。

この場合、仮想プロジェクターＣ４を移動することなく、スクリーン画像ｖ２の大きさと、サンプル画像Ｊ１の大きさとを、タッチパネル１２に収まる大きさに調節できる。また、仮想プロジェクターＣ４の移動後の位置を算出する処理を省略できる。

動作制御部１５３は、仮想投写レンズの画角を調節する手法として、カメラ１１の画角Ｃ５ａ未満の画角を有する仮想投写レンズを、仮想プロジェクターＣ４の仮想投写レンズとして用いてもよい。例えば、動作制御部１５３は、仮想投写レンズを、カメラ１１の有する画角Ｃ５ａ以上の画角を有する第１の仮想投写レンズから、カメラ１１の有する画角Ｃ５ａ未満の画角を有する第２の仮想投写レンズに変更する手法を用いてもよい。また、例えば、動作制御部１５３は、仮想プロジェクターＣ４の仕様に含まれる仮想投写レンズの画角の値を、カメラ１１の画角Ｃ５ａ以上の値から、カメラ１１の画角Ｃ５ａの値未満の値に変更してもよい。この場合、仮想投写レンズの変更によって、スクリーン画像ｖ２の大きさと、サンプル画像Ｊ１の大きさとを、タッチパネル１２に収まる大きさに調節できる。

動作制御部１５３は、第１の仮想投写レンズに対応する実在の投写レンズの名称と、第２の仮想投写レンズに対応する実在の投写レンズの名称と、をタッチパネル１２に表示させてもよい。この場合、ユーザーは、情報処理装置１によるシミュレーションに用いられる投写レンズを簡単に認識できる。

Ｂ２：第２変形例
第１実施形態および第１変形例において、動作制御部１５３は、第１合成画像Ｙ１および第２合成画像Ｙ２の少なくとも一方において、仮想プロジェクターＣ４の位置と第２位置Ｃ２との距離に基づく画像である追加画像Ｌ３を含ませてもよい。追加画像Ｌ３は、仮想プロジェクターＣ４の位置と第２位置Ｃ２との距離を示す画像の一例である。

図３３は、追加画像Ｌ３を含む第２合成画像Ｙ２の一例を示す図である。追加画像Ｌ３は、プロジェクター画像Ｌ１が示すプロジェクターを持つ手を示す。このため、ユーザーは、プロジェクター２を手にもって動かしているような感覚で、投写画像Ｆ１の見え方を確認できる。なお、追加画像Ｌ３は、プロジェクター画像Ｌ１が示すプロジェクターを持つ手を示す画像とは異なってもよい。例えば、追加画像Ｌ３は、仮想プロジェクターＣ４の位置と第２位置Ｃ２との距離を示す画像でもよい。具体的には、追加画像Ｌ３は、距離を示す目盛り線や、距離に応じた長さの線分であってもよい。追加画像Ｌ３として目盛り線や線分が用いられる場合には、例えば、追加画像Ｌ３は、仮想プロジェクターＣ４の位置と第２位置Ｃ２との間に表示されてもよい。

動作制御部１５３は、追加画像Ｌ３の第２合成画像Ｙ２における位置を、仮想プロジェクターＣ４の位置と第２位置Ｃ２との距離に基づいて決定する。例えば、動作制御部１５３は、仮想プロジェクターＣ４の位置と第２位置Ｃ２との距離の増加に応じて、第２合成画像Ｙ２において、追加画像Ｌ３の仮想プロジェクターＣ４側またはスクリーン画像ｖ２側の端部と第２位置Ｃ２との距離を増加する。このため、追加画像Ｌ３によって、プロジェクター画像Ｌ１が示すプロジェクターの位置と、スクリーン画像ｖ２の位置との関係をユーザーが、認識しやすくなる。

Ｂ３：第３変形例
第１実施形態および第１変形例～第２変形例において、動作制御部１５３は、第１合成画像Ｙ１または第２合成画像Ｙ２をタッチパネル１２が表示しているときに、表示の切り替えを指示する入力を受けつけた場合に、図１１に示される動作からステップＳ２０９を除いた動作を実行してもよい。

この場合、動作制御部１５３は、シミュレーション画像をタッチパネル１２に表示させる。シミュレーション画像は、第２シミュレーション画像の一例である。シミュレーション画像は、表示画像を対象画像Ｈ１に重畳させた画像である。表示画像は、第２表示画像の一例である。表示画像は、第２位置Ｃ２に対する相対位置が固定された仮想プロジェクターＣ４から第１位置Ｃ１に位置する仮想面Ｃ３に画像が投写される状況で仮想面Ｃ３に表示される画像を第２位置Ｃ２から見た画像である。この場合には、表示画像の大きさは調節されない。シミュレーション画像は、表示画像に加えて、プロジェクター画像Ｌ１と経路画像Ｌ２とを対象画像Ｈ１に重畳させた画像でもよい。

第３変形例によれば、仮想プロジェクターＣ４の画角Ｃ４ａが、仮想カメラＣ５の画角Ｃ５ａ以上である場合、シミュレーション画像は、表示画像がタッチパネル１２に収まらない状態を示す。このため、ユーザーは、シミュレーション画像を見ることによって、第１合成画像Ｙ１および第２合成画像Ｙ２が調整済みの画像であることを認識しやすくなる。

Ｂ４：第４変形例
第１実施形態および第１変形例～第３変形例において、動作制御部１５３は、第１合成画像Ｙ１および第２合成画像Ｙ２の少なくとも一方をタッチパネル１２に表示させた後にタッチパネル１２がユーザーから仮想プロジェクターＣ４を固定する指示を受けた場合、仮想プロジェクターＣ４の位置を仮想空間ＶＳに固定してもよい。

例えば、動作制御部１５３は、タッチパネル１２がユーザーから仮想プロジェクターＣ４を固定する指示を受けたときの仮想プロジェクターＣ４の位置に、仮想プロジェクターＣ４を固定する。

この場合、動作制御部１５３は、重畳画像をタッチパネル１２に表示させる。重畳画像は、第３シミュレーション画像とも称される。重畳画像は、第３仮想画像を対象画像Ｈ１に重畳させた画像である。第３仮想画像は、第３表示画像とも称される。第３仮想画像は、仮想空間ＶＳにおいて位置が固定された仮想プロジェクターＣ４が仮想面Ｃ３に画像を投写する状況で仮想面Ｃ３に表示される画像を第２位置Ｃ２から見た画像である。仮想空間ＶＳにおいて位置が固定された仮想プロジェクターＣ４は、仮想空間ＶＳにおいて絶対位置が固定された仮想プロジェクターＣ４を意味する。なお、重畳画像が表示される状況において、タッチパネル１２がユーザーから仮想プロジェクターＣ４を固定する指示を受けたときの情報処理装置１の位置に情報処理装置１が再度位置した場合、動作制御部１５３は、仮想プロジェクターＣ４を第２位置Ｃ２に再度固定してもよい。

第４変形例によれば、第１合成画像Ｙ１および第２合成画像Ｙ２に加えて、重畳画像が表示されるので、ユーザーによるプロジェクター２の設置位置の確認をさらに支援できる。

Ｂ５：第５変形例
第１実施形態および第１変形例～第４変形例において、カメラ１１と、タッチパネル１２と、処理装置１５とは、相互に別体でもよい。第１実施形態および第１変形例～第４変形例において、カメラ１１とタッチパネル１２は、情報処理装置１と別体でもよい。第１実施形態および第１変形例～第４変形例において、カメラ１１は、情報処理装置１と別体でもよい。第１実施形態および第１変形例～第４変形例において、タッチパネル１２は、情報処理装置１と別体でもよい。第１実施形態および第１変形例～第４変形例において、ディスプレイ１２１と入力装置１２２は、相互に別体でもよい。

１…情報処理装置、２…プロジェクター、１１…カメラ、１２…タッチパネル、１３…動きセンサー、１４…記憶装置、１５…処理装置、１１１…撮像レンズ、１１２…イメージセンサー、１２１…ディスプレイ、１２２…入力装置、１５１…取得部、１５２…認識部、１５３…動作制御部。

Claims

面を含む対象領域と、ディスプレイと、を有する現実空間における前記対象領域を示す対象画像を取得することと、
前記面の前記現実空間における位置に対応する第１位置に位置し、前記面に対応する仮想面と、仮想プロジェクターと、を有する仮想空間において、前記仮想プロジェクターから前記仮想面に投写される画像を、前記現実空間における前記ディスプレイの位置に対応する第２位置から見た画像である第１表示画像を前記ディスプレイに表示する場合に、前記ディスプレイの位置に関わらず、前記ディスプレイに収まる大きさの前記第１表示画像を前記対象画像に重畳させた第１シミュレーション画像を、前記ディスプレイに表示すること、
を含む、表示方法。
前記仮想面と前記仮想プロジェクターとの距離を調節することによって、前記第１表示画像の大きさを、前記ディスプレイに収まる大きさに調節すること、
をさらに含む、請求項１に記載の表示方法。
前記ディスプレイと前記面との距離に基づいて前記仮想面と前記仮想プロジェクターとの距離を調節することによって、前記第１表示画像の大きさを、前記ディスプレイに収まる大きさに調節すること、
をさらに含む請求項１に記載の表示方法。
前記ディスプレイと前記面との距離と、前記仮想プロジェクターの画角と、に基づいて、前記仮想面と前記仮想プロジェクターとの距離を調節することによって、前記第１表示画像の大きさを、前記ディスプレイに収まる大きさに調節すること、
をさらに含む請求項１に記載の表示方法。
前記仮想プロジェクターの画角を調節することによって、前記第１表示画像の大きさを、前記ディスプレイに収まる大きさに調節すること、
をさらに含む、請求項１に記載の表示方法。
前記対象画像を取得することは、カメラを用いて前記対象画像を取得することを含み、
前記調節することは、前記仮想プロジェクターとして、前記カメラの画角未満の画角を有する機種の仮想プロジェクターを用いることによって、前記仮想プロジェクターの画角を調節すること、を含む、
請求項５に記載の表示方法。
前記仮想プロジェクターは、前記仮想面に画像を投写する仮想投写レンズを含み、
前記仮想投写レンズの画角を調節することによって、前記第１表示画像の大きさを、前記ディスプレイに収まる大きさに調節すること、
をさらに含む、請求項１に記載の表示方法。
前記対象画像を取得することは、カメラを用いて前記対象画像を取得することを含み、
前記調節することは、前記仮想投写レンズとして、前記カメラの画角未満の画角を有する仮想投写レンズを用いることによって、前記仮想投写レンズの画角を調節すること、を含む、
請求項７に記載の表示方法。
前記第１シミュレーション画像は、プロジェクターを示す画像であるプロジェクター画像を含み、
前記プロジェクター画像は、前記第１シミュレーション画像において、前記仮想プロジェクターの前記仮想空間における位置に対応する部分に位置する、
請求項１から８のいずれか１項に記載の表示方法。
前記第１シミュレーション画像は、前記仮想プロジェクターの位置と前記第２位置との距離を示す画像を含む、
請求項１から９のいずれか１項に記載の表示方法。
前記距離を示す画像の前記第１シミュレーション画像における位置を、前記仮想プロジェクターの位置と前記第２位置との距離に基づいて決定すること、
をさらに含む請求項１０に記載の表示方法。
前記距離を示す画像は、前記プロジェクター画像が示す前記プロジェクターを持つ手を示す、
請求項１０または１１に記載の表示方法。
前記第１シミュレーション画像を前記ディスプレイに表示しているときに、表示の切り替えを指示する入力を受けつけた場合に、前記第２位置に対する相対位置が固定された前記仮想プロジェクターから前記仮想面に投写される画像を前記第２位置から見た画像である第２表示画像を、前記対象画像に重畳させた第２シミュレーション画像を、前記ディスプレイに表示すること、
をさらに含む、請求項１から１２のいずれか１項に記載の表示方法。
カメラと、
ディスプレイと、
少なくとも一つの処理部と、を含み、
前記少なくとも一つの処理部は、
面を含む対象領域と、前記ディスプレイと、を有する現実空間における前記対象領域を示す対象画像を、前記カメラを用いて取得することと、
前記面の前記現実空間における位置に対応する第１位置に位置し、前記面に対応する仮想面と、仮想プロジェクターと、を有する仮想空間において、前記仮想プロジェクターから前記仮想面に投写される画像を、前記現実空間における前記ディスプレイの位置に対応する第２位置から見た画像である第１表示画像を前記ディスプレイに表示する場合に、前記ディスプレイの位置に関わらず、前記ディスプレイに収まる大きさの前記第１表示画像を前記対象画像に重畳させた第１シミュレーション画像を、前記ディスプレイに表示させることと、
を実行する、表示システム。