JP2020135518A - 投影装置およびその制御方法 - Google Patents

Abstract

【課題】対象画像のレイアウトが変更された場合に対象画像とオブジェクト画像の関係をユーザの意図した関係に保つことができる技術を提供する。【解決手段】本発明の投影装置は、対象画像が配置された投影用画像を投影面に投影する投影手段と、前記投影用画像における前記対象画像のレイアウトを変更する変更手段と、前記投影面に対するユーザ操作を検出する検出手段と、前記検出手段によって検出された前記ユーザ操作に応じたオブジェクト画像を、前記投影用画像に重ねる重畳手段と、を備え、前記変更手段により前記対象画像の前記レイアウトが変更された場合に、前記重畳手段は、前記対象画像の前記レイアウトの変更に応じて前記投影用画像における前記オブジェクト画像のレイアウトが変更されるように、前記オブジェクト画像を前記投影用画像に重ねることを特徴とする。【選択図】図４

Description

本発明は、投影装置およびその制御方法に関する。

投影面に投影された対象画像を含む画像（投影画像）に対するユーザ操作に応じてオブジェクト画像を生成し、オブジェクト画像を投影画像に重ねて表示するインタラクティブプロジェクタなどと呼ばれる投影装置（プロジェクタ）がある。オブジェクト画像は、例えば、ユーザが投影面上をペン、指、等で操作することによって描画される文字や図形を含む画像である。これによりユーザは、投影面に投影された画像に文字や図形を描くような感覚を得ることが可能となる。

また、投影装置は投影画像における対象画像のレイアウト（位置、サイズ、形状、等）を変更することができる。例えば、投影画像の全体を対象画像が占める状態から、投影画像の左半分の領域に対象画像が表示される状態にレイアウトを変更することが可能である。

特許文献１には、投影画像の大きさを光学的に変化させた場合に、投影画像に加えるテキストデータの文字サイズが変わらないように制御する技術（投影装置）が開示されている。

特開２０１７−２２７８００号公報

投影画像における対象画像のレイアウトが変更された場合、オブジェクト画像と対象画像との関係（位置、サイズ、形状、等の関係）が、ずれてしまう場合がある。具体的には、投影画像の全体を対象画像が占める状態で表示された投影画像に対して、ユーザが対象画像のある対象部分に対して書き込み（オブジェクト画像の追加）を行ったとする。このような場合に、対象画像のレイアウトが変更されると、オブジェクト画像の位置が対象画像の対象部分の位置とずれてしまう。

特許文献１に記載の投影装置は、投影画像の大きさが変わった場合において、重ねられるテキストデータの文字サイズを変えないように制御を行う。このような技術を用いた場合、投影画像における対象画像のレイアウト（大きさ）が変わったとしても、オブジェクト画像の大きさは変わらない。したがって、上述したように、レイアウト変更後の対象画像とオブジェクト画像との関係はずれてしまう。

本発明は、対象画像のレイアウトが変更された場合に対象画像とオブジェクト画像の関係をユーザの意図した関係に保つことができる技術を提供することを目的とする。

本発明の第１の態様は、
対象画像が配置された投影用画像を投影面に投影する投影手段と、
前記投影用画像における前記対象画像のレイアウトを変更する変更手段と、
前記投影面に対するユーザ操作を検出する検出手段と、
前記検出手段によって検出された前記ユーザ操作に応じたオブジェクト画像を、前記投影用画像に重ねる重畳手段と、
を備え、
前記変更手段により前記対象画像の前記レイアウトが変更された場合に、前記重畳手段は、前記対象画像の前記レイアウトの変更に応じて前記投影用画像における前記オブジェクト画像のレイアウトが変更されるように、前記オブジェクト画像を前記投影用画像に重ねる
ことを特徴とする投影装置である。

本発明の第２の態様は、
対象画像が配置された投影用画像を投影面に投影する投影ステップと、
前記投影用画像における前記対象画像のレイアウトを変更する変更ステップと、
前記投影面に対するユーザ操作を検出する検出ステップと、
前記検出ステップにおいて検出された前記ユーザ操作に応じたオブジェクト画像を、前記投影用画像に重ねる重畳ステップと、
を有し、
前記変更ステップにおいて前記対象画像の前記レイアウトが変更された場合に、前記重畳ステップでは、前記対象画像の前記レイアウトの変更に応じて前記投影用画像における前記オブジェクト画像のレイアウトが変更されるように、前記オブジェクト画像を前記投影用画像に重ねる
ことを特徴とする投影装置の制御方法である。

本発明の第３の態様は、コンピュータを、上述した投影装置の各手段として機能させるためのプログラムである。本発明の第４の態様は、コンピュータを、上述した投影装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。

本発明によれば、対象画像のレイアウトが変更された場合に対象画像とオブジェクト画像の関係をユーザの意図した関係に保つことができる。

本実施形態に係る投影システムの構成例を示す模式図である。 本実施形態に係るプロジェクタの構成例を示すブロック図である。 本実施形態に係る処理部の構成例を示すブロック図である。 本実施形態に係る処理フロー例を示すフローチャートである。 本実施形態に係る２画面投影の一例を示す模式図である。 本実施形態に係る入力画像のレイアウトの一例を示す模式図である。 本実施形態に係る重畳処理の一例を示す模式図である。

以下、本発明の実施形態について説明する。

＜投影システムの構成＞
図１は、本実施形態に係る投影システムの構成例を示す模式図である。図１に示すように、本実施形態に係る投影システムは、プロジェクタ１００（投影装置）、スクリーンボード５００（投影面）、及び、操作デバイス６００（指示装置）を有する。プロジェクタ１００は、投影用画像３００をスクリーンボード５００に投影できる。投影用画像３００は、画面が配置される画面領域４００を有する。図１に示すように、投影用画像３００は、画面が配置されない非画面領域７００を有することもある。画面には対象画像（投影対
象の画像）が配置される。プロジェクタ１００は、投影用画像３００における画面領域４００、対象画像、等のレイアウト（位置、サイズ、形状、等）を変更できる。ユーザ２００は、操作デバイス６００を用いて、スクリーンボード５００に対するユーザ操作を行うことができる。プロジェクタ１００は、スクリーンボード５００に対するユーザ操作に応じたオブジェクト画像を投影用画像３００に重ねてスクリーンボード５００に投影する。例えば、プロジェクタ１００は、スクリーンボード５００上に文字や図形を描くような感覚をユーザ２００が得られるように、オブジェクト画像を投影する。

なお、図１ではプロジェクタ１００がスクリーンボード５００の上部に設置されているが、プロジェクタ１００とスクリーンボード５００の位置関係は特に限定されない。本実施形態では画面の全体に亘って対象画像が配置される例を説明するが、画面の一部に対象画像が配置されてもよい。本実施形態ではプロジェクタ１００に入力された画像（入力画像）を対象画像として使用する例を説明するが、プロジェクタ１００に格納された画像、プロジェクタ１００によって生成された画像、等が対象画像として使用されてもよい。対象画像は、静止画であってもよいし、動画であってもよい。対象画像は、例えば、撮影画像、ＣＧ（コンピュータグラフィック）画像、プレゼンテーション用の画像、ミーティング用の画像、ホワイトボードを模した画像、等である。

＜プロジェクタの構成＞
図２は、プロジェクタ１００の構成例を示すブロック図である。

制御部１０１は、プロジェクタ１００の全体を制御する。例えば、制御部１０１は、マイクロコンピュータなどである。ＲＯＭ１０２は不揮発性メモリであり、ＲＯＭ１０２には、制御部１０１が動作するためのプログラムコード、データ、等が予め格納される。プロジェクタ１００が動作するために必要なデータがＲＯＭ１０２に新たに格納されたり、ＲＯＭ１０２に格納されたデータが更新されたりもする。ＲＡＭ１０３は、揮発性メモリであり、制御部１０１が動作するためのワークメモリとして使用される。

検出部１０４は、スクリーンボード５００に対するユーザ操作を検出し、検出結果を処理部１０７（後述するオブジェクト部１１１）に出力する。本実施形態では、操作デバイス６００は、所定の波長を有する不可視光（赤外光、紫外光、等）を発することができる。ユーザ２００は、スクリーンボード５００に対するユーザ操作として、操作デバイス６００からスクリーンボード５００に不可視光を照射するユーザ操作を行う。検出部１０４は、操作デバイス６００から発せられてスクリーンボード５００で反射した不可視光を検出する。そして、検出部１０４は、不可視光を検出した位置（スクリーンボード５００に対するユーザ操作で指定された位置）の座標を、処理部１０７（後述するオブジェクト部１１１）に通知する。ここで、検出部１０４が不可視光を検出する際の座標系（例えば実空間の座標系）が、処理部１０７が画像処理を行う際の座標系（例えば画像（画像データ）の座標系）と異なることがある。その場合には、検出部１０４は、不可視光を検出した位置の座標を、処理部１０７が画像処理を行う際の座標系で出力するために、座標変換を行う。

なお、スクリーンボード５００に対するユーザ操作は、上述したユーザ操作に限られない。スクリーンボード５００に対するユーザ操作の検出方法も、上述した方法に限られない。例えば、操作デバイス６００は所定の波長を有する可視光を発してもよく、検出部１０４は所定の波長を有する可視光を検出してもよい。スクリーンボード５００に対するユーザ操作は、指、ペン、操作デバイス６００、等をスクリーンボード５００に接触させたり、指、ペン、操作デバイス６００、等とスクリーンボード５００との距離を閾値以下にしたりするユーザ操作であってもよい。そして、検出部１０４は、スクリーンボード５００を撮像した画像に基づいて、スクリーンボード５００に対するユーザ操作を検出しても
よい。例えば、検出部１０４は、スクリーンボード５００を撮像した画像から操作デバイス６００を検出し、操作デバイス６００を検出した位置の座標を出力してもよい。スクリーンボード５００を撮像する撮像部は、プロジェクタ１００に設けられてもよいし、プロジェクタ１００とは異なる装置（例えば撮像装置）に設けられてもよい。

操作部１０５は、プロジェクタ１００に対するユーザ操作を受け付ける。例えば、操作部１０５は、プロジェクタ１００の筺体に設けられたスイッチ、ボタン、等である。操作部１０５は、プロジェクタ１００のリモートコントローラなどから発せられた信号を受信する受信部であってもよい。プロジェクタ１００に対するユーザ操作が行われると、操作部１０５は、行われたユーザ操作に応じた制御信号を制御部１０１に出力する。

接続部１０６は、パーソナルコンピュータ、タブレット端末、スマートフォン、デジタルカメラ、等の外部機器にプロジェクタ１００を接続する。接続部１０６は、外部機器との無線接続のための通信部であってもよいし、外部機器との有線接続のための接続端子であってもよい。接続部１０６は、プロジェクタ１００に接続された外部機器から画像データ（入力画像；対象画像）を取得し、取得した画像データを処理部１０７（後述するレイアウト部１１０）に出力する。接続部１０６は、制御部１０１からの指示に従って、プロジェクタ１００に接続された複数の外部機器の少なくともいずれかを選択して、選択した外部機器から画像データを取得することができる。接続部１０６は、制御部１０１からの指示に従って、外部機器に格納された複数の画像データの少なくともいずれかを選択して取得することもできる。ここで、外部機器から接続部１０６に出力される画像データのデータフォーマットが、処理部１０７で処理可能なデータフォーマットと異なることがある。その場合には、接続部１０６は、取得した画像データを、処理部１０７で処理可能なデータフォーマットで出力するために、フォーマット変換を行う。画像データは、例えば、所定のフレームレートで取得されて処理される。１フレームの画像データ（画像信号）には、各画素の階調値を示す階調信号と、対応するフレームのタイミングを示す同期信号とが含まれる。

処理部１０７は、制御部１０１からの指示に従って各種画像処理を行い、入力画像が配置された投影用画像３００（画像データ）を生成する。そして、処理部１０７は、投影用画像３００（画像データ）を投影部１０８に出力する。処理部１０７は、画像処理として、階調変換処理（ゲイン処理、オフセット処理、ガンマ処理、等）、フレーム間引き処理、フレーム補間処理、解像度変換処理、画像合成処理、等を実行できる。処理部１０７は、画像処理として、幾何学補正処理（キーストン補正処理；曲面補正処理）、パネル補正処理、レイアウト処理、重畳処理、オブジェクト生成処理、等も実行できる。

投影部１０８は、処理部１０７から出力された画像データに基づいて、投影用画像３００をスクリーンボード５００に投影する。例えば、投影部１０８は、投影制御部と投影処理部を有する。投影制御部は、投影用画像３００の投影が行われるように、処理部１０７から出力された画像データに基づく制御信号で投影処理部を制御する。投影処理部は、投影制御部から出力された制御信号に基づいて投影を行う。具体的には、投影処理部は、液晶パネル、レンズ、及び、光源を備える。投影処理部は、１枚の液晶パネルを備えてもよいし、複数枚の液晶パネル（例えば３枚の液晶パネル）を備えてもよい。投影制御部から出力された制御信号に基づいて液晶パネルの透過率（透過率分布）が制御される。光源から発せられた光が液晶パネルを透過することで、投影用画像３００に対応する光学像が液晶パネルからスクリーンボード５００に発せられる。つまり、投影用画像３００がスクリーンボード５００に投影される。さらに、投影制御部は、光源の光量などを調整パラメータ（調光率など）で調整することにより、投影用画像３００の輝度を調整できる。調整パラメータは、プロジェクタ１００（操作部１０５）に対するユーザ操作に応じて、制御部１０１により設定（決定）されてもよいし、そうでなくてもよい。例えば、調整パラメー
タは、プロジェクタ１００の使用環境（プロジェクタ１００の周囲の明るさなど）に応じて、制御部１０１により自動で設定されてもよい。

内部バス１０９は、上述した複数の機能部を互いに通信可能に接続する。内部バス１０９は、複数の機能部が各種データ、各種制御情報、等を互いに送受信するための伝送路として機能する。

＜操作デバイスの構成＞
図２には、操作デバイス６００の構成例も模式的に示されている。操作デバイス６００は、ペン型の操作デバイスであり、スクリーンボード５００上の任意の位置を指し示すために用いられる。ＯＮ／ＯＦＦボタン６０１は、操作デバイス６００からの不可視光の出力のＯＮ／ＯＦＦを切り替えるためのボタンである。発光部６０２は、ＯＮ／ＯＦＦボタン６０１に対するユーザ操作に応じて不可視光を発する。例えば、発光部６０２が不可視光を発していない状態でＯＮ／ＯＦＦボタン６０１が押下されると、発光部６０２は不可視光を発する。そして、発光部６０２が不可視光を発している状態でＯＮ／ＯＦＦボタン６０１が押下されると、発光部６０２は不可視光の出力を停止する。ＯＮ／ＯＦＦボタン６０１が押下されている間だけ発光部６０２が不可視光を発し、ＯＮ／ＯＦＦボタン６０１の押下の解除に応じて発光部６０２が不可視光の出力を停止してもよい。なお、上述したように、スクリーンボード５００に対するユーザ操作は、操作デバイス６００を用いたユーザ操作に限られない。例えば、スクリーンボード５００に対するユーザ操作は、スクリーンボード５００上の任意の位置を指で指し示すユーザ操作であってもよい。

＜処理部の構成＞
図３は、処理部１０７の構成例を示すブロック図である。図３に示すように、処理部１０７は、レイアウト処理を行うレイアウト部１１０、オブジェクト生成処理を行うオブジェクト部１１１、及び、重畳処理を行う重畳部１１２を備える。なお、処理部１０７は、他の画像処理を行う機能部をさらに備えてもよい。

レイアウト部１１０は、接続部１０６から出力された画像データ（入力画像；対象画像）に基づいて、入力画像が配置された投影用画像３００（画像データ）を生成する。そして、レイアウト部１１０は、投影用画像３００（画像データ）を重畳部１１２に出力する。さらに、レイアウト部１１０は、投影用画像３００における入力画像のレイアウトを変更できる。例えば、入力画像のレイアウトは、プロジェクタ１００（操作部１０５）に対するユーザ操作に応じて変更されてもよいし、そうでなくてもよい。例えば、入力画像のレイアウトは、プロジェクタ１００に接続された外部機器の種類、数、等の変化に応じて自動で変更されてもよい。

図６（Ａ）〜６（Ｆ）は、入力画像のレイアウトの一例を示す模式図である。図６（Ａ）では、投影用画像３００の一部に入力画像が配置されている。このため、投影用画像３００の一部が入力画像の画面領域４００となっており、投影用画像３００の他の部分が非画面領域７００となっている。図６（Ｂ）は、図６（Ａ）の状態から入力画像を拡大した状態を示す。図６（Ｂ）では、投影用画像３００の全体に入力画像が配置されている。このため、投影用画像３００の全体が画面領域４００となっており、非画面領域７００は存在しない。図６（Ｃ），６（Ｄ）は、図６（Ａ）の状態から入力画像のアスペクト比を変更した状態を示す。具体的には、図６（Ｃ）は、図６（Ａ）の状態から入力画像を垂直方向（縦方向）に拡大した状態を示し、図６（Ｄ）は、図６（Ａ）の状態から入力画像を水平方向（横方向）に拡大した状態を示す。レイアウト処理では、入力画像の拡大だけでなく、入力画像の縮小も実行できる。図６（Ｅ）は、図６（Ａ）の状態から入力画像を水平方向に縮小した状態を示す。図６（Ａ）〜６（Ｅ）は、いずれも、入力画像（対象画像）が配置された１つの画面を投影する１画面投影（１画面表示）の例を示す。図６（Ｆ）は
、いずれかに入力画像（対象画像）が配置された２つの画面を投影する２画面投影（２画面表示；マルチ画面投影）の例を示す。マルチ画面投影では、複数の画面、複数の画像、等が並べて投影される。図６（Ｆ）では、投影用画像３００に２つの画面領域４０１，４０２が配置されている。図６（Ａ）の１画面投影から図６（Ｆ）の２画面投影に切り替えられると、図６（Ａ）の画面領域４００の位置とサイズが変更され、図６（Ａ）の画面領域４００は図６（Ｆ）の画面領域４０１または画面領域４０２となる。レイアウト処理では、１画面投影とマルチ画面投影の両方において、入力画像の画面領域４００の位置、サイズ、形状（アスペクト比）、等を変更できる。レイアウト処理では、マルチ画面投影において、複数の画面のレイアウトを変更できる。

なお、図６（Ｆ）では非画面領域７００が存在するが、非画面領域７００が存在しないように画面領域４０１，４０２が配置されてもよい。マルチ画面投影における画面の数は２つより多くてもよい。レイアウト処理における複数の画面のレイアウトは個別に変更できてもよいし、そうでなくてもよい。例えば、複数の画面のいずれかのレイアウトの変更に応じて、他の画面のレイアウトが自動で変更されてもよい。

オブジェクト部１１１は、スクリーンボード５００に対するユーザ操作に応じてオブジェクト画像（画像データ）を生成し、オブジェクト画像（画像データ）を重畳部１１２に出力する。本実施形態では、オブジェクト部１１１は、スクリーンボード５００における、ユーザ操作（スクリーンボード５００に対するユーザ操作）で指定された位置にオブジェクト画像が投影されるように、オブジェクト画像を生成する。具体的には、オブジェクト部１１１は、検出部１０４から通知された座標に対する描画を行って、オブジェクト画像を生成する。スクリーンボード５００に対するユーザ操作で指定された位置の移動があった場合には、指定された位置の軌跡をなぞるように描画が行われる。このようなオブジェクト画像が投影されることにより、ユーザ２００は、スクリーンボード５００上に文字や図形を描くような感覚を得ることができる。

重畳部１１２は、入力画像（対象画像）が配置された投影用画像３００にオブジェクト画像が重ねられるように、レイアウト部１１０から出力された画像データに、オブジェクト部１１１から出力された画像データを合成する。これにより、入力画像が配置され且つオブジェクト画像が配置されていない投影用画像３００が、入力画像とオブジェクト画像が配置された投影用画像３００に更新される。そして、重畳部１１２は、更新後の投影用画像３００（合成により得られた画像データ）を、投影部１０８に出力する。

図７（Ａ），７（Ｂ）は、重畳部１１２の重畳処理の一例を示す模式図である。図７（Ａ）は、１画面投影の投影用画像３００（図１および図６（Ａ））にオブジェクト画像８００が重ねられる様子を示す。図７（Ａ）では、重畳処理により、画面領域４００（入力画像）の中心にオブジェクト画像８００が配置された投影用画像３００が得られている。図７（Ｂ）は、２画面投影の投影用画像３００（図６（Ｆ））にオブジェクト画像８００が重ねられる様子を示す。図７（Ｂ）では、重畳処理により、画面領域４０１の中心にオブジェクト画像８００が配置された投影用画像３００が得られている。

＜プロジェクタの処理フロー＞
図４は、プロジェクタ１００の処理フロー例を示すフローチャートである。電源ケーブルを介してプロジェクタ１００にＡＣ電力が供給されると、プロジェクタ１００の制御部１０１に電力が供給され、制御部１０１が起動して待機状態となる。そして、ユーザからの起動指示があったことを制御部１０１が検出すると、図４の処理フローが開始される。例えば、プロジェクタ１００に設けられた電源スイッチ（操作部１０５）の押下に応じて電源スイッチから出力された信号を制御部１０１が受信すると、図４の処理フローが開始される。プロジェクタ１００のリモートコントローラに設けられた電源ボタンの押下に応
じてリモートコントローラから出力された信号を、受信部（操作部１０５）を介して、制御部１０１が受信することで、図４の処理フローが開始されてもよい。プロジェクタ１００に接続された外部機器（制御装置）から出力された制御コマンドを、接続部１０６を介して、制御部１０１が受信することで、図４の処理フローが開始されてもよい。

ステップＳ１００にて、制御部１０１は、プロジェクタ１００の各機能部の起動処理を行う。具体的には、制御部１０１は、各機能部に電力を供給するように制御を行い、各機能部が動作可能になるように設定を行う。そして、制御部１０１は、投影部１０８の光源が点灯し、プロジェクタ１００の内部を冷却する冷却ファンが駆動されるように制御を行う。これにより、接続部１０６によって取得された入力画像（具体的には、入力画像が配置され且つオブジェクト画像８００が配置されていない投影用画像３００）の投影が開始される。

ステップＳ１０１にて、制御部１０１は、検出部１０４に対する問い合わせを行い、スクリーンボード５００に対するユーザ操作（描画操作）が検出されたか否かを判断する。描画操作が検出された場合はステップＳ１０２に処理が進められ、描画操作が検出されなかった場合はステップＳ１０３に処理が進められる。描画操作が検出された場合は、オブジェクト部１１１でオブジェクト画像８００が生成される。

ステップＳ１０２にて、制御部１０１は、重畳部１１２に対して、重畳処理を行うように指示する。これにより、重畳部１１２が重畳処理を行い、入力画像が配置され且つオブジェクト画像８００が配置されていない投影用画像３００が、入力画像とオブジェクト画像８００が配置された投影用画像３００に更新される。

ステップＳ１０３にて、制御部１０１は、操作部１０５に対する問い合わせを行い、投影用画像３００における入力画像のレイアウトを変更するためのユーザ操作（レイアウト変更操作）が検出されたか否かを判断する。レイアウト変更操作が検出された場合はステップＳ１０４に処理が進められ、レイアウト変更操作が検出されなかった場合はステップＳ１０８に処理が進められる。

ステップＳ１０４にて、制御部１０１は、重畳部１１２に対する問い合わせを行い、重畳処理が行われているか否かを判断する。重畳処理が行われている場合はステップＳ１０５に処理が進められ、重畳処理が実施されていない場合はステップＳ１０６に処理が進められる。

ステップＳ１０５とステップＳ１０６のそれぞれにて、制御部１０１は、レイアウト部１１０に対して、投影用画像３００における入力画像のレイアウトを変更するように指示する。これにより、レイアウト部１１０がレイアウト処理（レイアウト変更処理）を行い、入力画像のレイアウトが変更される。ここで、図１，６（Ａ）の１画面投影が行われている状態で、２画面投影ボタン（操作部１０５）をユーザが押下したとする。制御部１０１は、２画面投影ボタンの押下に応じて操作部１０５から出力された信号を受信すると、レイアウト部１１０に対して、２画面投影への切り替えを指示する。そして、レイアウト部１１０は、図５（図６（Ｆ））の２画面投影が行われるように、入力画像のレイアウトなどを変更する。

なお、１画面投影からマルチ画面投影への切り替えとは異なる処理によって、入力画像（対象画像）のレイアウトが変更されてもよい。例えば、マルチ画面投影から１画面投影への切り替えによって、入力画像のレイアウトが変更されてもよい。つまり、１画面投影とマルチ画面投影の一方から他方への切り替えによって、入力画像のレイアウトが変更されてもよい。投影用画像３００における入力画像の位置、サイズ、及び、アスペクト比の
少なくともいずれかの変更、マルチ画面投影における複数の画面のレイアウトの変更、等により、入力画像のレイアウトが変更されてもよい。

ここで、入力画像のレイアウトが変更される前の投影用画像３００における入力画像とオブジェクト画像８００の関係（位置、サイズ、形状、等の関係）は、ユーザが意図した関係である。そして、オブジェクト画像８００のレイアウトを変更せずに入力画像のレイアウトを変更すると、投影用画像３００における入力画像とオブジェクト画像８００の関係も変更される。つまり、入力画像のレイアウトを変更すると、入力画像とオブジェクト画像８００の関係がユーザの意図した関係からずれてしまう。そこで、本実施形態では、ステップＳ１０７の処理を行う。

ステップＳ１０７にて、制御部１０１は、オブジェクト部１１１に対して、投影用画像３００における入力画像のレイアウトの変更に応じて投影用画像３００におけるオブジェクト画像８００のレイアウトを変更するように指示する。これにより、オブジェクト部１１１は、入力画像のレイアウトの変更に応じてオブジェクト画像８００のレイアウトが変更されるように、オブジェクト画像８００を更新する（オブジェクト更新処理）。なお、制御部１０１は、重畳部１１２に対して、オブジェクト画像８００のレイアウトを変更するように指示してもよい。そして、重畳部１１２が、オブジェクト画像８００のレイアウトが変更されるように、オブジェクト画像８００を処理して投影用画像３００に重ねてもよい。

本実施形態では、対象画像のレイアウトの変化にオブジェクト画像８００のレイアウトの変化が一致するように、オブジェクト画像８００のレイアウトが変更される。ここで、画面領域４００（入力画像）の中心にオブジェクト画像８００が配置された図７（Ａ）の１画面投影から、２画面投影への切り替えが行われた場合を考える。画面領域４００は、左に動かされて縮小されることで、画面領域４０１になるとする。ステップＳ１０７の処理が行われない場合には、オブジェクト画像８００のレイアウトは図７（Ａ）のレイアウトから変わらず、図７（Ｃ）に示すように、画面領域４０１（入力画像）の中心からずれた位置に大きなサイズで投影されることになる。本実施形態では、ステップＳ１０７の処理により、オブジェクト画像８００が、画面領域４００と同じ移動量で左に動かされ、画面領域４００と同じ縮小率で縮小される。その結果、図７（Ｂ）に示すように、入力画像とオブジェクト画像８００の関係（位置、サイズ、形状、等の関係）を図７（Ａ）から変えることなく、画面領域４０１（入力画像）の中心にオブジェクト画像８００を投影できる。つまり、入力画像とオブジェクト画像８００の関係をユーザの意図した関係に保つことができる。

なお、入力画像のアスペクト比が変更された場合には、入力画像のアスペクト比の変更と同様に、オブジェクト画像８００のアスペクト比も変更される。例えば、入力画像が垂直方向に拡大された場合には、入力画像の拡大率（垂直方向の拡大率）と同じ拡大率で、オブジェクト画像８００が拡大される。入力画像が水平方向に縮小された場合には、入力画像の縮小率（水平方向の拡大率）と同じ縮小率で、オブジェクト画像８００が縮小される。

なお、オブジェクト画像８００のレイアウトの変更方法は、上記方法に限られない。例えば、対象画像のレイアウトの変化にオブジェクト画像８００のレイアウトの変化が一致しなくてもよい。対象画像のレイアウトの変化とオブジェクト画像８００のレイアウトの変化との差が閾値以下となるように、オブジェクト画像８００のレイアウトが変更されてもよい。閾値は、対象画像のレイアウトの変化にオブジェクト画像８００のレイアウトの変化が類似していればよい。

ステップＳ１０８にて、制御部１０１は、操作部１０５に対する問い合わせを行い、図４の処理フローを終了するためのユーザ操作（終了操作）が検出されたか否かを判断する。終了操作が検出された場合は、制御部１０１は、プロジェクタ１００の各機能部の終了処理を行う。具体的には、制御部１０１は、プロジェクタ１００各機能部への電力供給を停止するように制御を行う。これにより、制御部１０１は待機状態に戻り、図４の処理フローは終了される。終了操作が検出されなかった場合は、ステップＳ１０１に処理が戻される。

以上述べたように、本実施形態によれば、投影用画像における対象画像のレイアウトが変更された場合に、対象画像のレイアウトの変更に応じて投影用画像におけるオブジェクト画像のレイアウトが変更される。これにより、対象画像のレイアウトが変更された場合に対象画像とオブジェクト画像の関係をユーザの意図した関係に保つことができる。

なお、本実施形態（図２）の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

なお、本実施形態（上述した変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で本実施形態の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：プロジェクタ １０１：制御部 １０４：検出部 １０８：投影部
１１０：レイアウト部 １１１：オブジェクト部 １１２：重畳部

Claims (15)

1. 対象画像が配置された投影用画像を投影面に投影する投影手段と、
   前記投影用画像における前記対象画像のレイアウトを変更する変更手段と、
   前記投影面に対するユーザ操作を検出する検出手段と、
   前記検出手段によって検出された前記ユーザ操作に応じたオブジェクト画像を、前記投影用画像に重ねる重畳手段と、
   を備え、
   前記変更手段により前記対象画像の前記レイアウトが変更された場合に、前記重畳手段は、前記対象画像の前記レイアウトの変更に応じて前記投影用画像における前記オブジェクト画像のレイアウトが変更されるように、前記オブジェクト画像を前記投影用画像に重ねる
   ことを特徴とする投影装置。
2. 前記変更手段により前記対象画像の前記レイアウトが変更された場合に、前記重畳手段は、前記対象画像の前記レイアウトの変化と前記オブジェクト画像の前記レイアウトの変化との差が閾値以下となるように、前記オブジェクト画像の前記レイアウトを変更する
   ことを特徴とする請求項１に記載の投影装置。
3. 前記変更手段により前記対象画像の前記レイアウトが変更された場合に、前記重畳手段は、前記対象画像の前記レイアウトの変化に前記オブジェクト画像の前記レイアウトの変化が一致するように、前記オブジェクト画像の前記レイアウトを変更する
   ことを特徴とする請求項１に記載の投影装置。
4. 前記変更手段は、
   前記投影用画像における前記対象画像の位置、サイズ、及び、アスペクト比の少なくともいずれかの変更、
   前記対象画像が配置された１つの画面を投影する１画面投影と、いずれかに前記対象画像が配置された複数の画面を投影するマルチ画面投影との一方から他方への切り替え、または、
   前記マルチ画面投影における前記複数の画面のレイアウトの変更により、
   前記対象画像の前記レイアウトを変更する
   ことを特徴とする請求項１〜３のいずれか１項に記載の投影装置。
5. 前記ユーザ操作は、所定の波長を有する光を前記投影面に照射するユーザ操作であり、
   前記検出手段は、前記所定の波長を有する光を検出する
   ことを特徴とする請求項１〜４のいずれか１項に記載の投影装置。
6. 前記所定の波長を有する光は不可視光である
   ことを特徴とする請求項５に記載の投影装置。
7. 前記所定の波長を有する光は可視光である
   ことを特徴とする請求項５に記載の投影装置。
8. 前記検出手段は、前記投影面を撮像した画像に基づいて前記ユーザ操作を検出する
   ことを特徴とする請求項１〜４のいずれか１項に記載の投影装置。
9. 前記重畳手段は、前記ユーザ操作に応じて、前記投影面における、前記ユーザ操作で指定された位置に前記オブジェクト画像が投影されるように、前記オブジェクト画像を前記投影用画像に重ねる
   ことを特徴とする請求項１〜８のいずれか１項に記載の投影装置。
10. 前記重畳手段は、前記ユーザ操作に応じて前記オブジェクト画像を生成し、前記オブジェクト画像を前記投影用画像に重ねる
    ことを特徴とする請求項１〜９のいずれか１項に記載の投影装置。
11. 前記対象画像は静止画である
    ことを特徴とする請求項１〜１０のいずれか１項に記載の投影装置。
12. 前記対象画像は動画である
    ことを特徴とする請求項１〜１０のいずれか１項に記載の投影装置。
13. 対象画像が配置された投影用画像を投影面に投影する投影ステップと、
    前記投影用画像における前記対象画像のレイアウトを変更する変更ステップと、
    前記投影面に対するユーザ操作を検出する検出ステップと、
    前記検出ステップにおいて検出された前記ユーザ操作に応じたオブジェクト画像を、前記投影用画像に重ねる重畳ステップと、
    を有し、
    前記変更ステップにおいて前記対象画像の前記レイアウトが変更された場合に、前記重畳ステップでは、前記対象画像の前記レイアウトの変更に応じて前記投影用画像における前記オブジェクト画像のレイアウトが変更されるように、前記オブジェクト画像を前記投影用画像に重ねる
    ことを特徴とする投影装置の制御方法。
14. コンピュータを、請求項１〜１２のいずれか１項に記載の投影装置の各手段として機能させるためのプログラム。
15. コンピュータを、請求項１〜１２のいずれか１項に記載の投影装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images