JP2018101308A - 画像投影装置、画像投影方法及びプログラム - Google Patents

Abstract

【課題】携帯型投影装置によって投影される画像に含まれる複数の対象の中から一つの対象を選択する操作の操作性を向上させる画像投影装置、画像投影方法及びプログラムを提供する。【解決手段】携帯型投影装置１００は、自装置に与えられた回転に対する回転量を取得し、複数の対象１０１、１０２を、選択肢として提示する画像を投影手段に投影させる制御を行い、取得された回転量に応じて、順次、複数の対象のうち少なくとも１つの対象を選択状態とする。【選択図】図１

Description

本発明は、携帯型投影装置のユーザインタフェース技術に関する。

近年、現実世界のオブジェクト（物体）に関連する情報を直感的に表示する技術として、オブジェクト自身に情報を重畳して表示する拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、以下ＡＲ）技術が注目を集めている。一例として、画像等を投影する投影装置を用いて、物体に情報を重畳表示する携帯型の機器などが提案されている。

携帯型投影装置が物体に投影する投影画像や機器の設定などを制御するために、特許文献１では、装置の光軸を中心とする回転角度、あるいは上下左右前後への振りを検出することで、機器に入力された操作を認識する構成が開示されている。

特許第５２３９２０６号公報

携帯型投影装置において、複数の対象の中から一つの対象を選択して指示したいことがある。特許文献１は、選択肢を表す補助画像を含む投影画像を、携帯型投影装置の動きに応じて更新し、背景の画像に対してあたかも静止しているかのように表示するとともに、携帯型投影装置の動きに応じて動くように見えるカーソルを投影画像に重畳させる。これにより、カーソルを動かして選択肢を選び、さらに投影装置自体を振る動作によって選択を確定させることで、複数の対象の中から一つの対象を選択する指示を操作として認識することを開示している。

ユーザが携帯型投影装置を把持している場合、手ぶれが発生する。特許文献１では、選択肢を表す補助画像を含む投影画像を背景の画像に対してあたかも静止しているかのように表示する場合に手ぶれを吸収することができるが、装置の動きに追従して動くカーソルの動きから手ぶれの影響を消去することは難しい。選択肢が多い等の理由でカーソルを合わせるべき対象（ＧＵＩ部品等）が小さい場合ではカーソルのより細かい動きが必要となるため、正確な選択操作は難易度が高まる。

本発明は、携帯型投影装置によって投影される画像に含まれる複数の対象の中から一つの対象を選択する操作の操作性を向上させることを主な目的とする。

本発明に係る画像投影装置は以下の構成を備える。即ち、画像を投影出力する投影手段と、自装置に与えられた回転に対する回転量を取得する回転取得手段と、複数の対象を、選択肢として提示する画像を前記投影手段に投影させる制御を行う投影制御手段と、前記回転取得手段によって取得された回転量に応じて、順次、前記複数の対象のうち少なくとも１つの対象を選択状態とする選択手段。

本発明によれば、携帯型投影装置によって投影される画像に含まれる複数の対象の中から一つの対象を選択する操作の操作性を向上させることができる。

携帯型投影装置を用いて物体にＡＲ画像を投影する様子の一例を表す図。 携帯型投影装置の構成の一例を示すブロック図。 携帯型投影装置で実行される処理のフローチャート。 使用者が携帯型投影装置を回転させた場合に、ＡＲ生成部が生成したＡＲ画像を投影制御部が投影した際の挙動の一例を示す図。 携帯型投影装置で実行される処理のフローチャート。 メニュー生成部が生成するメニュー画像の一例を示す図。 携帯型投影装置を回転させた場合に、メニュー生成部が生成するメニュー画像の一例を示す図。 携帯型投影装置を回転させた場合に、メニュー生成部が生成するメニュー画像の一例を示す図。 携帯型投影装置で実行される処理のフローチャート。 携帯型投影装置で実行される処理のフローチャート。 携帯型投影装置の機能構成の一例を示すブロック図。 携帯型投影装置で実行される処理のフローチャート。 選択中のメニューに対してポインタを重畳して投影する携帯型投影装置の一例を示す図。 現在の選択状態を決定状態として、ＡＲ生成部が該決定状態に基づいてＡＲ画像を生成する携帯型投影装置の一例を示す図。 ＡＲ生成部が実行するＡＲ画像生成処理のフローチャート。 携帯型投影装置の機能構成の一例を示すブロック図。 携帯型投影装置で実行される処理のフローチャート。 メニュー画像内に一度に配置するアイテムの個数を制限する携帯型投影装置の一例を示す図。 携帯型投影装置と物体との距離を変化させる様子と、変化に伴って表示されるアイテムの個数が変化する様子の一例を示す図。 携帯型投影装置の機能構成の一例を示すブロック図。 物体指示部が指示対象となる物体を判別する方法と、判別結果に基づいて、メニュー生成部が生成するメニュー画像の一例を示す図。 携帯型投影装置が実行する投影処理のフローチャート。 携帯型投影装置が実行する投影処理のフローチャート。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（第１の実施の形態）
図１（ａ）〜（ｃ）は、第１の実施の形態に係る画像投影装置である携帯型投影装置１００の使用例を示す概略図である。携帯型投影装置１００は、使用者が手に保持したり体の一部に固定したりした状態で、投影対象の物体にＡＲ画像を投影出力できるような携帯型の投影装置である。図１（ａ）は、携帯型投影装置１００を用いて物体１０１にＡＲ画像１０３を投影する方法の一例を示す説明図である。

図１（ｂ）は、図１（ａ）において携帯型投影装置１００が物体１０１に関連付けられたＡＲ画像１０３を投影する様子をより詳細に図示している。携帯型投影装置１００は、搭載されたカメラによる撮像画像を解析して、投影対象の範囲に存在する物体１０１を識別し、識別した物体１０１に関連付けられたＡＲ情報を装置に備えつけられたストレージから読み出す。あるいは、装置が備えるネットワーク・インタフェースを介して接続されたサーバ装置から読み出す。携帯型投影装置は、読み出した情報からＡＲ画像１０３を生成して物体に投影する。なお、撮像画像から所定の物体の特徴を抽出し、抽出された特徴に関連付けられたＡＲ情報を取得して、透過型ディスプレイあるいは投影を利用してＡＲ情報を所定の物体に重畳するいわゆる拡張現実技術は、既存のものを利用すればよい。以降、ＡＲ情報を関連情報、ＡＲ情報取得を関連情報取得とも記載する。

本実施形態において、携帯型投影装置１００は、使用者が装置に対してメニュー呼出操作を行った時に、生成したメニュー画像をＡＲ画像１０３に重畳して（または、ＡＲ画像１０３の近傍に）投影する。ここでメニューとは、使用者が次に行おうとする動作の選択肢を表す表示アイテムである。使用者は、複数のメニューの中から少なくとも１つのメニューを選択する。図１（ｃ）は、後述するメニュー生成部５０２がアイテム３００、アイテム３０１およびアイテム３０２から生成したメニュー画像を、図１（ｂ）で投影したＡＲ画像１０３と共に投影する例を示している。本実施形態では、携帯型投影装置１００は、投影光の光軸を中心とする回転量を携帯型投影装置１００に与えることで、提示されている複数のメニューのうち少なくとも１つのメニューを選択する。続いて、決定操作を行うことにより、選択したメニューに対応する機能の実行を指示したり、選択したメニューに応じた設定値の入力や確定を行う。

図２（１）は、第１の実施の形態に係る携帯型投影装置１００のハードウェア構成の一例を示すブロック図である。携帯型投影装置１００は、プログラムを実行することにより各構成要素を制御するＣＰＵ４０１を備える。また、携帯型投影装置１００は、ワークスペースや一時メモリとしてのＲＡＭ４０２と、携帯型投影装置１００の機能を実現するプログラムや初期値等を格納するＲＯＭ４０３と、永続的に保存されるデータを格納するストレージ４０４を備える。また、携帯型投影装置１００は、入力装置４０５と、出力装置４０６と、ネットワーク・インタフェース４０７をさらに備える。携帯型投影装置１００内の各構成要素は、システムバス４００を介して互いに通信可能に接続されて信号の送受信を行う。

入力装置４０５は、一例として切替スイッチ、携帯型投影装置１００の位置や姿勢、方位を取得するＧＰＳやＢｌｕｅｔｏｏｔｈ（登録商標）、ＩＭＵ、地磁気センサ、投影方向の物体や投影面を検出するカメラであり、これらを組み合わせたものであってもよい。出力装置は、本実施形態では、一例として映像を投影するプロジェクタや音声を出力するスピーカーであり、これらを組み合わせたものであってもよい。ネットワーク・インタフェースは、一例としてネットワークを介して携帯型投影装置１００以外の装置及び／又は記憶媒体との間でデータなどの授受を行う。

図２（ｂ）は、第１の実施の形態に係る携帯型投影装置１００の機能構成の一例を示すブロック図である。携帯型投影装置１００は、携帯型投影装置１００の姿勢及び／又は位置を検出する姿勢検出部５００と、投影対象の物体に対して投影するＡＲ画像を生成するＡＲ生成部５０１と、アイテムから画像を生成するメニュー生成部５０２とを備える。また、携帯型投影装置１００は、ＡＲ生成部５０１が生成した画像と、メニュー生成部５０２が生成した画像に基づいて投影画像を生成する投影制御部５０３とを備える。また、携帯型投影装置１００は、アイテムの中から一乃至複数を選択するメニュー選択部５０４と、選択したアイテムの適用を決定するメニュー決定部５０５と、投影制御部５０３が生成した投影画像を投影する投影部５０６を備える。

以上の構成を有する携帯型投影装置１００の動作について、以降で詳細に説明を行う。

姿勢検出部５００は、携帯型投影装置１００の位置や姿勢、方位を取得するＧＰＳやＢｌｕｅｔｏｏｔｈ、ＩＭＵ、地磁気センサなどの入力装置４０５を用いて、携帯型投影装置１００の姿勢を検出する。このとき検出される姿勢は、一例として、携帯型投影装置１００の水平面に対する傾きを表す角度である。

ＡＲ生成部５０１は、投影対象の物体である物体を識別し、該識別した物体に対応付けられたＡＲ画像を生成する。物体を識別する方法は、一例として、投影方向の物体や投影面を検出するカメラなどの入力装置４０５を用いてもよい。また、一例として、カメラで撮影した画像からＡＲマーカーを検出することによって物体を識別してもよい。

図４は、使用者が携帯型投影装置１００を回転させた場合に、ＡＲ生成部５０１が生成したＡＲ画像７００を後述の投影制御部５０３が投影した際の挙動の一例を示している。ＡＲ生成部５０１は、一例として、姿勢検出部５００が検出した携帯型投影装置１００の水平面に対する傾きに基づいて、使用者からＡＲ画像７００が水平面に対して静止して見えるような画像を生成する。これによって、使用者が携帯型投影装置１００を回転させても、ＡＲ画像７００はあたかも物体に対して常に静止しているかのように投影される。

メニュー生成部５０２は、使用者によるメニュー呼出操作によって携帯型投影装置１００がメニュー呼出状態となった場合、一乃至複数のアイテムから構成されるメニュー画像を生成する。アイテムは、一例として、携帯型投影装置１００の機器の各々に対応する。また、アイテムは、一例として、携帯型投影装置１００の設定項目の各々に対応する。また、アイテムは、一例として、携帯型投影装置１００の設定項目として設定される設定値の各々に対応する。

図１（ｃ）、図６（ａ）および図６（ｂ）は、メニュー生成部５０２が生成するメニュー画像の例である。図１（ｃ）３においてメニュー生成部５０２は、アイテムを直線状に配置したメニュー画像を生成する。また、図６（ａ）においてメニュー生成部５０２は、アイテムを後述する方法で生成する投影画像の外周に円状に沿うように配置したメニュー画像を生成する。また、図６（ｂ）においてメニュー生成部５０２は、アイテムを任意の位置に配置したメニュー画像を生成する。

メニュー生成部５０２は、アイテムを配置してメニュー画像を生成する際に、後述するメニュー選択部５０４がＲＡＭ４０２に書き出した選択状態を読み出し、該読み出した選択状態に基づいて、アイテムの各々を配置する位置や傾きを決定する。

図７（ａ）、図７（ｂ）および図８は、携帯型投影装置１００を回転させた場合に、メニュー生成部５０２が生成するメニュー画像に基づいて、投影制御部５０３が後述するように生成した投影画像を物体に投影した様子の一例を示す説明図である。図７（ａ）及び図７（ｂ）において、メニュー生成部５０２は、姿勢検出部５００が検出した携帯型投影装置１００の水平面に対する傾きとＲＡＭ４０２から読み出した選択状態に基づいてメニュー画像を生成する。この際、メニュー生成部５０２は、投影されたメニュー画像を使用者が見た際に水平面に対して一定の角度を保つと共に、選択状態に対応したアイテムが投影面の中心付近に配置されるように各アイテムを配置したメニュー画像を生成する。図７（ａ）は、携帯型投影装置１００が時計回り方向へ回転した場合の例を示している。図７（ａ）は、後述のようにアイテム１２０１に代わってアイテム１２００が新たに選択状態になることに伴って、メニュー生成部５０２がアイテム１２００を新たに投影面の中心付近に配置したメニュー画像を生成する様子を示している。図７（ｂ）は、携帯型投影装置１００が反時計回り方向へ回転した場合の例を示している。図７（ｂ）は、後述のようにアイテム１２０１に代わってアイテム１２０２が新たに選択状態になることに伴って、メニュー生成部５０２がアイテム１２０２を新たに投影面の中心付近に配置したメニュー画像を生成する様子を示している。また、図８において、メニュー生成部５０２は、姿勢検出部５００が検出した携帯型投影装置１００の水平面に対する傾きとＲＡＭ４０２から読み出した選択状態に基づいてメニュー画像を生成する。この際、メニュー生成部５０２は、各アイテムの位置や傾きが、携帯型投影装置１００を回転させても投影面内で背景に対して常に静止しているように見えるように配置したメニュー画像を生成する。図８は、携帯型投影装置１００が時計回り方向へ回転した場合の例を示している。図８は、後述のようにアイテム１２０１に代わってアイテム１２０２が新たに選択状態になっても、メニュー生成部５０２は各アイテムを引き続き投影面内の同じ位置に配置する様子を示している。

また、メニュー生成部５０２は、ＲＡＭ４０２から読み出した選択状態に対応するアイテムの位置や傾き、大きさ、色、透明度などを変化させたり、選択状態に対応するアイテムの画像を異なる画像に置き換えたりしてよい。図７（ａ）、図７（ｂ）および図８は、ＲＡＭ４０２から読み出した選択状態が第１のアイテム１２０１に対応している場合の例を示しており、該アイテムの色を変化させることで、携帯型投影装置１００が選択しているメニューを使用者に対して表示する。この際、メニュー生成部５０２は、の例と同様に、物体に投影されたメニュー画像を使用者が見た際に、各アイテムの位置や傾きが、携帯型投影装置１００の回転に伴って投影面内で変化して見えるように配置したメニュー画像を生成してもよい。

また、メニュー生成部５０２は、メニュー画像を生成する際に、アイテムを配置していない部分を透明色乃至半透明色として扱う指示をメニュー画像に付与してもよい。

投影制御部５０３は、ＡＲ生成部５０１が生成した画像に基づいて投影画像を生成する。また、投影制御部５０３は、メニュー生成部５０２がメニュー画像を生成している場合、該ＡＲ画像と該メニュー画像を重畳することによって投影画像を生成する。投影制御部５０３は、一例として、ＡＲ生成部５０１が生成したＡＲ画像の上にメニュー生成部５０２が生成したメニュー画像を重畳して、一枚の投影画像を生成する。また、投影制御部５０３は、ＡＲ画像とメニュー画像を重畳する際に、画像の各々に画像処理を施した上で投影画像を作成してもよい。投影制御部５０３は、一例として、メニュー画像に画像内の一部乃至全部を透明色乃至半透明色として扱う指示が付与されている場合、当該の部分のＡＲ画像が可視状態乃至半可視状態になるように、ＡＲ画像の上にメニュー画像を重畳した投影画像を生成する。

メニュー選択部５０４は、携帯型投影装置１００がメニュー呼出状態の際に、姿勢検出部５００が検出した携帯型投影装置１００の姿勢に基づいて、メニュー生成部５０２が生成した画像に含まれる一乃至複数のアイテムからアイテムを選択する。なお、本実施の形態では一乃至複数のアイテムから一つのアイテムを選択する場合について述べるが、一つの代わりに複数のアイテムを選択する場合についても、当然に本実施形態の範囲に属する。メニュー選択部５０４は、一例として、現在の選択状態を携帯型投影装置１００のＲＡＭ４０２に書き込む。

メニュー決定部５０５は、携帯型投影装置１００がメニュー呼出状態の際に、メニュー選択部が選択したメニューに対応する機能の実施や、設定値の入力や確定を行う。メニュー決定部５０５は、一例として、入力装置４０５である切替スイッチが操作されたことに対応して、ＲＡＭ４０２に格納された現在の選択状態を決定状態としてＲＡＭ４０２に書き込む。また、メニュー決定部５０５は、ＲＡＭ４０２に書き込まれた選択状態を監視し、該選択状態が一定時間切り替わらなかったことに対応して決定状態をＲＡＭ４０２に書き込む。

投影部５０６は、投影制御部５０３が生成した投影画像をプロジェクタなどの出力装置４０６を用いて物体に対して投影出力する。

以上の構成を有する携帯型投影装置１００の動作について以降で詳細に説明する。図２２は、携帯型投影装置１００により実行される投影処理のフローチャートである。図２２において、姿勢検出部５００は装置の姿勢を検出する（ステップＳ３４００）。次いで、ＡＲ生成部５０１は、ステップＳ３４００で検出した装置の姿勢に基づいてＡＲ画像の生成処理を行う（ステップＳ３４０１）。次いで、メニュー生成部５０２は携帯型投影装置１００がメニュー呼出状態であるか判定し（ステップＳ３４０２）、もしメニュー呼出状態であれば、ステップＳ３４００で検出した装置の姿勢に基づいてメニュー画像の生成処理を行う（ステップＳ３４０３）。次いで、投影制御部５０３は、ステップＳ３４０１で生成したＡＲ画像と、ステップＳ３４０３で生成したメニュー画像に基づいて、投影画像の生成処理を行う（ステップＳ３４０４）。次いで、投影部５０６は、ステップＳ３４０４で生成した投影画像を物体に投影する（ステップＳ３４０５）。

図３は、ＡＲ生成部５０１が実行するＡＲ画像生成処理のフローチャートである。ステップＳ３４０１の処理の流れをより詳細に示している。図３においてＡＲ生成部５０１は、入力装置４０５からの入力に基づいて物体を識別する（ステップＳ６００）。次いで、ＡＲ生成部５０１は、ステップＳ６００で識別した物体に関連付けられたＡＲ画像の生成に用いる画像部品であるＡＲ情報をストレージから読み出す。あるいは、携帯型投影装置１００が備えるネットワーク・インタフェース４０７を介して接続されたサーバ装置から読み出す（ステップＳ６０１）。次いで、ＡＲ生成部５０１は、姿勢検出部５００が検出した携帯型投影装置１００の姿勢を読み出す（ステップＳ６０２）。次いで、ＡＲ生成部５０１は、姿勢検出部５００が検出した携帯型投影装置１００の姿勢に基づいて、読み出したＡＲ情報からＡＲ画像を生成する（ステップＳ６０３）。

図５（ｂ）は、メニュー生成部５０２によるメニュー生成処理のフローチャートである。ステップＳ３４０３の処理の流れをより詳細に示している。図５（ｂ）においてメニュー生成部５０２は、ＲＡＭ４０２あるいはＲＯＭ４０３からメニュー画像の生成に用いる画像部品であるアイテムを読み出す（ステップＳ９００）。次いで、メニュー生成部５０２は、ＲＡＭ４０２から選択状態を読み出す（ステップＳ９０１）。次いで、メニュー生成部５０２は、ステップＳ９００で読み出したアイテムを配置してメニュー画像を生成する（ステップＳ９０２）。

図９は、投影制御部５０３が実行する投影制御処理のフローチャートである。ステップＳ３００４の処理の流れをより詳細に示している。投影制御部５０３はＡＲ生成部５０１が生成したＡＲ画像を読み出し（ステップＳ１５００）、該読み出したＡＲ画像を投影画像として書き出す（ステップＳ１５０１）。次いで、投影制御部５０３は、メニュー生成部５０２がメニュー画像を生成しているか判定する（ステップＳ１５０２）。メニュー画像が生成されている場合はそのメニュー画像を読み出し（ステップＳ１５０３）、該読み出したメニュー画像を、ＡＲ画像を書き出した投影画像に重畳して書き出す（ステップＳ１５０４）。

図２３は、携帯型投影装置１００により実行されるメニュー操作処理のフローチャートである。図２２のフローチャートに示される投影処理は、図２３のフローチャートに示されるメニュー操作処理が携帯型投影装置１００に設定した状態に基づいて制御される。図２３において、メニュー選択部５０４はメニュー呼出信号の有無を検知する（ステップＳ３５００）。もし、メニュー呼出信号が検知された場合、メニュー選択部５０４はメニュー呼出処理を行う（ステップＳ３５０１）。次いで、メニュー選択部５０４は携帯型投影装置１００の使用者からのメニュー操作を受理する（ステップＳ３５０２）。メニュー操作とは、一例として、姿勢検出部５００が検出した携帯型投影装置１００の姿勢の変化や、入力装置４０５である切替スイッチの操作などである。次いで、メニュー選択部５０４は、使用者から受理したメニュー操作がメニュー決定操作であるか判別し（ステップＳ３５０３）、もしメニュー決定操作ならメニュー決定処理を行った後にメニュー操作処理のフローを終了する（ステップＳ３５０４）。このメニュー決定操作は、一例として、切替スイッチの操作である。もしステップＳ３５０３の判別結果が否であるなら、メニュー選択部５０４は、使用者から受理したメニュー操作がメニュー選択処理であるか判別し（ステップＳ３５０５）、もしメニュー選択部５０４ならメニュー選択処理を実行する（ステップＳ３５０６）。このメニュー選択操作は、一例として、姿勢検出部５００が検出した携帯型投影装置１００の回転操作である。次いで、メニュー選択部５０４は、ステップＳ３５０２に示すメニュー操作の受理を再び実施する。

図５（ａ）は、メニュー選択部５０４によるメニュー呼出処理のフローチャートである。図５（ａ）においてメニュー選択部５０４は、メニュー呼出信号を検知すると携帯型投影装置１００をメニュー呼出状態に設定すると共に、ＲＡＭ４０２あるいはＲＯＭ４０３から初期状態を読み出す（ステップＳ８００）。

メニュー呼出信号は、一例として、入力装置４０５である切替スイッチが操作されたことによって発生する。また、メニュー呼出信号は、一例として、携帯型投影装置１００が特定の姿勢に変化したことを姿勢検出部５００が検出したことに対応して発生する。また、メニュー呼出信号は、一例として、姿勢検出部５００が姿勢の変化を検出したこと、あるいは姿勢の変化を一定時間検出しなかったことに対応して発生する。また、メニュー呼出信号は、一例として、入力装置４０５であるカメラが投影方向に被投影対象の物体を検出したこと、あるいは物体を一定時間検出しなかったことに対応して発生する。また、メニュー呼出信号は、一例として、ＲＡＭ４０２に所定の値が設定されたことを携帯型投影装置１００が実行するプログラムが検出することに対応して、あるいは所定の周期ごとにプログラムが発生させる。また、メニュー呼出信号は、一例として、ネットワーク・インタフェースを介して携帯型投影装置１００以外の装置及び／又は記憶媒体から信号を受信したことに対応して発生する。

図５（ａ）に戻り、メニュー選択部５０４によるメニュー呼出処理のフローチャートの説明を続ける。メニュー選択部５０４は、ステップＳ８００で読み出した初期状態を、選択状態としてＲＡＭ４０２に書き込む（ステップＳ８０１）。次いで、メニュー選択部５０４はＲＡＭ４０２に書き込まれた決定状態を初期化して未決定状態にする（ステップＳ８０２）。次いで、メニュー選択部５０４は、携帯型投影装置１００をメニュー呼出状態に設定する（ステップＳ８０３）。携帯型投影装置１００は、図２２に示す投影処理を行う際に、装置がメニュー呼出状態に設定されている場合はステップＳ３４０３を実行してメニュー画像生成処理を行う。

図１０は、メニュー選択部５０４が実行するメニュー選択処理のフローチャートである。メニュー選択部５０４は、姿勢検出部５００が検出した携帯型投影装置１００の姿勢を読み出し（ステップＳ１６００）、次いで、ＲＡＭ４０２から選択状態を読み出す（ステップＳ１６０１）。メニュー選択部５０４は、ステップＳ１６００において姿勢検出部５００が検出した携帯型投影装置１００の回転方向を判別する（ステップＳ１６０２）。

メニュー選択部５０４は、検出した携帯型投影装置１００の回転方向とＲＡＭ４０２から読み出した選択状態に基づいて、新たな選択状態を決定する。以下、新たな選択状態を決定する処理について、さらに詳細に説明する。図７（ａ）および図７（ｂ）は、携帯型投影装置１００の回転を検出した際にメニューの選択が変更する処理の一例を示している。図７（ａ）および図７（ｂ）において、ＲＡＭ４０２には第１のアイテム１２０１に対応する選択状態が記録されている。図７（ａ）に示すように、ステップＳ１６０２において判別した携帯型投影装置１００の回転方向が時計回りの場合、メニュー選択部５０４は第１のアイテム１２０１の左隣に位置する第２のアイテム１２００を選択する。メニュー選択部５０４は、該アイテムに対応する新たな選択状態をＲＡＭ４０２に書き込む（ステップＳ１６０３）。また、図７（ｂ）に示すように、ステップＳ１６０２において判別した携帯型投影装置１００の回転方向が反時計回りの場合、メニュー選択部５０４は第１のアイテム１２０１の右隣に位置する第３のアイテム１２０２を選択する。メニュー選択部５０４は、該アイテムに対応する新たな選択状態をＲＡＭ４０２に書き込む（ステップＳ１６０４）。ユーザが、携帯型投影装置を回転させてメニューを選択するときには、手振れが発生するが、手振れを相殺して、回転方向と回転量とを取得（回転取得）し、メニュー選択に反映させる。また、回転量に基づいて、順次、隣のメニューが選択状態となる。

なお、以上に示した携帯型投影装置１００の回転方向に基づくアイテムの選択の方法は本実施形態の一例であり、当然ながら本発明の範囲は係る例に限定されない。図８では、一例として、ステップＳ１６０２において判別した携帯型投影装置１００の回転方向が時計回りの場合に、図７（ａ）の場合と異なり、メニュー選択部５０４は第３のアイテム１２０２を新たに選択する。

このように、図１０に示したメニュー選択処理によりメニュー選択部５０４がＲＡＭ４０２に書き込んだ選択状態に基づいて、メニュー生成部５０２は図２２のフローチャートに示される投影処理においてメニュー生成処理を行う。また、投影制御部５０３は生成されたメニュー画像に基づいて投影画像を生成し、投影部が該生成された投影画像を投影する。

図２３（ａ）は、メニュー決定部５０５によるメニュー決定処理のフローチャートである。図２３（ａ）においてメニュー決定部５０５は、携帯型投影装置１００のＲＡＭ４０２から選択状態を読み出す（ステップＳ３６００）。次いで、メニュー決定部５０５は、該読み出した選択状態を決定状態としてＲＡＭ４０２に書き込む。

以上のように、本実施形態に係る携帯型投影装置１００を回転させると、装置はＡＲ画像を水平面に対して静止するように投影すると共に、メニュー画像を回転に従って投影画面内を移動したり、選択されたメニューを強調表示したりするように投影する。これにより、ユーザは携帯型投影装置を回転させることでメニューの選択をすることが可能になる。

（第２の実施の形態）
以下、第２の実施形態について図面を参照して詳細に説明する。なお、本実施の形態に係る画像投影装置の機能及び構成は第１の実施の形態に準じる。したがって、第１の実施の形態と同一の構成要素については同一符号を付し、適宜説明を省略する。

第２の実施の形態として、選択中のメニューに対してポインタを重畳して表示する携帯型投影装置１００の例について説明する。図１１に示すように、本実施の形態に係る携帯型投影装置１００は、メニュー選択部５０４が選択しているアイテムに重畳するポインタ画像を生成するポインタ生成部１７００をさらに備える。

投影制御部５０３は、ＡＲ生成部５０１が生成するＡＲ画像と、メニュー生成部５０２が生成するメニュー画像に加えて、ポインタ生成部１７００が生成するポインタ画像をそれぞれ重畳して、一枚の投影画像を生成することによって投影を行う。

図１２（ａ）は、本実施形態において投影制御部５０３が実行する投影制御処理のフローチャートである。図１２（ａ）において、投影制御部５０３は、図９に示した投影制御処理において、ステップＳ１５０１に示したＡＲ画像書出処理ないしステップＳ１５０４に示したメニュー画像書出処理の後に、ポインタ生成部１７００にポインタ画像の生成を指示する。（ステップＳ１８００）次いで、投影制御部５０３は、生成されたポインタ画像を投影画像に重畳して書き込む（ステップＳ１８０１）。投影制御部５０３は、ステップＳ１８００で上書き処理を行うポインタ画像に画像内の一部乃至全部を透明色乃至半透明色として扱う指示が付与されている場合、当該の部分を重畳しなくてもよい。すなわち、ステップＳ１５０１で書き出したＡＲ画像が可視状態になるように重畳処理を行ってもよい。

図１２（ｂ）は、本実施形態においてポインタ生成部１７００が実行するポインタ生成処理のフローチャートである。図１２（ｂ）において、ポインタ生成部１７００は、ＲＡＭ４０２あるいはＲＯＭ４０３からポインタ画像を読み出す（ステップＳ１９００）。次いで、ポインタ生成部１７００は、ステップＳ１９００で読み出したポインタ画像を配置したポインタ画像を生成する（ステップＳ１９０１）。

図１３（ａ）は、選択中のメニューに対してポインタを重畳して投影する携帯型投影装置１００の一例を示す図である。図１３において、メニュー生成部５０２は、姿勢検出部５００が検出した携帯型投影装置１００の水平面に対する傾きとＲＡＭ４０２から読み出した選択状態に基づいてメニュー画像を生成する。この際、メニュー生成部５０２が生成するメニュー画像は選択されたアイテムが投影画像内で常に一定の位置に配置される。また、図１３（ａ）において、ポインタ生成部１７００は、姿勢検出部５００が検出した携帯型投影装置１００の水平面に対する傾きに基づいて、使用者からポインタ画像１８０３が水平面に対して静止して見えるように画像を生成する。これによって、使用者が携帯型投影装置１００を回転させても、ポインタ画像１８０３はあたかも物体に対して常に静止しているかのように投影される。

また、ポインタ生成部１７００は、姿勢検出部５００が検出した携帯型投影装置１００の水平面に対する傾きに加えて、ＲＡＭ４０２から読み出した選択状態にさらに基づいてポインタ画像を生成してもよい。

図１２（ｃ）は、図１２（ｂ）に示したフローチャートとは異なるアルゴリズムに基づいて、ポインタ生成部１７００がＲＡＭ４０２から読み出した選択状態に基づいてポインタ画像を生成する際に実行するポインタ生成処理のフローチャートである。図１２（ｃ）において、ポインタ生成部１７００は、ＲＡＭ４０２あるいはＲＯＭ４０３からポインタ画像を読み出す（ステップＳ２１００）。次いで、ポインタ生成部１７００は、ＲＡＭ４０２から選択状態を読み出す（ステップＳ２１０１）。次いで、ポインタ生成部１７００は、ステップＳ２１０１で読み出した選択状態に基づいて算出した位置に、ステップＳ２１００で読み出したポインタ画像を配置したポインタ画像を生成する（ステップＳ２１０２）。

図１３（ｂ）は、ステップＳ２１０２において、図１３（ａ）に示した例とは異なるアルゴリズムに基づいて、選択中のメニューに対してポインタを重畳して投影する携帯型投影装置の一例を示す図である。図１３（ｂ）において、メニュー生成部５０２は、姿勢検出部５００が検出した携帯型投影装置１００の水平面に対する傾きに基づいて、使用者からメニュー画像が水平面に対して静止して見えるように画像を生成する。また、図１３（ｂ）において、ポインタ生成部１７００は、姿勢検出部５００が検出した携帯型投影装置１００の水平面に対する傾きとＲＡＭ４０２から読み出した選択状態に基づいてポインタ画像を生成する。この際、ポインタ生成部１７００は、投影制御部５０３がメニュー画像にポインタ生成部１７００にポインタ画像を重畳した場合に、使用者から見て、ポインタが選択状態に対応したアイテムを指示しているかのように見えるようにポインタを配置する。

以上のように、本実施形態に係る携帯型投影装置は、ＡＲ画像とメニュー画像に加えてポインタ画像を重畳して投影する。これにより、ユーザはメニュー群の中で現在どのメニューが選択されているのかを投影画面から判断しやすくなり、より直感的なメニュー選択操作が可能になる。

（第３の実施の形態）
以下、第３の実施形態について図面を参照して詳細に説明する。なお、本実施の形態に係る画像投影装置の機能及び構成は第１の実施の形態に準じる。したがって、第１の実施の形態と同一の構成要素については同一符号を付し、適宜説明を省略する。

第３の実施の形態として、メニュー選択部５０４がＲＡＭ４０２に格納された選択状態を変更するたびに、メニュー決定部５０５が現在の選択状態を決定状態としてＲＡＭ４０２に書きこむ携帯型投影装置１００の例について説明する。

図１４は、メニュー決定部５０５が現在の選択状態を決定状態としてＲＡＭ４０２に書きこみ、ＡＲ生成部５０１が該決定状態に基づいてＡＲ画像２３０３を生成する携帯型投影装置１００の一例を示す図である。図１４の左図では、ＡＲ生成部５０１はアイテム２３０１に対応するＡＲ画像２３０３を生成している。次いで、図１４の右図では、使用者が携帯型投影装置１００を時計回りに回転させると、メニュー選択部５０４は図１０に示すメニュー選択処理を実行する。この際、メニュー選択部５０４は、ＲＡＭ４０２が格納する選択状態をアイテム２３０１からアイテム２３０２に変更すると共に、アイテム２３０２に対応する選択状態を決定状態としてＲＡＭ４０２に書きこむ。ＡＲ生成部５０１は、ＲＡＭ４０２から読み出した決定状態に基づいてＡＲ画像２３０３を生成する。

図１５は、本実施の形態におけるメニュー操作処理のフローチャートである。図１５において、メニュー選択部５０４は、ステップＳ３５０２において使用者から操作を受理した際に、その操作が選択操作であるか判別する（ステップＳ２４００）。もし選択操作なら、図１０に示したメニュー選択処理を行い（ステップＳ２４０１）、次いで図３６に示したメニュー決定操作を行う（ステップＳ２４０２）。なお、ステップＳ２４０１のメニュー選択操作の後にステップＳ２４０２のメニュー決定操作を行うのは一例であり、これらの順序を入れ替えても、あるいは同時に行ってもよい。次いで、メニュー選択部５０４は、ステップＳ３５０２に示すメニュー操作の受理を再び実施する。

以上のように、本実施形態に係る携帯型投影装置は、装置の回転に伴ってメニューの選択が変更される度に装置に決定状態を変更するので、音量調整のような設定や、一覧表示された複数枚の写真の選択などについて直感的な操作が可能になる。

（第４の実施の形態）
以下、第４の実施形態について図面を参照して詳細に説明する。なお、本実施の形態に係る画像投影装置の機能及び構成は第１の実施の形態に準じる。したがって、第１の実施の形態と同一の構成要素については同一符号を付し、適宜説明を省略する。

第４の実施の形態として、メニュー画像内に一度に配置するアイテムの個数を制限する携帯型投影装置１００の例について説明する。図１６に示すように、本実施の形態に係る携帯型投影装置１００は、複数のアイテムの中からメニュー画像に配置するアイテムを摘出するアイテム摘出部２５００をさらに備える。また、携帯型投影装置１００は、携帯型投影装置１００と物体との距離を検出する距離検出部２５０１をさらに備える。

図１７は、本実施形態においてメニュー生成部５０２とアイテム摘出部２５００が実行するメニュー生成処理のフローチャートである。図１７において、アイテム摘出部２５００は、メニュー生成部５０２によるメニュー画像生成処理（ステップＳ２６０３）に先立ってアイテム摘出処理を実行する（ステップＳ２６００）。

次いで、アイテム摘出部２５００は、アイテムの摘出数を算出する（ステップＳ２６０１）。アイテム摘出部２５００は、一例として、各アイテムの幅が全て同じであり、またアイテム間の幅が０であると仮定した場合に、複数のアイテムの中から摘出するアイテムの個数を以下の式（１）により求める。

式（１）において、ｗは各アイテムの幅を、ｍはメニュー画面内に配置するメニュー全体の幅の最大値を表す。このとき、メニュー全体の幅をアイテムの幅で除して小数部分を切り捨てた整数値を、メニュー画面に配置するアイテムの個数ｃとする。

図１７に戻り、メニュー選択処理のフローチャートの説明を続ける。アイテム摘出部２５００は、複数のアイテムの中からメニュー画像に配置するアイテムを摘出する（ステップＳ２３０２）。この際、アイテム摘出部２５００は、ステップＳ９０１で読み出したアイテムの選択状態と、ステップＳ２６０１で算出したメニュー画面に配置するアイテムの個数に基づき、複数のアイテムの中からメニュー画像に配置するアイテムを摘出する。

図１８（ａ）は、本実施形態に係る携帯型投影装置１００の一例を示す図である。図１８（ａ）の左図において、ＲＡＭ４０２にはアイテム２７０２に対応する選択状態が格納されており、また、ステップＳ２６０１で算出したメニュー画面に配置するアイテムの個数ｃが３であったとする。この時、アイテム摘出部２５００は、一例として、現在選択されているアイテムと、その両隣に配置されるアイテム２７０１とアイテム２７０３を一つずつ、計３個摘出する。この際、アイテム摘出部２５００は、右隣や左隣に配置するアイテムが存在しない場合や、後述のステップＳ２６０３でメニュー画像に配置した場合に画像内からはみ出すアイテムが存在する場合には、ｃ個未満のアイテムを摘出してもよい。

次いで、メニュー生成部５０２は、ステップＳ９００で読み出したアイテムのうち、ステップＳ２６０２でアイテム摘出部２５００が摘出したアイテムのみを配置してメニュー画像を生成する（ステップＳ２６０３）。

図１８（ａ）の右図は、携帯型投影装置１００を時計回りに回転したことに伴って、メニュー選択部５０４が選択状態を変更した際にメニュー生成部５０２が生成するメニュー画像の一例を示す説明図である。この場合も、図１７のフローチャートに示したメニュー生成処理に基づいて、変更後の選択状態に対応するアイテム２７０１の近傍に配置される計３個のアイテムが摘出され配置される。

図１８（ｂ）は、ステップＳ２３０２において摘出されなかったアイテムを省略表示するメニュー画像の一例を示す説明図である。アイテム摘出部２５００は、ステップＳ２３０２において、摘出したアイテムに追加してアイテムをさらに摘出し、メニュー生成部５０２は該追加で摘出したアイテムをメニュー画像に配置してもよい。メニュー生成部５０２は、これらの追加で摘出したアイテムの位置や傾き、大きさ、色、透明度などを変化させたり、アイテムの画像を異なる画像に置き換えたりした上でメニュー画像を生成してもよい。図１８（ｂ）の左図において、メニュー生成部５０２は、アイテム摘出部２５００により追加で摘出されたアイテム２８００およびアイテム２８０４の枠線を点線とし、文字を半透明として描画している。同様に、図１８（ｂ）の右図において、アイテム摘出部２５００により追加で摘出されたアイテム２８０５およびアイテム２８０３の枠線を点線とし、文字を半透明として描画している。これにより、現在の選択状態に対応するアイテム２８０２との区別がつけやすくなる。

また、アイテム摘出部２５００は、距離検出部２５０１が検出した物体との距離に基づいてアイテム摘出処理を行ってもよい。図１９（ａ）は、携帯型投影装置１００と物体１０１との距離を変化させる様子の一例を示す説明図である。図１９（ａ）において、携帯型投影装置１００が物体１０１から遠くの位置へ移動することに伴って、物体１０１に投影される投影面の面積が大きくなる。

図１９（ｂ）は、携帯型投影装置１００と物体１０１との距離の変化に伴って、アイテム摘出部２５００が摘出するアイテムの個数が変化する様子の一例を示す説明図である。アイテム摘出部２５００は、式（１）に基づいて摘出するアイテムの個数ｃを算出するステップＳ２６０１において、ｗは一定の値を用いる一方で、ｍは距離検出部２５０１が検出した距離に基づいてｃを算出する。図１９（ｂ）の左図はｃ＝２である場合の、右図はｃ＝３である場合の、アイテム摘出部２５００のアイテム摘出処理の結果を示している。図１９（ｂ）において、各アイテムの幅ｍは一定となるようにし、メニュー全体の幅の最大値ｗは距離検出部２５０１が検出した距離が短くなるほど小さく、長くなるほど大きな値となるように算出する。

以上のように、本実施形態に係る携帯型投影装置は、投影画面内に一度に表示するアイテムの個数を制限して選択操作により入れ替えるので、投影画面内に全てのアイテムを表示できない場合でも全てのメニューを利用することができる。また、使用者から見た各アイテムの幅を維持したまま、携帯型投影装置と物体の距離に基づいてアイテムの個数の制限を変化させるので、各アイテムの視認性が改善される。

（第５の実施の形態）
以下、第５の実施形態について図面を参照して詳細に説明する。なお、本実施の形態に係る画像投影装置の機能及び構成は第１の実施の形態に準じる。したがって、第１の実施の形態と同一の構成要素については同一符号を付し、適宜説明を省略する。

第５の実施の形態として、姿勢検出部５００が検出した姿勢に基づいて携帯型投影装置１００の使用者が指示する物体を決定し、メニュー生成部５０２は該指示対象の物体に対応したメニュー画像を生成する携帯型投影装置１００の例について説明する。図２０に示すように、本実施の形態に係る携帯型投影装置１００は、姿勢検出部５００が検出した姿勢に基づいて携帯型投影装置１００の使用者が指示する物体を判別する物体指示部３１００をさらに備える。

図２１（ａ）は、物体指示部３１００が指示対象となる物体を判別する方法の一例を示す説明図である。図２１（ａ）において、物体指示部３１００は投影方向の物体や投影面を検出するカメラなどの入力装置４０５を用いて、物体１０１及び物体１０２の位置と、物体に対する投影面の相対的な位置を識別する。物体指示部３１００は、一例として、投影面中心３３００と物体の各々との距離に基づいて、使用者が指示する物体を判別する。図２１（ａ）の左図において、物体指示部３１００は、物体１０２よりも投影面中心３２００に近い物体１０１を指示対象の物体として判別する。また、図２１（ａ）の右図において、物体指示部３１００は、物体１０１よりも投影面中心３３００に近い物体１０２を指示対象の物体として判別する。

図２１（ｂ）は、物体指示部３１００が識別した指示対象に基づいて、メニュー生成部５０２が生成するメニュー画像の一例を示す説明図である。図２１（ｂ）の左図において、物体指示部３１００は物体１０１を指示対象として識別する。これに伴い、メニュー生成部５０２は、該識別した物体１０１に対応するアイテム３３００、アイテム３３０１およびアイテム３３０２を配置したメニュー画像を生成する。また、図２１（ｂ）の右図において、使用者が携帯型投影装置１００の姿勢を変更したことに伴って、物体指示部３１００は新たに物体１０２を指示対象として識別する。これに伴い、メニュー生成部５０２は、該識別した物体１０１に対応するアイテム３３０３、アイテム３３０４およびアイテム３３０５を配置したメニュー画像を生成する。

以上のように、本実施形態に係る携帯型投影装置は、使用者が装置の姿勢を用いて物体を指示し、指示された物体に対応したメニューを投影できる。また、指示された物体に対応するメニューを表示することにより、物体に対応するメニューの直感的な操作が可能になる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は係る例に限定されない。本発明の属する技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

また、上述した第１から第５の実施例の構成を適宜組み合わせて画像投影装置を形成してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 携帯型投影装置
１０１，１０２ 物体
１０３ 関連画像（ＡＲ画像）
３００〜３０２ アイテム

Claims (8)

1. 画像を投影出力する投影手段と、
   自装置に与えられた回転に対する回転量を取得する回転取得手段と、
   複数の対象を、選択肢として提示する画像を前記投影手段に投影させる制御を行う投影制御手段と、
   前記回転取得手段によって取得された回転量に応じて、順次、前記複数の対象のうち少なくとも１つの対象を選択状態とする選択手段と、
   を備えることを特徴とする画像投影装置。
2. 物体を撮影する撮影手段と、
   前記物体に関連する関連情報を取得する関連情報取得手段と、
   を更に備え、
   前記投影制御手段は、更に、前記関連情報から生成した画像を前記投影手段に投影させる制御を行うことを特徴とする請求項１記載の画像投影装置。
3. 前記投影手段が前記関連情報から生成した画像を投影する位置は、前記回転によらず、背景に対して一定の位置を保つことを特徴とする請求項１または２に記載の画像投影装置。
4. 前記関連情報から生成した画像は、前記選択状態に応じて異なる画像として前記投影手段に投影されることを特徴とする請求項１乃至３何れか１項に記載の画像投影装置。
5. 自装置を、前記複数の対象からの選択を受け付ける状態に切り替える切り替え手段を更に備え、
   前記選択手段は、前記複数の対象からの選択を受け付ける状態に切り替わった後に、前記回転取得手段によって取得された回転量に応じて、順次、前記複数の対象のうち少なくとも１つの対象を選択状態とすることを特徴とする請求項１乃至４何れか１項に記載の画像投影装置。
6. 自装置と物体との距離を検出する検出手段、を更に備え、
   前記投影制御手段は、前記距離に基づいた個数の選択肢の画像を前記投影手段に投影させることを特徴とする請求項１乃至５何れか１項に記載の画像投影装置。
7. 画像を投影手段に出力させる投影工程と、
   自装置に与えられた回転に対する回転量を取得する回転取得工程と、
   複数の対象を、選択肢として提示する画像を前記投影手段に投影させる制御を行う投影制御工程と、
   前記回転取得工程で取得された回転量に応じて、順次、前記複数の対象のうち少なくとも１つの対象を選択状態とする選択工程と、
   を備えることを特徴とする画像投影方法。
8. コンピュータに、
   画像を投影手段に出力させる投影工程と、
   自装置に与えられた回転に対する回転量を取得する回転取得工程と、
   複数の対象を、選択肢として提示する画像を前記投影手段に投影させる制御を行う投影制御工程と、
   前記回転取得工程で取得された回転量に応じて、順次、前記複数の対象のうち少なくとも１つの対象を選択状態とする選択工程と、
   を実行させるためのプログラム。