JP2023118228A - 表示方法および表示装置 - Google Patents

Abstract

【課題】操作画像に対する指示操作の操作性を改善する。【解決手段】指示体を検出することと、複数の項目画像を含む操作画像を表示することと、を含み、指示体が右手を含む場合、操作画像において、複数の項目画像は、第１の態様で配置され、指示体が左手を含む場合、操作画像において、複数の項目画像は、第２の態様で配置される、ことを特徴とする表示方法。【選択図】図１２

Description

本発明は、表示方法および表示装置に関する。

電子ペンや指等の指示体を用いて、ユーザーが操作を行ったり、表示画面に文字や絵を書き込んだりすること等が可能な、所謂インタラクティブ機能を搭載した表示装置が開発されている。例えば、特許文献１には、指示体の先端位置を検出することで、ユーザーからの指示操作を受け付けるインタラクティブプロジェクターが開示されている。

特開２０１６－１８６６７８号公報

表示画面に表示されたＧＵＩ（Graphical User Interface）は、指示体に右手が含まれる場合と、指示体に左手が含まれる場合とで共通であった。このため、ＧＵＩの操作性に改善の余地があった。

本発明に係る表示方法の一態様は、指示体を検出することと、複数の項目画像を含む操作画像を表示することと、を含み、検出された前記指示体が右手を含む場合、前記操作画像において、前記複数の項目画像は、第１の態様で配置され、検出された前記指示体が左手を含む場合、前記操作画像において、前記複数の項目画像は、第２の態様で配置される、ことを特徴とする。

本発明に係る表示装置の一態様は、指示体を検出する検出部と、複数の項目画像を含む操作画像を表示させる表示制御部と、を備え、検出された前記指示体が右手を含む場合、前記操作画像において、前記複数の項目画像は、第１の態様で配置され、検出された前記指示体が左手を含む場合、前記操作画像において、前記複数の項目画像は、第２の態様で配置される、ことを特徴とする。

第１実施形態に係るプロジェクター１の概要について説明するための模式図である。 操作画像ＧＵの有する複数の領域について説明するための模式図である。 ユーザーが右手Ｈ１を用いて操作画像ＧＵ１を表示させる様子を図示した説明図である。 操作画像ＧＵ１について説明するための模式図である。 ユーザーが左手Ｈ２を用いて操作画像ＧＵ２を表示させる様子を図示した説明図である。 操作画像ＧＵ２について説明するための模式図である。 ユーザーが指示体Ｈ９を用いて操作画像ＧＵ３を表示させる様子を図示した説明図である。 操作画像ＧＵ３について説明するための模式図である。 ユーザーが右手Ｈ１を用いて操作画像ＧＵ１に対する指示操作を行う際の様子を図示した説明図である。 第１実施形態に係るプロジェクター１の構成を示すブロック図である。 第１実施形態に係る記憶部１１の構成を示すブロック図である。 第１実施形態に係るプロジェクター１の動作について説明するためのフローチャートである。 操作画像ＧＵ１Ａについて説明するための模式図である。 操作画像ＧＵ２Ａについて説明するための模式図である。 第２実施形態に係るプロジェクター１Ａの構成を示すブロック図である。 第２実施形態に係る記憶部１１Ａの構成を示すブロック図である。 第２実施形態に係るプロジェクター１Ａの動作について説明するためのフローチャートである。 操作画像ＧＵ２ｍについて説明するための模式図である。 操作画像ＧＲ１について説明するための模式図である。 操作画像ＧＲ２について説明するための模式図である。

以下、添付図面を参照しながら、本発明に係る好適な実施形態を説明する。なお、図面において各部の寸法および縮尺は実際と異なる場合があり、理解を容易にするために模式的に示す部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。また、本明細書および特許請求の範囲において、数値範囲を「Φ～Ψ」（Φ、Ψはともに数値）を用いて表現する場合、その範囲は上限（Ψ）および下限（Φ）の数値を含むものである。また、上限（Ψ）および下限（Φ）の単位は同じである。

１．第１実施形態
第１実施形態では、ＧＵＩに対する指示操作を行う際のユーザーの手が、右手なのか左手なのかに応じて表示するＧＵＩを変更するプロジェクターを例示して、本発明に係る表示方法および表示装置について説明する。

１．１．プロジェクターの概要
図１は、第１実施形態に係るプロジェクター１の概要について説明するための模式図である。本実施形態において、プロジェクター１は、壁面Ｗ１に対して、投射画像ＧＰを表示するための投射光を投射する場合を想定する。投射画像ＧＰは、プロジェクター１が表示面に対して投射光を投射することで表示される画像の総称である。本実施形態において、投射画像ＧＰは、ユーザーがプロジェクター１に対する入力操作を行うための操作画像ＧＵを含むことがある。操作画像ＧＵは、複数の項目画像ＧＣを含むＧＵＩである。また、本実施形態において、操作画像ＧＵは、長方形の輪郭を有する画像である。項目画像ＧＣは、プロジェクター１が実行する処理に関する画像である。プロジェクター１のユーザーは、例えば、指示体である右手Ｈ１の指先Ｈ１０で複数の項目画像ＧＣのうちの一の項目画像ＧＣに対する指示操作を行うことで、当該一の項目画像ＧＣに対応する処理をプロジェクター１に実行させる。

なお、本実施形態において、プロジェクター１のユーザーは、壁面Ｗ１、より具体的には、壁面Ｗ１に表示された投射画像ＧＰに正対している場合を想定する。また、本実施形態において、壁面Ｗ１は、Ｘ軸およびＹ軸と平行に設けられる場合を想定する。ここで、Ｙ軸は、鉛直方向と平行な軸である場合を想定する。なお、Ｙ軸と平行な方向のうち、鉛直方向を－Ｙ方向、－Ｙ方向と反対の方向を＋Ｙ方向と設定する。また、Ｘ軸は、Ｙ軸と垂直な軸であって、壁面Ｗ１と平行な軸である場合を想定する。なお、Ｘ軸と平行な方向のうち、ユーザーから見て右側に向かう方向を＋Ｘ方向、＋Ｘ方向と反対の方向を－Ｘ方向と設定する。また、Ｘ軸およびＹ軸と垂直な軸を、Ｚ軸と称する。Ｚ軸は、壁面Ｗ１に対して垂直な軸である。なお、Ｚ軸と平行な方向のうち、壁面Ｗ１からユーザーのほうに向かう方向を＋Ｚ方向、＋Ｚ方向と反対の方向を－Ｚ方向と設定する。すなわち、ユーザーは、－Ｚ方向を向くことで、壁面Ｗ１に表示された投射画像ＧＰに正対している。また、投射画像ＧＰは、Ｘ軸に対して平行な２つの辺と、Ｙ軸に対して平行な２つの辺とを有する長方形として表示される場合を想定する。また、本実施形態において、＋Ｙ方向を「ユーザーから見て上方向」、－Ｙ方向を「ユーザーから見て下方向」、＋Ｘ方向を「ユーザーから見て右方向」、－Ｘ方向を「ユーザーから見て左方向」ということがある。また、異なる２か所の位置関係を説明する際に、一方が他方よりも＋Ｙ方向に位置する場合、「一方は他方よりも、ユーザーから見て上側に位置する」ということがある。同様に、一方が他方よりも－Ｘ方向に位置する場合、「一方は他方よりも、ユーザーから見て左側に位置する」ということがある。

１．２．操作画像の特徴および表示方法
図２は、操作画像ＧＵの有する複数の領域について説明するための模式図である。本実施形態において、操作画像ＧＵは、領域Ｒ１１、領域Ｒ１２、領域Ｒ１３、領域Ｒ２１、領域Ｒ２２、領域Ｒ２３、領域Ｒ３１、領域Ｒ３２および領域Ｒ３３を有する。なお、便宜上、領域Ｒ１１、領域Ｒ１２、領域Ｒ１３、領域Ｒ２１、領域Ｒ２２、領域Ｒ２３、領域Ｒ３１、領域Ｒ３２および領域Ｒ３３は、いずれも同様の寸法および面積を有する領域である場合を想定する。

領域Ｒ２１、領域Ｒ２２および領域Ｒ２３は、領域Ｒ１１、領域Ｒ１２および領域Ｒ１３よりも＋Ｙ方向に設定される。換言すれば、領域Ｒ２１、領域Ｒ２２および領域Ｒ２３は、領域Ｒ１１、領域Ｒ１２および領域Ｒ１３よりも、ユーザーから見て上側に位置する。
また、領域Ｒ３１、領域Ｒ３２および領域Ｒ３３は、領域Ｒ２１、領域Ｒ２２および領域Ｒ２３よりも＋Ｙ方向に設定される。換言すれば、領域Ｒ３１、領域Ｒ３２および領域Ｒ３３は、領域Ｒ２１、領域Ｒ２２および領域Ｒ２３よりも、ユーザーから見て上側に位置する。また、領域Ｒ３１、領域Ｒ３２および領域Ｒ３３は、領域Ｒ１１、領域Ｒ１２および領域Ｒ１３よりも、ユーザーから見て上側に位置する。

領域Ｒ１２、領域Ｒ２２および領域Ｒ３２は、領域Ｒ１１、領域Ｒ２１および領域Ｒ３１よりも＋Ｘ方向に設定される。換言すれば、領域Ｒ１１、領域Ｒ２１および領域Ｒ３１は、領域Ｒ１２、領域Ｒ２２および領域Ｒ３２よりも、ユーザーから見て左側に位置する。
また、領域Ｒ１３、領域Ｒ２３および領域Ｒ３３は、領域Ｒ１２、領域Ｒ２２および領域Ｒ３２よりも＋Ｘ方向に設定される。換言すれば、領域Ｒ１２、領域Ｒ２２および領域Ｒ３２は、領域Ｒ１３、領域Ｒ２３および領域Ｒ３３よりも、ユーザーから見て左側に位置する。また、領域Ｒ１１、領域Ｒ２１および領域Ｒ３１は、領域Ｒ１３、領域Ｒ２３および領域Ｒ３３よりも、ユーザーから見て左側に位置する。

以下、図３および図４を参照しつつ、ユーザーが右手Ｈ１を用いてプロジェクター１に対する入力操作を行う際に表示される操作画像ＧＵ１について説明する。

図３は、ユーザーが右手Ｈ１を用いて操作画像ＧＵ１を表示させる様子を図示した説明図である。図３において、プロジェクター１は、壁面Ｗ１に投射画像ＧＰ０を表示している。投射画像ＧＰ０は、操作画像ＧＵを含まない画像である。ユーザーは、投射画像ＧＰ０が表示される領域の近傍に、指示体である右手Ｈ１を近づけることで、プロジェクター１に右手Ｈ１を検出させる。

図４は、操作画像ＧＵ１について説明するための模式図である。プロジェクター１は、右手Ｈ１を検出した場合、壁面Ｗ１に投射画像ＧＰ１を表示する。投射画像ＧＰ１は、操作画像ＧＵ１を含む画像である。操作画像ＧＵ１は、項目画像ＧＣ１～ＧＣ９を含むＧＵＩである。

項目画像ＧＣ１は、例えば、描画ツール呼び出し処理に関する項目画像である。操作画像ＧＵ１において、項目画像ＧＣ１は、領域Ｒ２１に配置される。
項目画像ＧＣ２は、例えば、消しゴムツール呼び出し処理に関する項目画像である。操作画像ＧＵ１において、項目画像ＧＣ２は、領域Ｒ３１に配置される。
項目画像ＧＣ３は、例えば、移動ツール呼び出し処理に関する項目画像である。操作画像ＧＵ１において、項目画像ＧＣ３は、領域Ｒ３２に配置される。
項目画像ＧＣ４は、例えば、やり直し処理に関する項目画像である。操作画像ＧＵ１において、項目画像ＧＣ４は、領域Ｒ３３に配置される。
項目画像ＧＣ５は、例えば、画面拡大ツール呼び出し処理に関する項目画像である。操作画像ＧＵ１において、項目画像ＧＣ５は、領域Ｒ２２に配置される。
項目画像ＧＣ６は、例えば、保存処理に関する項目画像である。操作画像ＧＵ１において、項目画像ＧＣ６は、領域Ｒ１１に配置される。
項目画像ＧＣ７は、例えば、画面キャプチャ処理に関する項目画像である。操作画像ＧＵ１において、項目画像ＧＣ７は、領域Ｒ２３に配置される。
項目画像ＧＣ８は、例えば、設定画面呼び出し処理に関する項目画像である。操作画像ＧＵ１において、項目画像ＧＣ８は、領域Ｒ１２に配置される。
項目画像ＧＣ９は、例えば、切り取りツール呼び出し処理に関する項目画像である。操作画像ＧＵ１において、項目画像ＧＣ９は、領域Ｒ１３に配置される。

すなわち、操作画像ＧＵ１において、領域Ｒ３１に配置される項目画像ＧＣ２は、領域Ｒ３３に配置される項目画像ＧＣ４よりも、ユーザーから見て左側に配置される。
また、領域Ｒ２１に配置される項目画像ＧＣ１は、領域Ｒ２３に配置される項目画像ＧＣ７よりも、ユーザーから見て左側に配置される。

なお、本実施形態において、消しゴムツール呼び出し処理は、やり直し処理よりも、実行される頻度が高い処理である場合を想定する。
また、描画ツール呼び出し処理は、消しゴムツール呼び出し処理よりも、実行される頻度が高い処理である場合を想定する。
また、描画ツール呼び出し処理は、画面キャプチャ処理よりも、実行される頻度が高い処理である場合を想定する。

以下、図５および図６を参照しつつ、ユーザーが左手Ｈ２を用いてプロジェクター１に対する入力操作を行う際に表示される操作画像ＧＵ２について説明する。

図５は、ユーザーが左手Ｈ２を用いて操作画像ＧＵ２を表示させる様子を図示した説明図である。図５において、プロジェクター１は、壁面Ｗ１に投射画像ＧＰ０を表示している。投射画像ＧＰ０は、前述の通り、操作画像ＧＵを含まない画像である。ユーザーは、投射画像ＧＰ０が表示される領域の近傍に、指示体である左手Ｈ２を近づけることで、プロジェクター１に左手Ｈ２を検出させる。

図６は、操作画像ＧＵ２について説明するための模式図である。プロジェクター１は、左手Ｈ２を検出した場合、壁面Ｗ１に投射画像ＧＰ２を表示する。投射画像ＧＰ２は、操作画像ＧＵ２を含む画像である。操作画像ＧＵ２は、操作画像ＧＵ１と同様、項目画像ＧＣ１～ＧＣ９を含むＧＵＩである。

操作画像ＧＵ２において、項目画像ＧＣ１は、領域Ｒ２３に配置される。
また、操作画像ＧＵ２において、項目画像ＧＣ２は、領域Ｒ３３に配置される。
また、操作画像ＧＵ２において、項目画像ＧＣ３は、領域Ｒ３２に配置される。
また、操作画像ＧＵ２において、項目画像ＧＣ４は、領域Ｒ３１に配置される。
また、操作画像ＧＵ２において、項目画像ＧＣ５は、領域Ｒ２２に配置される。
また、操作画像ＧＵ２において、項目画像ＧＣ６は、領域Ｒ１３に配置される。
また、操作画像ＧＵ２において、項目画像ＧＣ７は、領域Ｒ２１に配置される。
また、操作画像ＧＵ２において、項目画像ＧＣ８は、領域Ｒ１２に配置される。
また、操作画像ＧＵ２において、項目画像ＧＣ９は、領域Ｒ１１に配置される。

すなわち、操作画像ＧＵ２において、領域Ｒ３３に配置される項目画像ＧＣ２は、領域Ｒ３１に配置される項目画像ＧＣ４よりも、ユーザーから見て右側に配置される。
また、領域Ｒ２３に配置される項目画像ＧＣ１は、領域Ｒ２１に配置される項目画像ＧＣ７よりも、ユーザーから見て右側に配置される。

以下、図７および図８を参照しつつ、ユーザーが指示体Ｈ９を用いてプロジェクター１に対する入力操作を行う際に表示される操作画像ＧＵ３について説明する。

図７は、ユーザーが指示体Ｈ９を用いて操作画像ＧＵ３を表示させる様子を図示した説明図である。図７において、プロジェクター１は、壁面Ｗ１に投射画像ＧＰ０を表示している。投射画像ＧＰ０は、前述の通り、操作画像ＧＵを含まない画像である。ユーザーは、投射画像ＧＰ０が表示される領域の近傍に、指示体Ｈ９を近づけることで、プロジェクター１に指示体Ｈ９を検出させる。

図８は、操作画像ＧＵ３について説明するための模式図である。プロジェクター１は、指示体Ｈ９を検出した場合、壁面Ｗ１に投射画像ＧＰ３を表示する。投射画像ＧＰ３は、操作画像ＧＵ３を含む画像である。操作画像ＧＵ３は、操作画像ＧＵ１および操作画像ＧＵ２と同様、項目画像ＧＣ１～ＧＣ９を含むＧＵＩである。

指示体Ｈ９は、例えば、ユーザーの手が壁面Ｗ１に届かない位置から、操作画像ＧＵに対する指示操作を行う際に用いられる指示棒である。ユーザーが、投射画像ＧＰ０が表示される領域の近傍に指示体Ｈ９を近づけた際、プロジェクター１は、指示体Ｈ９を、右手Ｈ１および左手Ｈ２のいずれも含まない指示体として検出する。換言すれば、ユーザーが指示体として右手Ｈ１または左手Ｈ２を用いる場合であっても、プロジェクター１が、右手Ｈ１および左手Ｈ２のいずれも含まないものとして指示体を検出した場合は、壁面Ｗ１に操作画像ＧＵ３が表示される。

操作画像ＧＵ３において、項目画像ＧＣ１は、領域Ｒ３１に配置される。
また、操作画像ＧＵ３において、項目画像ＧＣ２は、領域Ｒ２１に配置される。
また、操作画像ＧＵ３において、項目画像ＧＣ３は、領域Ｒ３２に配置される。
また、操作画像ＧＵ３において、項目画像ＧＣ４は、領域Ｒ２３に配置される。
また、操作画像ＧＵ３において、項目画像ＧＣ５は、領域Ｒ２２に配置される。
また、操作画像ＧＵ３において、項目画像ＧＣ６は、領域Ｒ３３に配置される。
また、操作画像ＧＵ３において、項目画像ＧＣ７は、領域Ｒ１１に配置される。
また、操作画像ＧＵ３において、項目画像ＧＣ８は、領域Ｒ１２に配置される。
また、操作画像ＧＵ３において、項目画像ＧＣ９は、領域Ｒ１３に配置される。

すなわち、操作画像ＧＵ３において、領域Ｒ３１に配置される項目画像ＧＣ１は、領域Ｒ２１に配置される項目画像ＧＣ２よりも、ユーザーから見て上側に配置される。
また、領域Ｒ３１に配置される項目画像ＧＣ１は、領域Ｒ１１に配置される項目画像ＧＣ７よりも、ユーザーから見て上側に配置される。

図９は、ユーザーが右手Ｈ１を用いて操作画像ＧＵ１に対する指示操作を行う際の様子を図示した説明図である。ユーザーは、操作画像ＧＵ１に含まれる複数の項目画像ＧＣのうちの一の項目画像ＧＣを選択し、右手Ｈ１の指先Ｈ１０を用いて、当該一の項目画像ＧＣに対する指示操作を行うことで、当該一の項目画像ＧＣに対応する処理をプロジェクター１に実行させる。この時、プロジェクター１は、指示体の指示位置として、右手Ｈ１の指先Ｈ１０が指し示す指示位置を検出する。検出された指示位置は、複数の項目画像ＧＣのうちの一の項目画像ＧＣが表示される領域内であるため、プロジェクター１は、当該一の項目画像ＧＣに対応する処理を実行する。例えば、ユーザーが右手Ｈ１の指先Ｈ１０を用いて項目画像ＧＣ３を指示した場合、プロジェクター１は、右手Ｈ１の指先Ｈ１０が指し示す指示位置のＸＹ座標が領域Ｒ３２内であることを検出する。そして、プロジェクター１は、領域Ｒ３２に表示された項目画像ＧＣ３に対応する、移動ツール呼び出し処理を実行する。

ユーザーが操作画像ＧＵに対する指示操作を行う際に、操作画像ＧＵに含まれる複数の項目画像ＧＣのうちの一部が、ユーザーから見て指示体の陰に隠れることがある。例えば、図９に示す操作画像ＧＵ１において、領域Ｒ２３に配置された項目画像ＧＣ７は、右手Ｈ１の陰に隠れている様子が図示される。このため、ユーザーは、右手Ｈ１の陰に隠れている項目画像ＧＣ７を容易に視認することができず、項目画像ＧＣ７の位置を把握するのに時間を要する場合がある。

他方、図９より、領域Ｒ２１に配置された項目画像ＧＣ１は、右手Ｈ１の陰に隠れていないことがわかる。一般的に、投射画像ＧＰは、ユーザーの顔と同程度の高さ、または、顔よりも上側に表示される。投射画像ＧＰ１の表示位置がユーザーの顔と同程度の高さまたは顔よりも上側である場合、ユーザーが右手Ｈ１を用いて操作画像ＧＵ１に対する指示操作を行う際に、右手Ｈ１は、ユーザーから見て右下方向から左上方向に向かって伸びる。領域Ｒ２１は領域Ｒ２３よりも左側に位置することから、領域Ｒ２１に配置された項目画像ＧＣ１は、領域Ｒ２３に配置された項目画像ＧＣ７よりも、右手Ｈ１の陰に隠れにくくなる。すなわち、操作画像ＧＵ１において、画面キャプチャ処理よりも実行される頻度が高い描画ツール呼び出し処理に関する項目画像ＧＣ１は、画面キャプチャ処理に関する項目画像ＧＣ７よりも左側に表示されることから、ユーザーは、高頻度で指示する項目画像ＧＣ１の位置を容易に把握することができる。同様に、やり直し処理よりも実行される頻度が高い消しゴムツール呼び出し処理に関する項目画像ＧＣ２は、やり直し処理に関する項目画像ＧＣ４よりも左側に表示されることから、ユーザーは、高頻度で指示する項目画像ＧＣ２の位置を容易に把握することができる。

また、投射画像ＧＰ２の表示位置がユーザーの顔と同程度の高さまたは顔よりも上側である場合、ユーザーが左手Ｈ２を用いて操作画像ＧＵ２に対する指示操作を行う際に、左手Ｈ２は、ユーザーから見て左下方向から右上方向に向かって伸びる。領域Ｒ２３は領域Ｒ２１よりも右側に位置することから、領域Ｒ２３に配置された項目画像ＧＣ１は、領域Ｒ２１に配置された項目画像ＧＣ７よりも、左手Ｈ２の陰に隠れにくくなる。すなわち、操作画像ＧＵ２において、画面キャプチャ処理よりも実行される頻度が高い描画ツール呼び出し処理に関する項目画像ＧＣ１は、画面キャプチャ処理に関する項目画像ＧＣ７よりも右側に表示されることから、ユーザーは、高頻度で指示する項目画像ＧＣ１の位置を容易に把握することができる。同様に、やり直し処理よりも実行される頻度が高い消しゴムツール呼び出し処理に関する項目画像ＧＣ２は、やり直し処理に関する項目画像ＧＣ４よりも右側に表示されることから、ユーザーは、高頻度で指示する項目画像ＧＣ２の位置を容易に把握することができる。

また、投射画像ＧＰ３の表示位置がユーザーの顔と同程度の高さまたは顔よりも上側である場合、ユーザーが指示体Ｈ９を用いて操作画像ＧＵ３に対する指示操作を行う際に、指示体Ｈ９は、一般的に、ユーザーから見て下方向から上方向に向かって伸びると考えられる。領域Ｒ３１は領域Ｒ１１よりも上側に位置することから、領域Ｒ３１に配置された項目画像ＧＣ１は、領域Ｒ１１に配置された項目画像ＧＣ７よりも、指示体Ｈ９の陰に隠れにくくなる。すなわち、操作画像ＧＵ３において、画面キャプチャ処理よりも実行される頻度が高い描画ツール呼び出し処理に関する項目画像ＧＣ１は、画面キャプチャ処理に関する項目画像ＧＣ７よりも上側に表示されることから、ユーザーは、高頻度で指示する項目画像ＧＣ１の位置を容易に把握することができる。同様に、消しゴムツール呼び出し処理よりも実行される頻度が高い描画ツール呼び出し処理に関する項目画像ＧＣ１は、消しゴムツール呼び出し処理に関する項目画像ＧＣ２よりも上側に表示されることから、ユーザーは、高頻度で指示する項目画像ＧＣ１の位置を容易に把握することができる。

１．３．プロジェクターの構成および機能
以下、図１０および図１１を参照しつつ、第１実施形態に係るプロジェクター１の構成および機能について説明する。

図１０は、第１実施形態に係るプロジェクター１の構成を示すブロック図である。プロジェクター１は、各種情報を記憶する記憶部１１と、プロジェクター１の動作を制御する制御部１２と、指示体を検出するための撮像を行う撮像部１３と、プロジェクター１のユーザーからの入力操作を受け付ける操作部１４と、投射光を投射することで表示面上に画像を表示する投射部１５とを備える。制御部１２は、検出部１２０、投射制御部１２４および処理部１２５としての機能を有する。また、検出部１２０は、指示体検出部１２１、指示位置検出部１２２および撮像制御部１２３としての機能を有する。

記憶部１１は、例えば、ＲＡＭ等の揮発性メモリーおよびＲＯＭ等の不揮発性メモリーを含んで構成される。ここで、ＲＡＭとは、Random Access Memoryの略称である。また、ＲＯＭとは、Read Only Memoryの略称である。

図１１は、第１実施形態に係る記憶部１１の構成を示すブロック図である。記憶部１１の有する不揮発性メモリーは、プロジェクター１の動作を規定するプログラム１１０と、操作画像ＧＵを表す操作画像情報１１２と、指示体の検出に用いられる撮像情報１１６とを記憶する。本実施形態において、操作画像情報１１２は、第１操作画像情報１１３と、第２操作画像情報１１４と、第３操作画像情報１１５とを含む。第１操作画像情報１１３は、操作画像ＧＵ１を表す情報である。第２操作画像情報１１４は、操作画像ＧＵ２を表す情報である。第３操作画像情報１１５は、操作画像ＧＵ３を表す情報である。また、撮像情報１１６は、第１撮像情報１１７と、第２撮像情報１１８とを含む。

操作画像情報１１２は、例えば、操作部１４がユーザーからの編集操作を受け付けることで、任意に変更され得る。すなわち、ユーザーは、操作画像情報１１２を編集することで、操作画像ＧＵに含まれる項目画像ＧＣの配置、色およびサイズ等を、任意に変更することができる。

また、記憶部１１の有する揮発性メモリーは、プログラム１１０を実行する際のワークエリアとして制御部１２によって利用される。

なお、記憶部１１の一部または全部は、外部記憶装置または外部サーバー等に設けてもよい。また、記憶部１１に記憶される各種情報の一部または全部は、予め記憶部１１に記憶されるものであってもよいし、外部記憶装置または外部サーバー等から取得されるものであってもよい。

制御部１２は、１または複数のＣＰＵを含んで構成される。但し、制御部１２は、ＣＰＵの代わりに、または、ＣＰＵに加えて、ＦＰＧＡ等のプログラマブルロジックデバイスを備えるものでもよい。ここで、ＣＰＵとはCentral Processing Unitの略称であり、ＦＰＧＡとはField-Programmable Gate Arrayの略称である。

制御部１２は、制御部１２が有するＣＰＵ等がプログラム１１０を実行し、プログラム１１０に従って動作することで、図１０に示す検出部１２０、投射制御部１２４および処理部１２５として機能する。検出部１２０は、具体的には、指示体検出部１２１、指示位置検出部１２２および撮像制御部１２３として機能する。

検出部１２０は、指示体を検出する。また、検出部１２０は、指示体の種類を検出する。加えて、検出部１２０は、指示体の指示位置を検出する。なお、「指示体の種類を検出する」とは、例えば、指示体が右手Ｈ１を含むか、左手Ｈ２を含むか、または、右手Ｈ１および左手Ｈ２のいずれも含まないかを特定することである。また、「指示体の指示位置を検出する」とは、例えば、指示体と壁面Ｗ１とが接触している箇所のＸＹ座標を特定することである。

撮像制御部１２３は、撮像部１３を制御することで、投射画像ＧＰが表示された壁面Ｗ１上の領域と、当該壁面Ｗ１上の領域の近傍の空間とを含む範囲を撮像させる。そして、撮像制御部１２３は、撮像部１３から、投射画像ＧＰが表示された壁面Ｗ１上の領域および当該壁面Ｗ１上の領域の近傍の空間を含む範囲を撮像した撮像結果を表す撮像情報１１６を取得する。また、撮像制御部１２３は、取得した撮像情報１１６を記憶部１１に記憶させる。本実施形態において、撮像制御部１２３は、撮像情報１１６として、第１撮像情報１１７と、第２撮像情報１１８とを取得する。そして、撮像制御部１２３は、取得した第１撮像情報１１７および第２撮像情報１１８を記憶部１１に記憶させる。なお、第１撮像情報１１７および第２撮像情報１１８は、互いに異なるタイミングで取得される。また、投射画像ＧＰが表示された壁面Ｗ１上の領域の近傍の空間とは、例えば、当該壁面Ｗ１上の領域から＋Ｚ方向に所定の距離だけ離れた範囲までを含む空間である。

指示体検出部１２１は、撮像情報１１６に基づいて、撮像情報１１６の示す撮像画像に指示体が含まれるか否かを判定する。また、指示体検出部１２１は、撮像情報１１６の示す撮像画像に指示体が含まれる場合、すなわち、指示体が検出された場合、撮像情報１１６に基づいて、当該指示体が右手Ｈ１を含むか、左手Ｈ２を含むか、または、右手Ｈ１および左手Ｈ２のいずれも含まないかを判定する。本実施形態において、指示体検出部１２１は、第１撮像情報１１７に基づいて、第１撮像情報１１７の示す撮像画像に指示体が含まれるか否かを判定する。また、指示体検出部１２１は、第１撮像情報１１７の示す撮像画像に指示体が含まれる場合、第１撮像情報１１７に基づいて、当該指示体が右手Ｈ１を含むか、左手Ｈ２を含むか、または、右手Ｈ１および左手Ｈ２のいずれも含まないかを判定する。

加えて、指示体検出部１２１は、撮像情報１１６の示す撮像画像に指示体が含まれる場合、撮像情報１１６に基づいて、当該指示体が壁面Ｗ１と接触しているか否かを判定する。本実施形態において、指示体検出部１２１は、第２撮像情報１１８の示す撮像画像に指示体が含まれる場合、第２撮像情報１１８に基づいて、当該指示体が壁面Ｗ１と接触しているか否かを判定する。

指示位置検出部１２２は、撮像情報１１６の示す撮像画像に含まれる指示体が壁面Ｗ１と接触している場合、撮像情報１１６に基づいて、当該指示体と壁面Ｗ１とが接触している箇所を特定する。本実施形態において、指示位置検出部１２２は、第２撮像情報１１８の示す撮像画像に含まれる指示体が壁面Ｗ１と接触している場合、第２撮像情報１１８に基づいて、当該指示体と壁面Ｗ１とが接触している箇所のＸＹ座標を特定する。なお、「指示体が壁面Ｗ１と接触している箇所」とは、「指示体の指示位置」の一例であり、具体的には「右手Ｈ１の指先Ｈ１０が壁面Ｗ１と接触している箇所」等が挙げられる。

検出部１２０の機能、すなわち、指示体の検出に係る機能において、例えば、複数のテンプレート画像を用いたテンプレートマッチングや、機械学習等の、公知の画像処理技術が用いられてもよい。本明細書において、指示体の検出に係る詳細な技術的説明は省略する。

投射制御部１２４は、投射部１５を制御することで、表示面に対して、投射画像ＧＰを表示するための投射光を投射させる。指示体検出部１２１が撮像情報１１６の示す撮像画像に右手Ｈ１が含まれると判定した場合、投射制御部１２４は、表示面に対して、投射画像ＧＰ１を表示するための投射光を投射させる。指示体検出部１２１が撮像情報１１６の示す撮像画像に左手Ｈ２が含まれると判定した場合、投射制御部１２４は、表示面に対して、投射画像ＧＰ２を表示するための投射光を投射させる。指示体検出部１２１が撮像情報１１６の示す撮像画像に右手Ｈ１および左手Ｈ２のいずれも含まれないと判定した場合、投射制御部１２４は、表示面に対して、投射画像ＧＰ３を表示するための投射光を投射させる。本実施形態において、第１撮像情報１１７の示す撮像画像に含まれる指示体が右手Ｈ１を含む場合、投射制御部１２４は、壁面Ｗ１に対して、投射画像ＧＰ１を表示するための投射光を投射させる。すなわち、投射制御部１２４は、投射部１５を制御することで、壁面Ｗ１に第１操作画像情報１１３の示す操作画像ＧＵ１を表示させる。また、第１撮像情報１１７の示す撮像画像に含まれる指示体が左手Ｈ２を含む場合、投射制御部１２４は、壁面Ｗ１に対して、投射画像ＧＰ２を表示するための投射光を投射させる。すなわち、投射制御部１２４は、投射部１５を制御することで、壁面Ｗ１に第２操作画像情報１１４の示す操作画像ＧＵ２を表示させる。また、第１撮像情報１１７の示す撮像画像に含まれる指示体が右手Ｈ１および左手Ｈ２のいずれも含まない場合、投射制御部１２４は、壁面Ｗ１に対して、投射画像ＧＰ３を表示するための投射光を投射させる。すなわち、投射制御部１２４は、投射部１５を制御することで、壁面Ｗ１に第３操作画像情報１１５の示す操作画像ＧＵ３を表示させる。

処理部１２５は、指示体と壁面Ｗ１とが接触している箇所のＸＹ座標と、当該箇所に表示された項目画像ＧＣに基づいて、各種処理を実行する。換言すれば、指示体の指示位置が、操作画像ＧＵに含まれる複数の項目画像ＧＣのうちの一の項目画像ＧＣが表示される領域内である場合、処理部１２５は、当該一の項目画像ＧＣに対応する処理を実行する。なお、指示体が壁面Ｗ１と接触している箇所に項目画像ＧＣが表示されていない場合、処理部１２５は、例えば、操作画像ＧＵの表示を終了する処理を実行してもよい。

撮像部１３は、例えば、集光された光を電気信号に変換する撮像素子と、撮像レンズとを備えるカメラである。撮像素子は、例えば、ＣＣＤまたはＣＭＯＳ等を一例とするイメージセンサーである。ここで、ＣＣＤとはCharge Coupled Deviceの略称であり、ＣＭＯＳとはComplementary Metal Oxide Semiconductorの略称である。撮像レンズは、投射画像ＧＰが表示された壁面Ｗ１上の領域と、当該壁面Ｗ１上の領域の近傍の空間とを含む範囲を撮像するように設けられる。撮像部１３は、撮像制御部１２３の制御により、撮像画像を取得する。撮像画像は、撮像画像を表す撮像情報１１６として、制御部１２へ出力される。

なお、本実施形態において、プロジェクター１は、撮像部１３として、複数のカメラを備えることが好ましい。また、プロジェクター１の備える複数のカメラは、互いに異なる位置に設けられることが好ましい。また、撮像情報１１６は、異なる複数の位置から、投射画像ＧＰが表示された壁面Ｗ１上の領域および当該壁面Ｗ１上の領域の近傍の空間を含むような範囲を撮像した撮像結果を表す情報であることが好ましい。これにより、三角測量によって３次元位置の算出の精度を向上させることが可能であり、指示体の指示位置をより正確に検出することができる。

操作部１４は、プロジェクター１のユーザーから、プロジェクター１に対する入力操作を受け付ける。操作部１４は、例えば、プロジェクター１の筐体に設けられた、タッチパネルまたは操作ボタン等である。操作部１４がタッチパネルを含んで構成される場合、操作部１４は、検出したタッチ位置を示すデータを制御部１２へ出力する。また、操作部１４が操作ボタンを含んで構成される場合、操作部１４は、押下されたボタンを識別するデータを制御部１２へ出力する。これにより、プロジェクター１に対する入力操作の内容が制御部１２へ伝達される。

投射部１５は、投射制御部１２４の制御により、表示面上に投射画像ＧＰを表示するための投射光を投射する。本実施形態において、投射部１５は、壁面Ｗ１上に投射画像ＧＰを表示するための投射光を投射する。投射部１５は、例えば、図示しない光源、光変調装置、投写レンズを備える。当該光変調装置は、例えば、液晶パネルやデジタルミラーデバイスを用いることができる。また、当該光源は、例えば、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ、ＬＥＤまたはレーザー光源等を用いることができる。ここで、ＬＥＤとはLight Emitting Diodeの略称である。

１．４．プロジェクターの動作
図１２は、第１実施形態に係るプロジェクター１の動作について説明するためのフローチャートである。当該フローチャートに示す一連の動作は、例えば、プロジェクター１の電源がＯＮになり、操作部１４がプロジェクター１のユーザーから動作開始に関する入力操作を受け付けた際に開始される。なお、本実施形態において、プロジェクター１は、電源がＯＮになるのに合わせて、壁面Ｗ１に対して、投射画像ＧＰ０を表示するための投射光を投射する場合を想定する。

ステップＳ１０１において、撮像制御部１２３は、撮像部１３を制御することで、投射画像ＧＰ０が表示された壁面Ｗ１上の領域と、当該壁面Ｗ１上の領域の近傍の空間とを含む範囲を撮像させる。そして、撮像制御部１２３は、撮像部１３から、投射画像ＧＰ０が表示された壁面Ｗ１上の領域および当該壁面Ｗ１上の領域の近傍の空間を含む範囲を撮像した撮像結果を表す第１撮像情報１１７を取得する。また、撮像制御部１２３は、取得した第１撮像情報１１７を記憶部１１に記憶させる。

ステップＳ１０２において、指示体検出部１２１は、第１撮像情報１１７に基づいて、第１撮像情報１１７の示す撮像画像に指示体が含まれるか否かを判定する。ステップＳ１０２における判定の結果が肯定の場合、すなわち、ステップＳ１０２でＹＥＳの場合、指示体検出部１２１は処理をステップＳ１０３へ進める。また、ステップＳ１０２における判定の結果が否定の場合、すなわち、ステップＳ１０２でＮＯの場合、指示体検出部１２１は処理をステップＳ１０１へ進める。

図１２のフローチャートに示す一連の動作が開始されたら、ユーザーは、撮像部１３の撮像範囲内に指示体を移動させることで、プロジェクター１に指示体を撮像させる。プロジェクター１は、指示体を撮像し、撮像画像を基に指示体を検出することで、処理をステップＳ１０３へ進めることができる。ユーザーがプロジェクター１に指示体を検出させるまで、プロジェクター１は、ステップＳ１０１およびステップＳ１０２における処理を繰り返し実行する。

ステップＳ１０３において、指示体検出部１２１は、第１撮像情報１１７に基づいて、第１撮像情報１１７の示す撮像画像に含まれる指示体が右手Ｈ１を含むか否か判定する。ステップＳ１０３における判定の結果が肯定の場合、すなわち、ステップＳ１０３でＹＥＳの場合、指示体検出部１２１は処理をステップＳ１０５へ進める。また、ステップＳ１０３における判定の結果が否定の場合、すなわち、ステップＳ１０３でＮＯの場合、指示体検出部１２１は処理をステップＳ１０４へ進める。

ステップＳ１０４において、指示体検出部１２１は、第１撮像情報１１７に基づいて、第１撮像情報１１７の示す撮像画像に含まれる指示体が左手Ｈ２を含むか否か判定する。ステップＳ１０４における判定の結果が肯定の場合、すなわち、ステップＳ１０４でＹＥＳの場合、指示体検出部１２１は処理をステップＳ１０６へ進める。また、ステップＳ１０４における判定の結果が否定の場合、すなわち、ステップＳ１０４でＮＯの場合、指示体検出部１２１は処理をステップＳ１０７へ進める。

ステップＳ１０３における判定の結果が肯定の場合、第１撮像情報１１７の示す撮像画像には右手Ｈ１が含まれると見做される。また、ステップＳ１０４における判定の結果が肯定の場合、第１撮像情報１１７の示す撮像画像には左手Ｈ２が含まれると見做される。また、ステップＳ１０３およびステップＳ１０４における判定の結果がいずれも否定の場合、第１撮像情報１１７の示す撮像画像には右手Ｈ１および左手Ｈ２のいずれも含まれないと見做される。

ステップＳ１０５において、投射制御部１２４は、投射部１５を制御することで、壁面Ｗ１に対して、投射画像ＧＰ１を表示するための投射光を投射させる。すなわち、投射制御部１２４は、投射部１５を制御することで、壁面Ｗ１に第１操作画像情報１１３の示す操作画像ＧＵ１を表示させる。

ステップＳ１０６において、投射制御部１２４は、投射部１５を制御することで、壁面Ｗ１に対して、投射画像ＧＰ２を表示するための投射光を投射させる。すなわち、投射制御部１２４は、投射部１５を制御することで、壁面Ｗ１に第２操作画像情報１１４の示す操作画像ＧＵ２を表示させる。

ステップＳ１０７において、投射制御部１２４は、投射部１５を制御することで、壁面Ｗ１に対して、投射画像ＧＰ３を表示するための投射光を投射させる。すなわち、投射制御部１２４は、投射部１５を制御することで、壁面Ｗ１に第３操作画像情報１１５の示す操作画像ＧＵ３を表示させる。

指示体検出部１２１が第１撮像情報１１７の示す撮像画像に右手Ｈ１が含まれると判定した場合、投射制御部１２４は、操作画像ＧＵ１を表示させる。換言すれば、検出された指示体が右手Ｈ１を含む場合、項目画像ＧＣ１～ＧＣ９は、操作画像ＧＵ１の態様で配置される。また、指示体検出部１２１が第１撮像情報１１７の示す撮像画像に左手Ｈ２が含まれると判定した場合、投射制御部１２４は、操作画像ＧＵ２を表示させる。換言すれば、検出された指示体が左手Ｈ２を含む場合、項目画像ＧＣ１～ＧＣ９は、操作画像ＧＵ２の態様で配置される。また、指示体検出部１２１が第１撮像情報１１７の示す撮像画像に右手Ｈ１および左手Ｈ２のいずれも含まれないと判定した場合、投射制御部１２４は、操作画像ＧＵ３を表示させる。換言すれば、検出された指示体が右手Ｈ１および左手Ｈ２を含まない場合、項目画像ＧＣ１～ＧＣ９は、操作画像ＧＵ３の態様で配置される。

ステップＳ１０８において、撮像制御部１２３は、撮像部１３を制御することで、投射画像ＧＰが表示された壁面Ｗ１上の領域と、当該壁面Ｗ１上の領域の近傍の空間とを含む範囲を撮像させる。そして、撮像制御部１２３は、撮像部１３から、投射画像ＧＰが表示された壁面Ｗ１上の領域および当該壁面Ｗ１上の領域の近傍の空間を含む範囲を撮像した撮像結果を表す第２撮像情報１１８を取得する。また、撮像制御部１２３は、取得した第２撮像情報１１８を記憶部１１に記憶させる。

ステップＳ１０９において、指示体検出部１２１は、第２撮像情報１１８に基づいて、第２撮像情報１１８の示す撮像画像に指示体が含まれるか否かを判定する。ステップＳ１０９における判定の結果が肯定の場合、すなわち、ステップＳ１０９でＹＥＳの場合、指示体検出部１２１は処理をステップＳ１１０へ進める。また、ステップＳ１０９における判定の結果が否定の場合、すなわち、ステップＳ１０９でＮＯの場合、指示体検出部１２１は処理をステップＳ１０８へ進める。

ステップＳ１１０において、指示体検出部１２１は、第２撮像情報１１８に基づいて、第２撮像情報１１８の示す撮像画像に含まれる指示体が壁面Ｗ１と接触しているか否かを判定する。ステップＳ１１０における判定の結果が肯定の場合、すなわち、ステップＳ１１０でＹＥＳの場合、指示体検出部１２１は処理をステップＳ１１１へ進める。また、ステップＳ１１０における判定の結果が否定の場合、すなわち、ステップＳ１１０でＮＯの場合、指示体検出部１２１は処理をステップＳ１０８へ進める。

ステップＳ１０５、Ｓ１０６またはＳ１０７において操作画像ＧＵを表示した後、プロジェクター１は、再度、指示体を検出する。そして、ステップＳ１１０において、プロジェクター１は、撮像画像を基に、指示体が壁面Ｗ１と接触しているか否か、より具体的には、壁面Ｗ１に表示された投射画像ＧＰと接触しているか否かを判定する。換言すれば、プロジェクター１は、ステップＳ１１０において、ユーザーが投射画像ＧＰに対する指示操作を行ったか否かを判定する。ユーザーが投射画像ＧＰに対する指示操作を行うまで、プロジェクター１は、ステップＳ１０８～Ｓ１１０における処理を繰り返し実行する。

ステップＳ１１１において、指示位置検出部１２２は、第２撮像情報１１８に基づいて、第２撮像情報１１８の示す撮像画像に含まれる指示体と壁面Ｗ１とが接触している箇所のＸＹ座標を特定する。

ステップＳ１１２において、処理部１２５は、第２撮像情報１１８の示す撮像画像に含まれる指示体と壁面Ｗ１とが接触している箇所のＸＹ座標と、当該箇所に表示された項目画像ＧＣに基づいて、各種処理を実行する。換言すれば、第２撮像情報１１８の示す撮像画像に含まれる指示体の指示位置が、操作画像ＧＵに含まれる複数の項目画像ＧＣのうちの一の項目画像ＧＣが表示される領域内である場合、処理部１２５は、当該一の項目画像ＧＣに対応する処理を実行する。

例えば、壁面Ｗ１に操作画像ＧＵ１が表示される場合であって、右手Ｈ１の指示位置が領域Ｒ３１内である場合、プロジェクター１は、領域Ｒ３１に表示される項目画像ＧＣ２に対応する消しゴムツール呼び出し処理を実行する。また、壁面Ｗ１に操作画像ＧＵ１が表示される場合であって、右手Ｈ１の指示位置が領域Ｒ３３内である場合、プロジェクター１は、領域Ｒ３３に表示される項目画像ＧＣ４に対応するやり直し処理を実行する。また、壁面Ｗ１に操作画像ＧＵ１が表示される場合であって、右手Ｈ１の指示位置が領域Ｒ２１内である場合、プロジェクター１は、領域Ｒ２１に表示される項目画像ＧＣ１に対応する描画ツール呼び出し処理を実行する。また、壁面Ｗ１に操作画像ＧＵ１が表示される場合であって、右手Ｈ１の指示位置が領域Ｒ２３内である場合、プロジェクター１は、領域Ｒ２３に表示される項目画像ＧＣ７に対応する画面キャプチャ処理を実行する。

例えば、壁面Ｗ１に操作画像ＧＵ２が表示される場合であって、左手Ｈ２の指示位置が領域Ｒ３３内である場合、プロジェクター１は、領域Ｒ３３に表示される項目画像ＧＣ２に対応する消しゴムツール呼び出し処理を実行する。また、壁面Ｗ１に操作画像ＧＵ２が表示される場合であって、左手Ｈ２の指示位置が領域Ｒ３１内である場合、プロジェクター１は、領域Ｒ３１に表示される項目画像ＧＣ４に対応するやり直し処理を実行する。また、壁面Ｗ１に操作画像ＧＵ２が表示される場合であって、左手Ｈ２の指示位置が領域Ｒ２３内である場合、プロジェクター１は、領域Ｒ２３に表示される項目画像ＧＣ１に対応する描画ツール呼び出し処理を実行する。また、壁面Ｗ１に操作画像ＧＵ２が表示される場合であって、左手Ｈ２の指示位置が領域Ｒ２１内である場合、プロジェクター１は、領域Ｒ２１に表示される項目画像ＧＣ７に対応する画面キャプチャ処理を実行する。

例えば、壁面Ｗ１に操作画像ＧＵ３が表示される場合であって、指示体Ｈ９の指示位置が領域Ｒ２１内である場合、プロジェクター１は、領域Ｒ２１に表示される項目画像ＧＣ２に対応する消しゴムツール呼び出し処理を実行する。また、壁面Ｗ１に操作画像ＧＵ３が表示される場合であって、指示体Ｈ９の指示位置が領域Ｒ２３内である場合、プロジェクター１は、領域Ｒ２３に表示される項目画像ＧＣ４に対応するやり直し処理を実行する。また、壁面Ｗ１に操作画像ＧＵ３が表示される場合であって、指示体Ｈ９の指示位置が領域Ｒ３１内である場合、プロジェクター１は、領域Ｒ３１に表示される項目画像ＧＣ１に対応する描画ツール呼び出し処理を実行する。また、壁面Ｗ１に操作画像ＧＵ３が表示される場合であって、指示体Ｈ９の指示位置が領域Ｒ１１内である場合、プロジェクター１は、領域Ｒ１１に表示される項目画像ＧＣ７に対応する画面キャプチャ処理を実行する。

なお、第２撮像情報１１８の示す撮像画像に含まれる指示体と壁面Ｗ１とが接触している箇所に項目画像ＧＣが表示されていない場合、ステップＳ１１２において、処理部１２５は、例えば、操作画像ＧＵの表示を終了する処理を実行する。

ステップＳ１１２における動作が実行された後、制御部１２は、図１２のフローチャートに示す一連の動作を終了させる。

以上より、第１実施形態によれば、プロジェクター１は、ユーザーが指示操作を行う際の指示体を検出し、更に指示体の種類を特定することで、表示する操作画像ＧＵを変更することができる。すなわち、プロジェクター１は、指示体の種類に合わせて最適な操作画像ＧＵを表示することができる。

また、第１実施形態によれば、操作画像ＧＵに含まれる複数の項目画像ＧＣは、特定された指示体の種類に応じて、配置が変更される。すなわち、プロジェクター１は、高頻度で実行される処理に関する項目画像ＧＣを、ユーザーが操作しやすい配置で表示することができる。

また、第１実施形態によれば、プロジェクター１は、指示体が右手Ｈ１および左手Ｈ２のいずれも含まないと判定した場合、指示体が右手Ｈ１を含む場合と、指示体が左手Ｈ２を含む場合とは異なる態様の操作画像ＧＵを表示することができる。すなわち、プロジェクター１は、例えば、指示体の種類を正確に特定することができない場合であっても、汎用性のある態様で操作画像ＧＵを表示することができる。

以上に説明したように、第１実施形態に係る表示方法は、指示体を検出することと、項目画像ＧＣ１～ＧＣ９を含む操作画像ＧＵを表示することと、を含み、指示体が右手Ｈ１を含む場合、操作画像ＧＵにおいて、項目画像ＧＣ１～ＧＣ９は、操作画像ＧＵ１の態様で配置され、指示体が左手Ｈ２を含む場合、操作画像ＧＵにおいて、項目画像ＧＣ１～ＧＣ９は、操作画像ＧＵ２の態様で配置される。

また、第１実施形態に係るプロジェクター１は、１または複数のＣＰＵを備え、当該ＣＰＵは、指示体を検出することと、項目画像ＧＣ１～ＧＣ９を含む操作画像ＧＵを表示させることと、を実行し、指示体が右手Ｈ１を含む場合、操作画像ＧＵにおいて、項目画像ＧＣ１～ＧＣ９は、操作画像ＧＵ１の態様で配置され、指示体が左手Ｈ２を含む場合、操作画像ＧＵにおいて、項目画像ＧＣ１～ＧＣ９は、操作画像ＧＵ２の態様で配置される。

すなわち、本実施形態に係るプロジェクター１は、ユーザーが指示操作を行う際の指示体を検出し、当該指示体が右手Ｈ１を含む場合と、左手Ｈ２を含む場合とで、複数の項目画像ＧＣの配置を変更することができる。これにより、プロジェクター１は、指示体の種類に合わせて、操作性の良い操作画像ＧＵを表示することができる。

なお、第１実施形態において、プロジェクター１は「表示装置」の一例であり、項目画像ＧＣ１～ＧＣ９は「複数の項目画像」の一例であり、操作画像ＧＵは「操作画像」の一例であり、右手Ｈ１は「右手」の一例であり、左手Ｈ２は「左手」の一例であり、ＣＰＵは「プロセッサー」の一例であり、検出部１２０は「検出部」の一例であり、投射制御部１２４は「表示制御部」の一例である。また、右手Ｈ１および左手Ｈ２は「指示体」の一例であり、操作画像ＧＵ１の態様は「第１の態様」の一例であり、操作画像ＧＵ２の態様は「第２の態様」の一例である。

また、第１実施形態に係る表示方法において、操作画像ＧＵは、領域Ｒ３１と、領域Ｒ３３とを有し、項目画像ＧＣ１～ＧＣ９は、消しゴムツール呼び出し処理に関する項目画像ＧＣ２を含み、操作画像ＧＵ１において、項目画像ＧＣ２は、領域Ｒ３１に配置され、操作画像ＧＵ２において、項目画像ＧＣ２は、領域Ｒ３３に配置される。

これにより、本実施形態に係るプロジェクター１は、所定の処理に関する項目画像ＧＣを、指示体の種類に合わせて、異なる配置で表示することができる。

なお、第１実施形態において、領域Ｒ３１は「第１領域」の一例であり、領域Ｒ３３は「第２領域」の一例であり、消しゴムツール呼び出し処理は「第１の処理」の一例であり、操作画像ＧＵ１は「第１の態様の操作画像」の一例であり、操作画像ＧＵ２は「第２の態様の操作画像」の一例である。また、項目画像ＧＣ２は「第１の処理に関する項目画像」の一例である。

また、第１実施形態に係る表示方法において、項目画像ＧＣ１～ＧＣ９は、やり直し処理に関する項目画像ＧＣ４を含み、操作画像ＧＵ１において、項目画像ＧＣ４は、領域Ｒ３３に配置され、操作画像ＧＵ２において、項目画像ＧＣ４は、領域Ｒ３１に配置される。

これにより、本実施形態に係るプロジェクター１は、異なる処理に関する２種類の項目画像ＧＣを、指示体の種類に合わせて、配置を入れ替えて表示することができる。

なお、第１実施形態において、やり直し処理は「第２の処理」の一例である。また、項目画像ＧＣ４は「第２の処理に関する項目画像」の一例である。

また、第１実施形態に係る表示方法において、指示体の指示位置を検出することと、当該指示位置が、項目画像ＧＣ２が表示される領域内である場合に、消しゴムツール呼び出し処理を実行することと、当該指示位置が、項目画像ＧＣ４が表示される領域内である場合に、やり直し処理を実行することと、を更に含み、領域Ｒ３１は、領域Ｒ３３よりも、ユーザーから見て左側である。

すなわち、本実施形態に係るプロジェクター１は、ユーザーの指示操作に応じて、指示位置に表示される項目画像ＧＣに対応する処理を実行することができる。また、プロジェクター１は、指示体の種類に合わせて、異なる処理に関する２種類の項目画像ＧＣのうち、一方を右側に、他方を左側に配置されるように、各々の配置を入れ替えて表示させることができる。これにより、消しゴムツール呼び出し処理に関する項目画像ＧＣ２は、指示体が右手Ｈ１を含む場合、または、指示体が左手Ｈ２を含む場合のいずれの場合においても、指示体の陰に隠れにくくなる。従って、項目画像ＧＣ２に対する指示操作を行う際の操作性が向上する。

なお、第１実施形態において、「指示体の指示位置」の一例として、「右手Ｈ１の指先Ｈ１０が壁面Ｗ１と接触している箇所」が挙げられる。

また、第１実施形態に係る表示方法において、消しゴムツール呼び出し処理は、やり直し処理よりも、実行される頻度が高い。

すなわち、本実施形態に係るプロジェクター１は、指示体が右手Ｈ１を含む場合、実行される頻度が高い処理に関する項目画像ＧＣ２を、実行される頻度が低い処理に関する項目画像ＧＣ４よりも左側に表示することができる。また、プロジェクター１は、指示体が左手Ｈ２を含む場合、実行される頻度が高い処理に関する項目画像ＧＣ２を、実行される頻度が低い処理に関する項目画像ＧＣ４よりも右側に表示することができる。これにより、プロジェクター１は、指示体の種類に合わせて、実行される頻度が高い処理に関する項目画像ＧＣを、視認性の高い配置で表示することができる。

また、第１実施形態に係る表示方法において、指示体が右手Ｈ１および左手Ｈ２のいずれも含まない場合、操作画像ＧＵにおいて、項目画像ＧＣ１～ＧＣ９は、操作画像ＧＵ３の態様で配置される。

すなわち、本実施形態に係るプロジェクター１は、指示体が右手Ｈ１および左手Ｈ２のいずれも含まないと判定した場合、指示体が右手Ｈ１を含む場合と、指示体が左手Ｈ２を含む場合とは異なる態様の操作画像ＧＵを表示することができる。これにより、プロジェクター１は、例えば、指示体の種類を正確に特定することができない場合であっても、汎用性のある態様で操作画像ＧＵを表示することができる。

なお、第１実施形態において、操作画像ＧＵ３の態様は「第３の態様」の一例である。

また、第１実施形態に係る表示方法において、操作画像ＧＵは、領域Ｒ３１と、領域Ｒ２１とを有し、領域Ｒ３１は、領域Ｒ２１よりも、ユーザーから見て上側であり、項目画像ＧＣ１～ＧＣ９は、消しゴムツール呼び出し処理に関する項目画像ＧＣ２と、描画ツール呼び出し処理に関する項目画像ＧＣ１とを含み、指示体の指示位置を検出することと、当該指示位置が、項目画像ＧＣ２が表示される領域内である場合に、消しゴムツール呼び出し処理を実行することと、当該指示位置が、項目画像ＧＣ１が表示される領域内である場合に、描画ツール呼び出し処理を実行することと、を更に含み、操作画像ＧＵ１において、項目画像ＧＣ２は、領域Ｒ３１に配置され、項目画像ＧＣ１は、領域Ｒ２１に配置され、操作画像ＧＵ３において、項目画像ＧＣ２は、領域Ｒ２１に配置され、項目画像ＧＣ１は、領域Ｒ３１に配置される。

これにより、本実施形態に係るプロジェクター１は、ユーザーの指示操作に応じて、指示位置に表示される項目画像ＧＣに対応する処理を実行することができる。また、プロジェクター１は、指示体の種類に合わせて、異なる処理に関する２種類の項目画像ＧＣのうち、一方を上側に、他方を下側に配置されるように、各々の配置を入れ替えて表示させることができる。

なお、第１実施形態において、領域Ｒ２１は「第３領域」の一例であり、描画ツール呼び出し処理は「第３の処理」の一例であり、操作画像ＧＵ３は「第３の態様の操作画像」の一例である。また、項目画像ＧＣ１は「第３の処理に関する項目画像」の一例である。

また、第１実施形態に係る表示方法において、描画ツール呼び出し処理は、消しゴムツール呼び出し処理よりも、実行される頻度が高い。

すなわち、本実施形態に係るプロジェクター１は、指示体が右手Ｈ１および左手Ｈ２のいずれも含まない場合、実行される頻度が高い処理に関する項目画像ＧＣ１を、実行される頻度が低い処理に関する項目画像ＧＣ２よりも上側に表示することができる。これにより、プロジェクター１は、例えば、指示体の種類を正確に特定することができない場合であっても、実行される頻度が高い処理に関する項目画像ＧＣを、視認性の高い配置で表示することができる。

２．第２実施形態
以下において、本発明の第２実施形態を説明する。なお、以下に例示する各形態において、作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜省略する。

第２実施形態に係るプロジェクター１Ａは、項目画像ＧＣ１～ＧＣ９の各々に対応する処理が実行される頻度を特定し、特定した当該頻度に基づいて、項目画像ＧＣ１～ＧＣ９の配置を変更して表示する。以下では、便宜上、項目画像ＧＣ２に対応する消しゴムツール呼び出し処理が実行される頻度と、項目画像ＧＣ４に対応するやり直し処理が実行される頻度とを特定し、特定した２つの頻度に基づいて、項目画像ＧＣ２および項目画像ＧＣ４の配置を変更する場合を例示して、本実施形態に係るプロジェクター１Ａについて説明する。

以下、図１３および図１４を参照しつつ、ユーザーが第２実施形態に係るプロジェクター１Ａに対する入力操作を行う際に表示される操作画像ＧＵについて説明する。

図１３は、操作画像ＧＵ１Ａについて説明するための模式図である。操作画像ＧＵ１Ａは、やり直し処理が消しゴムツール呼び出し処理よりも実行される頻度が高い場合であって、検出された指示体が右手Ｈ１を含む場合に、壁面Ｗ１に表示される。操作画像ＧＵ１Ａは、投射画像ＧＰ１Ａに含まれる。操作画像ＧＵ１Ａは、操作画像ＧＵ１、操作画像ＧＵ２および操作画像ＧＵ３と同様、項目画像ＧＣ１～ＧＣ９を含むＧＵＩである。操作画像ＧＵ１Ａは、項目画像ＧＣ２の代わりに項目画像ＧＣ４が領域Ｒ３１に配置される点と、項目画像ＧＣ４の代わりに項目画像ＧＣ２が領域Ｒ３３に配置される点とを除き、操作画像ＧＵ１と同様に構成される。

図１４は、操作画像ＧＵ２Ａについて説明するための模式図である。操作画像ＧＵ２Ａは、やり直し処理が消しゴムツール呼び出し処理よりも実行される頻度が高い場合であって、検出された指示体が左手Ｈ２を含む場合に、壁面Ｗ１に表示される。操作画像ＧＵ２Ａは、投射画像ＧＰ２Ａに含まれる。操作画像ＧＵ２Ａは、操作画像ＧＵ１、操作画像ＧＵ１Ａ、操作画像ＧＵ２および操作画像ＧＵ３と同様、項目画像ＧＣ１～ＧＣ９を含むＧＵＩである。操作画像ＧＵ２Ａは、項目画像ＧＣ４の代わりに項目画像ＧＣ２が領域Ｒ３１に配置される点と、項目画像ＧＣ２の代わりに項目画像ＧＣ４が領域Ｒ３３に配置される点とを除き、操作画像ＧＵ２と同様に構成される。

なお、消しゴムツール呼び出し処理がやり直し処理よりも実行される頻度が高い場合であって、検出された指示体が右手Ｈ１を含む場合、プロジェクター１は、壁面Ｗ１に操作画像ＧＵ１を表示する。また、消しゴムツール呼び出し処理がやり直し処理よりも実行される頻度が高い場合であって、検出された指示体が左手Ｈ２を含む場合、プロジェクター１は、壁面Ｗ１に操作画像ＧＵ２を表示する。

以下、図１５および図１６を参照しつつ、第２実施形態に係るプロジェクター１Ａの構成および機能について説明する。

図１５は、第２実施形態に係るプロジェクター１Ａの構成を示すブロック図である。図１６は、第２実施形態に係る記憶部１１Ａの構成を示すブロック図である。プロジェクター１Ａは、記憶部１１の代わりに記憶部１１Ａを備える点と、制御部１２の代わりに制御部１２Ａを備える点とを除き、第１実施形態に係るプロジェクター１と同様に構成される。記憶部１１Ａは、プログラム１１０の代わりにプログラム１１０Ａを記憶する点と、操作画像情報１１２の代わりに操作画像情報１１２Ａを記憶する点と、撮像情報１１６等に加えて頻度情報１１１を記憶する点とにおいて、第１実施形態に係る記憶部１１と相違する。操作画像情報１１２Ａは、第１操作画像情報１１３、第２操作画像情報１１４および第３操作画像情報１１５等に加えて、第１操作画像情報１１３Ａおよび第２操作画像情報１１４Ａを含む点において、操作画像情報１１２と相違する。第１操作画像情報１１３Ａは、操作画像ＧＵ１Ａを表す情報である。第２操作画像情報１１４Ａは、操作画像ＧＵ２Ａを表す情報である。制御部１２Ａは、投射制御部１２４の代わりに投射制御部１２４Ａとしての機能を有する点と、検出部１２０および処理部１２５等に加えて頻度管理部１２６としての機能を有する点とを除き、第１実施形態に係る制御部１２と同様に構成される。制御部１２Ａは、制御部１２Ａが有するＣＰＵ等がプログラム１１０Ａを実行し、プログラム１１０Ａに従って動作することで、図１５に示す検出部１２０、投射制御部１２４Ａ、処理部１２５および頻度管理部１２６として機能する。

頻度管理部１２６は、操作画像ＧＵに含まれる複数の項目画像ＧＣの各々に対応する処理が実行される頻度を管理する。具体的には、頻度管理部１２６は、操作画像ＧＵに含まれる複数の項目画像ＧＣの各々に対応する処理が実行される頻度を表す頻度情報１１１を管理する。より具体的には、頻度管理部１２６は、操作画像ＧＵに含まれる複数の項目画像ＧＣの各々に対応する処理のいずれかが実行される度に、頻度情報１１１を更新する。例えば、操作画像ＧＵに含まれる複数の項目画像ＧＣのうちの一の項目画像ＧＣに対応する処理が実行された場合、頻度管理部１２６は、当該一の項目画像ＧＣに対応する処理が実行されたことを頻度情報１１１に反映させる。

また、頻度管理部１２６は、頻度情報１１１を参照し、操作画像ＧＵに含まれる複数の項目画像ＧＣの各々に対応する処理が実行される頻度を特定する。本実施形態において、頻度管理部１２６は、頻度情報１１１を参照し、消しゴムツール呼び出し処理が実行される頻度と、やり直し処理が実行される頻度とを特定する。これにより、プロジェクター１Ａは、消しゴムツール呼び出し処理とやり直し処理のどちらが実行される頻度が高いか特定することができる。

投射制御部１２４Ａは、投射部１５を制御することで、壁面Ｗ１に対して、投射画像ＧＰを表示するための投射光を投射させる。

本実施形態において、消しゴムツール呼び出し処理がやり直し処理よりも実行される頻度が高い場合であって、第１撮像情報１１７の示す撮像画像に含まれる指示体が右手Ｈ１を含む場合、投射制御部１２４Ａは、壁面Ｗ１に対して、投射画像ＧＰ１を表示するための投射光を投射させる。すなわち、投射制御部１２４Ａは、投射部１５を制御することで、壁面Ｗ１に第１操作画像情報１１３の示す操作画像ＧＵ１を表示させる。
また、消しゴムツール呼び出し処理がやり直し処理よりも実行される頻度が高い場合であって、第１撮像情報１１７の示す撮像画像に含まれる指示体が左手Ｈ２を含む場合、投射制御部１２４Ａは、壁面Ｗ１に対して、投射画像ＧＰ２を表示するための投射光を投射させる。すなわち、投射制御部１２４Ａは、投射部１５を制御することで、壁面Ｗ１に第２操作画像情報１１４の示す操作画像ＧＵ２を表示させる。

また、やり直し処理が消しゴムツール呼び出し処理よりも実行される頻度が高い場合であって、第１撮像情報１１７の示す撮像画像に含まれる指示体が右手Ｈ１を含む場合、投射制御部１２４Ａは、壁面Ｗ１に対して、投射画像ＧＰ１Ａを表示するための投射光を投射させる。すなわち、投射制御部１２４Ａは、投射部１５を制御することで、壁面Ｗ１に第１操作画像情報１１３Ａの示す操作画像ＧＵ１Ａを表示させる。
また、やり直し処理が消しゴムツール呼び出し処理よりも実行される頻度が高い場合であって、第１撮像情報１１７の示す撮像画像に含まれる指示体が左手Ｈ２を含む場合、投射制御部１２４Ａは、壁面Ｗ１に対して、投射画像ＧＰ２Ａを表示するための投射光を投射させる。すなわち、投射制御部１２４Ａは、投射部１５を制御することで、壁面Ｗ１に第２操作画像情報１１４Ａの示す操作画像ＧＵ２Ａを表示させる。

また、第１撮像情報１１７の示す撮像画像に含まれる指示体が右手Ｈ１および左手Ｈ２のいずれも含まない場合、投射制御部１２４Ａは、壁面Ｗ１に対して、投射画像ＧＰ３を表示するための投射光を投射させる。すなわち、投射制御部１２４Ａは、投射部１５を制御することで、壁面Ｗ１に第３操作画像情報１１５の示す操作画像ＧＵ３を表示させる。

図１７は、第２実施形態に係るプロジェクター１Ａの動作について説明するためのフローチャートである。図１７に示すフローチャートは、制御部１２Ａが、ステップＳ１０５の代わりにステップＳ１２２の処理を実行する点と、ステップＳ１０６の代わりにステップＳ１２３の処理を実行する点と、ステップＳ１０１～Ｓ１０３およびステップＳ１０７～Ｓ１１２の処理に加え、ステップＳ１２１およびステップＳ１２４の処理を実行する点とを除き、図１２に示すフローチャートと同様である。

ステップＳ１２１において、頻度管理部１２６は、頻度情報１１１を参照し、消しゴムツール呼び出し処理が実行される頻度と、やり直し処理が実行される頻度とを特定する。すなわち、頻度管理部１２６は、消しゴムツール呼び出し処理とやり直し処理のどちらが実行される頻度が高いかを特定する。

消しゴムツール呼び出し処理がやり直し処理よりも実行される頻度が高い場合、ステップＳ１２２において、投射制御部１２４Ａは、投射部１５を制御することで、壁面Ｗ１に対して、投射画像ＧＰ１を表示するための投射光を投射させる。すなわち、投射制御部１２４Ａは、投射部１５を制御することで、壁面Ｗ１に第１操作画像情報１１３の示す操作画像ＧＵ１を表示させる。

やり直し処理が消しゴムツール呼び出し処理よりも実行される頻度が高い場合、ステップＳ１２２において、投射制御部１２４Ａは、投射部１５を制御することで、壁面Ｗ１に対して、投射画像ＧＰ１Ａを表示するための投射光を投射させる。すなわち、投射制御部１２４Ａは、投射部１５を制御することで、壁面Ｗ１に第１操作画像情報１１３Ａの示す操作画像ＧＵ１Ａを表示させる。

消しゴムツール呼び出し処理がやり直し処理よりも実行される頻度が高い場合、ステップＳ１２３において、投射制御部１２４Ａは、投射部１５を制御することで、壁面Ｗ１に対して、投射画像ＧＰ２を表示するための投射光を投射させる。すなわち、投射制御部１２４Ａは、投射部１５を制御することで、壁面Ｗ１に第２操作画像情報１１４の示す操作画像ＧＵ２を表示させる。

やり直し処理が消しゴムツール呼び出し処理よりも実行される頻度が高い場合、ステップＳ１２３において、投射制御部１２４Ａは、投射部１５を制御することで、壁面Ｗ１に対して、投射画像ＧＰ２Ａを表示するための投射光を投射させる。すなわち、投射制御部１２４Ａは、投射部１５を制御することで、壁面Ｗ１に第２操作画像情報１１４Ａの示す操作画像ＧＵ２Ａを表示させる。

ステップＳ１２４において、頻度管理部１２６は、ステップＳ１１２において実行された処理に基づいて、頻度情報１１１を更新する。換言すれば、頻度管理部１２６は、ステップＳ１１２における処理が実行されたことを頻度情報１１１に反映させる。

以上では、消しゴムツール呼び出し処理が実行される頻度、および、やり直し処理が実行される頻度に基づいて、項目画像ＧＣ２および項目画像ＧＣ４の配置が変更される場合を例示したが、本発明はこのような態様に限定されるものではない。すなわち、消しゴムツール呼び出し処理およびやり直し処理に限らず、操作画像ＧＵに含まれる複数の項目画像ＧＣの各々に対応する処理が実行される頻度を特定し、当該頻度に基づいて、項目画像ＧＣの配置を変更することができる。例えば、項目画像ＧＣ１に対応する描画ツール呼び出し処理が実行される頻度と、項目画像ＧＣ７に対応する画面キャプチャ処理が実行される頻度とを測定し、特定した２つの頻度に基づいて、項目画像ＧＣ１および項目画像ＧＣ７の配置を変更してもよい。

以上より、第２実施形態によれば、プロジェクター１Ａは、操作画像ＧＵに含まれる複数の項目画像ＧＣの各々に対応する処理が実行される頻度を特定し、当該頻度に基づいて、項目画像ＧＣの配置を変更することができる。すなわち、プロジェクター１Ａは、実行される頻度が高い処理に関する項目画像ＧＣを、操作性の良い位置に配置することができる。

以上に説明したように、第２実施形態に係る表示方法において、操作画像ＧＵは、領域Ｒ３１と、領域Ｒ３３とを有し、領域Ｒ３１は、領域Ｒ３３よりも、ユーザーから見て左側であり、項目画像ＧＣ１～ＧＣ９は、消しゴムツール呼び出し処理に関する項目画像ＧＣ２と、やり直し処理に関する項目画像ＧＣ４とを含み、指示体の指示位置を検出することと、当該指示位置が、項目画像ＧＣ２が表示される領域内である場合に、消しゴムツール呼び出し処理を実行することと、当該指示位置が、項目画像ＧＣ４が表示される領域内である場合に、やり直し処理を実行することと、消しゴムツール呼び出し処理が実行される頻度と、やり直し処理が実行される頻度とを特定することと、を更に含み、消しゴムツール呼び出し処理が実行される頻度が、やり直し処理が実行される頻度よりも高い場合、操作画像ＧＵ１において、項目画像ＧＣ２は、領域Ｒ３１に配置され、項目画像ＧＣ４は、領域Ｒ３３に配置され、操作画像ＧＵ２において、項目画像ＧＣ２は、領域Ｒ３３に配置され、項目画像ＧＣ４は、領域Ｒ３１に配置され、やり直し処理が実行される頻度が、消しゴムツール呼び出し処理が実行される頻度よりも高い場合、操作画像ＧＵ１Ａにおいて、項目画像ＧＣ２は、領域Ｒ３３に配置され、項目画像ＧＣ４は、領域Ｒ３１に配置され、操作画像ＧＵ２Ａにおいて、項目画像ＧＣ２は、領域Ｒ３１に配置され、項目画像ＧＣ４は、領域Ｒ３３に配置される。

すなわち、本実施形態に係るプロジェクター１Ａは、操作画像ＧＵに含まれる複数の項目画像ＧＣの各々に対応する処理が実行される頻度を特定し、当該頻度に基づいて、項目画像ＧＣの配置を変更することができる。これにより、プロジェクター１Ａは、処理が実行される頻度と、指示体の種類とに応じて、実行される頻度が高い処理に関する項目画像ＧＣを、処理が実行される頻度を特定しない場合と比べて、操作性の良い配置で表示することができる。

なお、第２実施形態において、操作画像ＧＵは「操作画像」の一例であり、領域Ｒ３１は「第１領域」の一例であり、領域Ｒ３３は「第２領域」の一例であり、項目画像ＧＣ１～ＧＣ９は「複数の項目画像」の一例であり、消しゴムツール呼び出し処理は「第１の処理」の一例であり、やり直し処理は「第２の処理」の一例である。また、項目画像ＧＣ２は「第１の処理に関する項目画像」の一例であり、項目画像ＧＣ４は「第２の処理に関する項目画像」の一例であり、操作画像ＧＵ１および操作画像ＧＵ１Ａは「第１の態様の操作画像」の一例であり、操作画像ＧＵ２および操作画像ＧＵ２Ａは「第２の態様の操作画像」の一例である。

３．変形例
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。また、以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜併合され得る。なお、以下に例示する変形例において作用や機能が前述の実施形態と同等である要素については、以上の説明で使用した符号を流用して各々の詳細な説明を適宜省略する。

３．１．変形例１
前述の実施形態において、検出された指示体が左手を含む場合に表示される操作画像ＧＵと、検出された指示体が右手を含む場合に表示される操作画像ＧＵとは、項目画像ＧＣの配置のみが異なる態様で表示される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、検出された指示体が左手を含む場合に表示される操作画像ＧＵに含まれる項目画像ＧＣの絵柄と、検出された指示体が右手を含む場合に表示される操作画像ＧＵに含まれる項目画像ＧＣの絵柄とが、互いに異なってもよい。

図１８は、操作画像ＧＵ２ｍについて説明するための模式図である。操作画像ＧＵ２ｍは、操作画像ＧＵ１を左右反転した画像である。操作画像ＧＵ２ｍは、投射画像ＧＰ２ｍに含まれる。操作画像ＧＵ２ｍは、検出された指示体が左手Ｈ２を含む場合に、壁面Ｗ１に表示される。操作画像ＧＵ２ｍは、項目画像ＧＣ１ｍ～ＧＣ９ｍを含むＧＵＩである。項目画像ＧＣ１ｍ～ＧＣ９ｍは、各々、項目画像ＧＣ１～ＧＣ９を左右反転した画像である。

項目画像ＧＣ１ｍは、項目画像ＧＣ１と同様、描画ツール呼び出し処理に関する項目画像である。操作画像ＧＵ２ｍにおいて、項目画像ＧＣ１ｍは、領域Ｒ２３に配置される。
項目画像ＧＣ２ｍは、項目画像ＧＣ２と同様、消しゴムツール呼び出し処理に関する項目画像である。操作画像ＧＵ２ｍにおいて、項目画像ＧＣ２ｍは、領域Ｒ３３に配置される。
項目画像ＧＣ３ｍは、項目画像ＧＣ３と同様、移動ツール呼び出し処理に関する項目画像である。操作画像ＧＵ２ｍにおいて、項目画像ＧＣ３ｍは、領域Ｒ３２に配置される。
項目画像ＧＣ４ｍは、項目画像ＧＣ４と同様、やり直し処理に関する項目画像である。操作画像ＧＵ２ｍにおいて、項目画像ＧＣ４ｍは、領域Ｒ３１に配置される。
項目画像ＧＣ５ｍは、項目画像ＧＣ５と同様、画面拡大ツール呼び出し処理に関する項目画像である。操作画像ＧＵ２ｍにおいて、項目画像ＧＣ５ｍは、領域Ｒ２２に配置される。
項目画像ＧＣ６ｍは、項目画像ＧＣ６と同様、保存処理に関する項目画像である。操作画像ＧＵ２ｍにおいて、項目画像ＧＣ６ｍは、領域Ｒ１３に配置される。
項目画像ＧＣ７ｍは、項目画像ＧＣ７と同様、画面キャプチャ処理に関する項目画像である。操作画像ＧＵ２ｍにおいて、項目画像ＧＣ７ｍは、領域Ｒ２１に配置される。
項目画像ＧＣ８ｍは、項目画像ＧＣ８と同様、設定画面呼び出し処理に関する項目画像である。操作画像ＧＵ２ｍにおいて、項目画像ＧＣ８ｍは、領域Ｒ１２に配置される。
項目画像ＧＣ９ｍは、項目画像ＧＣ９と同様、切り取りツール呼び出し処理に関する項目画像である。操作画像ＧＵ２ｍにおいて、項目画像ＧＣ９ｍは、領域Ｒ１１に配置される。

すなわち、操作画像ＧＵ２ｍにおいて、領域Ｒ３３に配置される項目画像ＧＣ２ｍは、領域Ｒ３１に配置される項目画像ＧＣ４ｍよりも、ユーザーから見て右側に配置される。
また、領域Ｒ２３に配置される項目画像ＧＣ１ｍは、領域Ｒ２１に配置される項目画像ＧＣ７ｍよりも、ユーザーから見て右側に配置される。

以上より、変形例１によれば、操作画像ＧＵ２ｍは、操作画像ＧＵ１を左右反転した態様で表示される。すなわち、予め操作画像ＧＵ２を作成することなく、操作画像ＧＵ１を左右反転表示するだけで、操作画像ＧＵ２ｍを表示することができる。

なお、操作画像ＧＵに含まれる項目画像ＧＣの絵柄は、左右反転に限らず、上下反転してもよい。また、操作画像ＧＵに含まれる項目画像ＧＣの絵柄は、例えば、時計回りに９０度回転した態様で表示されてもよい。また、検出された指示体が左手を含む場合に表示される操作画像ＧＵと、検出された指示体が右手を含む場合に表示される操作画像ＧＵとは、互いに異なる色で表示されてもよい。

以上に説明したように、変形例１に係る表示方法において、操作画像ＧＵ２ｍは、操作画像ＧＵ１を左右反転した画像である。

すなわち、本変形例に係る操作画像ＧＵ２ｍは、操作画像ＧＵ１を左右反転した態様で表示される。これにより、プロジェクターが第２操作画像情報１１４を記憶していない場合であっても、検出された指示体が左手Ｈ２を含む場合に、操作画像ＧＵ１を左右反転することで、操作性の良い操作画像ＧＵ２ｍを壁面Ｗ１に表示することができる。

なお、変形例１において、操作画像ＧＵ２ｍは「第２の態様の操作画像」の一例であり、操作画像ＧＵ１は「第１の態様の操作画像」の一例である。

３．２．変形例２
前述の実施形態および変形例において、操作画像が長方形の画像である場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、操作画像は、円形の輪郭を有する画像であってもよい。

以下、図１９および図２０を参照しつつ、変形例２に係る操作画像ＧＲについて説明する。図１９は、操作画像ＧＲ１について説明するための模式図である。操作画像ＧＲ１は、検出された指示体が右手Ｈ１を含む場合に表示される。図２０は、操作画像ＧＲ２について説明するための模式図である。操作画像ＧＲ２は、検出された指示体が左手Ｈ２を含む場合に表示される。本変形例において、操作画像ＧＲは、操作画像ＧＲ１および操作画像ＧＲ２の総称である。

操作画像ＧＲは、領域Ｒ４１、領域Ｒ４２、領域Ｒ５１、領域Ｒ５２、領域Ｒ６１、領域Ｒ７１、領域Ｒ７２、領域Ｒ８１および領域Ｒ８２を有する。また、操作画像ＧＲは、項目画像ＧＣ１～ＧＣ９を含むＧＵＩである。

本変形例において、領域Ｒ５１および領域Ｒ５２は、領域Ｒ４１および領域Ｒ４２よりも、ユーザーから見て上側に位置すると見做す。また、領域Ｒ６１は、領域Ｒ５１および領域Ｒ５２よりも、ユーザーから見て上側に位置すると見做す。また、領域Ｒ７１および領域Ｒ７２は、領域Ｒ６１よりも、ユーザーから見て上側に位置すると見做す。また、領域Ｒ８１および領域Ｒ８２は、領域Ｒ７１および領域Ｒ７２よりも、ユーザーから見て上側に位置すると見做す。

本変形例において、領域Ｒ４２および領域Ｒ８２は、領域Ｒ５２および領域Ｒ７２よりも、ユーザーから見て左側に位置すると見做す。また、領域Ｒ６１は、領域Ｒ４２および領域Ｒ８２よりも、ユーザーから見て左側に位置すると見做す。また、領域Ｒ４１および領域Ｒ８１は、領域Ｒ６１よりも、ユーザーから見て左側に位置すると見做す。また、領域Ｒ５１および領域Ｒ７１は、領域Ｒ４１および領域Ｒ８１よりも、ユーザーから見て左側に位置すると見做す。

操作画像ＧＲ１において、項目画像ＧＣ１は、領域Ｒ７１に配置される。
また、操作画像ＧＲ１において、項目画像ＧＣ２は、領域Ｒ８１に配置される。
また、操作画像ＧＲ１において、項目画像ＧＣ３は、領域Ｒ６１に配置される。
また、操作画像ＧＲ１において、項目画像ＧＣ４は、領域Ｒ８２に配置される。
また、操作画像ＧＲ１において、項目画像ＧＣ５は、領域Ｒ５１に配置される。
また、操作画像ＧＲ１において、項目画像ＧＣ６は、領域Ｒ４１に配置される。
また、操作画像ＧＲ１において、項目画像ＧＣ７は、領域Ｒ４２に配置される。
また、操作画像ＧＲ１において、項目画像ＧＣ８は、領域Ｒ７２に配置される。
また、操作画像ＧＲ１において、項目画像ＧＣ９は、領域Ｒ５２に配置される。

すなわち、操作画像ＧＲ１において、領域Ｒ８１に配置される項目画像ＧＣ２は、領域Ｒ８２に配置される項目画像ＧＣ４よりも、ユーザーから見て左側に配置される。
また、領域Ｒ７１に配置される項目画像ＧＣ１は、領域Ｒ４２に配置される項目画像ＧＣ７よりも、ユーザーから見て左側に配置される。

操作画像ＧＲ２において、項目画像ＧＣ１は、領域Ｒ７２に配置される。
また、操作画像ＧＲ２において、項目画像ＧＣ２は、領域Ｒ８２に配置される。
また、操作画像ＧＲ２において、項目画像ＧＣ３は、領域Ｒ６１に配置される。
また、操作画像ＧＲ２において、項目画像ＧＣ４は、領域Ｒ８１に配置される。
また、操作画像ＧＲ２において、項目画像ＧＣ５は、領域Ｒ５２に配置される。
また、操作画像ＧＲ２において、項目画像ＧＣ６は、領域Ｒ４２に配置される。
また、操作画像ＧＲ２において、項目画像ＧＣ７は、領域Ｒ４１に配置される。
また、操作画像ＧＲ２において、項目画像ＧＣ８は、領域Ｒ７１に配置される。
また、操作画像ＧＲ２において、項目画像ＧＣ９は、領域Ｒ５１に配置される。

すなわち、操作画像ＧＲ２において、領域Ｒ８２に配置される項目画像ＧＣ２は、領域Ｒ８１に配置される項目画像ＧＣ４よりも、ユーザーから見て右側に配置される。
また、領域Ｒ７２に配置される項目画像ＧＣ１は、領域Ｒ４１に配置される項目画像ＧＣ７よりも、ユーザーから見て右側に配置される。

なお、操作画像の形状は、長方形および円形に限らず、例えば、楕円形であってもよいし、正六角形等の多角形でもよい。操作画像の形状は、操作画像を表示する場面や、ユーザーの好み等に応じて変更されてもよい。すなわち、状況に応じて最適な形状の操作画像を表示することができる。

以上より、変形例２によれば、前述の実施形態および変形例と同様、指示体が右手Ｈ１を含む場合と、左手Ｈ２を含む場合とで、複数の項目画像ＧＣの配置を変更することができる。すなわち、指示体の種類や使用状況に合わせて、操作性の良い操作画像ＧＲを表示することができる。

３．３．変形例３
前述の実施形態および変形例において、指示体が右手Ｈ１、左手Ｈ２または指示体Ｈ９である場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、ユーザーは、電子ペンを持った右手、または、電子ペンを持った左手を、指示体として使用してもよい。例えば、プロジェクターは、電子ペンを持った右手を、右手を含む指示体として検出する。また、プロジェクターは、電子ペンを持った左手を、左手を含む指示体として検出する。項目画像ＧＣに対する指示操作は、例えば、電子ペンのペン先で項目画像ＧＣが表示された領域に触れることで行ってもよい。または、電子ペンと連動して移動するカーソルが投射画像ＧＰ上に表示される場合であって、当該カーソルが項目画像ＧＣ上に位置する場合に、電子ペンの備えるボタンをユーザーが押下することで、項目画像ＧＣに対する指示操作を行ってもよい。

３．４．変形例４
前述の実施形態および変形例において、画像を投射するプロジェクターを例示して、本発明に係る表示方法および表示装置を説明したが、本発明はこのような態様に限定されるものではない。例えば、本発明に係る表示装置はプロジェクターに限定されず、直視のディスプレイ装置を用いてもよい。具体的には、投射画像ＧＰを投射する投射部１５の代わりに、画像を表示するディスプレイパネルを備えるような構成であってもよい。より具体的には、指示体を撮像可能なカメラを備える、または、当該カメラと通信可能な、インタラクティブホワイトボードであってもよい。

１…プロジェクター、１１…記憶部、１２…制御部、１３…撮像部、１４…操作部、１５…投射部、１１０…プログラム、１１１…頻度情報、１１２…操作画像情報、１１３…第１操作画像情報、１１４…第２操作画像情報、１１５…第３操作画像情報、１１６…撮像情報、１１７…第１撮像情報、１１８…第２撮像情報、１２０…検出部、１２１…指示体検出部、１２２…指示位置検出部、１２３…撮像制御部、１２４…投射制御部、１２５…処理部、１２６…頻度管理部、ＧＰ…投射画像、ＧＵ…操作画像、ＧＲ…操作画像、ＧＣ…項目画像、Ｈ１…右手、Ｈ２…左手、Ｈ９…指示体、Ｈ１０…指先、Ｒ１１…領域、Ｗ１…壁面。

Claims (11)

1. 指示体を検出することと、
   複数の項目画像を含む操作画像を表示することと、
   を含み、
   前記指示体が右手を含む場合、前記操作画像において、前記複数の項目画像は、第１の態様で配置され、
   前記指示体が左手を含む場合、前記操作画像において、前記複数の項目画像は、第２の態様で配置される、
   ことを特徴とする、表示方法。
2. 前記操作画像は、第１領域と、第２領域とを有し、
   前記複数の項目画像は、第１の処理に関する項目画像を含み、
   前記第１の態様の前記操作画像において、前記第１の処理に関する項目画像は、前記第１領域に配置され、
   前記第２の態様の前記操作画像において、前記第１の処理に関する項目画像は、前記第２領域に配置される、
   ことを特徴とする、請求項１に記載の表示方法。
3. 前記複数の項目画像は、第２の処理に関する項目画像を含み、
   前記第１の態様の前記操作画像において、前記第２の処理に関する項目画像は、前記第２領域に配置され、
   前記第２の態様の前記操作画像において、前記第２の処理に関する項目画像は、前記第１領域に配置される、
   ことを特徴とする、請求項２に記載の表示方法。
4. 前記第２の態様の前記操作画像は、前記第１の態様の前記操作画像を左右反転した画像である、
   ことを特徴とする、請求項３に記載の表示方法。
5. 前記指示体の指示位置を検出することと、
   前記指示位置が、前記第１の処理に関する項目画像が表示される領域内である場合に、前記第１の処理を実行することと、
   前記指示位置が、前記第２の処理に関する項目画像が表示される領域内である場合に、前記第２の処理を実行することと、
   を更に含み、
   前記第１領域は、前記第２領域よりも、ユーザーから見て左側である、
   ことを特徴とする、請求項３または４に記載の表示方法。
6. 前記第１の処理は、前記第２の処理よりも、実行される頻度が高い、
   ことを特徴とする、請求項５に記載の表示方法。
7. 前記操作画像は、第１領域と、第２領域とを有し、
   前記第１領域は、前記第２領域よりも、ユーザーから見て左側であり、
   前記複数の項目画像は、第１の処理に関する項目画像と、第２の処理に関する項目画像とを含み、
   前記指示体の指示位置を検出することと、
   前記指示位置が、前記第１の処理に関する項目画像が表示される領域内である場合に、前記第１の処理を実行することと、
   前記指示位置が、前記第２の処理に関する項目画像が表示される領域内である場合に、前記第２の処理を実行することと、
   前記第１の処理が実行される頻度と、前記第２の処理が実行される頻度とを特定することと、
   を更に含み、
   前記第１の処理が実行される頻度が、前記第２の処理が実行される頻度よりも高い場合、
   前記第１の態様の前記操作画像において、前記第１の処理に関する項目画像は、前記第１領域に配置され、前記第２の処理に関する項目画像は、前記第２領域に配置され、
   前記第２の態様の前記操作画像において、前記第１の処理に関する項目画像は、前記第２領域に配置され、前記第２の処理に関する項目画像は、前記第１領域に配置され、
   前記第２の処理が実行される頻度が、前記第１の処理が実行される頻度よりも高い場合、
   前記第１の態様の前記操作画像において、前記第１の処理に関する項目画像は、前記第２領域に配置され、前記第２の処理に関する項目画像は、前記第１領域に配置され、
   前記第２の態様の前記操作画像において、前記第１の処理に関する項目画像は、前記第１領域に配置され、前記第２の処理に関する項目画像は、前記第２領域に配置される、
   ことを特徴とする、請求項１に記載の表示方法。
8. 前記指示体が前記右手および前記左手のいずれも含まない場合、前記操作画像において、前記複数の項目画像は、第３の態様で配置される、
   ことを特徴とする、請求項１～７のうちのいずれか１項に記載の表示方法。
9. 前記操作画像は、第１領域と、第３領域とを有し、
   前記第１領域は、前記第３領域よりも、ユーザーから見て上側であり、
   前記複数の項目画像は、第１の処理に関する項目画像と、第３の処理に関する項目画像とを含み、
   前記指示体の指示位置を検出することと、
   前記指示位置が、前記第１の処理に関する項目画像が表示される領域内である場合に、前記第１の処理を実行することと、
   前記指示位置が、前記第３の処理に関する項目画像が表示される領域内である場合に、前記第３の処理を実行することと、
   を更に含み、
   前記第１の態様の前記操作画像において、前記第１の処理に関する項目画像は、前記第１領域に配置され、前記第３の処理に関する項目画像は、前記第３領域に配置され、
   前記第３の態様の前記操作画像において、前記第１の処理に関する項目画像は、前記第３領域に配置され、前記第３の処理に関する項目画像は、前記第１領域に配置される、
   ことを特徴とする、請求項８に記載の表示方法。
10. 前記第３の処理は、前記第１の処理よりも、実行される頻度が高い、
    ことを特徴とする、請求項９に記載の表示方法。
11. １または複数のプロセッサーを備え、
    前記プロセッサーは、
    指示体を検出することと、
    複数の項目画像を含む操作画像を表示させることと、
    を実行し、
    前記指示体が右手を含む場合、前記操作画像において、前記複数の項目画像は、第１の態様で配置され、
    前記指示体が左手を含む場合、前記操作画像において、前記複数の項目画像は、第２の態様で配置される、
    ことを特徴とする、表示装置。

Images