JP2023052452A - 表示制御装置、表示システム、表示制御方法及び表示制御プログラム - Google Patents

Abstract

【課題】操作対象機器に対する操作の際のジェスチャー又は操作の結果の少なくとも何れか一方を示すジェスチャー情報をユーザが視認可能な位置に表示することができる表示制御装置、表示システム、表示制御方法及び表示制御プログラムを提供する。【解決手段】表示制御装置１００は、人体の一部の動きであるジェスチャーにより操作対象機器の操作を行う操作者の前記人体の一部を検出する検出手段１０１と、前記操作の際のジェスチャー又は操作の結果の少なくとも何れか一方を示すジェスチャー情報を、検出手段が検出した人体の一部に表示手段を用いて表示させる表示制御手段１０２と、を備える。【選択図】図１

Description

本願は、操作対象機器を操作するためのジェスチャー等を表示させる表示制御装置の技術分野に関する。

ユーザにサービスを提供する機器は、サービスに関する所定の設定項目についてユーザに設定してもらい、その設定内容に従ってサービスを提供する。このとき、ユーザが設定を行うための操作は、機器が備える操作ボタンを用いて行われるのが一般的である。

一方で、操作ボタンを用いることなく、人体の一部の動きであるジェスチャーにより操作可能な機器も普及し始めている。例えば、ユーザは、カメラが撮像可能な範囲でジェスチャーを行うことにより操作を行い、機器は、カメラが撮像したジェスチャーが何れの操作を示すジェスチャーであるかを認識してサービスを提供する。

ここで、ユーザは操作対象機器を操作するためのジェスチャーを理解する必要があるが、全てのジェスチャーを記憶しておくのは困難である。そこで、特許文献１には、ジェスチャーにより操作を行うための操作メニューを表示部に表示させる技術が開示されている。

特開２０１６－１５３２５０号公報

しかしながら、特許文献１に記載の技術では、ジェスチャーによる操作を行うユーザが、操作メニューが表示される表示部を視認しにくい位置にいる場合には、操作のためのジェスチャーが分からず、ジェスチャーによる操作を行うことが難しい。

また一方で、ユーザにとってはジェスチャーにより正しく操作がなされたかを把握することも所望のサービスを享受する上で重要となる。

本願発明は、こうした事情に鑑み、操作対象機器に対する操作の際のジェスチャー又は操作の結果の少なくとも何れか一方を示すジェスチャー情報をユーザが視認可能な位置に表示することができる表示制御装置等を提供することを課題の一例とする。

請求項１に記載の発明は、人体の一部の動きであるジェスチャーにより操作対象機器の操作を行う操作者の前記人体の一部を検出する検出手段と、前記操作の際の前記ジェスチャー又は前記操作の結果の少なくとも何れか一方を示すジェスチャー情報を、前記検出手段が検出した前記人体の一部に表示手段を用いて表示させる表示制御手段と、を備えることを特徴とする。

請求項７に記載の発明は、表示制御装置による表示制御方法であって、人体の一部の動きであるジェスチャーにより操作対象機器の操作を行う操作者の前記人体の一部を検出する検出工程と、前記操作の際の前記ジェスチャー又は前記操作の結果の少なくとも何れか一方を示すジェスチャー情報を、前記検出工程で検出した前記人体の一部に表示手段を用いて表示させる表示制御工程と、を含むことを特徴とする。

請求項８に記載の発明は、コンピュータを、人体の一部の動きであるジェスチャーにより操作対象機器の操作を行う操作者の前記人体の一部を検出する検出手段、前記操作の際の前記ジェスチャー又は前記操作の結果の少なくとも何れか一方を示すジェスチャー情報を、前記検出手段が検出した前記人体の一部に表示手段を用いて表示させる表示制御手段、として機能させることを特徴とする。

実施形態における表示制御装置１００の構成例を示すブロック図である。 第１実施例における車載装置２００の構成例を示すブロック図である。 第１実施例におけるメニュー画面（メニュー操作ガイド画像）の階層の一例を示す図である。 （Ａ）は、第１実施例における、ディスプレイ２１４ｃに表示されるトップメニューの操作画面４００の一例を示す図であり、（Ｂ）は、第１実施例における、トップメニューの操作ガイド画像の一例を左手の甲に投影した様子を示す図である。 （Ａ）は、第１実施例における、ディスプレイ２１４ｃに表示されるＡ／Ｃメニューの操作画面４１０の一例を示す図であり、（Ｂ）は、第１実施例における、Ａ／Ｃメニューの操作ガイド画像の一例を左手の甲に投影した様子を示す図である。 （Ａ）は、第１実施例における、ディスプレイ２１４ｃに表示されるＡＵＤＩＯメニューの操作画面４２０の一例を示す図であり、（Ｂ）は、第１実施例における、ＡＵＤＩＯメニューの操作ガイド画像の一例を左手の甲に投影した様子を示す図である。 （Ａ）は、第１実施例における、ディスプレイ２１４ｃに表示されるＮＡＶＩメニューの操作画面４３０の一例を示す図であり、（Ｂ）は、第１実施例における、ＮＡＶＩメニューの操作ガイド画像の一例を左手の甲に投影した様子を示す図である。 （Ａ）は、第１実施例における、ディスプレイ２１４ｃに表示される目的地メニューの操作画面４４０の一例を示す図であり、（Ｂ）は、第１実施例における、目的地メニューの操作ガイド画像の一例を左手の甲に投影した様子を示す図である。 第１実施例における制御部２１１による表示制御処理の一例を示すフローチャートである。 第２実施例における制御部２１１による表示制御処理の一部を示すフローチャートである。 変形例２における左手の甲にトレース線３７１を表す画像を表示する際の表示例を示す図である。 変形例３における左手の甲に音声入力表記３８１を表す画像を表示する際の表示例を示す図である。

本願発明を実施するための形態について、図１を用いて説明する。

図１に示すように、表示制御装置１００は検出手段１０１、表示制御手段１０２を備える。

検出手段１０１は、人体の一部の動きであるジェスチャーにより操作対象機器の操作を行う操作者の前記人体の一部を検出する。

表示制御手段１０２は、前記操作の際の前記ジェスチャー又は前記操作の結果の少なくとも何れか一方を示すジェスチャー情報を、前記検出手段が検出した前記人体の一部に表示手段を用いて表示させる。

表示制御装置１００によれば、人体の一部の動きであるジェスチャーによる操作対象機器の操作の際におけるジェスチャー又は当該操作の結果の少なくとも何れか一方を示すジェスチャー情報が当該人体の一部に表示される。すなわち、操作者が視認可能な位置にジェスチャー情報が表示されることから、操作者は操作のためのジェスチャーを理解すること、又は、ジェスチャーにより正しく操作がなされたかを把握することの少なくとも何れか一方が可能となる。

［１．第１実施例］
次に、上述した実施形態に対応する第１実施例について説明する。なお、以下に説明する第１実施例は、本願発明を、車両に搭載される車載装置２００に適用した場合の実施例である。

［１．１．車載装置２００の構成］
図２を用いて、第１実施例における車載装置２００の構成について説明する。図２に示すように、車載装置２００は、制御部２１１と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等からなる記憶部２１２と、キーボード又はリモートコントローラ、タッチパネル等からなる入力部２１３と、表示ユニット２１４と、バスライン２１５と、入出力インターフェース部２２０と、車速センサ２２１と、角速度センサ２２２と、加速度センサ２２３と、舵角センサ２２４と、ＧＮＳＳ（Global Navigation Satellite System）受信部２２５と、カメラ２２６と、マイク２２７と、スピーカー２２８と、空調機器２２９と、を備えて構成されている。また、車載装置２００は、投影機２５０と接続されている。投影機２５０は、制御部２１１から受信した制御情報及び画像情報に基づいて、指定された位置に指定された画像を投影させる。

記憶部２１２は、表示ユニット２１４や投影機２５０が画像を表示するための情報を記憶する。例えば、タッチによる操作のための操作画面や、ジェスチャーによる操作のための操作ガイド画像を表示するための画像を記憶する。また、記憶部２１２は、ナビゲーション用に、地図を表示するための地図データや、経路を探索する際に用いる地図情報、道路リンク情報などを記憶する。更に、記憶部２１２は、ナビゲーションに用いられる音声や楽曲などを出力するための音情報を記憶する。更にまた、記憶部２１２は、オペレーティングシステムや、アプリケーションプログラム等の各種プログラムを記憶する。特に、記憶部２１２は、投影機２５０に操作ガイド画像を表示させるための表示制御プログラムを記憶している。なお、各種プログラムは、例えば、サーバ装置等からネットワークを介して取得されるようにしても良いし、ＣＤ、ＤＶＤ、ＵＳＢメモリ等の記録媒体に記録されたものを読み込むようにしても良い。

入力部２１３は、ユーザの入力操作を受け付けて、操作内容を示す操作信号を制御部２１１に送信する。

表示ユニット２１４は、制御部２１１の制御下で画像情報に基づいて画像を表示する。表示ユニット２１４は、グラフィックスコントローラ２１４ａと、ＶＲＡＭ（Video RAM）等のメモリからなるバッファメモリ２１４ｂと、液晶ディスプレイ等からなるディスプレイ２１４ｃ等を備えて構成されている。この構成においてグラフィックスコントローラ２１４ａは、バスライン２１５を介して制御部２１１から送られる制御情報に基づいて、表示ユニット２１４全体の制御を行う。また、バッファメモリ２１４ｂは、即時表示可能な画像情報を一時的に記憶する。そして、グラフィックスコントローラ２１４ａから出力される画像情報に基づいて、ディスプレイ２１４ｃに画像が表示される。なお、ディスプレイ２１４ｃはタッチパネル機能を有し、ディスプレイ２１４ｃへのタッチを検出して、タッチされた位置を示すタッチ位置信号を制御部２１１に送信する。つまり、ディスプレイ２１４ｃは入力部２１３の一部として機能する場合がある。そして、制御部２１１は、タッチ位置信号の示す位置と、タッチされた際にタッチされた位置に表示していた表示内容との対応関係から操作内容を特定する。

車速センサ２２１は、例えば車載装置２００が搭載されている車両から取得される車速パルス等を用いた速度検出処理等を用いて当該車両の現在速度を検出し、速度データを出力する。角速度センサ２２２は、当該車両の、例えば方向変化の角速度を検出し、単位時間当たりの角速度データ及び相対方位データを出力する。加速度センサ２２３は、当該車両の例えば前後方向の加速度を検出し、単位時間当たりの加速度データ等を出力する。舵角センサ２２４は、当該車両の舵角を検出し、舵角データ等を出力する。ＧＮＳＳ受信部２２５は、ＧＮＳＳ衛星からの航法電波を受信し、ＧＮＳＳ測位データを出力する。

カメラ２２６は車両内を撮影し、撮影した画像を示すカメラ画像情報を制御部２１１に送信する。

マイク２２７は車両に搭乗する搭乗者の音声を示すマイク音声情報に変換して制御部２１１に送信する。

スピーカー２２８は、制御部２１１から受信した電気信号に基づいて、音を出力する。なお、制御部２１１はスピーカー２２８に送信する電気信号を音データ及び設定された設定音量に基づいて生成することによりスピーカー２２８から出力される音と音量を制御する。

空調機器２２９は、制御部、コンプレッサー、エキスパンションバルブ、エバボレーター、コンデンサー、レシーバータンク等を含んで構成され、制御部２１１から受信した風量情報、温度情報に基づいて、風量情報が示す風量とする制御と、車室内を温度情報が示す温度とする制御を行う。

制御部２１１は、制御部２１１全体を制御するＣＰＵ２１１ａと、制御部２１１を制御する制御プログラム等が予め記憶されているＲＯＭ２１１ｂと、各種データを一時的に格納するＲＡＭ２１１ｃと、により構成されている。そして、ＣＰＵ２１１ａが、ＲＯＭ２１１ｂや記憶部２１２に記憶された各種プログラムを読み出し実行することにより各種手段として機能する。制御部２１１又はＣＰＵ２１１ａは、「コンピュータ」に対応する。

制御部２１１は、車速センサ２２１、角速度センサ２２２、加速度センサ２２３、舵角センサ２２４、ＧＮＳＳ受信部２２５、カメラ２２６、マイク２２７、スピーカー２２８及び空調機器２２９と、バスライン２１５及び入出力インターフェース部２２０を介して接続されている。

制御部２１１は、ＧＮＳＳ測位データに基づく衛星測位や、速度データ、角速度データ、相対方位データ、加速度データ、舵角データ等に基づく自立測位、又は、これらを組み合わせたハイブリッド測位等を行い、自車両の現在位置（緯度、経度、高度）を示す現在位置情報を取得する。そして、制御部２１１は、目的地が設定された場合には現在位置から目的地までの経路を探索して、当該経路を案内する。

制御部２１１は、車載装置２００をナビゲーション装置として機能させる処理、スピーカー２２８に対して電気信号を送信することにより音を出力させ、車載装置２００をオーディオ機器として機能させる処理、また、空調機器２２９に対して風量情報、温度情報を送信することにより風量と車室内の温度を変化させ、車載装置２００を空調装置として機能させる処理を実行する。そして、制御部２１１は、これらの機能に関して、操作者のディスプレイ２１４ｃに対するタッチによる操作やジェスチャーによる操作を受け付ける。

具体的には、制御部２１１は、操作者がタッチによる操作を行うための操作画面をディスプレイ２１４ｃに表示させたり、操作者がジェスチャーによる操作を行うための操作ガイド画像を操作者の人体の一部に投影機２５０により投影して表示させたりする。ここでいう人体の一部は、ジェスチャーを行う部分（例えば、左手、右手、左足、右足）とすることができる。また、ジェスチャーを行う部分のうち、特に、操作者が視認可能な位置（例えば、左手でジェスチャーを行う場合、左手の甲又は掌のうち操作者の顔に向いている面）とすることが好ましい。なお、本実施例では、操作ガイド画像を操作者の左手に投影して表示させることとする。そのため、制御部２１１は公知の画像解析プログラムを用いてカメラ画像情報を解析し、常時、操作者の左手の位置や向きを特定するとともに当該位置や向きを示す左手情報をＲＡＭ２１１ｃや記憶部２１２に記録する。また、制御部２１１は、常時、カメラ画像情報を解析することにより操作者が行ったジェスチャーを検出し、ジェスチャーに対応する操作に応じた処理を実行する。なお、ジェスチャーの検出はカメラ画像情報の解析によるものに限らず、光センサー等を用いて検出することとしてもよい。また、操作ガイド画像は、その時点で可能な操作に対応するジェスチャーの方法を示す記号や図柄等を表示する。更に、操作ガイド画像は、静止画像であっても動画像であってもよく、本実施例では、静止画像である場合について説明する。

制御部２１１は、操作者がタッチによる操作とジェスチャーによる操作の何れでも操作ができるように、互いに対になっている操作画面と操作ガイド画像であって、その時点で可能な操作を示す操作画面と操作ガイド画像を同時に表示する。これにより、操作者は、例えば、２段階の操作を行う必要がある場合に、
（１）１段階目をタッチによる操作、２段階目をジェスチャーによる操作、
（２）１段階目をタッチによる操作、２段階目をタッチによる操作、
（３）１段階目をジェスチャーによる操作、２段階目をタッチによる操作、
（４）１段階目をジェスチャーによる操作、２段階目をジェスチャーによる操作、
の何れとすることもできる。なお、操作画面と操作ガイド画像を常に同時に表示するのではなく、例えば、所定の条件が充足された場合に操作ガイド画像を表示させることとしてもよい。例えば、操作ガイド画像を表示させるためのジェスチャーを定めておき、制御部２１１が、当該ジェスチャーを検出した場合にのみ操作ガイド画像を表示することとしてもよい。

ここで、図３を用いて、操作画面や操作ガイド画像として表示されるメニューの階層について説明する。図３は、メニューの階層の一例を示す図である。図３に示すように、最上位階層としてトップメニューが設けられ、トップメニューの一つ下の第２階層としてＡ／Ｃメニュー、ＡＵＤＩＯメニュー及びＮＡＶＩメニューが設けられ、ＮＡＶＩメニューの一つ下の第３階層として目的地メニューが設けられている。本実施例では、それぞれのメニューに対応する操作画面や操作ガイド画像が表示される。以下、図４－図８を用いて、各メニューに対応する操作画面や操作ガイド画像について説明する。

図４（Ａ）は、第１実施例における、ディスプレイ２１４ｃに表示されるトップメニューの操作画面４００の一例を示す図であり、図４（Ｂ）は、第１実施例における、トップメニューの操作ガイド画像の一例を左手の甲に投影した様子を示す図である。

図４（Ａ）に示すように、トップメニューにそれぞれ対応する操作画面４００及び操作ガイド画像は、制御部２１１が、操作者によるトップメニューを表示するための操作（「トップメニュー表示操作」という場合がある）を検出した場合に表示される。なお、制御部２１１がトップメニュー表示操作を検出する方法は問わない。例えば、制御部２１１は、図示しないトップメニュー表示ボタンに対するタッチを検出したことや、トップメニュー表示操作を意味する音声を示すマイク音声情報を検出したこと、又は、トップメニュー表示操作を意味するジェスチャーをカメラ画像情報に基づいて検出したことなどに基づいて、トップメニュー表示操作を検出することができる。なお、トップメニュー表示操作がジェスチャーによるものである場合には、当該ジェスチャーが行われた体の部分にトップメニュー等に対応する操作ガイド画像を表示することとしてもよい。

トップメニューに対応する操作画面４００は、Ａ／Ｃボタン４０１、ＡＵＤＩＯボタン４０２及びＮＡＶＩボタン４０３を含む。制御部２１１は、Ａ／Ｃボタン４０１が表示されている部分がタッチされると、Ａ／Ｃメニューに対応する操作画面をディスプレイ２１４ｃに表示させ、Ａ／Ｃメニューに対応する操作ガイド画像を操作者の左手に投影表示させる。また、制御部２１１は、ＡＵＤＩＯボタン４０２が表示されている部分がタッチされると、ＡＵＤＩＯメニューに対応する操作画面をディスプレイ２１４ｃに表示させ、ＡＵＤＩＯメニューに対応する操作ガイド画像を操作者の左手に投影表示させる。更に、制御部２１１は、ＮＡＶＩボタン４０３が表示されている部分がタッチされると、ＮＡＶＩメニューに対応する操作画面をディスプレイ２１４ｃに表示させ、ＮＡＶＩメニューに対応する操作ガイド画像を操作者の左手に投影表示させる。

図４（Ｂ）に示すように、トップメニューに対応する操作ガイド画像は、ＮＡＶＩメニューを表示させるための操作に対応するジェスチャーの方法を示す矢印３０１Ａ、左手図柄３０１Ｂ及びＮＡＶＩ表記３０１Ｃを含む。矢印３０１Ａ及び左手図柄３０１Ｂは、ＮＡＶＩメニューを表示させるための操作の方法が、左手の人差し指を一本立てて、且つ、反時計回りに動かすことであることを示している。ＮＡＶＩ表記３０１Ｃは、矢印３０１Ａ及び左手図柄３０１Ｂの近傍に表示されることで、これらがＮＡＶＩメニューを表示させるための操作の方法を示していることを表している。制御部２１１は、ＮＡＶＩメニューを表示させるための操作に対応するジェスチャーを検出すると、ＮＡＶＩメニューに対応する操作画面をディスプレイ２１４ｃに表示させ、ＮＡＶＩメニューに対応する操作ガイド画像を操作者の左手に投影表示させる。

また、トップメニューに対応する操作ガイド画像は、ＡＵＤＩＯメニューを表示させるための操作に対応するジェスチャーの方法を示す矢印３０２Ａ、左手図柄３０２Ｂ及びＡＵＤＩＯ表記３０２Ｃを含む。矢印３０２Ａ及び左手図柄３０２Ｂは、ＡＵＤＩＯメニューを表示させるための操作の方法が、左手の人差し指を一本立てて、且つ、上下に動かすことであることを示している。ＡＵＤＩＯ表記３０２Ｃは、矢印３０２Ａ及び左手図柄３０２Ｂの近傍に表示されることで、これらがＡＵＤＩＯメニューを表示させるための操作の方法を示していることを表している。制御部２１１は、ＡＵＤＩＯメニューを表示させるための操作に対応するジェスチャーを検出すると、ＡＵＤＩＯメニューに対応する操作画面をディスプレイ２１４ｃに表示させ、ＡＵＤＩＯメニューに対応する操作ガイド画像を操作者の左手に投影表示させる。

更に、トップメニューに対応する操作ガイド画像は、Ａ／Ｃメニューを表示させるための操作に対応するジェスチャーの方法を示す矢印３０３Ａ、左手図柄３０３Ｂ及びＡ／Ｃ表記３０３Ｃを含む。矢印３０３Ａ及び左手図柄３０３Ｂは、Ａ／Ｃメニューを表示させるための操作の方法が、左手の人差し指を一本立てて、且つ、左右に動かすことであることを示している。Ａ／Ｃ表記３０３Ｃは、矢印３０３Ａ及び左手図柄３０３Ｂの近傍に表示されることで、これらがＡ／Ｃメニューを表示させるための操作の方法を示していることを表している。制御部２１１は、Ａ／Ｃメニューを表示させるための操作に対応するジェスチャーを検出すると、Ａ／Ｃメニューに対応する操作画面をディスプレイ２１４ｃに表示させ、Ａ／Ｃメニューに対応する操作ガイド画像を操作者の左手に投影表示させる。

図５（Ａ）は、第１実施例における、ディスプレイ２１４ｃに表示されるＡ／Ｃメニューの操作画面４１０の一例を示す図であり、図５（Ｂ）は、第１実施例における、Ａ／Ｃメニューの操作ガイド画像の一例を左手の甲に投影した様子を示す図である。

Ａ／Ｃメニューにそれぞれ対応する操作画面４１０及び操作ガイド画像は、制御部２１１が、操作者によるＡ／Ｃボタン４０１が表示されている部分に対するタッチを検出した場合、又は、Ａ／Ｃメニューを表示させるための操作に対応するジェスチャーを検出した場合に表示される。

図５（Ａ）に示すように、Ａ／Ｃメニューに対応する操作画面４１０は、ＯＮボタン４１１Ａ、ＯＦＦボタン４１１Ｂ、風量ＵＰボタン４１２Ａ、風量ＤＯＷＮボタン４１２Ｂ、風量インジケーター４１２Ｃ、温度ＵＰボタン４１３Ａ、温度ＤＯＷＮボタン４１３Ｂ、温度インジケーター４１３Ｃ、及びトップボタンＴを含む。制御部２１１は、ＯＮボタン４１１Ａが表示されている部分がタッチされると、空調機器２２９を作動させ、ＯＦＦボタン４１１Ｂが表示されている部分がタッチされると、空調機器２２９を停止させる。また、制御部２１１は、風量ＵＰボタン４１２Ａが表示されている部分がタッチされると、空調機器２２９にその時点における風量から１段階上げた風量を示す風量情報を送信するとともに、風量インジケーター４１２Ｃのメモリを１増加させ、一方、風量ＤＯＷＮボタン４１２Ａが表示されている部分がタッチされると、空調機器２２９にその時点における風量から１段階下げた風量を示す風量情報を送信するとともに、風量インジケーター４１２Ｃのメモリを１減少させる。更に、制御部２１１は、温度ＵＰボタン４１３Ａが表示されている部分がタッチされると、空調機器２２９にその時点における温度から１℃上げた温度を示す温度情報を送信するとともに、温度インジケーター４１３Ｃの指示する温度を１℃加算し、一方、温度ＤＯＷＮボタン４１３Ａが表示されている部分がタッチされると、空調機器２２９にその時点における温度から１℃下げた温度を示す温度情報を送信するとともに、温度インジケーター４１３Ｃの指示する温度を１℃減算する。更にまた、制御部２１１は、トップボタンＴが表示されている部分がタッチされると、トップメニュー４００に対応する操作画面をディスプレイ２１４ｃに表示させ、トップメニューに対応する操作ガイド画像を操作者の左手に投影表示させる（以下、他の操作画面のトップボタンＴについても同様）。なお、風量インジケーター４１２Ｃは、設定風量を指示する。また、温度インジケーター４１３Ｃは、設定温度を指示する。

図５（Ｂ）に示すように、Ａ／Ｃメニューに対応する操作ガイド画像は、空調機器２２９を動作させるための操作に対応するジェスチャーの方法を示す矢印３１１Ａ及び左手図柄３１１Ｂを含む。矢印３１１Ａ及び左手図柄３１１Ｂは、空調機器２２９を動作させるための操作の方法が、左手の人差し指を一本立てて、且つ、上下に動かすことであることを示している。ＯＮ表記３１１Ｃは、矢印３１１Ａ及び左手図柄３１１Ｂの近傍に表示されることで、これらが空調機器２２９を動作させるための操作の方法を示していることを表している。制御部２１１は、空調機器２２９を動作させるための操作に対応するジェスチャーを検出すると、空調機器２２９を作動させるための制御情報を空調機器２２９に送信する。

また、Ａ／Ｃメニューに対応する操作ガイド画像は、空調機器２２９を停止させるための操作に対応するジェスチャーの方法を示す矢印３１２Ａ及び左手図柄３１１Ｂを含む。矢印３１２Ａ及び左手図柄３１１Ｂは、空調機器２２９を停止させるための操作の方法が、左手の人差し指を一本立てて、且つ、左右に動かすことであることを示している。ＯＦＦ表記３１２Ｃは、矢印３１２Ａ及び左手図柄３１１Ｂの近傍に表示されることで、これらが空調機器２２９を停止させるための操作の方法を示していることを表している。制御部２１１は、空調機器２２９を停止させるための操作に対応するジェスチャーを検出すると、空調機器２２９を停止させるための制御情報を空調機器２２９に送信する。なお、図５（Ｂ）では、空調機器２２９を動作させるための操作と、停止させるための操作に対応するジェスチャーについてそれぞれ左手図柄を表示するのではなく、左手図柄３１１Ｂを共用としたが、別々に左手図柄を表示させてもよい。また、空調機器２２９の動作中は、空調機器２２９を動作させるための操作を行う必要が無いため矢印３１１Ａ及びＯＮ表記３１１Ｃを非表示としてもよく、また、空調機器２２９の停止中は、空調機器２２９を停止させるための操作を行う必要が無いため矢印３１２Ａ及びＯＦＦ表記３１２Ｃを非表示としてもよい。

更に、Ａ／Ｃメニューに対応する操作ガイド画像は、温度を変更するための操作に対応するジェスチャーの方法を示す矢印３１３Ａ及び左手図柄３１３Ｂを含む。矢印３１３Ａ及び左手図柄３１３Ｂは、温度を変更するための操作の方法が、左手の人差し指と中指を二本立てて、且つ、時計回り又は反時計回りに動かすことを示している。ＵＰ表記３１３Ｃは、時計回りが温度を上昇させるための操作の方法を示していることを表しており、一方、ＤＯＷＮ表記３１３Ｄは、反時計回りが温度を下降させるための操作の方法を示していることを表している。制御部２１１は、温度を上昇させるための操作に対応するジェスチャーを検出すると、空調機器２２９にその時点における温度から１℃上げた温度を示す温度情報を送信するとともに、温度インジケーター３１３Ｅの指示する温度を１℃加算し、一方、温度を下降させるための操作に対応するジェスチャーを検出すると、空調機器２２９にその時点における温度から１℃下げた温度を示す温度情報を送信するとともに、温度インジケーター３１３Ｅの指示する温度を１℃減算する。なお、温度インジケーター３１３Ｅは、設定温度を指示する。

更にまた、Ａ／Ｃメニューに対応する操作ガイド画像は、風量を変更するための操作に対応するジェスチャーの方法を示す矢印３１４Ａ及び左手図柄３１４Ｂを含む。矢印３１４Ａ及び左手図柄３１４Ｂは、風量を変更するための操作の方法が、左手の人差し指を一本立てて、且つ、時計回り又は反時計回りに動かすことを示している。ＵＰ表記３１４Ｃは、時計回りが風量を上げるための操作の方法を示していることを表しており、一方、ＤＯＷＮ表記３１４Ｄは、反時計回りが風量を下げるための操作の方法を示していることを表している。制御部２１１は、風量を上げるための操作に対応するジェスチャーを検出すると、空調機器２２９にその時点における風量から１段階上げた風量を示す風量情報を送信するとともに、風量インジケーター３１４Ｅの指示するメモリを１増加させ、一方、風量を下げるための操作に対応するジェスチャーを検出すると、空調機器２２９にその時点における風量から１段階下げた風量を示す風量情報を送信するとともに、風量インジケーター３１４Ｅの指示するメモリを１減少させる。なお、風量インジケーター３１４Ｅは、設定風量を指示する。

図６（Ａ）は、第１実施例における、ディスプレイ２１４ｃに表示されるＡＵＤＩＯメニューの操作画面４２０の一例を示す図であり、図６（Ｂ）は、第１実施例における、ＡＵＤＩＯメニューの操作ガイド画像の一例を左手の甲に投影した様子を示す図である。

ＡＵＤＩＯメニューにそれぞれ対応する操作画面４２０及び操作ガイド画像は、制御部２１１が、操作者によるＡＵＤＩＯボタン４０２が表示されている部分に対するタッチを検出した場合、又は、ＡＵＤＩＯメニューを表示させるための操作に対応するジェスチャーが検出した場合に表示される。

図６（Ａ）に示すように、ＡＵＤＩＯメニューに対応する操作画面４２０は、再生ボタン４２１Ａ、停止ボタン４２１Ｂ、送りボタン４２１Ｃ、戻しボタン４２１Ｄ、音量ＵＰボタン４２２Ａ、音量ＤＯＷＮボタン４２２Ｂ、音量インジケーター４２３、音量バー４２４、及び曲目表記４２５及びトップボタンＴを含む。制御部２１１は、再生ボタン４２１Ａが表示されている部分がタッチされると、曲を再生させ、停止ボタン４２１Ｂが表示されている部分がタッチされると、曲の再生を停止させる。また、制御部２１１は、送りボタン４２１Ｃが表示されている部分がタッチされると、再生する曲を次の曲に切り替え、一方、戻しボタン４２１Ｄが表示されている部分がタッチされると、再生中の曲について頭から再生をやり直す。更に、制御部２１１は、音量ＵＰボタン４２２Ａが表示されている部分がタッチされると、再生する曲の音量を上げるとともに、音量インジケーター４２３及び音量バー４２４の指示する音量を上げ、一方、音量ＤＯＷＮボタン４２２Ｂが表示されている部分がタッチされると、再生する曲の音量を下げるとともに、音量インジケーター４２３及び音量バー４２４の指示する音量を下げる。なお、音量インジケーター４２３及び音量バー４２４は、設定音量を指示する。また、曲目表記４２５は、再生中の曲目を表す。

図６（Ｂ）に示すように、ＡＵＤＩＯメニューに対応する操作ガイド画像は、曲を再生させるための操作に対応するジェスチャーの方法を示す矢印３２１Ａ及び左手図柄３２１Ｂを含む。矢印３２１Ａ及び左手図柄３２１Ｂは、曲を再生させるための操作の方法が、左手の人差し指を一本立てて、且つ、上下に動かすことであることを示している。再生記号３２１Ｃは、矢印３２１Ａ及び左手図柄３２１Ｂの近傍に表示されることで、これらが曲を再生させるための操作の方法を示していることを表している。制御部２１１は、曲を再生させるための操作に対応するジェスチャーを検出すると、曲を再生させる。

また、ＡＵＤＩＯメニューに対応する操作ガイド画像は、曲の再生を停止させるための操作に対応するジェスチャーの方法を示す矢印３２２Ａ及び左手図柄３２１Ｂを含む。矢印３２２Ａ及び左手図柄３２１Ｂは、曲の再生を停止させるための操作の方法が、左手の人差し指を一本立てて、且つ、左右に動かすことであることを示している。停止記号３２２Ｃは、矢印３２２Ａ及び左手図柄３２１Ｂの近傍に表示されることで、これらが曲の再生を停止させるための操作の方法を示していることを表している。制御部２１１は、曲の再生を停止させるための操作に対応するジェスチャーを検出すると、曲の再生を停止する。なお、図６（Ｂ）では、曲を再生させるための操作と、曲の再生を停止させるための操作に対応するジェスチャーについてそれぞれ左手図柄を表示するのではなく、左手図柄３２１Ｂを共用としたが、別々に左手図柄を表示させてもよい。

更に、ＡＵＤＩＯメニューに対応する操作ガイド画像は、音量を変更するための操作に対応するジェスチャーの方法を示す矢印３２３Ａ及び左手図柄３２３Ｂを含む。矢印３２３Ａ及び左手図柄３２３Ｂは、音量を変更するための操作の方法が、左手の人差し指と中指を二本立てて、且つ、時計回り又は反時計回りに動かすことを示している。ＵＰ表記３２３Ｃは、時計回りが音量を上げるための操作の方法を示していることを表しており、一方、ＤＯＷＮ表記３２３Ｄは、反時計回りが音量を下げるための操作の方法を示していることを表している。制御部２１１は、音量を上げるための操作に対応するジェスチャーを検出すると、音量を上げるとともに、音量インジケーター３２３Ｅの指示する音量を上げ、一方、音量を下げるための操作に対応するジェスチャーを検出すると、音量を下げるとともに、音量インジケーター３２３Ｅの指示する音量を下げる。なお、音量インジケーター３２３Ｅは、設定音量を指示する。

更にまた、ＡＵＤＩＯメニューに対応する操作ガイド画像は、曲送り操作と曲戻し操作に対応するジェスチャーの方法を示す矢印３２４Ａ及び左手図柄３２４Ｂを含む。矢印３２４Ａ及び左手図柄３２４Ｂは、曲送り操作と曲戻し操作の方法が、左手の人差し指を一本立てて、且つ、時計回り又は反時計回りに動かすことを示している。送り表記３２４Ｃは、時計回りが曲送り操作の方法を示していることを表しており、一方、戻し表記３２４Ｄは、反時計回りが曲戻し操作の方法を示していることを表している。制御部２１１は、曲送り操作に対応するジェスチャーを検出すると、再生する曲を次の曲に切り替え、一方、曲戻し操作に対応するジェスチャーを検出すると、再生中の曲について頭から再生をやり直す。

図７（Ａ）は、第１実施例における、ディスプレイ２１４ｃに表示されるＮＡＶＩメニューの操作画面４３０の一例を示す図であり、図７（Ｂ）は、第１実施例における、ＮＡＶＩメニューの操作ガイド画像の一例を左手の甲に投影した様子を示す図である。

ＮＡＶＩメニューにそれぞれ対応する操作画面４３０及び操作ガイド画像は、制御部２１１が、操作者によるＮＡＶＩボタン４０３が表示されている部分に対するタッチを検出した場合、又は、ＮＡＶＩメニューを表示させるための操作に対応するジェスチャーが検出した場合に表示される。

図７（Ａ）に示すように、ＮＡＶＩメニューに対応する操作画面４３０は、地図と、現在地ボタン４３１、目的地ボタン４３２、自宅ボタン４３３及びトップボタンＴを含む。制御部２１１は、現在地ボタン４３１が表示されている部分がタッチされると、現在地を示す地図を含む操作画面４３０をディスプレイ２１４ｃに表示させる。また、制御部２１１は、目的地ボタン４３２が表示されている部分がタッチされると、目的地メニューに対応する操作画面をディスプレイ２１４ｃに表示させ、目的地メニューに対応する操作ガイド画像を操作者の左手に投影表示させる。更に、制御部２１１は、自宅ボタン４３３が表示されている部分がタッチされると、自宅への経路案内を開始する。

図７（Ｂ）に示すように、ＮＡＶＩメニューに対応する操作ガイド画像は、自宅への経路案内を開始させるための操作に対応するジェスチャーの方法を示す矢印３３１Ａ及び左手図柄３３１Ｂを含む。矢印３３１Ａ及び左手図柄３３１Ｂは、自宅への経路案内を開始させるための操作の方法が、左手の人差し指と中指を二本立てて、且つ、反時計回りに動かすことであることを示している。自宅表記３３１Ｃは、矢印３３１Ａ及び左手図柄３３１Ｂの近傍に表示されることで、これらが自宅への経路案内を開始させるための操作の方法を示していることを表している。制御部２１１は、自宅への経路案内を開始させるための操作に対応するジェスチャーを検出すると、自宅への経路案内を開始する。

また、ＮＡＶＩメニューに対応する操作ガイド画像は、現在地を示す地図を表示させるための操作に対応するジェスチャーの方法を示す矢印３３２Ａ及び左手図柄３３２Ｂを含む。矢印３３２Ａ及び左手図柄３３２Ｂは、現在地を示す地図を表示させるための操作の方法が、左手の人差し指を一本立てて、且つ、上下に動かすことであることを示している。現在地表記３３２Ｃは、矢印３３２Ａ及び左手図柄３３２Ｂの近傍に表示されることで、これらが現在地を示す地図を表示させるための操作の方法を示していることを表している。制御部２１１は、現在地を示す地図を表示させるための操作に対応するジェスチャーを検出すると、現在地を示す地図をディスプレイ２１４ｃに表示させる。

更に、ＮＡＶＩメニューに対応する操作ガイド画像は、目的地メニューを表示させるための操作に対応するジェスチャーの方法を示す矢印３３３Ａ及び左手図柄３３３Ｂを含む。矢印３３３Ａ及び左手図柄３３３Ｂは、目的地メニューを表示させるための操作の方法が、左手の人差し指を一本立てて、且つ、左右に動かすことであることを示している。目的地表記３３３Ｃは、矢印３３３Ａ及び左手図柄３３３Ｂの近傍に表示されることで、これらが目的地メニューを表示させるための操作の方法を示していることを表している。制御部２１１は、目的地メニューを表示させるための操作に対応するジェスチャーを検出すると、目的地メニューに対応する操作画面をディスプレイ２１４ｃに表示させ、目的地メニューに対応する操作ガイド画像を操作者の左手に投影表示させる。

図８（Ａ）は、第１実施例における、ディスプレイ２１４ｃに表示される目的地メニューの操作画面４４０の一例を示す図であり、図８（Ｂ）は、第１実施例における、目的地メニューの操作ガイド画像の一例を左手の甲に投影した様子を示す図である。

目的地メニューにそれぞれ対応する操作画面４４０及び操作ガイド画像は、制御部２１１が、操作者による目的地ボタン４３２が表示されている部分に対するタッチを検出した場合、又は、目的地メニューを表示させるための操作に対応するジェスチャーが検出した場合に表示される。

図８（Ａ）に示すように、目的地メニューに対応する操作画面４３０は、履歴ボタン４４１、電話番号ボタン４４２、名称ボタン４４３及びトップボタンＴを含む。制御部２１１は、履歴ボタン４４１が表示されている部分がタッチされると、目的地として設定又は検索された地点の履歴が操作者に提示される。例えば、ディスプレイ２１４ｃに、地点の履歴のリストが何れかの当該地点を選択できるように提示され、操作者は目的地として設定することができる。また、制御部２１１は、電話番号ボタン４４２が表示されている部分がタッチされると、電話番号を入力するための方法が操作者に提示され、操作者は電話番号を入力することにより目的地となる施設を検索することができ、当該施設を目的地として設定することができる。電話番号を入力するための方法としては従来公知の方法、例えば、ディスプレイ２１４ｃにテンキーを表示してタッチ入力させる方法や、マイク２２７を用いて音声入力する方法を採用することができる。更に、制御部２１１は、名称ボタン４４３が表示されている部分がタッチされると、名称を入力するための方法が操作者に提示され、操作者は名称を入力することにより目的地となる施設を検索することができ、当該施設を目的地として設定することができる。名称を入力するための方法としては従来公知の方法、例えば、ディスプレイ２１４ｃに５０音を表示してタッチ入力させる方法や、マイク２２７を用いて音声入力する方法を採用することができる。

図８（Ｂ）に示すように、目的地メニューに対応する操作ガイド画像は、人体におけるジェスチャーにより動かされる部分を特定する画像（「ジェスチャー情報」の一例）であって、ジェスチャーにより動かされる操作者の左手の薬指に対応する記号３４１Ａ及び履歴表記３４１Ｂと、ジェスチャーにより動かされる中指に対応する記号３４２Ａ及び電話番号表記３４２Ｂと、ジェスチャーにより動かされる人差し指に対応する記号３４３Ａ及び名称表記３４３Ｂと、を含む。記号３４１Ａ、３４２Ａ、３４３Ａは、それぞれが対応する指を折り曲げるジェスチャーにより履歴表示、電話番号入力、名称入力に関する操作が可能であることを示している。なお、操作者には、予め、操作者の左手に表示された操作ガイド画像に従って、記号３４１Ａ、３４２Ａ、３４３Ａが表示されている指を折り曲げることにより、対応する表記３４１Ｂ、３４２Ｂ、３４３Ｂが示す項目を選択できることを知らせておくこととする。制御部２１１は、薬指を曲げるジェスチャーを検出した場合には、目的地として設定又は検索された地点の履歴を操作者に提示する。例えば、ディスプレイ２１４ｃに、地点の履歴のリストが何れかの当該地点を選択できるように提示され、操作者は目的地として設定することができる。また、制御部２１１は、中指を曲げるジェスチャーを検出した場合には、電話番号を入力するための方法を操作者に提示する。これにより、操作者は電話番号を入力することにより目的地となる施設を検索することができ、当該施設を目的地として設定することができる。電話番号を入力するための方法としては従来公知の方法、例えば、ディスプレイ２１４ｃにテンキーを表示してタッチ入力させる方法や、マイク２２７を用いて音声入力する方法を採用することができる。更に、制御部２１１は、人差し指を曲げるジェスチャーを検出した場合には、名称を入力するための方法を操作者に提示する。これにより、操作者は名称を入力することにより目的地となる施設を検索することができ、当該施設を目的地として設定することができる。名称を入力するための方法としては従来公知の方法、例えば、ディスプレイ２１４ｃに５０音を表示してタッチ入力させる方法や、マイク２２７を用いて音声入力する方法を採用することができる。

［１．２．制御部２１１による表示制御処理］
次に、図９に示すフローチャートを用いて、制御部２１１による表示制御処理について説明する。なお、図９は、制御部２１１による表示制御処理の一例を示すフローチャートである。

まず、制御部２１１は、トップメニュー表示操作を検出すると（ステップＳ１０１）、左手情報を取得する（ステップＳ１０２）。

次に、制御部２１１は、ステップＳ１０２で取得した左手情報に基づいて操作者の左手の位置と向きを特定し、操作者の左手の甲又は掌にトップメニューに対応する操作ガイド画像を投影機２５０により投影して表示させる（ステップＳ１０３）。

次に、制御部２１１は、ディスプレイ２１４ｃにトップメニューに対応する操作画面４００を表示させる（ステップＳ１０４）。

次に、制御部２１１は、操作画面へのタッチ、又は、ジェスチャーを検出する（ステップＳ１０５）。具体的には、制御部２１１は、Ａ／Ｃボタン４０１、ＡＵＤＩＯボタン４０２、ＮＡＶＩボタン４０３の何れかが表示されている部分に対するタッチ、又は、Ａ／Ｃメニュー、ＡＵＤＩＯメニュー、ＮＡＶＩメニューの何れかを表示させるための操作に対応するジェスチャーを検出する。

次に、制御部２１１は、ＮＡＶＩが選択されたか否かを判定する（ステップＳ１０６）。具体的には、制御部２１１は、ステップＳ１０５の処理においてＮＡＶＩボタン４０３が表示されている部分に対するタッチ、又は、ＮＡＶＩメニューを表示させるための操作に対応するジェスチャーを検出したか否かを判定する。

制御部２１１は、ステップＳ１０６の処理においてＮＡＶＩが選択されていない（すなわち、Ａ／Ｃ又はＡＵＤＩＯが選択された）と判定した場合には（ステップＳ１０６：ＮＯ）、左手情報を取得し、操作者の左手に、操作者により選択されたＡ／Ｃメニュー又はＡＵＤＩＯメニューの何れかに対応する操作ガイド画像を表示させる（ステップＳ１０７）。次いで、制御部２１１は、ディスプレイ２１４ｃに、操作者により選択されたＡ／Ｃメニュー又はＡＵＤＩＯメニューの何れかに対応する操作画面を表示させる（ステップＳ１０８）。次いで、制御部２１１は、操作画面へのタッチ又はジェスチャーを検出し（ステップＳ１０９）、ステップＳ１１７の処理に移行する。

一方、制御部２１１は、ステップＳ１０６の処理においてＮＡＶＩが選択されたと判定した場合には（ステップＳ１０６：ＹＥＳ）、左手情報を取得し、操作者の左手にＮＡＶＩメニューに対応する操作ガイド画像を投影機２５０により投影して表示させる（ステップＳ１１０）。次いで、制御部２１１は、ディスプレイ２１４ｃにＮＡＶＩメニューに対応する操作画面４３０を表示させる（ステップＳ１１１）。次いで、制御部２１１は、操作画面へのタッチ又はジェスチャーを検出する（ステップＳ１１２）。

次に、制御部２１１は、目的地が選択されたか否かを判定する（ステップＳ１１３）。具体的には、制御部２１１は、ステップＳ１１２の処理において目的地ボタン４３２が表示されている部分に対するタッチ、又は、目的地メニューを表示させるための操作に対応するジェスチャーを検出したか否かを判定する。

制御部２１１は、ステップＳ１１３の処理において目的地が選択されていない（すなわち、現在地又は自宅が選択された）と判定した場合には（ステップＳ１１３：ＮＯ）、ステップＳ１１７の処理に移行する。

一方、制御部２１１は、ステップＳ１１３の処理において目的地が選択されたと判定した場合には（ステップＳ１１３：ＹＥＳ）、左手情報を取得し、操作者の左手に目的地メニューに対応する操作ガイド画像を投影機２５０により投影して表示させる（ステップＳ１１４）。次いで、制御部２１１は、ディスプレイ２１４ｃに目的地メニューに対応する操作画面４４０を表示させる（ステップＳ１１５）。次いで、制御部２１１は、操作画面へのタッチ又はジェスチャーを検出し（ステップＳ１１６）、ステップＳ１１７の処理に移行する。

次に、制御部２１１は、ステップＳ１０５の処理、ステップＳ１０９の処理、ステップＳ１１２の処理又はステップＳ１１６の処理で検出したタッチ又はジェスチャーに対応する操作に応じた処理を実行する（ステップＳ１１７）。例えば、制御部２１１は、制御部２１１は、Ａ／Ｃメニューに対応する操作画面４１０（図５（Ａ））の温度ＵＰボタン４１３Ａが表示されている部分に対するタッチを検出した場合、又は、Ａ／Ｃメニューに対応する操作ガイド画像（図５（Ｂ））が表示されている際に、左手の人差し指と中指を二本立てて、且つ、時計回りに動かすジェスチャーを検出した場合には、空調機器２２９にその時点における温度から１℃上げた温度を示す温度情報を送信する処理を実行する。また、制御部２１１は、ＮＡＶＩメニューに対応する操作画面４３０（図７（Ａ））の現在地ボタン４３１が表示されている部分に対するタッチを検出した場合、又は、ＮＡＶＩメニューに対応する操作ガイド画像（図７（Ｂ））が表示されている際に、左手の人差し指を一本立てて、且つ、上下に動かすジェスチャーを検出した場合には、現在地を示す地図を含む操作画面４３０をディスプレイ２１４ｃに表示させる処理を実行する。

次に、制御部２１１は、左手情報を取得し、操作者の左手に、ステップＳ１０５の処理、ステップＳ１０９の処理、ステップＳ１１２の処理又はステップＳ１１６の処理で検出したタッチ又はジェスチャーによる操作の結果に対応する操作結果情報を投影機２５０により投影して表示させる（ステップＳ１１８）。例えば、制御部２１１は、ステップＳ１１７の処理において現在の設定温度に１℃加算した温度を示す温度情報を空調機器２２９に送信する処理を実行した場合には、設定温度を１℃加算したことを示す操作結果情報を表示させるべく、温度インジケーター３１３Ｅの示す設定温度を１℃加算して表示させる。

次に、制御部２１１は、ステップＳ１０５の処理、ステップＳ１０９の処理、ステップＳ１１２の処理又はステップＳ１１６の処理で検出したタッチ又はジェスチャーによる操作の結果に対応する操作結果情報をディスプレイ２１４ｃに表示させる（ステップＳ１１９）。例えば、制御部２１１は、ステップＳ１１７の処理において現在の設定温度に１℃加算した温度を示す温度情報を空調機器２２９に送信する処理を実行した場合には、設定温度を１℃加算したことを示す操作結果情報を表示させるべく、温度インジケーター４１３Ｃの示す設定温度を１℃加算して表示させる。

次に、制御部２１１は、タッチ又はジェスチャーを更に検出したか否かを判定する（ステップＳ１２０）。制御部２１１は、タッチ又はジェスチャーを更に検出したと判定した場合には（ステップＳ１２０：ＹＥＳ）、ステップＳ１１７の処理に移行する。例えば、制御部２１１は、ステップＳ１０９の処理において温度を上昇させるための操作に対応するジェスチャーを検出したことに基づいて、ステップＳ１１７の処理において現在の設定温度に１℃加算した温度を示す温度情報を空調機器２２９に送信する処理を実行した後、温度を上昇させるための操作に対応するジェスチャーを更に検出したと判定した場合には、再度、ステップＳ１１７の処理において現在の設定温度に１℃加算した温度を示す温度情報を空調機器２２９に送信する処理を実行し、温度インジケーター３１３Ｅの示す設定温度を１℃加算して表示させ（ステップＳ１１８）、温度インジケーター４１３Ｃの示す設定温度を１℃加算して表示させる（ステップＳ１１９）。すなわち、ステップＳ１１７からステップ１１９の処理を２回繰り返すことにより、設定温度を２℃加算することとなる。一方、制御部２１１は、ジェスチャーを更に検出しないと判定した場合には（ステップＳ１２０：ＮＯ）、制御部２１１による表示制御処理を終了する。

［２．第２実施例］
次に、上述した実施形態に対応する第２実施例について説明する。なお、以下に説明する第２実施例は、第１実施例とほぼ同様であるため第１実施例との相違点を中心に説明し、第１実施例と同様の部材、処理については同一の符号を用いて説明する。

第１実施例では、車載装置２００の制御部２１１は、図９のステップＳ１１８の処理において、操作者の左手に、ステップＳ１０５の処理、ステップＳ１０９の処理、ステップＳ１１２の処理又はステップＳ１１６の処理で検出したタッチ又はジェスチャーによる操作結果に対応する操作結果情報を表示させた。これに対して、第２実施例における制御部２１１は、操作結果情報を表示する表示位置を決定する処理を行ってから、当該処理で決定した表示位置に操作結果情報を表示させる。以下、当該処理について、図１１を用いて説明する。図１１は、第２実施例における制御部２１１による表示制御処理の一部（第１実施例の表示制御処理と相違する部分（ステップＳ１１８））を示すフローチャートである。

図１０に示すように、制御部２１１は、図９のステップＳ１１７の処理に次いで、ステップＳ１０５の処理、ステップＳ１０９の処理、ステップＳ１１２の処理又はステップＳ１１６の処理で検出したタッチ又はジェスチャーによる操作結果に対応する操作結果情報を表示する表示位置を決定する（ステップＳ２０１）。

次に、制御部２１１は、ステップＳ２０１の処理で決定した表示位置に操作結果情報を投影機２５０により投影して表示させ（ステップＳ２０２）、図９のステップＳ１１９の処理に移行する。

次に、ステップＳ２０１の処理に関して、制御部２１１が操作結果情報を表示する表示位置を決定する方法である表示位置決定方法について説明する。

まず、第１の表示位置決定方法は、表示位置を操作者又は同乗者（車載装置２００が搭載されている車両に同乗している人物）の見ている位置（視線が注がれているところである視点）とする方法である。第１の表示位置決定方法では、制御部２１１は、操作者又は同乗者の視点を特定して当該視点を表示位置として決定する。視点を特定する方法としては、例えば、操作者や同乗者の顔（特に目）を撮影するカメラ２２６からのカメラ画像情報を解析する方法など、従来公知の手法を採用することができる。なお、制御部２１１は、カメラ画像情報を解析することにより、同乗者の存在及び同乗者の視点を検出することとする。

第２の表示位置決定方法は、表示位置を操作対象機器の近傍（操作対象機器から所定の範囲内）とする方法である。例えば、車載装置２００から３０ｃｍ以内の位置で表示位置を決定することとしてもよいし、また、車載装置２００が車両のインストルメントパネルに埋め込まれている場合には、インストルメントパネルの何れかの部分を表示位置に決定することとしてもよい。このとき、投影機２５０で投影した画像が見やすい部分を決定するのが好ましい。

第３の表示位置決定方法は、表示位置を操作者や同乗者が見えやすい位置とする方法である。例えば、操作者が見えやすいように、搭乗者や同乗者の上部にある天井部、当該搭乗者や同乗者の側方にあるドアや窓、又は、当該搭乗者や同乗者の人体の一部（例えば、上肢、下肢（大腿部）など）を、表示位置として決定することとしてもよい。また、後部座席に搭乗している同乗者が見えやすいように、当該同乗者の前方にあるシートの背面部分を、表示位置として決定することとしてもよい。これらの位置は、予め位置を示す位置情報を記憶部２１２に記憶させておくこととしてもよいし、車内を撮影するカメラ２２６からのカメラ画像情報を解析して特定することとしてもよい。

なお、制御部２１１は、第１の表示位置決定方法から第３の表示位置決定方法の中で挙げた位置の中から少なくとも何れかの位置を選択することにより表示位置を決定することとしてもよい。また、制御部２１１は、複数の表示位置を決定し、これらの表示位置に同時に操作結果情報を表示させることとしてもよい。

以上説明したように、第１実施例における車載装置２００は、制御部２１１（「検出手段」、「表示制御手段」の一例）が左手（「人体の一部」の一例）の動きであるジェスチャーにより車載装置２００（「操作対象機器」の一例）の操作を行う操作者の左手を検出し、操作の際のジェスチャーを示す操作ガイド画像（「ジェスチャー情報」の一例）と、操作の結果を示す温度インジケーター３１３Ｅなどの操作結果情報（「ジェスチャー情報」の一例）を、検出した操作者の左手に投影機２５０（「表示手段」の一例）を用いて表示させる。

したがって、第１実施例における車載装置２００によれば、左手の動きであるジェスチャーによる車載装置２００の操作の際における操作ガイド画像とジェスチャーによる操作の結果を示す操作結果情報が当該左手に表示される。すなわち、操作者が視認可能な位置に操作ガイド画像と操作結果情報が表示されることから、操作者は操作のためのジェスチャーを理解することと、ジェスチャーにより正しく操作がなされたかを把握することができる。

また、第１実施例における車載装置２００の制御部２１１は、その時点で可能な操作に対応するジェスチャーを示す操作ガイド画像を表示させる。したがって、操作者は、その時点でジェスチャーにより何れの操作が可能であるかを把握することができる。

更に、第１実施例における車載装置２００において、操作ガイド画像は、例えば、図５（Ｂ）における矢印３１１Ａ及び左手図柄３１１Ｂのように空調機器２２９を動作させるためのジェスチャーの方法を示す。したがって、操作者は、ジェスチャーの方法を把握することができる。

更にまた、第１実施例における車載装置２００において、操作ガイド画像は、ジェスチャーにより可能な操作を示す（例えば、図４（Ｂ）の操作ガイド画像は、Ａ／Ｃ、ＡＵＤＩＯ又はＮＡＶＩを選択する操作がジェスチャーにより可能であることを示している）。これにより、操作者は、ジェスチャーにより可能な操作を把握することができる。

更にまた、第１実施例における車載装置２００は、投影機２５０が操作ガイド画像を人体の一部に投影して表示する。したがって、投影機２５０が投影可能な範囲で、人体の任意の位置に操作ガイド画像を表示させることができる。

［３．変形例］
次に、本実施例の変形例について説明する。なお、以下に説明する変形例は適宜組み合わせることができる。

［３．１．変形例１］
第１実施例及び第２実施例では、左手を動かすジェスチャーによる操作について説明したが、その他の体の部分（例えば、右手、左足、右足など）を動かすジェスチャーによる操作について本発明を適用することができる。なお、図４（Ｂ）に示すように、ジェスチャーを行う左手に操作ガイド画像を表示させる場合には、左手を表す左手図柄３０１Ｂ、３０２Ｂ、３０３Ｂを用いたが、ジェスチャーを行う体の一部を操作ガイド画像に用いることとしてもよい。例えば、ジェスチャーを右手で行う場合には、右手を表す右手図柄を操作ガイド画像に用いることとする。

［３．２．変形例２］
第１実施例及び第２実施例では、図５に示したように、操作結果情報の一例として、ジェスチャーにより空調装置としての車載装置２００を操作した結果を示す温度インジケーター３１３Ｅを表示することとしたが、操作のために行われたジェスチャーを示す情報を操作結果情報として表示することとしてもよい。例えば、制御部２１１は、左手を掌（又は甲）の向きを維持したまま回転させるジェスチャーの軌跡を検出した場合には、図１１に示すように、当該軌跡を示すトレース線３７１を表す画像を左手に表示させることとしてもよい。なお、トレース線３７１を表示する場所は、操作者の体の他の部分でもよい。また、ジェスチャーを行っている部分（この例では左手）に表示させる場合には、操作者が視認できるように操作者の顔に向いている部分に表示させるのが好ましい。

［３．３．変形例３］
第１実施例及び第２実施例では、制御部２１１は、操作結果情報を表示することとしたが、操作結果情報を表示する際、ジェスチャーによる操作以外の方法による操作の結果を表示することとしてもよい。例えば、リモコンや操作対象機器が備えるボタンを押下する操作、音声による操作などに応じた操作結果情報を表示することとしてもよい。音声による操作の結果を示す操作結果情報を表示する場合には、図１２に示すように、操作のために発した音声に対応する文字を示す音声入力表記３８１を表す画像を左手に表示することとしてもよい。このとき、制御部２１１は、マイク２２７から受信したマイク音声情報について従来公知の音声認識処理を行い、認識した音声に対応する文字を示す音声入力表記３８１を表す画像を投影機２５０により投影して表示させることとしてもよい。なお、音声入力表記３８１を表示する場所は、操作者の体の他の部分でもよい。また、体の一部に表示させる場合には、操作者が視認できるように操作者の顔に向いている部分に表示させるのが好ましい。

［３．４．変形例４］
第１実施例及び第２実施例では、操作の際のジェスチャーを示す操作ガイド画像と、操作の結果を示す操作結果情報を人体の一部に表示させることとしたが、操作ガイド画像又は操作結果情報の何れか一方を表示させることとしてもよい。なお、操作ガイド画像や操作結果情報を表示する場所は、操作者の体の一部であればよく、例えば、ジェスチャーが行われる部分であってもよい。また、体の一部に表示させる場合には、操作者が視認できるように操作者の顔に向いている部分に表示させるのが好ましい。

［３．５．変形例５］
第１実施例及び第２実施例では、制御部２１１は、トップメニュー表示操作に基づいてトップメニューを表示し、その中から、Ａ／Ｃメニュー、ＡＵＤＩＯメニュー、又はＮＡＶＩメニューを操作者に選択させることとしたが、Ａ／Ｃメニュー、ＡＵＤＩＯメニュー、又はＮＡＶＩメニューを直接表示する操作を定めておき、当該操作が検出された場合には、トップメニューを表示させることなく、該当するメニューを表示させることとしてもよい。例えば、制御部２１１は、Ａ／Ｃメニューを表示させるＡ／Ｃメニュー表示操作が検出された場合に、直ちに、Ａ／Ｃメニューに対応する操作画面及び操作ガイド画像を表示させることとしてもよい。なお、Ａ／Ｃメニュー表示操作は予め操作者が把握できるようにしておくこととする。これにより、Ａ／Ｃメニューを表示させたい場合に、わざわざ、トップメニュー表示操作に基づいてトップメニューを表示させることなく、直ちに、Ａ／Ｃメニューを表示させることができ、操作者の利便性が向上する。なお、Ａ／Ｃメニュー表示操作がジェスチャーによるものであって、当該Ａ／Ｃメニュー表示操作に基づいてＡ／Ｃメニューを表示させる場合には、Ａ／Ｃメニュー表示操作に対応するジェスチャーが行われる体の一部にＡ／Ｃメニューを表示させることとしてもよい。例えば、Ａ／Ｃメニュー表示操作が左手に関するジェスチャーである場合には、左手にＡ／Ｃメニューを表示させる。このとき、操作者が視認できるように操作者の顔に向いている部分に表示させるのが好ましい。

［３．６．変形例６］
第１実施例及び第２実施例では、操作者は自宅への経路案内を開始させる場合、トップメニューからＮＡＶＩメニューを選択し、ＮＡＶＩメニューに対応する操作画面４３０の自宅ボタン４３３にタッチするか、ＮＡＶＩメニューに対応する操作ガイド画像に基づいて左手の人差し指と中指を二本立てて、且つ、反時計回りに動かすジェスチャーを行うという手順を踏むこととしたが、これに代えて、予め設定された操作に対応するジェスチャーの方法を示す操作ガイド画像を体の一部（操作者が視認可能な位置であることが好ましい）に表示させておくこととし、制御部２１１は、当該体の一部によるジェスチャーであって、操作ガイド画像に示された方法のジェスチャーが検出された場合には、当該ジェスチャーに対応する操作に応じた処理を実行することとしてもよい。

［３．７．変形例７］
第１実施例及び第２実施例では、図８（Ｂ）に示したように、目的地メニューに対応する操作ガイド画像は、人体におけるジェスチャーにより動かされる部分を特定する画像であって、ジェスチャーにより動かされる操作者の左手の薬指に対応する記号３４１Ａ及び履歴表記３４１Ｂと、ジェスチャーにより動かされる中指に対応する記号３４２Ａ及び電話番号表記３４２Ｂと、ジェスチャーにより動かされる人差し指に対応する記号３４３Ａ及び名称表記３４３Ｂと、を含み、それぞれが対応する指を折り曲げるジェスチャーにより履歴表示、電話番号入力、名称入力に関する操作が可能であることを示した。これに代えて、例えば、操作者の右手に「履歴」を表す画像（「ジェスチャー情報」の一例）、左手に「電話番号」を表す画像（「ジェスチャー情報」の一例）、左足に「名称」を表す画像（「ジェスチャー情報」の一例）を表示し、右手、左手、左足を動かすそれぞれのジェスチャーにより履歴表示、電話番号入力、名称入力に関する操作が可能であることを示してもよい。

［３．８．変形例８］
第１実施例及び第２実施例における図４（Ｂ）、図５（Ｂ）、図６（Ｂ）、図７（Ｂ）では、複数の操作に対応するジェスチャーの方法を表す操作ガイド画像について説明し、図８（Ｂ）では、複数の操作に対応する動かすべき人体の部分を示す操作ガイド画像について説明したが、必ずしも複数の操作について表示する必要はなく、前者であれば、その時点で操作可能な一部（例えば一つ）の操作に対応するジェスチャーの方法を表す操作ガイド画像とし、後者であれば、その時点で操作可能な一部（例えば一つ）の操作に対応する動かすべき人体の部分を示す操作ガイド画像とすることとしてもよい。

１００ 表示制御装置
１０１ 検出手段
１０２ 表示制御手段
２００ 車載装置
２１１ 制御部
２１１ａ ＣＰＵ
２１１ｂ ＲＯＭ
２１１ｃ ＲＡＭ
２１２ 記憶部
２１３ 入力部
２１４ 表示ユニット
２１４ａ グラフィックスコントローラ
２１４ｂ バッファメモリ
２１４ｃ ディスプレイ
２１５ バスライン
２２０ 入出力インターフェース部
２２１ 車速センサ
２２２ 角速度センサ
２２３ 加速度センサ
２２４ 舵角センサ
２２５ ＧＮＳＳ受信部
２２６ カメラ
２２７ マイク
２２８ スピーカー
２２９ 空調機器
２５０ 投影機

Claims (12)

1. 操作者による操作対象機器の操作結果を取得する取得手段と、
   前記操作結果に対応する表示情報を投影により表示する位置を決定する決定手段と、
   前記決定手段により決定された位置に前記表示情報を投影により表示させる表示制御手段と、
   を備えることを特徴とする表示制御装置。
2. 請求項１に記載の表示制御装置であって、
   前記決定手段は、前記操作者の人体の一部を前記位置に決定することを特徴とする表示制御装置。
3. 請求項２に記載の表示制御装置であって、
   前記人体の一部は上肢であることを特徴とする表示制御装置。
4. 請求項１に記載の表示制御装置であって、
   前記操作者の視点を検出する視点検出手段を更に備え、
   前記決定手段は、前記検出された視点を前記位置に決定することを特徴とする表示制御装置。
5. 請求項１に記載の表示制御装置であって、
   前記決定手段は、前記操作対象機器から所定の範囲内で前記位置を決定することを特徴とする表示制御装置。
6. 請求項１に記載の表示制御装置であって、
   前記操作者と同一空間にいる人物を検出する人物検出手段を更に備え、
   前記決定手段は、前記人物から視認可能な前記位置を決定することを特徴とする表示制御装置。
7. 請求項１乃至６の何れか一項に記載の表示制御装置であって、
   前記決定手段は、複数の前記位置を決定し、
   前記表示制御手段は、前記決定手段により決定された複数の位置に前記表示情報を投影により表示させることを特徴とする表示制御装置。
8. 請求項１乃至７の何れか一項に記載の表示制御装置であって、
   前記取得手段は、前記操作者の人体の一部の動きであるジェスチャーによる前記操作結果を取得することを特徴とする表示制御装置。
9. 請求項８に記載の表示制御装置であって、
   前記操作結果は、前記操作者の人体の一部の動きであるジェスチャーの軌跡であり、
   前記表示情報は、前記軌跡を示し、
   前記表示制御手段は、前記軌跡を投影により表示させることを特徴とする表示制御装置。
10. 請求項１乃至９の何れか一項に記載の表示制御装置と、前記表示情報を投影により表示する表示装置と、を備えることを特徴とする表示システム。
11. 表示制御装置による表示制御方法であって、
    操作者による操作対象機器の操作結果を取得する取得工程と、
    前記操作結果に対応する表示情報を投影により表示する位置を決定する決定工程と、
    前記決定工程により決定された位置に前記表示情報を投影により表示させる表示制御工程と、
    を含むことを特徴とする表示制御方法。
12. コンピュータを、
    操作者による操作対象機器の操作結果を取得する取得手段、
    前記操作結果に対応する表示情報を投影により表示する位置を決定する決定手段、
    前記決定手段により決定された位置に前記表示情報を投影により表示させる表示制御手段、
    として機能させることを特徴とする表示制御プログラム。

Images