JP2023052452A - 表示制御装置、表示システム、表示制御方法及び表示制御プログラム - Google Patents
表示制御装置、表示システム、表示制御方法及び表示制御プログラム Download PDFInfo
- Publication number
- JP2023052452A JP2023052452A JP2023005530A JP2023005530A JP2023052452A JP 2023052452 A JP2023052452 A JP 2023052452A JP 2023005530 A JP2023005530 A JP 2023005530A JP 2023005530 A JP2023005530 A JP 2023005530A JP 2023052452 A JP2023052452 A JP 2023052452A
- Authority
- JP
- Japan
- Prior art keywords
- display
- display control
- gesture
- menu
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 120
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 210000001364 upper extremity Anatomy 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 24
- 230000004048 modification Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 7
- 238000005452 bending Methods 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000004378 air conditioning Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】操作対象機器に対する操作の際のジェスチャー又は操作の結果の少なくとも何れか一方を示すジェスチャー情報をユーザが視認可能な位置に表示することができる表示制御装置、表示システム、表示制御方法及び表示制御プログラムを提供する。【解決手段】表示制御装置100は、人体の一部の動きであるジェスチャーにより操作対象機器の操作を行う操作者の前記人体の一部を検出する検出手段101と、前記操作の際のジェスチャー又は操作の結果の少なくとも何れか一方を示すジェスチャー情報を、検出手段が検出した人体の一部に表示手段を用いて表示させる表示制御手段102と、を備える。【選択図】図1
Description
本願は、操作対象機器を操作するためのジェスチャー等を表示させる表示制御装置の技術分野に関する。
ユーザにサービスを提供する機器は、サービスに関する所定の設定項目についてユーザに設定してもらい、その設定内容に従ってサービスを提供する。このとき、ユーザが設定を行うための操作は、機器が備える操作ボタンを用いて行われるのが一般的である。
一方で、操作ボタンを用いることなく、人体の一部の動きであるジェスチャーにより操作可能な機器も普及し始めている。例えば、ユーザは、カメラが撮像可能な範囲でジェスチャーを行うことにより操作を行い、機器は、カメラが撮像したジェスチャーが何れの操作を示すジェスチャーであるかを認識してサービスを提供する。
ここで、ユーザは操作対象機器を操作するためのジェスチャーを理解する必要があるが、全てのジェスチャーを記憶しておくのは困難である。そこで、特許文献1には、ジェスチャーにより操作を行うための操作メニューを表示部に表示させる技術が開示されている。
しかしながら、特許文献1に記載の技術では、ジェスチャーによる操作を行うユーザが、操作メニューが表示される表示部を視認しにくい位置にいる場合には、操作のためのジェスチャーが分からず、ジェスチャーによる操作を行うことが難しい。
また一方で、ユーザにとってはジェスチャーにより正しく操作がなされたかを把握することも所望のサービスを享受する上で重要となる。
本願発明は、こうした事情に鑑み、操作対象機器に対する操作の際のジェスチャー又は操作の結果の少なくとも何れか一方を示すジェスチャー情報をユーザが視認可能な位置に表示することができる表示制御装置等を提供することを課題の一例とする。
請求項1に記載の発明は、人体の一部の動きであるジェスチャーにより操作対象機器の操作を行う操作者の前記人体の一部を検出する検出手段と、前記操作の際の前記ジェスチャー又は前記操作の結果の少なくとも何れか一方を示すジェスチャー情報を、前記検出手段が検出した前記人体の一部に表示手段を用いて表示させる表示制御手段と、を備えることを特徴とする。
請求項7に記載の発明は、表示制御装置による表示制御方法であって、人体の一部の動きであるジェスチャーにより操作対象機器の操作を行う操作者の前記人体の一部を検出する検出工程と、前記操作の際の前記ジェスチャー又は前記操作の結果の少なくとも何れか一方を示すジェスチャー情報を、前記検出工程で検出した前記人体の一部に表示手段を用いて表示させる表示制御工程と、を含むことを特徴とする。
請求項8に記載の発明は、コンピュータを、人体の一部の動きであるジェスチャーにより操作対象機器の操作を行う操作者の前記人体の一部を検出する検出手段、前記操作の際の前記ジェスチャー又は前記操作の結果の少なくとも何れか一方を示すジェスチャー情報を、前記検出手段が検出した前記人体の一部に表示手段を用いて表示させる表示制御手段、として機能させることを特徴とする。
本願発明を実施するための形態について、図1を用いて説明する。
図1に示すように、表示制御装置100は検出手段101、表示制御手段102を備える。
検出手段101は、人体の一部の動きであるジェスチャーにより操作対象機器の操作を行う操作者の前記人体の一部を検出する。
表示制御手段102は、前記操作の際の前記ジェスチャー又は前記操作の結果の少なくとも何れか一方を示すジェスチャー情報を、前記検出手段が検出した前記人体の一部に表示手段を用いて表示させる。
表示制御装置100によれば、人体の一部の動きであるジェスチャーによる操作対象機器の操作の際におけるジェスチャー又は当該操作の結果の少なくとも何れか一方を示すジェスチャー情報が当該人体の一部に表示される。すなわち、操作者が視認可能な位置にジェスチャー情報が表示されることから、操作者は操作のためのジェスチャーを理解すること、又は、ジェスチャーにより正しく操作がなされたかを把握することの少なくとも何れか一方が可能となる。
[1.第1実施例]
次に、上述した実施形態に対応する第1実施例について説明する。なお、以下に説明する第1実施例は、本願発明を、車両に搭載される車載装置200に適用した場合の実施例である。
次に、上述した実施形態に対応する第1実施例について説明する。なお、以下に説明する第1実施例は、本願発明を、車両に搭載される車載装置200に適用した場合の実施例である。
[1.1.車載装置200の構成]
図2を用いて、第1実施例における車載装置200の構成について説明する。図2に示すように、車載装置200は、制御部211と、HDD(Hard Disk Drive)やSSD(Solid State Drive)等からなる記憶部212と、キーボード又はリモートコントローラ、タッチパネル等からなる入力部213と、表示ユニット214と、バスライン215と、入出力インターフェース部220と、車速センサ221と、角速度センサ222と、加速度センサ223と、舵角センサ224と、GNSS(Global Navigation Satellite System)受信部225と、カメラ226と、マイク227と、スピーカー228と、空調機器229と、を備えて構成されている。また、車載装置200は、投影機250と接続されている。投影機250は、制御部211から受信した制御情報及び画像情報に基づいて、指定された位置に指定された画像を投影させる。
図2を用いて、第1実施例における車載装置200の構成について説明する。図2に示すように、車載装置200は、制御部211と、HDD(Hard Disk Drive)やSSD(Solid State Drive)等からなる記憶部212と、キーボード又はリモートコントローラ、タッチパネル等からなる入力部213と、表示ユニット214と、バスライン215と、入出力インターフェース部220と、車速センサ221と、角速度センサ222と、加速度センサ223と、舵角センサ224と、GNSS(Global Navigation Satellite System)受信部225と、カメラ226と、マイク227と、スピーカー228と、空調機器229と、を備えて構成されている。また、車載装置200は、投影機250と接続されている。投影機250は、制御部211から受信した制御情報及び画像情報に基づいて、指定された位置に指定された画像を投影させる。
記憶部212は、表示ユニット214や投影機250が画像を表示するための情報を記憶する。例えば、タッチによる操作のための操作画面や、ジェスチャーによる操作のための操作ガイド画像を表示するための画像を記憶する。また、記憶部212は、ナビゲーション用に、地図を表示するための地図データや、経路を探索する際に用いる地図情報、道路リンク情報などを記憶する。更に、記憶部212は、ナビゲーションに用いられる音声や楽曲などを出力するための音情報を記憶する。更にまた、記憶部212は、オペレーティングシステムや、アプリケーションプログラム等の各種プログラムを記憶する。特に、記憶部212は、投影機250に操作ガイド画像を表示させるための表示制御プログラムを記憶している。なお、各種プログラムは、例えば、サーバ装置等からネットワークを介して取得されるようにしても良いし、CD、DVD、USBメモリ等の記録媒体に記録されたものを読み込むようにしても良い。
入力部213は、ユーザの入力操作を受け付けて、操作内容を示す操作信号を制御部211に送信する。
表示ユニット214は、制御部211の制御下で画像情報に基づいて画像を表示する。表示ユニット214は、グラフィックスコントローラ214aと、VRAM(Video RAM)等のメモリからなるバッファメモリ214bと、液晶ディスプレイ等からなるディスプレイ214c等を備えて構成されている。この構成においてグラフィックスコントローラ214aは、バスライン215を介して制御部211から送られる制御情報に基づいて、表示ユニット214全体の制御を行う。また、バッファメモリ214bは、即時表示可能な画像情報を一時的に記憶する。そして、グラフィックスコントローラ214aから出力される画像情報に基づいて、ディスプレイ214cに画像が表示される。なお、ディスプレイ214cはタッチパネル機能を有し、ディスプレイ214cへのタッチを検出して、タッチされた位置を示すタッチ位置信号を制御部211に送信する。つまり、ディスプレイ214cは入力部213の一部として機能する場合がある。そして、制御部211は、タッチ位置信号の示す位置と、タッチされた際にタッチされた位置に表示していた表示内容との対応関係から操作内容を特定する。
車速センサ221は、例えば車載装置200が搭載されている車両から取得される車速パルス等を用いた速度検出処理等を用いて当該車両の現在速度を検出し、速度データを出力する。角速度センサ222は、当該車両の、例えば方向変化の角速度を検出し、単位時間当たりの角速度データ及び相対方位データを出力する。加速度センサ223は、当該車両の例えば前後方向の加速度を検出し、単位時間当たりの加速度データ等を出力する。舵角センサ224は、当該車両の舵角を検出し、舵角データ等を出力する。GNSS受信部225は、GNSS衛星からの航法電波を受信し、GNSS測位データを出力する。
カメラ226は車両内を撮影し、撮影した画像を示すカメラ画像情報を制御部211に送信する。
マイク227は車両に搭乗する搭乗者の音声を示すマイク音声情報に変換して制御部211に送信する。
スピーカー228は、制御部211から受信した電気信号に基づいて、音を出力する。なお、制御部211はスピーカー228に送信する電気信号を音データ及び設定された設定音量に基づいて生成することによりスピーカー228から出力される音と音量を制御する。
空調機器229は、制御部、コンプレッサー、エキスパンションバルブ、エバボレーター、コンデンサー、レシーバータンク等を含んで構成され、制御部211から受信した風量情報、温度情報に基づいて、風量情報が示す風量とする制御と、車室内を温度情報が示す温度とする制御を行う。
制御部211は、制御部211全体を制御するCPU211aと、制御部211を制御する制御プログラム等が予め記憶されているROM211bと、各種データを一時的に格納するRAM211cと、により構成されている。そして、CPU211aが、ROM211bや記憶部212に記憶された各種プログラムを読み出し実行することにより各種手段として機能する。制御部211又はCPU211aは、「コンピュータ」に対応する。
制御部211は、車速センサ221、角速度センサ222、加速度センサ223、舵角センサ224、GNSS受信部225、カメラ226、マイク227、スピーカー228及び空調機器229と、バスライン215及び入出力インターフェース部220を介して接続されている。
制御部211は、GNSS測位データに基づく衛星測位や、速度データ、角速度データ、相対方位データ、加速度データ、舵角データ等に基づく自立測位、又は、これらを組み合わせたハイブリッド測位等を行い、自車両の現在位置(緯度、経度、高度)を示す現在位置情報を取得する。そして、制御部211は、目的地が設定された場合には現在位置から目的地までの経路を探索して、当該経路を案内する。
制御部211は、車載装置200をナビゲーション装置として機能させる処理、スピーカー228に対して電気信号を送信することにより音を出力させ、車載装置200をオーディオ機器として機能させる処理、また、空調機器229に対して風量情報、温度情報を送信することにより風量と車室内の温度を変化させ、車載装置200を空調装置として機能させる処理を実行する。そして、制御部211は、これらの機能に関して、操作者のディスプレイ214cに対するタッチによる操作やジェスチャーによる操作を受け付ける。
具体的には、制御部211は、操作者がタッチによる操作を行うための操作画面をディスプレイ214cに表示させたり、操作者がジェスチャーによる操作を行うための操作ガイド画像を操作者の人体の一部に投影機250により投影して表示させたりする。ここでいう人体の一部は、ジェスチャーを行う部分(例えば、左手、右手、左足、右足)とすることができる。また、ジェスチャーを行う部分のうち、特に、操作者が視認可能な位置(例えば、左手でジェスチャーを行う場合、左手の甲又は掌のうち操作者の顔に向いている面)とすることが好ましい。なお、本実施例では、操作ガイド画像を操作者の左手に投影して表示させることとする。そのため、制御部211は公知の画像解析プログラムを用いてカメラ画像情報を解析し、常時、操作者の左手の位置や向きを特定するとともに当該位置や向きを示す左手情報をRAM211cや記憶部212に記録する。また、制御部211は、常時、カメラ画像情報を解析することにより操作者が行ったジェスチャーを検出し、ジェスチャーに対応する操作に応じた処理を実行する。なお、ジェスチャーの検出はカメラ画像情報の解析によるものに限らず、光センサー等を用いて検出することとしてもよい。また、操作ガイド画像は、その時点で可能な操作に対応するジェスチャーの方法を示す記号や図柄等を表示する。更に、操作ガイド画像は、静止画像であっても動画像であってもよく、本実施例では、静止画像である場合について説明する。
制御部211は、操作者がタッチによる操作とジェスチャーによる操作の何れでも操作ができるように、互いに対になっている操作画面と操作ガイド画像であって、その時点で可能な操作を示す操作画面と操作ガイド画像を同時に表示する。これにより、操作者は、例えば、2段階の操作を行う必要がある場合に、
(1)1段階目をタッチによる操作、2段階目をジェスチャーによる操作、
(2)1段階目をタッチによる操作、2段階目をタッチによる操作、
(3)1段階目をジェスチャーによる操作、2段階目をタッチによる操作、
(4)1段階目をジェスチャーによる操作、2段階目をジェスチャーによる操作、
の何れとすることもできる。なお、操作画面と操作ガイド画像を常に同時に表示するのではなく、例えば、所定の条件が充足された場合に操作ガイド画像を表示させることとしてもよい。例えば、操作ガイド画像を表示させるためのジェスチャーを定めておき、制御部211が、当該ジェスチャーを検出した場合にのみ操作ガイド画像を表示することとしてもよい。
(1)1段階目をタッチによる操作、2段階目をジェスチャーによる操作、
(2)1段階目をタッチによる操作、2段階目をタッチによる操作、
(3)1段階目をジェスチャーによる操作、2段階目をタッチによる操作、
(4)1段階目をジェスチャーによる操作、2段階目をジェスチャーによる操作、
の何れとすることもできる。なお、操作画面と操作ガイド画像を常に同時に表示するのではなく、例えば、所定の条件が充足された場合に操作ガイド画像を表示させることとしてもよい。例えば、操作ガイド画像を表示させるためのジェスチャーを定めておき、制御部211が、当該ジェスチャーを検出した場合にのみ操作ガイド画像を表示することとしてもよい。
ここで、図3を用いて、操作画面や操作ガイド画像として表示されるメニューの階層について説明する。図3は、メニューの階層の一例を示す図である。図3に示すように、最上位階層としてトップメニューが設けられ、トップメニューの一つ下の第2階層としてA/Cメニュー、AUDIOメニュー及びNAVIメニューが設けられ、NAVIメニューの一つ下の第3階層として目的地メニューが設けられている。本実施例では、それぞれのメニューに対応する操作画面や操作ガイド画像が表示される。以下、図4-図8を用いて、各メニューに対応する操作画面や操作ガイド画像について説明する。
図4(A)は、第1実施例における、ディスプレイ214cに表示されるトップメニューの操作画面400の一例を示す図であり、図4(B)は、第1実施例における、トップメニューの操作ガイド画像の一例を左手の甲に投影した様子を示す図である。
図4(A)に示すように、トップメニューにそれぞれ対応する操作画面400及び操作ガイド画像は、制御部211が、操作者によるトップメニューを表示するための操作(「トップメニュー表示操作」という場合がある)を検出した場合に表示される。なお、制御部211がトップメニュー表示操作を検出する方法は問わない。例えば、制御部211は、図示しないトップメニュー表示ボタンに対するタッチを検出したことや、トップメニュー表示操作を意味する音声を示すマイク音声情報を検出したこと、又は、トップメニュー表示操作を意味するジェスチャーをカメラ画像情報に基づいて検出したことなどに基づいて、トップメニュー表示操作を検出することができる。なお、トップメニュー表示操作がジェスチャーによるものである場合には、当該ジェスチャーが行われた体の部分にトップメニュー等に対応する操作ガイド画像を表示することとしてもよい。
トップメニューに対応する操作画面400は、A/Cボタン401、AUDIOボタン402及びNAVIボタン403を含む。制御部211は、A/Cボタン401が表示されている部分がタッチされると、A/Cメニューに対応する操作画面をディスプレイ214cに表示させ、A/Cメニューに対応する操作ガイド画像を操作者の左手に投影表示させる。また、制御部211は、AUDIOボタン402が表示されている部分がタッチされると、AUDIOメニューに対応する操作画面をディスプレイ214cに表示させ、AUDIOメニューに対応する操作ガイド画像を操作者の左手に投影表示させる。更に、制御部211は、NAVIボタン403が表示されている部分がタッチされると、NAVIメニューに対応する操作画面をディスプレイ214cに表示させ、NAVIメニューに対応する操作ガイド画像を操作者の左手に投影表示させる。
図4(B)に示すように、トップメニューに対応する操作ガイド画像は、NAVIメニューを表示させるための操作に対応するジェスチャーの方法を示す矢印301A、左手図柄301B及びNAVI表記301Cを含む。矢印301A及び左手図柄301Bは、NAVIメニューを表示させるための操作の方法が、左手の人差し指を一本立てて、且つ、反時計回りに動かすことであることを示している。NAVI表記301Cは、矢印301A及び左手図柄301Bの近傍に表示されることで、これらがNAVIメニューを表示させるための操作の方法を示していることを表している。制御部211は、NAVIメニューを表示させるための操作に対応するジェスチャーを検出すると、NAVIメニューに対応する操作画面をディスプレイ214cに表示させ、NAVIメニューに対応する操作ガイド画像を操作者の左手に投影表示させる。
また、トップメニューに対応する操作ガイド画像は、AUDIOメニューを表示させるための操作に対応するジェスチャーの方法を示す矢印302A、左手図柄302B及びAUDIO表記302Cを含む。矢印302A及び左手図柄302Bは、AUDIOメニューを表示させるための操作の方法が、左手の人差し指を一本立てて、且つ、上下に動かすことであることを示している。AUDIO表記302Cは、矢印302A及び左手図柄302Bの近傍に表示されることで、これらがAUDIOメニューを表示させるための操作の方法を示していることを表している。制御部211は、AUDIOメニューを表示させるための操作に対応するジェスチャーを検出すると、AUDIOメニューに対応する操作画面をディスプレイ214cに表示させ、AUDIOメニューに対応する操作ガイド画像を操作者の左手に投影表示させる。
更に、トップメニューに対応する操作ガイド画像は、A/Cメニューを表示させるための操作に対応するジェスチャーの方法を示す矢印303A、左手図柄303B及びA/C表記303Cを含む。矢印303A及び左手図柄303Bは、A/Cメニューを表示させるための操作の方法が、左手の人差し指を一本立てて、且つ、左右に動かすことであることを示している。A/C表記303Cは、矢印303A及び左手図柄303Bの近傍に表示されることで、これらがA/Cメニューを表示させるための操作の方法を示していることを表している。制御部211は、A/Cメニューを表示させるための操作に対応するジェスチャーを検出すると、A/Cメニューに対応する操作画面をディスプレイ214cに表示させ、A/Cメニューに対応する操作ガイド画像を操作者の左手に投影表示させる。
図5(A)は、第1実施例における、ディスプレイ214cに表示されるA/Cメニューの操作画面410の一例を示す図であり、図5(B)は、第1実施例における、A/Cメニューの操作ガイド画像の一例を左手の甲に投影した様子を示す図である。
A/Cメニューにそれぞれ対応する操作画面410及び操作ガイド画像は、制御部211が、操作者によるA/Cボタン401が表示されている部分に対するタッチを検出した場合、又は、A/Cメニューを表示させるための操作に対応するジェスチャーを検出した場合に表示される。
図5(A)に示すように、A/Cメニューに対応する操作画面410は、ONボタン411A、OFFボタン411B、風量UPボタン412A、風量DOWNボタン412B、風量インジケーター412C、温度UPボタン413A、温度DOWNボタン413B、温度インジケーター413C、及びトップボタンTを含む。制御部211は、ONボタン411Aが表示されている部分がタッチされると、空調機器229を作動させ、OFFボタン411Bが表示されている部分がタッチされると、空調機器229を停止させる。また、制御部211は、風量UPボタン412Aが表示されている部分がタッチされると、空調機器229にその時点における風量から1段階上げた風量を示す風量情報を送信するとともに、風量インジケーター412Cのメモリを1増加させ、一方、風量DOWNボタン412Aが表示されている部分がタッチされると、空調機器229にその時点における風量から1段階下げた風量を示す風量情報を送信するとともに、風量インジケーター412Cのメモリを1減少させる。更に、制御部211は、温度UPボタン413Aが表示されている部分がタッチされると、空調機器229にその時点における温度から1℃上げた温度を示す温度情報を送信するとともに、温度インジケーター413Cの指示する温度を1℃加算し、一方、温度DOWNボタン413Aが表示されている部分がタッチされると、空調機器229にその時点における温度から1℃下げた温度を示す温度情報を送信するとともに、温度インジケーター413Cの指示する温度を1℃減算する。更にまた、制御部211は、トップボタンTが表示されている部分がタッチされると、トップメニュー400に対応する操作画面をディスプレイ214cに表示させ、トップメニューに対応する操作ガイド画像を操作者の左手に投影表示させる(以下、他の操作画面のトップボタンTについても同様)。なお、風量インジケーター412Cは、設定風量を指示する。また、温度インジケーター413Cは、設定温度を指示する。
図5(B)に示すように、A/Cメニューに対応する操作ガイド画像は、空調機器229を動作させるための操作に対応するジェスチャーの方法を示す矢印311A及び左手図柄311Bを含む。矢印311A及び左手図柄311Bは、空調機器229を動作させるための操作の方法が、左手の人差し指を一本立てて、且つ、上下に動かすことであることを示している。ON表記311Cは、矢印311A及び左手図柄311Bの近傍に表示されることで、これらが空調機器229を動作させるための操作の方法を示していることを表している。制御部211は、空調機器229を動作させるための操作に対応するジェスチャーを検出すると、空調機器229を作動させるための制御情報を空調機器229に送信する。
また、A/Cメニューに対応する操作ガイド画像は、空調機器229を停止させるための操作に対応するジェスチャーの方法を示す矢印312A及び左手図柄311Bを含む。矢印312A及び左手図柄311Bは、空調機器229を停止させるための操作の方法が、左手の人差し指を一本立てて、且つ、左右に動かすことであることを示している。OFF表記312Cは、矢印312A及び左手図柄311Bの近傍に表示されることで、これらが空調機器229を停止させるための操作の方法を示していることを表している。制御部211は、空調機器229を停止させるための操作に対応するジェスチャーを検出すると、空調機器229を停止させるための制御情報を空調機器229に送信する。なお、図5(B)では、空調機器229を動作させるための操作と、停止させるための操作に対応するジェスチャーについてそれぞれ左手図柄を表示するのではなく、左手図柄311Bを共用としたが、別々に左手図柄を表示させてもよい。また、空調機器229の動作中は、空調機器229を動作させるための操作を行う必要が無いため矢印311A及びON表記311Cを非表示としてもよく、また、空調機器229の停止中は、空調機器229を停止させるための操作を行う必要が無いため矢印312A及びOFF表記312Cを非表示としてもよい。
更に、A/Cメニューに対応する操作ガイド画像は、温度を変更するための操作に対応するジェスチャーの方法を示す矢印313A及び左手図柄313Bを含む。矢印313A及び左手図柄313Bは、温度を変更するための操作の方法が、左手の人差し指と中指を二本立てて、且つ、時計回り又は反時計回りに動かすことを示している。UP表記313Cは、時計回りが温度を上昇させるための操作の方法を示していることを表しており、一方、DOWN表記313Dは、反時計回りが温度を下降させるための操作の方法を示していることを表している。制御部211は、温度を上昇させるための操作に対応するジェスチャーを検出すると、空調機器229にその時点における温度から1℃上げた温度を示す温度情報を送信するとともに、温度インジケーター313Eの指示する温度を1℃加算し、一方、温度を下降させるための操作に対応するジェスチャーを検出すると、空調機器229にその時点における温度から1℃下げた温度を示す温度情報を送信するとともに、温度インジケーター313Eの指示する温度を1℃減算する。なお、温度インジケーター313Eは、設定温度を指示する。
更にまた、A/Cメニューに対応する操作ガイド画像は、風量を変更するための操作に対応するジェスチャーの方法を示す矢印314A及び左手図柄314Bを含む。矢印314A及び左手図柄314Bは、風量を変更するための操作の方法が、左手の人差し指を一本立てて、且つ、時計回り又は反時計回りに動かすことを示している。UP表記314Cは、時計回りが風量を上げるための操作の方法を示していることを表しており、一方、DOWN表記314Dは、反時計回りが風量を下げるための操作の方法を示していることを表している。制御部211は、風量を上げるための操作に対応するジェスチャーを検出すると、空調機器229にその時点における風量から1段階上げた風量を示す風量情報を送信するとともに、風量インジケーター314Eの指示するメモリを1増加させ、一方、風量を下げるための操作に対応するジェスチャーを検出すると、空調機器229にその時点における風量から1段階下げた風量を示す風量情報を送信するとともに、風量インジケーター314Eの指示するメモリを1減少させる。なお、風量インジケーター314Eは、設定風量を指示する。
図6(A)は、第1実施例における、ディスプレイ214cに表示されるAUDIOメニューの操作画面420の一例を示す図であり、図6(B)は、第1実施例における、AUDIOメニューの操作ガイド画像の一例を左手の甲に投影した様子を示す図である。
AUDIOメニューにそれぞれ対応する操作画面420及び操作ガイド画像は、制御部211が、操作者によるAUDIOボタン402が表示されている部分に対するタッチを検出した場合、又は、AUDIOメニューを表示させるための操作に対応するジェスチャーが検出した場合に表示される。
図6(A)に示すように、AUDIOメニューに対応する操作画面420は、再生ボタン421A、停止ボタン421B、送りボタン421C、戻しボタン421D、音量UPボタン422A、音量DOWNボタン422B、音量インジケーター423、音量バー424、及び曲目表記425及びトップボタンTを含む。制御部211は、再生ボタン421Aが表示されている部分がタッチされると、曲を再生させ、停止ボタン421Bが表示されている部分がタッチされると、曲の再生を停止させる。また、制御部211は、送りボタン421Cが表示されている部分がタッチされると、再生する曲を次の曲に切り替え、一方、戻しボタン421Dが表示されている部分がタッチされると、再生中の曲について頭から再生をやり直す。更に、制御部211は、音量UPボタン422Aが表示されている部分がタッチされると、再生する曲の音量を上げるとともに、音量インジケーター423及び音量バー424の指示する音量を上げ、一方、音量DOWNボタン422Bが表示されている部分がタッチされると、再生する曲の音量を下げるとともに、音量インジケーター423及び音量バー424の指示する音量を下げる。なお、音量インジケーター423及び音量バー424は、設定音量を指示する。また、曲目表記425は、再生中の曲目を表す。
図6(B)に示すように、AUDIOメニューに対応する操作ガイド画像は、曲を再生させるための操作に対応するジェスチャーの方法を示す矢印321A及び左手図柄321Bを含む。矢印321A及び左手図柄321Bは、曲を再生させるための操作の方法が、左手の人差し指を一本立てて、且つ、上下に動かすことであることを示している。再生記号321Cは、矢印321A及び左手図柄321Bの近傍に表示されることで、これらが曲を再生させるための操作の方法を示していることを表している。制御部211は、曲を再生させるための操作に対応するジェスチャーを検出すると、曲を再生させる。
また、AUDIOメニューに対応する操作ガイド画像は、曲の再生を停止させるための操作に対応するジェスチャーの方法を示す矢印322A及び左手図柄321Bを含む。矢印322A及び左手図柄321Bは、曲の再生を停止させるための操作の方法が、左手の人差し指を一本立てて、且つ、左右に動かすことであることを示している。停止記号322Cは、矢印322A及び左手図柄321Bの近傍に表示されることで、これらが曲の再生を停止させるための操作の方法を示していることを表している。制御部211は、曲の再生を停止させるための操作に対応するジェスチャーを検出すると、曲の再生を停止する。なお、図6(B)では、曲を再生させるための操作と、曲の再生を停止させるための操作に対応するジェスチャーについてそれぞれ左手図柄を表示するのではなく、左手図柄321Bを共用としたが、別々に左手図柄を表示させてもよい。
更に、AUDIOメニューに対応する操作ガイド画像は、音量を変更するための操作に対応するジェスチャーの方法を示す矢印323A及び左手図柄323Bを含む。矢印323A及び左手図柄323Bは、音量を変更するための操作の方法が、左手の人差し指と中指を二本立てて、且つ、時計回り又は反時計回りに動かすことを示している。UP表記323Cは、時計回りが音量を上げるための操作の方法を示していることを表しており、一方、DOWN表記323Dは、反時計回りが音量を下げるための操作の方法を示していることを表している。制御部211は、音量を上げるための操作に対応するジェスチャーを検出すると、音量を上げるとともに、音量インジケーター323Eの指示する音量を上げ、一方、音量を下げるための操作に対応するジェスチャーを検出すると、音量を下げるとともに、音量インジケーター323Eの指示する音量を下げる。なお、音量インジケーター323Eは、設定音量を指示する。
更にまた、AUDIOメニューに対応する操作ガイド画像は、曲送り操作と曲戻し操作に対応するジェスチャーの方法を示す矢印324A及び左手図柄324Bを含む。矢印324A及び左手図柄324Bは、曲送り操作と曲戻し操作の方法が、左手の人差し指を一本立てて、且つ、時計回り又は反時計回りに動かすことを示している。送り表記324Cは、時計回りが曲送り操作の方法を示していることを表しており、一方、戻し表記324Dは、反時計回りが曲戻し操作の方法を示していることを表している。制御部211は、曲送り操作に対応するジェスチャーを検出すると、再生する曲を次の曲に切り替え、一方、曲戻し操作に対応するジェスチャーを検出すると、再生中の曲について頭から再生をやり直す。
図7(A)は、第1実施例における、ディスプレイ214cに表示されるNAVIメニューの操作画面430の一例を示す図であり、図7(B)は、第1実施例における、NAVIメニューの操作ガイド画像の一例を左手の甲に投影した様子を示す図である。
NAVIメニューにそれぞれ対応する操作画面430及び操作ガイド画像は、制御部211が、操作者によるNAVIボタン403が表示されている部分に対するタッチを検出した場合、又は、NAVIメニューを表示させるための操作に対応するジェスチャーが検出した場合に表示される。
図7(A)に示すように、NAVIメニューに対応する操作画面430は、地図と、現在地ボタン431、目的地ボタン432、自宅ボタン433及びトップボタンTを含む。制御部211は、現在地ボタン431が表示されている部分がタッチされると、現在地を示す地図を含む操作画面430をディスプレイ214cに表示させる。また、制御部211は、目的地ボタン432が表示されている部分がタッチされると、目的地メニューに対応する操作画面をディスプレイ214cに表示させ、目的地メニューに対応する操作ガイド画像を操作者の左手に投影表示させる。更に、制御部211は、自宅ボタン433が表示されている部分がタッチされると、自宅への経路案内を開始する。
図7(B)に示すように、NAVIメニューに対応する操作ガイド画像は、自宅への経路案内を開始させるための操作に対応するジェスチャーの方法を示す矢印331A及び左手図柄331Bを含む。矢印331A及び左手図柄331Bは、自宅への経路案内を開始させるための操作の方法が、左手の人差し指と中指を二本立てて、且つ、反時計回りに動かすことであることを示している。自宅表記331Cは、矢印331A及び左手図柄331Bの近傍に表示されることで、これらが自宅への経路案内を開始させるための操作の方法を示していることを表している。制御部211は、自宅への経路案内を開始させるための操作に対応するジェスチャーを検出すると、自宅への経路案内を開始する。
また、NAVIメニューに対応する操作ガイド画像は、現在地を示す地図を表示させるための操作に対応するジェスチャーの方法を示す矢印332A及び左手図柄332Bを含む。矢印332A及び左手図柄332Bは、現在地を示す地図を表示させるための操作の方法が、左手の人差し指を一本立てて、且つ、上下に動かすことであることを示している。現在地表記332Cは、矢印332A及び左手図柄332Bの近傍に表示されることで、これらが現在地を示す地図を表示させるための操作の方法を示していることを表している。制御部211は、現在地を示す地図を表示させるための操作に対応するジェスチャーを検出すると、現在地を示す地図をディスプレイ214cに表示させる。
更に、NAVIメニューに対応する操作ガイド画像は、目的地メニューを表示させるための操作に対応するジェスチャーの方法を示す矢印333A及び左手図柄333Bを含む。矢印333A及び左手図柄333Bは、目的地メニューを表示させるための操作の方法が、左手の人差し指を一本立てて、且つ、左右に動かすことであることを示している。目的地表記333Cは、矢印333A及び左手図柄333Bの近傍に表示されることで、これらが目的地メニューを表示させるための操作の方法を示していることを表している。制御部211は、目的地メニューを表示させるための操作に対応するジェスチャーを検出すると、目的地メニューに対応する操作画面をディスプレイ214cに表示させ、目的地メニューに対応する操作ガイド画像を操作者の左手に投影表示させる。
図8(A)は、第1実施例における、ディスプレイ214cに表示される目的地メニューの操作画面440の一例を示す図であり、図8(B)は、第1実施例における、目的地メニューの操作ガイド画像の一例を左手の甲に投影した様子を示す図である。
目的地メニューにそれぞれ対応する操作画面440及び操作ガイド画像は、制御部211が、操作者による目的地ボタン432が表示されている部分に対するタッチを検出した場合、又は、目的地メニューを表示させるための操作に対応するジェスチャーが検出した場合に表示される。
図8(A)に示すように、目的地メニューに対応する操作画面430は、履歴ボタン441、電話番号ボタン442、名称ボタン443及びトップボタンTを含む。制御部211は、履歴ボタン441が表示されている部分がタッチされると、目的地として設定又は検索された地点の履歴が操作者に提示される。例えば、ディスプレイ214cに、地点の履歴のリストが何れかの当該地点を選択できるように提示され、操作者は目的地として設定することができる。また、制御部211は、電話番号ボタン442が表示されている部分がタッチされると、電話番号を入力するための方法が操作者に提示され、操作者は電話番号を入力することにより目的地となる施設を検索することができ、当該施設を目的地として設定することができる。電話番号を入力するための方法としては従来公知の方法、例えば、ディスプレイ214cにテンキーを表示してタッチ入力させる方法や、マイク227を用いて音声入力する方法を採用することができる。更に、制御部211は、名称ボタン443が表示されている部分がタッチされると、名称を入力するための方法が操作者に提示され、操作者は名称を入力することにより目的地となる施設を検索することができ、当該施設を目的地として設定することができる。名称を入力するための方法としては従来公知の方法、例えば、ディスプレイ214cに50音を表示してタッチ入力させる方法や、マイク227を用いて音声入力する方法を採用することができる。
図8(B)に示すように、目的地メニューに対応する操作ガイド画像は、人体におけるジェスチャーにより動かされる部分を特定する画像(「ジェスチャー情報」の一例)であって、ジェスチャーにより動かされる操作者の左手の薬指に対応する記号341A及び履歴表記341Bと、ジェスチャーにより動かされる中指に対応する記号342A及び電話番号表記342Bと、ジェスチャーにより動かされる人差し指に対応する記号343A及び名称表記343Bと、を含む。記号341A、342A、343Aは、それぞれが対応する指を折り曲げるジェスチャーにより履歴表示、電話番号入力、名称入力に関する操作が可能であることを示している。なお、操作者には、予め、操作者の左手に表示された操作ガイド画像に従って、記号341A、342A、343Aが表示されている指を折り曲げることにより、対応する表記341B、342B、343Bが示す項目を選択できることを知らせておくこととする。制御部211は、薬指を曲げるジェスチャーを検出した場合には、目的地として設定又は検索された地点の履歴を操作者に提示する。例えば、ディスプレイ214cに、地点の履歴のリストが何れかの当該地点を選択できるように提示され、操作者は目的地として設定することができる。また、制御部211は、中指を曲げるジェスチャーを検出した場合には、電話番号を入力するための方法を操作者に提示する。これにより、操作者は電話番号を入力することにより目的地となる施設を検索することができ、当該施設を目的地として設定することができる。電話番号を入力するための方法としては従来公知の方法、例えば、ディスプレイ214cにテンキーを表示してタッチ入力させる方法や、マイク227を用いて音声入力する方法を採用することができる。更に、制御部211は、人差し指を曲げるジェスチャーを検出した場合には、名称を入力するための方法を操作者に提示する。これにより、操作者は名称を入力することにより目的地となる施設を検索することができ、当該施設を目的地として設定することができる。名称を入力するための方法としては従来公知の方法、例えば、ディスプレイ214cに50音を表示してタッチ入力させる方法や、マイク227を用いて音声入力する方法を採用することができる。
[1.2.制御部211による表示制御処理]
次に、図9に示すフローチャートを用いて、制御部211による表示制御処理について説明する。なお、図9は、制御部211による表示制御処理の一例を示すフローチャートである。
次に、図9に示すフローチャートを用いて、制御部211による表示制御処理について説明する。なお、図9は、制御部211による表示制御処理の一例を示すフローチャートである。
まず、制御部211は、トップメニュー表示操作を検出すると(ステップS101)、左手情報を取得する(ステップS102)。
次に、制御部211は、ステップS102で取得した左手情報に基づいて操作者の左手の位置と向きを特定し、操作者の左手の甲又は掌にトップメニューに対応する操作ガイド画像を投影機250により投影して表示させる(ステップS103)。
次に、制御部211は、ディスプレイ214cにトップメニューに対応する操作画面400を表示させる(ステップS104)。
次に、制御部211は、操作画面へのタッチ、又は、ジェスチャーを検出する(ステップS105)。具体的には、制御部211は、A/Cボタン401、AUDIOボタン402、NAVIボタン403の何れかが表示されている部分に対するタッチ、又は、A/Cメニュー、AUDIOメニュー、NAVIメニューの何れかを表示させるための操作に対応するジェスチャーを検出する。
次に、制御部211は、NAVIが選択されたか否かを判定する(ステップS106)。具体的には、制御部211は、ステップS105の処理においてNAVIボタン403が表示されている部分に対するタッチ、又は、NAVIメニューを表示させるための操作に対応するジェスチャーを検出したか否かを判定する。
制御部211は、ステップS106の処理においてNAVIが選択されていない(すなわち、A/C又はAUDIOが選択された)と判定した場合には(ステップS106:NO)、左手情報を取得し、操作者の左手に、操作者により選択されたA/Cメニュー又はAUDIOメニューの何れかに対応する操作ガイド画像を表示させる(ステップS107)。次いで、制御部211は、ディスプレイ214cに、操作者により選択されたA/Cメニュー又はAUDIOメニューの何れかに対応する操作画面を表示させる(ステップS108)。次いで、制御部211は、操作画面へのタッチ又はジェスチャーを検出し(ステップS109)、ステップS117の処理に移行する。
一方、制御部211は、ステップS106の処理においてNAVIが選択されたと判定した場合には(ステップS106:YES)、左手情報を取得し、操作者の左手にNAVIメニューに対応する操作ガイド画像を投影機250により投影して表示させる(ステップS110)。次いで、制御部211は、ディスプレイ214cにNAVIメニューに対応する操作画面430を表示させる(ステップS111)。次いで、制御部211は、操作画面へのタッチ又はジェスチャーを検出する(ステップS112)。
次に、制御部211は、目的地が選択されたか否かを判定する(ステップS113)。具体的には、制御部211は、ステップS112の処理において目的地ボタン432が表示されている部分に対するタッチ、又は、目的地メニューを表示させるための操作に対応するジェスチャーを検出したか否かを判定する。
制御部211は、ステップS113の処理において目的地が選択されていない(すなわち、現在地又は自宅が選択された)と判定した場合には(ステップS113:NO)、ステップS117の処理に移行する。
一方、制御部211は、ステップS113の処理において目的地が選択されたと判定した場合には(ステップS113:YES)、左手情報を取得し、操作者の左手に目的地メニューに対応する操作ガイド画像を投影機250により投影して表示させる(ステップS114)。次いで、制御部211は、ディスプレイ214cに目的地メニューに対応する操作画面440を表示させる(ステップS115)。次いで、制御部211は、操作画面へのタッチ又はジェスチャーを検出し(ステップS116)、ステップS117の処理に移行する。
次に、制御部211は、ステップS105の処理、ステップS109の処理、ステップS112の処理又はステップS116の処理で検出したタッチ又はジェスチャーに対応する操作に応じた処理を実行する(ステップS117)。例えば、制御部211は、制御部211は、A/Cメニューに対応する操作画面410(図5(A))の温度UPボタン413Aが表示されている部分に対するタッチを検出した場合、又は、A/Cメニューに対応する操作ガイド画像(図5(B))が表示されている際に、左手の人差し指と中指を二本立てて、且つ、時計回りに動かすジェスチャーを検出した場合には、空調機器229にその時点における温度から1℃上げた温度を示す温度情報を送信する処理を実行する。また、制御部211は、NAVIメニューに対応する操作画面430(図7(A))の現在地ボタン431が表示されている部分に対するタッチを検出した場合、又は、NAVIメニューに対応する操作ガイド画像(図7(B))が表示されている際に、左手の人差し指を一本立てて、且つ、上下に動かすジェスチャーを検出した場合には、現在地を示す地図を含む操作画面430をディスプレイ214cに表示させる処理を実行する。
次に、制御部211は、左手情報を取得し、操作者の左手に、ステップS105の処理、ステップS109の処理、ステップS112の処理又はステップS116の処理で検出したタッチ又はジェスチャーによる操作の結果に対応する操作結果情報を投影機250により投影して表示させる(ステップS118)。例えば、制御部211は、ステップS117の処理において現在の設定温度に1℃加算した温度を示す温度情報を空調機器229に送信する処理を実行した場合には、設定温度を1℃加算したことを示す操作結果情報を表示させるべく、温度インジケーター313Eの示す設定温度を1℃加算して表示させる。
次に、制御部211は、ステップS105の処理、ステップS109の処理、ステップS112の処理又はステップS116の処理で検出したタッチ又はジェスチャーによる操作の結果に対応する操作結果情報をディスプレイ214cに表示させる(ステップS119)。例えば、制御部211は、ステップS117の処理において現在の設定温度に1℃加算した温度を示す温度情報を空調機器229に送信する処理を実行した場合には、設定温度を1℃加算したことを示す操作結果情報を表示させるべく、温度インジケーター413Cの示す設定温度を1℃加算して表示させる。
次に、制御部211は、タッチ又はジェスチャーを更に検出したか否かを判定する(ステップS120)。制御部211は、タッチ又はジェスチャーを更に検出したと判定した場合には(ステップS120:YES)、ステップS117の処理に移行する。例えば、制御部211は、ステップS109の処理において温度を上昇させるための操作に対応するジェスチャーを検出したことに基づいて、ステップS117の処理において現在の設定温度に1℃加算した温度を示す温度情報を空調機器229に送信する処理を実行した後、温度を上昇させるための操作に対応するジェスチャーを更に検出したと判定した場合には、再度、ステップS117の処理において現在の設定温度に1℃加算した温度を示す温度情報を空調機器229に送信する処理を実行し、温度インジケーター313Eの示す設定温度を1℃加算して表示させ(ステップS118)、温度インジケーター413Cの示す設定温度を1℃加算して表示させる(ステップS119)。すなわち、ステップS117からステップ119の処理を2回繰り返すことにより、設定温度を2℃加算することとなる。一方、制御部211は、ジェスチャーを更に検出しないと判定した場合には(ステップS120:NO)、制御部211による表示制御処理を終了する。
[2.第2実施例]
次に、上述した実施形態に対応する第2実施例について説明する。なお、以下に説明する第2実施例は、第1実施例とほぼ同様であるため第1実施例との相違点を中心に説明し、第1実施例と同様の部材、処理については同一の符号を用いて説明する。
次に、上述した実施形態に対応する第2実施例について説明する。なお、以下に説明する第2実施例は、第1実施例とほぼ同様であるため第1実施例との相違点を中心に説明し、第1実施例と同様の部材、処理については同一の符号を用いて説明する。
第1実施例では、車載装置200の制御部211は、図9のステップS118の処理において、操作者の左手に、ステップS105の処理、ステップS109の処理、ステップS112の処理又はステップS116の処理で検出したタッチ又はジェスチャーによる操作結果に対応する操作結果情報を表示させた。これに対して、第2実施例における制御部211は、操作結果情報を表示する表示位置を決定する処理を行ってから、当該処理で決定した表示位置に操作結果情報を表示させる。以下、当該処理について、図11を用いて説明する。図11は、第2実施例における制御部211による表示制御処理の一部(第1実施例の表示制御処理と相違する部分(ステップS118))を示すフローチャートである。
図10に示すように、制御部211は、図9のステップS117の処理に次いで、ステップS105の処理、ステップS109の処理、ステップS112の処理又はステップS116の処理で検出したタッチ又はジェスチャーによる操作結果に対応する操作結果情報を表示する表示位置を決定する(ステップS201)。
次に、制御部211は、ステップS201の処理で決定した表示位置に操作結果情報を投影機250により投影して表示させ(ステップS202)、図9のステップS119の処理に移行する。
次に、ステップS201の処理に関して、制御部211が操作結果情報を表示する表示位置を決定する方法である表示位置決定方法について説明する。
まず、第1の表示位置決定方法は、表示位置を操作者又は同乗者(車載装置200が搭載されている車両に同乗している人物)の見ている位置(視線が注がれているところである視点)とする方法である。第1の表示位置決定方法では、制御部211は、操作者又は同乗者の視点を特定して当該視点を表示位置として決定する。視点を特定する方法としては、例えば、操作者や同乗者の顔(特に目)を撮影するカメラ226からのカメラ画像情報を解析する方法など、従来公知の手法を採用することができる。なお、制御部211は、カメラ画像情報を解析することにより、同乗者の存在及び同乗者の視点を検出することとする。
第2の表示位置決定方法は、表示位置を操作対象機器の近傍(操作対象機器から所定の範囲内)とする方法である。例えば、車載装置200から30cm以内の位置で表示位置を決定することとしてもよいし、また、車載装置200が車両のインストルメントパネルに埋め込まれている場合には、インストルメントパネルの何れかの部分を表示位置に決定することとしてもよい。このとき、投影機250で投影した画像が見やすい部分を決定するのが好ましい。
第3の表示位置決定方法は、表示位置を操作者や同乗者が見えやすい位置とする方法である。例えば、操作者が見えやすいように、搭乗者や同乗者の上部にある天井部、当該搭乗者や同乗者の側方にあるドアや窓、又は、当該搭乗者や同乗者の人体の一部(例えば、上肢、下肢(大腿部)など)を、表示位置として決定することとしてもよい。また、後部座席に搭乗している同乗者が見えやすいように、当該同乗者の前方にあるシートの背面部分を、表示位置として決定することとしてもよい。これらの位置は、予め位置を示す位置情報を記憶部212に記憶させておくこととしてもよいし、車内を撮影するカメラ226からのカメラ画像情報を解析して特定することとしてもよい。
なお、制御部211は、第1の表示位置決定方法から第3の表示位置決定方法の中で挙げた位置の中から少なくとも何れかの位置を選択することにより表示位置を決定することとしてもよい。また、制御部211は、複数の表示位置を決定し、これらの表示位置に同時に操作結果情報を表示させることとしてもよい。
以上説明したように、第1実施例における車載装置200は、制御部211(「検出手段」、「表示制御手段」の一例)が左手(「人体の一部」の一例)の動きであるジェスチャーにより車載装置200(「操作対象機器」の一例)の操作を行う操作者の左手を検出し、操作の際のジェスチャーを示す操作ガイド画像(「ジェスチャー情報」の一例)と、操作の結果を示す温度インジケーター313Eなどの操作結果情報(「ジェスチャー情報」の一例)を、検出した操作者の左手に投影機250(「表示手段」の一例)を用いて表示させる。
したがって、第1実施例における車載装置200によれば、左手の動きであるジェスチャーによる車載装置200の操作の際における操作ガイド画像とジェスチャーによる操作の結果を示す操作結果情報が当該左手に表示される。すなわち、操作者が視認可能な位置に操作ガイド画像と操作結果情報が表示されることから、操作者は操作のためのジェスチャーを理解することと、ジェスチャーにより正しく操作がなされたかを把握することができる。
また、第1実施例における車載装置200の制御部211は、その時点で可能な操作に対応するジェスチャーを示す操作ガイド画像を表示させる。したがって、操作者は、その時点でジェスチャーにより何れの操作が可能であるかを把握することができる。
更に、第1実施例における車載装置200において、操作ガイド画像は、例えば、図5(B)における矢印311A及び左手図柄311Bのように空調機器229を動作させるためのジェスチャーの方法を示す。したがって、操作者は、ジェスチャーの方法を把握することができる。
更にまた、第1実施例における車載装置200において、操作ガイド画像は、ジェスチャーにより可能な操作を示す(例えば、図4(B)の操作ガイド画像は、A/C、AUDIO又はNAVIを選択する操作がジェスチャーにより可能であることを示している)。これにより、操作者は、ジェスチャーにより可能な操作を把握することができる。
更にまた、第1実施例における車載装置200は、投影機250が操作ガイド画像を人体の一部に投影して表示する。したがって、投影機250が投影可能な範囲で、人体の任意の位置に操作ガイド画像を表示させることができる。
[3.変形例]
次に、本実施例の変形例について説明する。なお、以下に説明する変形例は適宜組み合わせることができる。
次に、本実施例の変形例について説明する。なお、以下に説明する変形例は適宜組み合わせることができる。
[3.1.変形例1]
第1実施例及び第2実施例では、左手を動かすジェスチャーによる操作について説明したが、その他の体の部分(例えば、右手、左足、右足など)を動かすジェスチャーによる操作について本発明を適用することができる。なお、図4(B)に示すように、ジェスチャーを行う左手に操作ガイド画像を表示させる場合には、左手を表す左手図柄301B、302B、303Bを用いたが、ジェスチャーを行う体の一部を操作ガイド画像に用いることとしてもよい。例えば、ジェスチャーを右手で行う場合には、右手を表す右手図柄を操作ガイド画像に用いることとする。
第1実施例及び第2実施例では、左手を動かすジェスチャーによる操作について説明したが、その他の体の部分(例えば、右手、左足、右足など)を動かすジェスチャーによる操作について本発明を適用することができる。なお、図4(B)に示すように、ジェスチャーを行う左手に操作ガイド画像を表示させる場合には、左手を表す左手図柄301B、302B、303Bを用いたが、ジェスチャーを行う体の一部を操作ガイド画像に用いることとしてもよい。例えば、ジェスチャーを右手で行う場合には、右手を表す右手図柄を操作ガイド画像に用いることとする。
[3.2.変形例2]
第1実施例及び第2実施例では、図5に示したように、操作結果情報の一例として、ジェスチャーにより空調装置としての車載装置200を操作した結果を示す温度インジケーター313Eを表示することとしたが、操作のために行われたジェスチャーを示す情報を操作結果情報として表示することとしてもよい。例えば、制御部211は、左手を掌(又は甲)の向きを維持したまま回転させるジェスチャーの軌跡を検出した場合には、図11に示すように、当該軌跡を示すトレース線371を表す画像を左手に表示させることとしてもよい。なお、トレース線371を表示する場所は、操作者の体の他の部分でもよい。また、ジェスチャーを行っている部分(この例では左手)に表示させる場合には、操作者が視認できるように操作者の顔に向いている部分に表示させるのが好ましい。
第1実施例及び第2実施例では、図5に示したように、操作結果情報の一例として、ジェスチャーにより空調装置としての車載装置200を操作した結果を示す温度インジケーター313Eを表示することとしたが、操作のために行われたジェスチャーを示す情報を操作結果情報として表示することとしてもよい。例えば、制御部211は、左手を掌(又は甲)の向きを維持したまま回転させるジェスチャーの軌跡を検出した場合には、図11に示すように、当該軌跡を示すトレース線371を表す画像を左手に表示させることとしてもよい。なお、トレース線371を表示する場所は、操作者の体の他の部分でもよい。また、ジェスチャーを行っている部分(この例では左手)に表示させる場合には、操作者が視認できるように操作者の顔に向いている部分に表示させるのが好ましい。
[3.3.変形例3]
第1実施例及び第2実施例では、制御部211は、操作結果情報を表示することとしたが、操作結果情報を表示する際、ジェスチャーによる操作以外の方法による操作の結果を表示することとしてもよい。例えば、リモコンや操作対象機器が備えるボタンを押下する操作、音声による操作などに応じた操作結果情報を表示することとしてもよい。音声による操作の結果を示す操作結果情報を表示する場合には、図12に示すように、操作のために発した音声に対応する文字を示す音声入力表記381を表す画像を左手に表示することとしてもよい。このとき、制御部211は、マイク227から受信したマイク音声情報について従来公知の音声認識処理を行い、認識した音声に対応する文字を示す音声入力表記381を表す画像を投影機250により投影して表示させることとしてもよい。なお、音声入力表記381を表示する場所は、操作者の体の他の部分でもよい。また、体の一部に表示させる場合には、操作者が視認できるように操作者の顔に向いている部分に表示させるのが好ましい。
第1実施例及び第2実施例では、制御部211は、操作結果情報を表示することとしたが、操作結果情報を表示する際、ジェスチャーによる操作以外の方法による操作の結果を表示することとしてもよい。例えば、リモコンや操作対象機器が備えるボタンを押下する操作、音声による操作などに応じた操作結果情報を表示することとしてもよい。音声による操作の結果を示す操作結果情報を表示する場合には、図12に示すように、操作のために発した音声に対応する文字を示す音声入力表記381を表す画像を左手に表示することとしてもよい。このとき、制御部211は、マイク227から受信したマイク音声情報について従来公知の音声認識処理を行い、認識した音声に対応する文字を示す音声入力表記381を表す画像を投影機250により投影して表示させることとしてもよい。なお、音声入力表記381を表示する場所は、操作者の体の他の部分でもよい。また、体の一部に表示させる場合には、操作者が視認できるように操作者の顔に向いている部分に表示させるのが好ましい。
[3.4.変形例4]
第1実施例及び第2実施例では、操作の際のジェスチャーを示す操作ガイド画像と、操作の結果を示す操作結果情報を人体の一部に表示させることとしたが、操作ガイド画像又は操作結果情報の何れか一方を表示させることとしてもよい。なお、操作ガイド画像や操作結果情報を表示する場所は、操作者の体の一部であればよく、例えば、ジェスチャーが行われる部分であってもよい。また、体の一部に表示させる場合には、操作者が視認できるように操作者の顔に向いている部分に表示させるのが好ましい。
第1実施例及び第2実施例では、操作の際のジェスチャーを示す操作ガイド画像と、操作の結果を示す操作結果情報を人体の一部に表示させることとしたが、操作ガイド画像又は操作結果情報の何れか一方を表示させることとしてもよい。なお、操作ガイド画像や操作結果情報を表示する場所は、操作者の体の一部であればよく、例えば、ジェスチャーが行われる部分であってもよい。また、体の一部に表示させる場合には、操作者が視認できるように操作者の顔に向いている部分に表示させるのが好ましい。
[3.5.変形例5]
第1実施例及び第2実施例では、制御部211は、トップメニュー表示操作に基づいてトップメニューを表示し、その中から、A/Cメニュー、AUDIOメニュー、又はNAVIメニューを操作者に選択させることとしたが、A/Cメニュー、AUDIOメニュー、又はNAVIメニューを直接表示する操作を定めておき、当該操作が検出された場合には、トップメニューを表示させることなく、該当するメニューを表示させることとしてもよい。例えば、制御部211は、A/Cメニューを表示させるA/Cメニュー表示操作が検出された場合に、直ちに、A/Cメニューに対応する操作画面及び操作ガイド画像を表示させることとしてもよい。なお、A/Cメニュー表示操作は予め操作者が把握できるようにしておくこととする。これにより、A/Cメニューを表示させたい場合に、わざわざ、トップメニュー表示操作に基づいてトップメニューを表示させることなく、直ちに、A/Cメニューを表示させることができ、操作者の利便性が向上する。なお、A/Cメニュー表示操作がジェスチャーによるものであって、当該A/Cメニュー表示操作に基づいてA/Cメニューを表示させる場合には、A/Cメニュー表示操作に対応するジェスチャーが行われる体の一部にA/Cメニューを表示させることとしてもよい。例えば、A/Cメニュー表示操作が左手に関するジェスチャーである場合には、左手にA/Cメニューを表示させる。このとき、操作者が視認できるように操作者の顔に向いている部分に表示させるのが好ましい。
第1実施例及び第2実施例では、制御部211は、トップメニュー表示操作に基づいてトップメニューを表示し、その中から、A/Cメニュー、AUDIOメニュー、又はNAVIメニューを操作者に選択させることとしたが、A/Cメニュー、AUDIOメニュー、又はNAVIメニューを直接表示する操作を定めておき、当該操作が検出された場合には、トップメニューを表示させることなく、該当するメニューを表示させることとしてもよい。例えば、制御部211は、A/Cメニューを表示させるA/Cメニュー表示操作が検出された場合に、直ちに、A/Cメニューに対応する操作画面及び操作ガイド画像を表示させることとしてもよい。なお、A/Cメニュー表示操作は予め操作者が把握できるようにしておくこととする。これにより、A/Cメニューを表示させたい場合に、わざわざ、トップメニュー表示操作に基づいてトップメニューを表示させることなく、直ちに、A/Cメニューを表示させることができ、操作者の利便性が向上する。なお、A/Cメニュー表示操作がジェスチャーによるものであって、当該A/Cメニュー表示操作に基づいてA/Cメニューを表示させる場合には、A/Cメニュー表示操作に対応するジェスチャーが行われる体の一部にA/Cメニューを表示させることとしてもよい。例えば、A/Cメニュー表示操作が左手に関するジェスチャーである場合には、左手にA/Cメニューを表示させる。このとき、操作者が視認できるように操作者の顔に向いている部分に表示させるのが好ましい。
[3.6.変形例6]
第1実施例及び第2実施例では、操作者は自宅への経路案内を開始させる場合、トップメニューからNAVIメニューを選択し、NAVIメニューに対応する操作画面430の自宅ボタン433にタッチするか、NAVIメニューに対応する操作ガイド画像に基づいて左手の人差し指と中指を二本立てて、且つ、反時計回りに動かすジェスチャーを行うという手順を踏むこととしたが、これに代えて、予め設定された操作に対応するジェスチャーの方法を示す操作ガイド画像を体の一部(操作者が視認可能な位置であることが好ましい)に表示させておくこととし、制御部211は、当該体の一部によるジェスチャーであって、操作ガイド画像に示された方法のジェスチャーが検出された場合には、当該ジェスチャーに対応する操作に応じた処理を実行することとしてもよい。
第1実施例及び第2実施例では、操作者は自宅への経路案内を開始させる場合、トップメニューからNAVIメニューを選択し、NAVIメニューに対応する操作画面430の自宅ボタン433にタッチするか、NAVIメニューに対応する操作ガイド画像に基づいて左手の人差し指と中指を二本立てて、且つ、反時計回りに動かすジェスチャーを行うという手順を踏むこととしたが、これに代えて、予め設定された操作に対応するジェスチャーの方法を示す操作ガイド画像を体の一部(操作者が視認可能な位置であることが好ましい)に表示させておくこととし、制御部211は、当該体の一部によるジェスチャーであって、操作ガイド画像に示された方法のジェスチャーが検出された場合には、当該ジェスチャーに対応する操作に応じた処理を実行することとしてもよい。
[3.7.変形例7]
第1実施例及び第2実施例では、図8(B)に示したように、目的地メニューに対応する操作ガイド画像は、人体におけるジェスチャーにより動かされる部分を特定する画像であって、ジェスチャーにより動かされる操作者の左手の薬指に対応する記号341A及び履歴表記341Bと、ジェスチャーにより動かされる中指に対応する記号342A及び電話番号表記342Bと、ジェスチャーにより動かされる人差し指に対応する記号343A及び名称表記343Bと、を含み、それぞれが対応する指を折り曲げるジェスチャーにより履歴表示、電話番号入力、名称入力に関する操作が可能であることを示した。これに代えて、例えば、操作者の右手に「履歴」を表す画像(「ジェスチャー情報」の一例)、左手に「電話番号」を表す画像(「ジェスチャー情報」の一例)、左足に「名称」を表す画像(「ジェスチャー情報」の一例)を表示し、右手、左手、左足を動かすそれぞれのジェスチャーにより履歴表示、電話番号入力、名称入力に関する操作が可能であることを示してもよい。
第1実施例及び第2実施例では、図8(B)に示したように、目的地メニューに対応する操作ガイド画像は、人体におけるジェスチャーにより動かされる部分を特定する画像であって、ジェスチャーにより動かされる操作者の左手の薬指に対応する記号341A及び履歴表記341Bと、ジェスチャーにより動かされる中指に対応する記号342A及び電話番号表記342Bと、ジェスチャーにより動かされる人差し指に対応する記号343A及び名称表記343Bと、を含み、それぞれが対応する指を折り曲げるジェスチャーにより履歴表示、電話番号入力、名称入力に関する操作が可能であることを示した。これに代えて、例えば、操作者の右手に「履歴」を表す画像(「ジェスチャー情報」の一例)、左手に「電話番号」を表す画像(「ジェスチャー情報」の一例)、左足に「名称」を表す画像(「ジェスチャー情報」の一例)を表示し、右手、左手、左足を動かすそれぞれのジェスチャーにより履歴表示、電話番号入力、名称入力に関する操作が可能であることを示してもよい。
[3.8.変形例8]
第1実施例及び第2実施例における図4(B)、図5(B)、図6(B)、図7(B)では、複数の操作に対応するジェスチャーの方法を表す操作ガイド画像について説明し、図8(B)では、複数の操作に対応する動かすべき人体の部分を示す操作ガイド画像について説明したが、必ずしも複数の操作について表示する必要はなく、前者であれば、その時点で操作可能な一部(例えば一つ)の操作に対応するジェスチャーの方法を表す操作ガイド画像とし、後者であれば、その時点で操作可能な一部(例えば一つ)の操作に対応する動かすべき人体の部分を示す操作ガイド画像とすることとしてもよい。
第1実施例及び第2実施例における図4(B)、図5(B)、図6(B)、図7(B)では、複数の操作に対応するジェスチャーの方法を表す操作ガイド画像について説明し、図8(B)では、複数の操作に対応する動かすべき人体の部分を示す操作ガイド画像について説明したが、必ずしも複数の操作について表示する必要はなく、前者であれば、その時点で操作可能な一部(例えば一つ)の操作に対応するジェスチャーの方法を表す操作ガイド画像とし、後者であれば、その時点で操作可能な一部(例えば一つ)の操作に対応する動かすべき人体の部分を示す操作ガイド画像とすることとしてもよい。
100 表示制御装置
101 検出手段
102 表示制御手段
200 車載装置
211 制御部
211a CPU
211b ROM
211c RAM
212 記憶部
213 入力部
214 表示ユニット
214a グラフィックスコントローラ
214b バッファメモリ
214c ディスプレイ
215 バスライン
220 入出力インターフェース部
221 車速センサ
222 角速度センサ
223 加速度センサ
224 舵角センサ
225 GNSS受信部
226 カメラ
227 マイク
228 スピーカー
229 空調機器
250 投影機
101 検出手段
102 表示制御手段
200 車載装置
211 制御部
211a CPU
211b ROM
211c RAM
212 記憶部
213 入力部
214 表示ユニット
214a グラフィックスコントローラ
214b バッファメモリ
214c ディスプレイ
215 バスライン
220 入出力インターフェース部
221 車速センサ
222 角速度センサ
223 加速度センサ
224 舵角センサ
225 GNSS受信部
226 カメラ
227 マイク
228 スピーカー
229 空調機器
250 投影機
Claims (12)
- 操作者による操作対象機器の操作結果を取得する取得手段と、
前記操作結果に対応する表示情報を投影により表示する位置を決定する決定手段と、
前記決定手段により決定された位置に前記表示情報を投影により表示させる表示制御手段と、
を備えることを特徴とする表示制御装置。 - 請求項1に記載の表示制御装置であって、
前記決定手段は、前記操作者の人体の一部を前記位置に決定することを特徴とする表示制御装置。 - 請求項2に記載の表示制御装置であって、
前記人体の一部は上肢であることを特徴とする表示制御装置。 - 請求項1に記載の表示制御装置であって、
前記操作者の視点を検出する視点検出手段を更に備え、
前記決定手段は、前記検出された視点を前記位置に決定することを特徴とする表示制御装置。 - 請求項1に記載の表示制御装置であって、
前記決定手段は、前記操作対象機器から所定の範囲内で前記位置を決定することを特徴とする表示制御装置。 - 請求項1に記載の表示制御装置であって、
前記操作者と同一空間にいる人物を検出する人物検出手段を更に備え、
前記決定手段は、前記人物から視認可能な前記位置を決定することを特徴とする表示制御装置。 - 請求項1乃至6の何れか一項に記載の表示制御装置であって、
前記決定手段は、複数の前記位置を決定し、
前記表示制御手段は、前記決定手段により決定された複数の位置に前記表示情報を投影により表示させることを特徴とする表示制御装置。 - 請求項1乃至7の何れか一項に記載の表示制御装置であって、
前記取得手段は、前記操作者の人体の一部の動きであるジェスチャーによる前記操作結果を取得することを特徴とする表示制御装置。 - 請求項8に記載の表示制御装置であって、
前記操作結果は、前記操作者の人体の一部の動きであるジェスチャーの軌跡であり、
前記表示情報は、前記軌跡を示し、
前記表示制御手段は、前記軌跡を投影により表示させることを特徴とする表示制御装置。 - 請求項1乃至9の何れか一項に記載の表示制御装置と、前記表示情報を投影により表示する表示装置と、を備えることを特徴とする表示システム。
- 表示制御装置による表示制御方法であって、
操作者による操作対象機器の操作結果を取得する取得工程と、
前記操作結果に対応する表示情報を投影により表示する位置を決定する決定工程と、
前記決定工程により決定された位置に前記表示情報を投影により表示させる表示制御工程と、
を含むことを特徴とする表示制御方法。 - コンピュータを、
操作者による操作対象機器の操作結果を取得する取得手段、
前記操作結果に対応する表示情報を投影により表示する位置を決定する決定手段、
前記決定手段により決定された位置に前記表示情報を投影により表示させる表示制御手段、
として機能させることを特徴とする表示制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023005530A JP2023052452A (ja) | 2018-10-22 | 2023-01-18 | 表示制御装置、表示システム、表示制御方法及び表示制御プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018198697A JP2020067712A (ja) | 2018-10-22 | 2018-10-22 | 表示制御装置、表示システム、表示制御方法及び表示制御プログラム |
JP2023005530A JP2023052452A (ja) | 2018-10-22 | 2023-01-18 | 表示制御装置、表示システム、表示制御方法及び表示制御プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018198697A Division JP2020067712A (ja) | 2018-10-22 | 2018-10-22 | 表示制御装置、表示システム、表示制御方法及び表示制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023052452A true JP2023052452A (ja) | 2023-04-11 |
Family
ID=70390352
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018198697A Pending JP2020067712A (ja) | 2018-10-22 | 2018-10-22 | 表示制御装置、表示システム、表示制御方法及び表示制御プログラム |
JP2023005530A Pending JP2023052452A (ja) | 2018-10-22 | 2023-01-18 | 表示制御装置、表示システム、表示制御方法及び表示制御プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018198697A Pending JP2020067712A (ja) | 2018-10-22 | 2018-10-22 | 表示制御装置、表示システム、表示制御方法及び表示制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP2020067712A (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5439347B2 (ja) * | 2010-12-06 | 2014-03-12 | 日立コンシューマエレクトロニクス株式会社 | 操作制御装置 |
JP6282188B2 (ja) * | 2014-07-04 | 2018-02-21 | クラリオン株式会社 | 情報処理装置 |
JP2016038621A (ja) * | 2014-08-05 | 2016-03-22 | アルパイン株式会社 | 空間入力システム |
JP2018022318A (ja) * | 2016-08-03 | 2018-02-08 | 株式会社東海理化電機製作所 | 操作入力装置 |
-
2018
- 2018-10-22 JP JP2018198697A patent/JP2020067712A/ja active Pending
-
2023
- 2023-01-18 JP JP2023005530A patent/JP2023052452A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2020067712A (ja) | 2020-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8532871B2 (en) | Multi-modal vehicle operating device | |
JP5028038B2 (ja) | 車載表示装置および車載表示装置の表示方法 | |
CN105283356B (zh) | 应用程序控制方法以及信息终端 | |
US7577518B2 (en) | Navigation system | |
CN109631920B (zh) | 具有改进的导航工具的地图应用 | |
JP2000075991A (ja) | 情報入力装置 | |
JPWO2015128960A1 (ja) | 車載制御装置および車載制御方法 | |
US9495088B2 (en) | Text entry method with character input slider | |
JP2007042029A (ja) | 表示装置およびプログラム | |
WO2014196208A1 (ja) | カーナビ用ジェスチャ入力装置 | |
JP2002328031A (ja) | ナビゲーション装置 | |
JP2002081942A (ja) | ナビゲーション装置 | |
JP3955718B2 (ja) | ナビゲーション装置 | |
JP5358215B2 (ja) | 地図表示装置 | |
WO2012025957A1 (ja) | ナビゲーション装置 | |
JP3967218B2 (ja) | ナビゲーション装置 | |
JP2019133395A (ja) | 入力装置 | |
JP2020067713A (ja) | 表示制御装置、表示システム、表示制御方法及び表示制御プログラム | |
JP2023052452A (ja) | 表示制御装置、表示システム、表示制御方法及び表示制御プログラム | |
JP2008185452A (ja) | ナビゲーション装置 | |
JP2006322781A (ja) | ナビゲーション装置 | |
JPH10340045A (ja) | ナビゲーション装置の地図表示方法 | |
JP6798608B2 (ja) | ナビゲーションシステムおよびナビゲーションプログラム | |
JP2013250132A (ja) | 車載装置、車載情報システム | |
CN116670624A (zh) | 界面的控制方法、装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231107 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240430 |