JP2005071246A - 操作入力装置及び操作入力方法 - Google Patents

Abstract

【課題】最終操作までに要する操作回数を減らし、利便性を向上させる。
【解決手段】運転者がタッチパネルスイッチ４を操作しようとしていることが予測された場合、コントローラ６が、運転者が触れようとしているタッチパネルスイッチ４内の領域を予測することにより、運転者が触れようとしている最上位のメニュー項目の下位のメニュー項目をディスプレイ３に表示する。これにより、最上位のメニュー項目を選択する必要が無くなり、従来と比べて操作回数が少なくなるので、最終操作までに必要な運転者の操作回数を減らし、利便性を向上させることができる。
【選択図】図１

Description

本発明は、操作案内画面に従って各種操作入力を行う操作入力装置及び操作入力方法に関し、より詳しくは、最終操作までに要する操作回数を減らし、利便性を向上させる技術に係わる。

従来より、現金引出機（ＡＴＭ）等、操作案内画面を備える操作入力機器では、操作者が機器に近づいたことを検出するのに応じて、階層化されたメニュー構造の最上位にあるメニュー項目をトップメニューとして操作案内画面に表示する技術が用いられている（例えば、特許文献１を参照）。そして、このような技術によれば、操作者は、トップメニューを操作することにより、所望の操作を行うことができる。
特開平９−１９８５４５号公報（段落［００１０］，図５）

ところで、従来までの操作入力機器では、上述のように、操作者が行おうとしている操作の内容に係わらず、必ず最上位のメニュー項目をトップメニューとして表示する構成となっている。このため、従来までの操作入力機器によれば、操作者は、所望のメニュー項目を選択するまでに、操作案内画面上で最上位階層から所望のメニュー項目がある下位の階層まで繰り返して操作を行わなければならず、所望のメニュー項目を選択する（最終操作）までに多くの操作回数が必要となる。

本発明は、上述の課題を解決するためになされたものであり、その目的は、最終操作までに要する操作回数を減らし、利便性を向上させることが可能な、操作入力装置及び操作入力方法を提供することにある。

上述の課題を解決するために、本発明に係る操作入力装置は、操作部材に対する操作を予測し、操作部材に対する操作が予測された場合、操作者の手指の位置を判別し、操作者の手指の位置に対応する階層の操作案内画面を表示することを特徴とする。

また、本発明に係る操作入力方法は、操作部材に対する操作を予測するステップと、操作部材に対する操作が予測された場合、操作者の手指の位置を判別するステップと、操作者の手指の位置に対応する階層の操作案内画面を表示するステップを有することを特徴とする。

本発明の操作入力装置及び操作入力方法によれば、操作部材に対する操作が予測された場合、操作者の手指の位置に対応する階層の操作案内画面が最初に表示されるので、最終操作までに要する操作回数を減らし、利便性を向上させることができる。

本発明は、例えば、図１に示すような車両内に搭載される操作入力装置に適用することができる。以下、図面を参照して、本発明の一実施形態となる操作入力装置の構成及び動作（操作入力方法）について説明する。

〔操作入力装置の構成〕
始めに、図１，図２を参照して、本発明の一実施形態となる操作入力装置の構成について説明する。

本発明の一実施形態となる操作入力装置は、運転者（又は搭乗者）が操作，視認することが容易な、車両のインストルメントパネル上部に配置され、図１，２に示すように、押下操作に応じてオン状態となるプッシュスイッチ（集中スイッチ）１と、左右方向に回転することにより操作されるダイヤルスイッチ２と、各種情報を表示するディスプレイ３と、ディスプレイ３上に設けられ、ディスプレイ３に触れることにより操作されるタッチパネルスイッチ４と、運転者の手や指の映像を撮像する赤外線カメラ５と、操作入力装置の各種動作を制御するコントローラ６とを主な構成要素として備える。なお、プッシュスイッチ１、ダイヤルスイッチ２、ディスプレイ３、及び赤外線カメラ５はそれぞれ、本発明に係る押圧スイッチ、握持スイッチ、表示手段、及び撮像手段として機能し、コントローラ６は、本発明に係る予測手段、位置判別手段、及び表示制御手段として機能する。

上記プッシュスイッチ１は、複数（この実施形態では６つ）のスイッチにより構成され、各スイッチには複数の機能が割り当てられている。例えば、第１のスイッチは、ナビゲーション装置の操作のために操作される場合、広域表示をさせるためのスイッチとして機能し、オーディオ装置の操作のために操作される場合には、オーディオソースの再生を開始するためのスイッチとして機能する。また、コントローラ６は、例えば「画面」や「広域」等、スイッチに印字されている機能を実行させるために運転者がスイッチを操作する場合はスイッチに割り当てられている機能をディスプレイ３に表示しないが、例えば「オーディオの再生開始指示」等、スイッチに印字されている機能とは異なる機能を実行させるために運転者がスイッチを操作する場合には、スイッチに割り当てられている機能をディスプレイ３に表示する。

上記赤外線カメラ５は、例えば車室内のバックミラーの左右端等に複数配置され、運転者によるプッシュスイッチ１，ダイヤルスイッチ２，及びタッチパネル４の操作の様子、より具体的には運転者の手指の位置，動作方向，及び形状を撮像可能な位置に配置されている。そして、赤外線カメラ５は、撮像した映像データをコントローラ６に入力する。

上記コントローラ６は、プッシュスイッチ１，ダイヤルスイッチ２，タッチパネルスイッチ４，及び赤外線カメラ５からの入力情報に基づいて各種処理を実行する（詳しくは後述する）。また、コントローラ６は、ディスプレイ３に表示するメニューデータを記憶、若しくは、参照可能なように構成されている。なお、この実施形態では、メニューデータは、図３に示すように、スイッチ毎に設定されており、各スイッチに設定されているメニューデータは階層化構造を有する。より具体的には、タッチパネルスイッチ４には、トップメニューとして表示する最上位のメニュー項目（タッチスイッチ）として、「ＮＡＶＩ」，「ＡＵＤＩＯ」，「Ａ／Ｃ」，「ＶＯＬ」が設定され、さらに、最上位メニュー項目「ＮＡＶＩ」の下位の階層のメニュー項目として、「行き先を決める」，「自宅へ帰る」，「ルートを変える」，「ルートガイドをやめる」が設定されている。

以上のような構成を有する操作入力装置は、以下に示すように動作することにより、所望のメニュー項目に到達するまでに必要な操作回数を減らし、利便性を向上させる。以下、図４に示すフローチャートを参照して、運転者（又は搭乗者）が所望するメニュー項目を表示する際（以下、メニュー表示処理と表記）の操作入力装置の動作について説明する。

〔メニュー項目表示処理〕
図４に示すフローチャートは、車両のイグニッションスイッチがオン状態となり、操作入力装置の各部に電力が供給されることでスタートとなり、このメニュー表示処理はステップＳ１０の処理に進む。

ステップＳ１０の処理では、赤外線カメラ５が、設定された撮像範囲の映像を撮影し、撮影した映像データをコントローラ６に入力する。これにより、このステップＳ１０の処理は完了し、このメニュー表示処理はステップＳ１０の処理からステップＳ２０の処理に進む。

ステップＳ２０の処理では、コントローラ６が、赤外線カメラ５から入力された映像データを利用して撮像範囲内の温度分布状態を解析することにより、運転者の手指の位置を判別する。そして、コントローラ６は、判別された手指の位置が所定の領域内に入ってきたか否かを判別することにより、運転者がスイッチ（プッシュスイッチ１，ダイヤルスイッチ２，及びタッチパネルスイッチ４のいずれか）を操作しようとしているか否かを予測する。そして、運転者がスイッチを操作しようとしていないと予測した場合、コントローラ６は、メニュー表示処理をステップＳ１０の処理に戻す。一方、運転者がスイッチを操作しようとしていると予測した場合には、コントローラ６は、メニュー表示処理をステップＳ３０の処理に進める。

ステップＳ３０の処理では、コントローラ６が、運転者の手指の位置、動作方向、及び形状を認識することにより、運転者が操作しようとしているスイッチを予測する。なお、この実施形態では、コントローラ６は、図５に示すような、スイッチと、運転者の手指の位置、動作方向、及び形状とを関連付けしたテーブルを有し、このテーブルを参照して、認識された手指の位置、動作方向、及び形状に対応するスイッチを検索することにより、運転者が操作しようとしているスイッチを予測する。具体的には、手指の形状が「人指し指」、手指の位置（場所）が「ディスプレイ近傍」、及び手指の動作方向が「ディスプレイ方向」と認識した場合、コントローラ６は、運転者はタッチパネルスイッチ４を操作しようとしていると予測する。なお、運転者がタッチパネルスイッチ４を操作しようとしていると予測した場合、コントローラ６は、手指の位置や動作方向に基づいて、運転者がタッチパネルスイッチ４内のどの領域（メニュー項目，タッチスイッチ）を触れようとしているのかについても予測する。これにより、このステップＳ３０の処理は完了し、メニュー表示処理はステップＳ３０の処理からステップＳ４０の処理に進む。

ステップＳ４０の処理では、コントローラ６が、運転者が操作しようとしているスイッチがダイヤルスイッチ２であるか否かを判別する。そして、運転者が操作しようとしているスイッチがダイヤルスイッチ２ではないと判別した場合、コントローラ６は、メニュー表示処理をステップＳ６０の処理に進める。一方、運転者が操作しようとしているスイッチがダイヤルスイッチ２であると判別した場合には、コントローラ６は、メニュー表示処理をステップＳ５０の処理に進める。

ステップＳ５０の処理では、コントローラ６が、ダイヤルスイッチ２の操作に対応したメニュー画面をディスプレイ３に表示する。具体的には、コントローラ６に図３に示すようなメニューデータが記憶されている場合、コントローラ６は、図６（ｂ）に示すような、ダイヤルスイッチ２の操作方法をガイドするガイドメニューをメニュー画面としてディスプレイ３に表示する。このようなガイドメニューによれば、ダイヤルスイッチをどのように操作すれば所望の操作を行うことができるのかわからない場合であっても、運転者は、ガイドメニューを参照して所望の操作を行うことができる。これにより、このステップＳ５０の処理は完了し、このメニュー表示処理はステップＳ５０の処理からステップＳ１０の処理に戻る。

ステップＳ６０の処理では、コントローラ６が、運転者が操作しようとしているスイッチがタッチパネルスイッチ４であるか否かを判別する。そして、運転者が操作しようとしているスイッチがタッチパネルスイッチ４ではないと判別した場合、コントローラ６は、メニュー表示処理をステップＳ８０の処理に進める。一方、運転者が操作しようとしているスイッチがタッチパネルスイッチ４であると判別した場合には、コントローラ６は、メニュー表示処理をステップＳ７０の処理に進める。

ステップＳ７０の処理では、コントローラ６が、ステップＳ３０の予測処理結果に従って、運転者が触れようとしているタッチパネルスイッチ４内の領域に対応する最上位のメニュー項目の下位の階層のメニュー項目をディスプレイ３に表示する。具体的には、コントローラ６に図３に示すようなメニューデータが記憶され、運転者が最上位のメニュー項目である「ＮＡＶＩ」に対応する領域を触れようとしていると予測した場合、コントローラ６は、図６（ａ）に示すように、「ＮＡＶＩ」の下位のメニュー項目である、「行き先を決める」，「自宅へ帰る」，「ルートを変える」，「ルートガイドをやめる」を表示する。これにより、このステップＳ７０の処理は完了し、このメニュー表示処理はステップＳ７０の処理からステップＳ１０の処理に戻る。

ステップＳ８０の処理では、コントローラ６が、運転者はプッシュスイッチ１を操作しようとしていると判断し、プッシュスイッチ１の操作に対応したメニュー画面をディスプレイ３に表示する。具体的には、コントローラ６に図３に示すようなメニューデータが記憶されている場合、コントローラ６は、図６（ｃ）に示すような、プッシュスイッチ１に設定された最上位のメニュー項目「戻る」、「再生」、「進む」、「１曲戻る」、「停止」、「１曲進む」をメニュー画面としてディスプレイ３に表示する。このような構成によれば、印字された機能とは異なる機能がプッシュスイッチ１の各スイッチに割り当てられている場合であっても、運転者は、メニュー画面を参照して、所望の操作に対応するスイッチを押下することができる。これにより、このステップＳ８０の処理は完了し、このメニュー表示処理はステップＳ８０の処理からステップＳ１０の処理に戻る。

このように、本発明の一実施形態となる操作入力装置では、コントローラ６が、運転者がタッチパネルスイッチ４を操作しようとしていることが予測された場合、運転者が触れようとしているタッチパネルスイッチ４内の領域を予測することにより、運転者が触れようとしている最上位のメニュー項目の下位のメニュー項目を最初に表示する。

従来までの操作入力装置は、運転者がタッチパネルスイッチ４を触れた場合、図７に示すような、タッチパネルスイッチ４に設定された最上位のメニュー項目「ＮＡＶＩ」，「ＡＵＤＩＯ」，「Ａ／Ｃ」，「ＶＯＬ」をトップメニューとしてディスプレイ３に表示していた。従って、従来までの操作入力装置によれば、例えばメニュー項目「ＮＡＶＩ」の下位にあるメニュー項目「自宅へ帰る」を選択しようとする場合、運転者は、メニュー項目「ＮＡＶＩ」に対応するタッチパネルスイッチ４の領域に触れ、メニュー項目「ＮＡＶＩ」の下位にあるメニュー項目をディスプレイ３に表示させる操作を行わなければならなかった。

これに対して、本発明の一実施形態となる操作入力装置は、上述のように、運転者がタッチパネルスイッチ４を操作しようとしていることが予測された場合、運転者が触れようとしているタッチパネルスイッチ４内の領域を予測することにより、運転者が触れようとしている最上位のメニュー項目の下位のメニュー項目を最初に表示し、図７に示すトップメニューは表示しない。そして、このような本発明の一実施形態となる操作入力装置の構成によれば、最上位のメニュー項目を選択する必要が無くなり、従来と比べて操作回数が少なくなるので、所望のメニュー項目に到達するまでに必要な運転者の操作回数を減らし、利便性を向上させることができる。

また、本発明の一実施形態となる操作入力装置は、運転者の手指の位置、動作方向、及び形状を認識することにより、運転者が操作しようとしているスイッチはダイヤルスイッチ２であると予測した場合、コントローラ６が、ダイヤルスイッチ３の操作方法をディスプレイ３に表示するので、ダイヤルスイッチ３の操作方法を知らない場合であっても、運転者は、表示された情報を参照してダイヤルスイッチ３を操作することができる。

さらに、本発明の一実施形態となる操作入力装置は、運転者の手指の位置、動作方向、及び形状を認識することにより、運転者が操作しようとしているスイッチはプッシュスイッチ１であると予測した場合、コントローラ６が、プッシュスイッチ１の操作に対応したメニュー画面をディスプレイ３に表示するので、印字された機能とは異なる機能がプッシュスイッチ１の各スイッチに割り当てられている場合であっても、運転者は、メニュー画面を参照して、所望の操作に対応するスイッチを押下することができる。

なお、上記実施の形態では、左右方向に回転可能なダイヤルスイッチ２が本発明に係る握持スイッチとして機能したが、上下、左右、斜め方向へ傾斜可能な、いわゆるジョイスティックレバーを車両内に搭載し、本発明に係る握持スイッチとして機能させてもよい。

以上、本発明者によってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。すなわち、この実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。

本発明の一実施形態となる操作入力装置の概観を示す模式図である。 本発明の一実施形態となる操作入力装置の構成を示すブロック図である。 本発明の一実施形態となるメニューデータの構成を示す模式図である。 本発明の一実施形態となる操作入力方法の流れを示すフローチャート図である。 運転者の手指の位置、動作方向、及び形状に基づいて、運転者が操作しようとしているスイッチを予測する方法を説明するための図である。 ダイヤルスイッチ，タッチパネルスイッチ，及びプッシュスイッチが操作されると予測された場合にディスプレイに表示されるメニュー画面を示す図である。 タッチパネルスイッチが操作された場合に表示される従来までのメニュー画面を示す図である。

符号の説明

１：プッシュスイッチ
２：ダイヤルスイッチ
３：ディスプレイ
４：タッチパネルスイッチ
５：赤外線カメラ
６：コントローラ

Claims (9)

1. 操作者の操作を案内する操作案内画面を表示しつつ、操作者の操作に対応して所定の機器に対する処理が実行されると共に、この処理に到達する経路が階層化されて記憶されている操作入力装置において、
   操作者により提示される手指の映像を撮像する撮像手段と、
   前記撮像手段が撮像した手指の映像に基づいて、操作部材に対する操作を予測する予測手段と、
   前記予測手段によって操作部材に対する操作が予測された場合、前記手指の位置を判別する位置判別手段と、
   前記位置判別手段によって判別された手指の位置に対応する階層の操作案内画面を表示手段に表示させる表示制御手段と
   を備えることを特徴とする操作入力装置。
2. 前記表示制御手段は、前記位置判別手段が前記操作案内画面に手指が触れると判別した場合、判別した手指の位置に対応する階層の操作案内画面をタッチスイッチとして前記表示手段に表示させることを特徴とする請求項１に記載の操作入力装置。
3. 前記操作部材は、操作者に握持されて操作される握持スイッチを含み、
   前記位置判別手段は、操作者の手指の位置と共に、手指の形状を判別し、前記表示制御手段は、前記位置判別手段により手指の形状が握持スイッチを操作する形状であると判別した場合、握持スイッチの操作方法を前記表示手段に表示させることを特徴とする請求項１又は請求項２に記載の操作入力装置。
4. 前記握持スイッチはダイヤルスイッチ、ジョイスティックレバーの少なくとも一つであることを特徴とする請求項３に記載の操作入力装置。
5. 前記操作部材は、操作者に押圧されて操作される押圧スイッチを含み、
   前記表示制御手段は、前記位置判別手段により手指の形状が押圧スイッチを操作する形状であると判別した場合、押圧スイッチに対応する表示を表示手段に表示させることを特徴とする請求項２から請求項４のうち、いずれか１項に記載の操作入力装置。
6. 前記押圧スイッチは、プッシュスイッチであることを特徴とする請求項５に記載の操作入力装置。
7. 前記撮像手段は、赤外線カメラであることを特徴とする請求項１から請求項６のうち、いずれか１項に記載の操作入力装置。
8. 前記操作部材は、車両に搭載されていることを特徴とする請求項１から請求項７のうち、いずれか１項に記載の操作入力装置。
9. 操作者の操作に対応して所定の機器に対する処理が実行されると共に、この処理に到達する経路が階層化されて記憶されている操作入力方法において、
   操作者により提示される手指の映像を撮像するステップと、
   撮像した手指の映像に基づいて、操作部材に対する操作を予測するステップと、
   操作部材に対する操作が予測された場合、前記手指の位置を判別するステップと、
   判別された手指の位置に対応する階層の操作案内画面を表示するステップと
   を有することを特徴とする操作入力方法。

Images