JP2020177315A - 電子装置 - Google Patents

Abstract

【課題】 拡張性、利便性に優れた操作入力機能を備えた電子装置を提供する。【解決手段】 本発明の車載装置１００は、ディスプレイの前方操作領域において操作対象の近接を検出する近接センサ２０と、前方操作領域とは異なる後方操作領域において操作対象の動きを検出する動作認識センサ３０と、近接センサ２０により操作対象の近接が検出されたとき第１の制御を実行し、動作認識センサ３０により操作対象の動きが検出されたとき第２の制御を実行し、近接センサ２０により通常と異なる操作対象の近接が検出された状態で動作認識センサ３０により操作対象の動きが検出されたとき第３の制御を実行する制御部１７０とを備える。【選択図】 図４

Description

本発明は、ジェスチャー入力を含む操作入力機能を備えた電子装置に関し、特に車載装置の操作入力機能に関する。

車載装置には、キー入力ボタン、タッチパネル、音声入力などの入力インターフェースが提供されている。近年では特に、運転時の車載装置の操作や安全性を考慮し、ジェスチャー入力が注目されている。特許文献１の情報処理装置は、ユーザーの一方の手に対する他方の手のジェスチャーを解析し、操作モードを切替えるものである。また、特許文献２の操作入力装置は、左右の手の操作領域を定め、そこで行われた左右の手の操作を入力するものである。

特開２０１６−１８２５２号公報 特開２０１３−１６０６０号公報

図１は、従来の車載装置の操作入力機能の一例を示す模式図である。車載装置は、タッチパネルを搭載したディスプレイ１０を含み、ディスプレイ１０の底部には近接センサ２０が取り付けられている。近接センサ２０は、例えば、赤外線の発光素子と受光素子とを含み、ディスプレイ１０の前方操作領域Ｒ１内でディスプレイ１０に指等が接近したことを検出する。さらに車載装置は、ディスプレイ１０の前方操作領域Ｒ１よりも離れた後方操作領域Ｒ１内の手の動きを検出する動き検出センサ３０を含む。動き検出センサ３０は、例えば撮像カメラを含み、後方操作領域Ｒ２内で撮像した画像データを解析することで手の動きを検出する。

図２（Ａ）、（Ｂ）に示すように、前方操作領域Ｒ１内で近接センサ２０により指の接近が検出されると、車載装置は、ユーザーのタッチを予測して、ディスプレイ１０上の検出近傍のアイコン４０を発光させる。アイコン４０を発光させることで、ユーザーにアイコンを認識させ易くすると同時に、アイコン４０のユーザー選択を兼ねるようにしても良い。

また、図３（Ａ）、（Ｂ）に示すように、後方操作領域Ｒ２内で動き検出センサ３０により手の移動が検出されると、車載装置は、手の移動方向に応じた表示制御を行う。例えば、手が右側に移動された場合には、ナビゲーション画面を表示させ、左側に移動された場合には、設定画面を表示させる。

このように従来の車載装置では、近接センサ２０や動き検出センサ３０などの複数のセンサを搭載していても、それぞれのセンサで定義されている操作に対応する入力しか行っていない。つまり、近接センサ２０は指の接近を検出し、動き検出センサ３０は手の移動を検出し、それらの検出結果に対応する制御しか行われていない。このため、ユーザーが入力できる操作は限定的であり、それ故、拡張性、利便性に欠けるという課題がある。

本発明は、上記従来の課題を解決し、拡張性、利便性に優れた操作入力機能を備えた電子装置を提供することを目的とする。

本発明に係る電子装置は、ジェスチャー入力を含む操作入力機能を備えたものであって、第１の検出領域においてジェスチャーを検出する第１の検出手段と、第１の検出領域とは異なる第２の検出領域においてジェスチャーを検出する第２の検出手段と、第１の検出手段により検出されたジェスチャーが第１の態様であるとき第１の制御を実行し、第２の検出手段により検出されたジェスチャーが第２の態様であるとき第２の制御を実行し、第１の検出手段により検出されたジェスチャーと第２の検出手段により検出されたジェスチャーとが第３の態様であるとき第３の制御を実行する制御手段とを含む。

ある実施態様では、前記第１の態様のジェスチャーは、前記第３の態様の前記第１の検出手段により検出されたジェスチャーと異なり、前記第２の態様のジェスチャーは、前記第３の態様の前記第２の検出手段により検出されたジェスチャーに一致する。ある実施態様では、前記制御手段は、前記第３の態様となるジェスチャーの組合せを予め規定し、当該規定に従い第３の態様に該当するか否かを判定する。ある実施態様では、前記第１の検出手段は、ディスプレイへの操作対象の近接の有無を検出し、前記第２の検出手段は、操作対象の動きを検出する。ある実施態様では、前記第３の態様は、第１の検出手段による指全体のジェスチャーの検出であり、かつ第２の検出手段による指のジェスチャーの検出である。ある実施態様では、前記第３の態様は、第１の検出手段による指が無い状態のジェスチャーの検出であり、かつ第２の検出手段による指のジェスチャーの検出である。

本発明に係る電子装置は、ジェスチャー入力を含む操作入力機能を備えたものであって、ディスプレイと、前記ディスプレイの前方操作領域において操作対象の近接を検出する近接検出手段と、前記ディスプレイの前方操作領域とは異なる後方操作領域において操作対象の動きを検出する動き検出手段と、近接検出手段により操作対象の近接が検出されたとき第１の制御を実行し、動き検出手段により操作対象の動き検出されたとき第２の制御を実行し、近接検出手段により通常と異なる操作対象の近接が検出された状態で動き検出手段により操作対象の動きが検出されたとき第３の制御を実行する制御手段とを含む。

本発明によれば、第１の検出手段により検出されたジェスチャーと第２の検出手段により検出されたジェスチャーとが第３の態様であるとき第３の制御を実行するようにしたので、操作入力による利便性、拡張性を高めることができる。

従来の車載装置の操作入力機能の構成例を示す図である。 近接センサで操作入力が検出されたときの制御を説明する図である。 動き検出センサで操作入力が検出されたときの制御を説明する図である。 本発明の実施例に係る操作入力機能を備えた電子装置の構成を示すブロック図である。 図５（Ａ）は、本発明の第１の実施例に係る基本動作時のジェスチャー入力を説明するテーブル、図５（Ｂ）は、拡張動作時のジェスチャー入力例を説明するテーブルである。 本発明の第１の実施例に係る基本動作時のジェスチャー入力例を示す図である。 本発明の第１の実施例に係る拡張動作時のジェスチャー入力例を示す図である。 本発明の第２の実施例に係るジェスチャー入力例を示す図である。 本発明の第２の実施例の他のジェスチャー入力例を示す図である。

次に、本発明の実施の形態について説明する。本発明に係る電子装置は、ユーザーによるジェスチャー入力が可能なユーザーインターフェースを備えたコンピュータ装置、スマートフォンに代表される高機能型携帯電話端末、ポータブル端末、またはナビゲーション・オーディオ・ビジュアル機能を備えた車載装置であることができる。以下の実施例では、ジェスチャー入力機能を備えた車載装置を例に用いて説明する。

図４は、本発明の実施例に係る車載装置の構成を示す図である。本実施例の車載装置１００は、入力部１１０、ナビゲーション部１２０、メディア再生部１３０、表示部１４０、音声出力部１５０、記憶部１６０および制御部１７０を含んで構成される。但し、ここに示す構成は一例であり、車載装置１００は、他の機能、例えば、外部のネットワーク等と通信する機能、テレビ・ラジオ放送の受信機能などを包含するものであってもよい。

入力部１１０は、入力キーデバイス、音声認識モジュール、タッチパネルなどを含み、これらのデバイスを介してユーザーから入力された指示が制御部１９０へ提供される。また、本実施例の入力部１１０は、三次元空間におけるユーザーのジェスチャー等の操作を入力する機能を備えている。具体的には、入力部１１０は、図１で説明したように、ディスプレイ１０の前方操作領域Ｒ１での操作対象の接近を検出する近接センサ２０と、ディスプレイ１０の後方操作領域Ｒ２での操作対象の動きを検出する動き検出センサ３０とを有する。

近接センサ２０は、特に限定されないが、例えば、赤外線を発光する発光素子と赤外線を受光する受光素子との対を含む。発光素子と受光素子の対をディスプレイ１０の端部に配置し、発光素子により照射された操作対象からの反射光を受光素子で受光することで操作対象の有無を検出する。あるいは、発光素子をディスプレイの一方の端部に配置し、受光素子をディスプレイの他方の対向する端部に配置し、発光素子で照射された赤外光が操作対象で遮断されたか否かにより操作対象の有無を検出する。複数対の発光素子／受光素子を配置することで、前方操作領域Ｒ１内でディスプレイに接近する操作対象の大きさも同時に検出することが可能である。発光素子／受光素子を配置するピッチを小さくすることで、比較的大きな操作対象が複数対の発光素子／受光素子によって検出され、比較的小さな操作対象であれば、それより少ない対の発光素子／受光素子によって検出される。また、近接センサ２０は、赤外線発光素子／受光素子以外にも、静電容量型の近接センサ等を用いて構成されてもよく、この場合、近接センサは、ディスプレイに搭載されたタッチパネルのタッチセンサとしても機能するようにしてもよい。

動き検出センサ３０は、例えば、後方操作領域Ｒ２内で操作対象の動きを検出するセンサである。動き検出センサ３０は、例えば、後方操作領域Ｒ２を撮像する撮像カメラを含み、撮像カメラによって撮像された画像データを解析することで操作対象の動きを検出する。

ナビゲーション部１２０は、ＧＰＳ信号や自立航法センサを利用して自車の現在位置を検出し、検出された自車位置を表示部１４０に表示させたり、目的地までの探索経路の音声案内を音声出力部１５０から出力させる。メディア再生部１３０は、ＣＤ、ＤＶＤ等の記録メディアに記録された楽曲データや映像データを再生し、これを表示部１４０や音声出力部１５０から出力させる。表示部１４０は、図１に示すようにタッチパネル式のディスプレイ１０を含み、ディスプレイ１０は、例えば車両のダッシュボード周辺に配置される。記憶部１６０は、ナビゲーション部１２０に使用される道路地図データを記憶したり、車載装置１００に必要なデータやソフトウエア等を記憶する。

制御部１７０は、車載装置１００の各部の動作を制御する。ある実施態様では、制御部１７０は、ＲＯＭ／ＲＡＭ等を備えたマイクロプロセッサまたはマイクロコントローラを含み、ＲＯＭには、各部を制御するためのプログラムが格納される。本実施例では、制御部１７０は、近接センサ２０や動き検出センサ３０によりユーザーの操作が検出されたとき、当該検出結果に基づき入力を制御する制御プログラムを実行する。

次に、近接センサ２０や動き検出センサ３０によりジェスチャーが検出されたときの制御部１７０の基本動作について説明する。図５（Ａ）は、通常のジェスチャーが入力されたときの基本動作を説明するためのテーブルである。制御部１７０は、近接センサ２０によって前方操作領域Ｒ１内でユーザーの指の接近が検出されたとき、指の接近する位置近傍に表示されるアイコン４０を発光させる（図２を参照）。但し、ユーザーの指全体の接近が検出された場合には、つまり、近接センサ２０によって指よりも大きい操作対象の接近が検出された場合には、制御部１７０は、接近範囲が広くなるので、誤検出とみなし制御を行わない。

また、制御部１７０は、図６に示すように、動き検出センサ３０によって後方操作領域Ｒ２内で親指の左右に振る動作が検出された場合には、その方向に応じて音量のアップ／ダウンを実行する。このようなジェスチャー入力は、例えば、メディア再生部１３０によって楽曲の再生が行われているときに行われ、制御部１７０は、音声出力部１５０を介して音量をアップまたはダウンする。

次に、近接センサ２０および動き検出センサ３０を利用した拡張動作について説明する。図５（Ｂ）は、拡張動作を説明するためのテーブルである。制御部１７０は、近接センサ２０による検出と動き検出センサ３０による検出との予め決められた組合せに基づき基本動作のときの通常制御とは異なる拡張制御を実行する。

先ず、操作１で、近接センサ２０により指全体が検出され、次に、操作２で、操作１が検出された状態で親指が左右に振る動作が検出された場合には、制御部１７０は、拡張動作に該当すると判定し、基本動作のときの音量のアップ／ダウンを実行するのではなく、親指の振る方向に応じて前曲／次曲の選曲を実行する。例えば、親指が左方向に移動した場合には、前曲が選曲され、右方向に移動した場合には、次曲が選曲される。

拡張動作時の操作１、操作２の様子を図７（Ａ）、（Ｂ）に示す。図７（Ａ）に示すように、前方操作領域Ｒ１内で指全体がディスプレイ１０に接近することが近接センサ２０によって検出される。指全体の検出は、基本動作時の通常操作ではないため（指の接近ではないため）、制御部１７０は、近接センサ２０の検出結果に応じた入力制御を実行しない。

次に、図７（Ｂ）に示すように、指全体が近接センサ２０によって検出された状態のままで、後方操作領域Ｒ２内で親指が左右に振る動きが動き検出センサ３０によって検出されると、制御部１７０は、拡張動作と判定し、親指を左右に振るジェスチャーであっても基本動作時の音量のアップ／ダウンを実行せず、拡張制御として前曲／次曲の選曲を実行する。例えば、メディア再生部１３０により再生されている楽曲の選曲が制御される。

このように、動き検出センサ３０により同じジェスチャーが検出された場合であっても、近接センサ２０による検出結果との組合せによって、同じジェスチャーに拡張性を持たせることで、ジェスチャー入力の利便性を改善することができる。

なお、上記の例では、近接センサ２０が指全体を検出したときに拡張動作を行う例を示したが、近接センサ２０によって入力が定義されていないジェスチャー（例えば、複数本の指の接近、手のひらの接近など）が検出された場合にも同様に、近接センサ２０がジェスチャーを検出している状態で、動き検出センサ３０により基本動作で入力が定義されているジェスチャーが検出された場合には、拡張動作と判定し、基本動作時の通常制御と異なる拡張制御を行うことが可能である。

さらに上記実施例では、近接センサ２０と動き検出センサ３０との組合せを例示したが、センサの組合せは任意であり、上記以外にも、例えば、動き検出センサ３０が前方操作領域Ｒ１で動きを検出し、近接センサ２０が後方操作領域Ｒ２で接近を検出する組合せであってもよいし、前方操作領域Ｒ１、後方操作領域Ｒ２が２つの動き検出センサにより操作対象の動きを検出するものであってもよい。

次に、本発明の第２の実施例について説明する。図８および図９は、近接センサ２０および動き検出センサ３０を利用して空間文字認識をする例を示している。本実施例では、同じジェスチャーにより文字確定と空白挿入を可能にする。先ず、図８（Ａ）に示すように、前方操作領域Ｒ１内の空間で指によるカナ「イ」を描く入力操作が行われると、この入力操作が近接センサ２０により検出され、制御部１７０は、「イ」の文字入力を受け取る。空間文字入力を行う場合には、好ましくは、近接ンセンサ２０は、ディスプレイ１０のＸ方向およびＹ方向を一定周期でスキャンし、空間に描画された指の軌跡を検出する。

次に、図８（Ｂ）に示すように、近接センサ２０により指が検出された状態で、後方操作領域Ｒ２内において親指を左右に振る動きが動き検出センサ３０によって検出されると、制御部１７０は、文字確定と認識し、文字「イ」の入力を確定する。次に、図８（Ｃ）に示すように、前方操作領域Ｒ１内で指による数字「７」を描く入力操作が行われると、この入力操作が近接センサ２０により検出され、制御部１７０は、「７」の文字入力を受け取る。

図９（Ａ）、（Ｃ）の入力操作は、図８（Ａ）、（Ｃ）の入力操作と同じであるが、図９（Ｂ）において、前方操作領域Ｒ１に指が無い状態、つまり近接センサ２０によって操作対象が検出されていない状態で、後方操作領域Ｒ２内で親指を振る動きが動き検出センサ３０によって検出されると、制御部１７０は、空白と認識し、「イ」の次に空白を挿入する。このように、同じ親指を振るジェスチャーであっても、近接センサ２０の異なる検出状態を利用して、文字確定と空白挿入の異なる制御を行うことができる。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

１０：ディスプレイ ２０：近接センサ
３０：動き検出センサ １００：車載装置
１１０：入力部 １２０：ナビゲーション部
１３０：メディア再生部 １４０：表示部
１５０：音声出力部 １６０：記憶部
１７０：制御部

Claims (7)

1. ジェスチャー入力を含む操作入力機能を備えた電子装置であって、
   第１の検出領域においてジェスチャーを検出する第１の検出手段と、
   第１の検出領域とは異なる第２の検出領域においてジェスチャーを検出する第２の検出手段と、
   第１の検出手段により検出されたジェスチャーが第１の態様であるとき第１の制御を実行し、第２の検出手段により検出されたジェスチャーが第２の態様であるとき第２の制御を実行し、第１の検出手段により検出されたジェスチャーと第２の検出手段により検出されたジェスチャーとが第３の態様であるとき第３の制御を実行する制御手段と、
   を含む電子装置。
2. 前記第１の態様のジェスチャーは、前記第３の態様の前記第１の検出手段により検出されたジェスチャーと異なり、前記第２の態様のジェスチャーは、前記第３の態様の前記第２の検出手段により検出されたジェスチャーに一致する、請求項１に記載の電子装置。
3. 前記制御手段は、前記第３の態様となるジェスチャーの組合せを予め規定し、当該規定に従い第３の態様に該当するか否かを判定する、請求項１に記載の電子装置。
4. 前記第１の検出手段は、ディスプレイへの操作対象の近接の有無を検出し、前記第２の検出手段は、操作対象の動きを検出する、請求項１ないし３いずれか１つに記載の電子装置。
5. 前記第３の態様は、第１の検出手段による指全体のジェスチャーの検出であり、かつ第２の検出手段による指のジェスチャーの検出である、請求項４に記載の電子装置。
6. 前記第３の態様は、第１の検出手段による指が無い状態のジェスチャーの検出であり、かつ第２の検出手段による指のジェスチャーの検出である、請求項４に記載の電子装置。
7. ジェスチャー入力を含む操作入力機能を備えた電子装置であって、
   ディスプレイと、
   前記ディスプレイの前方操作領域において操作対象の近接を検出する近接検出手段と、
   前記ディスプレイの前方操作領域とは異なる後方操作領域において操作対象の動きを検出する動き検出手段と、
   近接検出手段により操作対象の近接が検出されたとき第１の制御を実行し、動き検出手段により操作対象の動き検出されたとき第２の制御を実行し、近接検出手段により通常と異なる操作対象の近接が検出された状態で動き検出手段により操作対象の動きが検出されたとき第３の制御を実行する制御手段と、
   を含む電子装置。

Images