JP2020086998A

JP2020086998A - 入力デバイス、自動車

Info

Publication number: JP2020086998A
Application number: JP2018221259A
Authority: JP
Inventors: 弘敏臼井; Hirotoshi Usui
Original assignee: Rohm Co Ltd
Current assignee: Rohm Co Ltd
Priority date: 2018-11-27
Filing date: 2018-11-27
Publication date: 2020-06-04
Anticipated expiration: 2038-11-27
Also published as: US20200167035A1; JP7280032B2; US11941208B2

Abstract

【課題】直感的あるいは大雑把な入力を検出することに適した新規な入力デバイスおよび自動車を提供する。【解決手段】入力デバイス１００は、透明な基材１１２を有する筐体１１０と、基材に設けられたタッチセンサ１２０と、筐体の内側に設けられ、基材を介して、外側を監視するカメラ１３０と、を備え、カメラを介して入力したユーザの掌の向きやジェスチャーに応じてタッチパネル出力を制御する。入力デバイスは、カメラの出力とタッチセンサの出力を受ける処理部をさらに備える。処理部は、カメラの出力にもとづいて、ユーザの掌の向きを判定する。【効果】ユーザが、掌を入力デバイスに向けているのか、あるいは手の甲を入力デバイスに向けているのか、あるいは入力デバイスに対して掌を垂直に向けているのかなどを区別でき、手の向きを利用したジェスチャ入力などが可能となる。【選択図】図１

Description

本発明は、入力デバイスに関する。

さまざまな用途で、ユーザの意思を電気的な信号に変換する入力デバイスが用いられている。古典的な入力デバイスは、機械的なスイッチやボタンであり、近年では、タッチパネルなどの電子的な入力デバイスが提供されている。

タッチパネルのみでは、ユーザによる意図した入力であるか、意図しない入力であるかを区別することができない。また静電容量スイッチを用いる場合、水滴を誤検知する場合もある。

加えて従来のタッチパネルは、分解能が高いゆえに、細かい入力に最適化されていると言える。ところが運転中にタッチパネルを操作するようなケースでは、タッチパネルを注視できないことから、ユーザが細かい入力を行うことが難しい。したがってこのようなケースではむしろ、掌や指、腕等を利用した直感的あるいは大雑把な入力を検出することに適した入力デバイスが求められる。

本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、新規な入力デバイスの提供にある。

本発明のある態様は、入力デバイスに関する。入力デバイスは、透明な基材を有する筐体と、基材に設けられたタッチセンサと、筐体の内側に設けられ、基材を介して、外側を監視するカメラと、を備える。

なお、以上の構成要素を任意に組み合わせたもの、あるいは本発明の表現を、方法、装置などの間で変換したものもまた、本発明の態様として有効である。

本発明のある態様によれば、新規な入力デバイスを提供できる。

実施の形態に係る入力デバイスの斜視図である。図１の入力デバイスのブロック図である。図３（ａ）〜（ｈ）は、カメラ画像の例を示す図である。複数の人物によって入力デバイスが操作可能な状況を示す図である。複数の人物によって入力デバイスが操作可能な別の状況を示す図である。図６（ａ）〜（ｃ）は複数の人物それぞれが入力したときのカメラ画像を示す。図７（ａ）〜（ｄ）は、パネルの構成例を示す図である。図８（ａ）、（ｂ）は、図７（ａ）、（ｂ）のパネルに対する操作入力を示す図である。図９（ａ）は、図８（ａ）において手を上から下に移動したときの、複数の電極の静電容量の変化を示す図であり、図９（ｂ）は、図８（ａ）において手を左から右に移動したときの、複数の電極の静電容量の変化を示す図である。カメラ画像とタッチセンサの出力の組み合わせに基づく制御の一例を示す図である。入力デバイスを備える自動車の室内を示す図である。図１２（ａ）は、変形例１に係る入力デバイスを示す図であり、図１２（ｂ）は、変形例２に係る入力デバイスを示す図である。変形例３に係る入力デバイスを示す図である。

（実施の形態の概要）
本明細書に開示される一実施の形態は、入力デバイスに関する。この入力デバイスは、透明な基材を有する筐体と、基材に設けられたタッチセンサと、筐体の内側に設けられ、基材を介して外側を監視するカメラと、を備える。

この態様によると、カメラの画像とタッチセンサの出力を組み合わせることにより、従来の入力デバイスでは提供できない斬新な、あるいは新規な操作入力を提供できる。

入力デバイスは、カメラの出力とタッチセンサの出力を受ける処理部をさらに備えてもよい。あるいは処理部による処理は、外部で行ってもよい。

入力デバイスは、所定のユーザによって使用されるべきものであってもよい。このとき処理部は、カメラの出力にもとづいて、タッチセンサへの現在の入力が、所定のユーザによるものであるか否かを判定してもよい。これにより所定のユーザ以外の入力については無効とすることができる。

処理部は、カメラの出力にもとづいて、ユーザの掌の向きを判定してもよい。これにより、ユーザが、掌を入力デバイスに向けているのか、あるいは手の甲を入力デバイスに向けているのか、あるいは入力デバイスに対して掌を垂直に向けているのかなどを区別でき、手の向きを利用したジェスチャ入力などが可能となる。あるいは特定の状態のみ有効な入力として扱うことも可能である。

処理部は、カメラの出力にもとづいて、ユーザの手の形を判定してもよい。手の形のバリエーションとしては、グー、チョキ、パーや、ハンドサイン、指の曲げている本数（伸ばしている本数）が異なる形などが例示される。

入力デバイスは、異なる方向からアクセスする複数のユーザによって使用されるべきものであってもよい。処理部は、カメラの出力にもとづいて、タッチセンサへの現在の入力が、いずれのユーザによるものであるか否かを判定してもよい。たとえば入力デバイスを挟んで二名のユーザが対峙する場合に、いずれのユーザの手かをカメラ画像にもとづいて判定することにより、タッチセンサへの入力がいずれのユーザのものかを判定できる。

基材は平坦であってもよい。基材は曲面を有してもよい。

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

本明細書において、「部材Ａが、部材Ｂと接続された状態」とは、部材Ａと部材Ｂが物理的に直接的に接続される場合のほか、部材Ａと部材Ｂが、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。

同様に、「部材Ｃが、部材Ａと部材Ｂの間に設けられた状態」とは、部材Ａと部材Ｃ、あるいは部材Ｂと部材Ｃが直接的に接続される場合のほか、それらの電気的な接続状態に実質的な影響を及ぼさない、あるいはそれらの結合により奏される機能や効果を損なわせない、その他の部材を介して間接的に接続される場合も含む。

図１は、実施の形態に係る入力デバイス１００の斜視図である。入力デバイス１００は、筐体１１０、タッチセンサ１２０、カメラ１３０を備える。筐体１１０は、その上面に透明な基材１１２を有する。本実施の形態では基材１１２は平坦である。

タッチセンサ１２０は、基材１１２に設けられている。なおタッチセンサ１２０は、静電容量スイッチが好適であり、本明細書におけるタッチセンサ１２０は、非接触型の近接センサも含みうる。図１においてタッチセンサ１２０の外形を矩形で示すが、それは電極の配置や形状を限定する趣旨ではない。

入力デバイス１００は、ユーザの手２あるいは指の状態を監視し、有効な入力の発生や、入力の種類を判定する。

カメラ１３０は、筐体１１０の内側に設けられ、基材１１２を介して筐体１１０の外側を監視する。従って基材１１２およびタッチセンサ１２０のパネルは、少なくともカメラ１３０が感度を有する波長領域において透明である。

図２は、図１の入力デバイス１００のブロック図である。タッチセンサ１２０は、パネル１２２およびパネルコントローラ１２４を含む。パネル１２２は、複数の電極Ｅ１〜Ｅｎを含む。パネルコントローラ１２４は、複数の電極Ｅ１〜Ｅｎを制御し、それぞれがユーザの手２との間に形成する静電容量を検出する。検出された複数の静電容量の値や分布、組み合わせにもとづいて、（i）ユーザの手２が、いずれの電極に近接しているか、（ii）ユーザの手２がパネル１２２にどの程度近接しているか、などを判定することができる。

処理部１４０は、カメラ１３０の出力とタッチセンサ１２０の出力を受け、それらを統合的処理し、ユーザによる入力の有無や、入力の種類、複数のユーザが存在する場合、いずれのユーザによる入力であるか、などを判定する。

以上が入力デバイス１００の基本構成である。この入力デバイス１００によると、カメラ１３０の画像とタッチセンサ１２０の出力を組み合わせることにより、従来の入力デバイスでは提供できない斬新な、あるいは新規な操作入力を提供できる。また、水滴やゴミの付着による容量変化と、ユーザの入力による容量変化を、カメラの画像にもとづいて判別することができる。

以下、入力デバイス１００の具体的な利用形態を説明する。

図３（ａ）〜（ｈ）は、カメラ画像の例を示す図である。図３（ａ）〜（ｈ）はいずれも右手による入力を示す。図３（ａ）は、掌での入力を、図３（ｂ）は、手の甲での入力を、図３（ｃ）は、小指球による入力を、図３（ｄ）は、人差し指による入力を表す。図３（ａ）〜（ｄ）に示すような手の形状と、タッチセンサ１２０による位置の組み合わせによって、入力の有効・無効の判定や、入力の種類を判定してもよい。

たとえば、掌による入力のみを許可する場合、図３（ａ）に示すようにカメラ１３０によって掌が検出されているときのみ、タッチセンサ１２０の出力を有効としてもよい。これにより、ユーザが意図せずに誤って、手の甲や小指球をタッチセンサ１２０にぶつけた時に、それらをノイズとして排除することができる。

図３（ｅ）〜（ｇ）は、ユーザの手の形にもとづくジェスチャ入力の例である。たとえば、数字を入力したい場合に、図３（ｅ）〜（ｇ）に示すように、指で数字を指定させることが可能である。タッチセンサ１２０のみで多点検出を行うことも可能であるが、入力デバイス１００によれば、カメラ画像のみによって、数字入力を受け付けることができる。また、図３（ｈ）に示すように、いわゆるＯＫサインを検出できるようにして、入力確定のトリガとして用いることも可能である。

図４は、複数の人物によって入力デバイス１００が操作可能な状況を示す図である。入力デバイス１００と、複数の人物Ａ，Ｂの相対的な位置関係は不変であると仮定したとき、カメラ画像にもとづいて、現在の入力が、いずれの人物によるものであるかを判別できる。すなわち人物Ａが入力デバイス１００に入力を与える場合、左手を使用し、人物Ｂが入力デバイス１００に入力を与える場合、右手を使用することとなる。したがって入力デバイス１００のカメラ画像にもとづいて、左手が検出された場合、人物Ａによる入力、右手が検出された場合、人物Ｂによる入力と判定することができる。

たとえば、実施の形態に係る入力デバイス１００を、自動車のインタフェースとして用い、運転席と助手席の中央のコンソールに接地するようなケースを考える。この場合に、カメラ画像にもとづいて右手と左手の判定を行うことにより、現在の入力が、運転者によるものであるか、同乗者によるものであるかを区別できる。これにより、特定の人物のみ（たとえば運転者のみ）に、入力を許可し、その他の搭乗者による入力を排除するような制御が可能となる。もちろんその逆に、運転者による入力を排除し、その他の搭乗者による入力のみを許可してもよい。

図５は、複数の人物によって入力デバイス１００が操作可能な別の状況を示す図である。ひとつの入力デバイス１００を、複数の人物によって操作するようなケースを考える。この例では、入力デバイス１００を取り囲むようにして、複数の人物Ａ〜Ｃが位置している。図６（ａ）〜（ｃ）は人物Ａ〜Ｃそれぞれが入力したときのカメラ画像を示す。図６（ａ）〜（ｃ）に示すように、カメラに写っている手が、いずれの方向に伸びているかにもとづいて、いずれの人物の入力であるかを判定することができる。

図７（ａ）〜（ｄ）は、パネル１２２の構成例を示す図である。図７（ａ）のパネル１２２ａは、十字に配置された複数の電極Ｅ１〜Ｅ２３を含む。電極Ｅ１〜Ｅ１５は、縦方向に並べられ、電極Ｅ１６〜Ｅ２３は、横方向に並べられている。１個の電極Ｅのサイズはたとえば１０ｍｍ程度、間隔は５ｍｍ程度としてもよい。図７（ａ）は、掌による入力に適している。図７（ｂ）のパネル１２２ｂは、図７（ａ）のパネル１２２ａと同様に複数の電極が十字に配置されるが、指先による入力に適している。図７（ｃ）や（ｄ）のパネル１２２ｃ，１２２ｄも指先による入力（指なぞり）に適している。

図８（ａ）、（ｂ）は、図７（ａ）、（ｂ）のパネル１２２ａ，１２２ｂに対する操作入力を示す図である。図８（ａ）は、図７（ａ）のパネル１２２ａに対して、掌で入力する例を示す。図８（ｂ）は、図７（ｂ）のパネル１２２ｂに対して、指先で入力する例を示す。

図９（ａ）は、図８（ａ）において手を上から下に移動したときの、複数の電極の静電容量の変化を示す図である。番号＃１〜＃２３は、電極の番号を表し、バーの長さは静電容量を表す。図９（ｂ）は、図８（ａ）において手を左から右に移動したときの、複数の電極の静電容量の変化を示す図である。このように、複数の電極の静電容量の変化にもとづいて、手の動きを検出できる。

電極のサイズや配置は、想定されるユーザの入力部位（指先、掌など）に応じて定めればよい。

図１０は、カメラ画像とタッチセンサ１２０の出力の組み合わせに基づく制御の一例を示す図である。この例では、手の掌底部３をタッチセンサ１２０のパネル１２２に置いた状態で、所定の指４（たとえば人差し指、中指、薬指の３本）を動かすことにより、さまざまな入力を与えることが可能である。掌底部３の接触は、タッチセンサ１２０の出力にもとづいて検出でき、指４の動き（屈伸や左右の動き）は、カメラ１３０の画像にもとづいて検出できる。この例によれば、掌底部３をパネル１２２に置くことを、ユーザによる入力の意思表示とみなして、所定の指４による入力を有効とすることができる。

（用途）
入力デバイス１００の用途はさまざまであるが、たとえば自動車に搭載することができる。図１１は、入力デバイスを備える自動車の室内を示す図である。たとえば、入力デバイス１００Ｂの設置場所の好適な一例は、運転席側のドアである。これにより、ロックや窓の開け閉めの操作を、入力デバイス１００Ａによって受け付けることができる。あるいは、それらの操作とは別の操作（たとえば、オーディオシステムやカーナビゲーションシステム、エアコンなどの操作）を、入力デバイス１００Ａによって受け付けてもよい。将来、自動運転が普及した際には、入力デバイス１００Ａによって自動運転に必要な操作入力を受け付けてもよい。

入力デバイス１００Ｂの設置場所の別の一例は、運転席と助手席の間のコンソールである。この入力デバイス１００Ｂによって、運転に必要な操作、オーディオシステムやカーナビゲーションシステム、エアコンの操作などを受け付けてもよい。

以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。

（変形例１）
これまでの説明では、基材１１２の形状を矩形かつフラットとしたがその限りでない。図１２（ａ）は、変形例１に係る入力デバイス１００を示す図である。変形例１において基材１１２はフラットであるが、円形である。たとえばタッチセンサ１２０の電極Ｅは、円周に沿って配置してもよい。またそれに加えてあるいはそれに代えて、図７で説明したように複数の電極を十字に配置してもよい。

（変形例２）
図１２（ｂ）は、変形例２に係る入力デバイス１００を示す図である。変形例２において、基材１１２は曲面を有し、基材１１２に、複数の電極Ｅを含むタッチセンサ１２０が設けられる。電極Ｅは円形であってもよいし、上述のように矩形であってもよい。基材１１２の形状はそれに限定されず、図１２（ｂ）の球面のほか、半円筒であってもよいし、球面よりはフラットな曲面であってもよい。

（変形例３）
図１３は、変形例３に係る入力デバイス１００を示す図である。変形例３に係る入力デバイス１００は、基材１１２の上に設けられた透明カバー１５０を備える。透明カバー１５０は曲面を有してもよく、図１３に示すように半球状であってもよいし、よりフラットな曲面であってもよいし、半円筒であってもよいし、平坦であってもよく、その形状は限定されない。この変形例によれば、タッチセンサ１２０の電極Ｅは、平坦な基材１１２に形成しつつ、ユーザが接触する部分の形状を、透明カバー１５０によって規定できる。

（変形例４）
実施の形態では、タッチセンサ１２０として静電容量式を用いたがその限りでない。接触による入力に限定する場合、タッチセンサ１２０として抵抗膜センサを採用してもよい。

（変形例５）
入力デバイス１００の用途も、自動車には限定されない。たとえば入力デバイス１００は、医療機器、ゲーム機器、産業機械、産業車両の操作インタフェースとしても好適である。

（変形例５）
実施の形態では、処理部１４０が入力デバイス１００に内蔵されたがその限りでなく、処理部１４０における処理を、外部プロセッサに委ねてもよい。この場合、処理部１４０の代わりに外部プロセッサとのインタフェース回路を設け、インタフェース回路から外部プロセッサに対して、カメラの画像データとタッチセンサ１２０の出力を供給可能に構成してもよい。

実施の形態にもとづき、具体的な用語を用いて本発明を説明したが、実施の形態は、本発明の原理、応用を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

２手
１００入力デバイス
１１０筐体
１１２基材
１２０タッチセンサ
１２２パネル
１２４パネルコントローラ
１３０カメラ
１４０処理部

Claims

透明な基材を有する筐体と、
前記基材に設けられたタッチセンサと、
前記筐体の内側に設けられ、前記基材を介して、外側を監視するカメラと、
を備えることを特徴とする入力デバイス。
前記カメラの出力と前記タッチセンサの出力を受ける処理部をさらに備えることを特徴とする請求項１に記載の入力デバイス。
前記入力デバイスは、所定のユーザによって使用されるべきものであり、
前記処理部は、前記カメラの出力にもとづいて、前記タッチセンサへの現在の入力が、前記所定のユーザによるものであるか否かを判定することを特徴とする請求項２に記載の入力デバイス。
前記処理部は、前記カメラの出力にもとづいて、ユーザの掌の向きを判定することを特徴とする請求項２に記載の入力デバイス。
前記処理部は、前記カメラの出力にもとづいて、ユーザの手の形を判定することを特徴とする請求項２に記載の入力デバイス。
前記入力デバイスは、異なる方向からアクセスする複数のユーザによって使用されるべきものであり、
前記処理部は、前記カメラの出力にもとづいて、前記タッチセンサへの現在の入力が、いずれのユーザによるものであるか否かを判定することを特徴とする請求項２に記載の入力デバイス。
前記基材は平坦であることを特徴とする請求項１から６のいずれかに記載の入力デバイス。
前記基材は曲面を有することを特徴とする請求項１から６のいずれかに記載の入力デバイス。
前記筐体は、前記基材の上に設けられる透明カバーをさらに含むことを特徴とする請求項１から８のいずれかに記載の入力デバイス。
請求項１から９のいずれかに記載の入力デバイスを備えることを特徴とする自動車。