JP2010067217A - 入力装置及び入力方法 - Google Patents

Abstract

【課題】複数のボタンを各対応する指により楽に操作できる入力装置を提供する。
【解決手段】手画像データ保持部２３は手画像データを保持し、ＧＵＩパーツ保持部２４は複数のＧＵＩパーツを保持する。接触領域検知部１は、操作面を有し、操作面とユーザの手との接触領域を検知する。位置座標データ作成部２１は、接触領域検知部１が検知した接触領域に基づいて、現在接触しているユーザの手の指先位置点を作成する。指先位置特定部２２は、指先位置点が所定数あるか否かを判定する。重畳画像作成部２５は、指先位置点が所定数ある場合に、所定数のＧＵＩパーツと、手画像データとを重畳させた操作画像を作成し、表示部３に表示させる。操作内容判定部２６は、複数の指先位置点のいずれかがタップ操作された場合に、その操作内容を判定する。コマンド送信部２７は、操作内容判定部２６が判定した操作内容をコマンドに変換し、操作対象機器４に送信する。
【選択図】図２

Description

本発明は、ユーザが機器に対して命令等を入力するための入力装置及び入力方法に関し、より特定的には、ユーザがディスプレイ等に表示された情報に基づいて手等の身体部分を用いて、命令等を入力できる入力装置及び入力方法に関する。

近年の情報機器端末の多機能化に伴って、ユーザがより使い易いユーザインターフェイスが求められている。使い易いユーザインターフェイスの一例として、タッチパネルディスプレイがある。タッチパネルディスプレイは、ディスプレイに表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）パーツを手で押す操作をすることによって、ユーザが命令等を情報機器端末等に入力する装置である。このことから、タッチパネルディスプレイは、初心者でも直感的に操作できるインターフェイスと言える。

しかし、タッチパネルディスプレイにおいては、ユーザのタッチを検知するデバイス（以下、入力部という）と表示部とが一体であるので、タッチパネルディスプレイがユーザの手元にないと操作できないという課題があった。

この課題を解決するために、入力部と表示部とを分離して、入力部をユーザの手元に配置する入力装置が開示されている（例えば、特許文献１〜３）。特許文献１に開示の従来の入力装置は、入力部と表示部とを分離して、入力部に置かれたユーザの手をカメラで撮像して、当該撮像したユーザの手を表示部のＧＵＩに重畳して表示する。図１３は、特許文献１に開示の従来の入力装置を説明する図である。図１３において、従来の入力装置は、カメラ５１で撮像したユーザの手５２を表示部５３に表示する際、操作指の移動に応じて生成されるＸＹ座標情報に基づいて、画面上に表示させる手画像５５の位置を移動させる。すなわち、画面上に表示された選択メニュー５４のボタンに対応する入力部５０の操作面上の位置に手を移動させ、所望のボタンに対応する操作面上の位置をタッチすることで、どのＧＵＩボタンが押されたかを認識する。

また、特許文献２に開示の従来の入力装置は、入力部と表示部とを分離して、入力部に置かれたユーザの手を検知し、コンピュータグラフィック（以下、ＣＧという）の手形状モデルを、表示部のＧＵＩに重畳して表示する。図１４は、特許文献２に開示の従来の入力装置を説明する図である。図１４において、従来の入力装置は、ユーザの手６５と操作面との複数の接触位置とを同時に取得できる入力部６４（タッチパネル）を用いて検知したユーザの手６５の指先位置や掌位置に基づいて、ＣＧによって手形状モデル６６を復元している。そして、復元した手形状モデル６６をＧＵＩ６３に重畳して表示する際には、特許文献１と同様に、入力部６４の操作面上のユーザの手６５の位置に基づいて、表示部６２に表示させる手形状モデル６６の位置を移動させる。

また、特許文献３に開示の従来の入力装置は、入力部と表示部とを分離して、入力部に置かれたユーザの手をカメラで撮像して、当該撮像したユーザの手画像を表示部のＧＵＩに重畳して表示する。この際、ＧＵＩの選択メニューの各ボタンとユーザの手の各指とを対応させて、入力部のユーザの手の移動に合わせて、表示部のＧＵＩの表示を変更する。図１５は、特許文献３に開示の従来の入力装置を説明する図である。図１５（ａ）において、従来の入力装置は、選択メニューのボタンＣ１〜Ｃ５を各指Ｐ１〜Ｐ５に割り当て、ユーザの手画像７１の移動と共に指先に割り当てたボタンＣ１〜Ｃ５を移動する。あるいは、図１５（ｂ）において、従来の入力装置は、予め画面デザインにより配置が決められている選択メニューのボタンＣ１〜Ｃ５と、手画像７１の各指先Ｐ１〜Ｐ５とを結ぶ線Ｌ１〜Ｌ５を表示する。これらの従来の入力装置によれば、ユーザは、入力部が表示部から離れている場合でも、タッチパネルディスプレイの直感的な操作感を維持した操作を行うことができる。
特開平１０−２６９０１２号公報（第１９頁、第６図、第７図） 特開２００６−７２８５４号公報 国際公開第０６／１０４１３２号パンフレット

しかしながら、特許文献１に記載の従来の入力装置においては、表示部５３上の選択メニュー５４の位置と、選択メニュー５４に対応する入力部５０の操作面上のタッチ位置とが１対１に対応している。このため、ユーザは、予め画面デザインにより配置が決められている選択メニュー５４のボタンの位置に合わせて手を動かす必要があった。すなわち、ユーザは、表示部５３上の選択メニュー５４と手画像５５との位置関係を確認しながら、入力部５０を操作して、予め配置が決められた選択メニュー５４の位置まで手画像５５を動かさなければならず、意識を表示部５３及び入力部５０に集中する必要があった。また、配置が決められた複数の選択メニュー５４のボタンを、ユーザの各指に割り当てようとすると、操作面上に置く手の指の間隔や位置をボタンの配置に合わせて変える必要があり、操作が煩わしかった。

また、特許文献２に記載の従来の入力装置も、表示部６２上の選択メニュー６３の位置と、選択メニュー６３に対応する入力部６４の操作面上のタッチ位置とが１対１に対応しているため、特許文献１と同様の課題があった。

また、特許文献３に記載の従来の入力装置おいては、図１５（ａ）に示すように、手７１の移動と共に指先Ｐ１〜Ｐ５に割り当てたボタンＣ１〜Ｃ５を移動する場合は、予め画面デザインによりボタンＣ１〜Ｃ５の配置を決めることができず、ユーザにとって必ずしもボタンＣ１〜Ｃ５の配置が見やすいとは限らなかった。また、ユーザが手７１を操作面上に置いた状態でボタンＣ１〜Ｃ５が表示されるので、ユーザが手７１を常に操作面上に置かなければ選択メニューのボタンＣ１〜Ｃ５が分らないという課題があった。また、図１５（ｂ）に示すように、選択メニューのボタンＣ１〜Ｃ５と、手７１の各指先Ｐ１〜Ｐ５とを結ぶ線Ｌ１〜Ｌ５を表示する場合も、線Ｌ１〜Ｌ５の表示により画面デザインを損なう可能性があった。また、手７１の位置によっては、線Ｌ１〜Ｌ５同士が重なり、手７１の各指先Ｐ１〜Ｐ５とボタンＣ１〜Ｃ５との対応関係が分かりづらいという課題があった。

それ故に、本発明の目的は、選択メニューのボタンの配置が予め決められている画面デザインを損なわずに、操作面上に置く手の指の間隔や位置をそれらボタンの配置に合わせて変える必要がなく、所定数のボタンを各対応する指により楽に操作できる入力装置及び入力方法を提供することである。

本発明は、表示部に表示される操作画像を利用して入力されるユーザの指示を操作対象機器に与える入力装置に向けられている。そして、上記目的を達成するために、本発明の入力装置は、手を表す画像データである手画像データを予め保持する手画像データ保持部と、操作対象機器に与える指示を割当てた複数のＧＵＩパーツを予め保持するＧＵＩパーツ保持部と、ユーザが操作するための操作面を有し、当該操作面とユーザの手との接触領域を検知する接触領域検知部と、接触領域検知部が検知した接触領域に基づいて、操作面に現在接触しているユーザの手の指先位置を示す指先位置点を作成する位置座標データ作成部と、指先位置点が所定数あるか否かを判定する指先位置特定部と、指先位置点が所定数ある場合に、ＧＵＩパーツ保持部に保持された所定数のＧＵＩパーツと、手画像データ保持部に保持された手画像データとを重畳させて、ユーザの操作に用いる操作画像を作成し、表示部に表示させる重畳画像作成部と、所定数の指先位置点のいずれかがタップ操作された場合に、ユーザが行った操作内容を判定する操作内容判定部と、操作内容判定部が判定したユーザの操作内容をコマンドに変換し、操作対象機器に送信するコマンド送信部とを備える。

これにより、本発明の入力装置は、選択メニューのボタンの配置が予め決められている画面デザインを損なわずに、操作面上に置く手の指の間隔や位置をそれらボタンの配置に合わせて変える必要がないため、複数のボタンを各対応する指により楽に操作することができる。

好ましくは、指先位置特定部は、指先位置点が所定数あった場合に、ユーザの手の指の並び方に基づいて、手画像データの指先と、所定数の指先位置点とを対応付ける。また、重畳画像作成部は、操作画像を作成する際に、所定数のＧＵＩパーツと、手画像データの指先とを対応付ける。

また、操作内容判定部は、所定数の指先位置点と、タップ操作がされた指先位置点との各距離を算出し、所定数の指先位置点のうち、当該算出した距離が最も短い指先位置点に対応した指先を、タップ操作があった指先と特定する。

また、操作内容判定部は、タップ操作があったと特定した指先に対応付けられたＧＵＩパーツが選択されたと判定し、当該ＧＵＩパーツに割り当てられた操作内容を、ユーザが行った操作内容と判定する。

好ましくは、接触領域検知部は、操作面と手との各接触点を独立して取得できるタッチパッドである。

また、接触領域検知部の操作面上の領域をＸ座標及びＹ座標で表すと、接触領域検知部は、Ｘ座標軸と垂直な方向に光を発する多数のＸ発光部と、当該多数のＸ発光部が発した光を受光する多数のＸ受光部と、Ｙ座標軸と垂直な方向に光を発する多数のＹ発光部と、当該多数のＹ発光部が発した光を受光する多数のＹ受光部とを備える構成であってもよい。

接触領域検知部は、Ｘ座標軸と垂直な方向にストライプ状の電流を流すＸストライプ状導電膜と、Ｙ座標軸と垂直な方向にストライプ状の電流を流すＹストライプ状導電膜とを備える構成であってもよい。

また、接触領域検知部の操作面上におけるユーザの手の長手方向をＹ座標軸の方向とし、当該Ｙ座標軸と直交する方向をＸ座標軸の方向とすると、操作内容判定部は、所定数の指先位置点のうち、タップ操作がされた指先位置点とのＸ座標が最も近い指先位置点に対応した指先を、タップ操作があった指先と特定する。

接触領域検知部の操作面上の領域をＸ座標及びＹ座標で表すと共に、接触領域検知部の操作面上におけるユーザの手の長手方向をＹ座標軸の方向とし、当該Ｙ座標軸と直交する方向をＸ座標軸の方向とすると、接触領域検知部は、Ｘ座標軸と垂直な方向に光を発する多数のＸ発光部と、当該多数のＸ発光部が発した光を受光する多数のＸ受光部とを備える構成であってもよい。また、接触領域検知部は、Ｘ座標軸と垂直な方向にストライプ状の電流を流すＸストライプ状導電膜を備える構成であってもよい。

また、本発明は、上述した入力装置を備えたハンドルにも向けられている。

さらに、本発明は、表示部に表示される操作画像を利用して、操作面に入力されるユーザの指示を操作対象機器に与える入力方法にも向けられている。そして、上記目的を達成させるために、本発明の入力方法は、当該操作面とユーザの手との接触領域を検知するステップと、検知した接触領域に基づいて、操作面に現在接触しているユーザの手の指先位置を示す指先位置点を作成するステップと、指先位置点が所定数あるか否かを判定するステップと、指先位置点が所定数ある場合に、予め保持された操作対象機器に与える指示を割当てた所定数のＧＵＩパーツと、予め保持された手を表す画像データである手画像データとを重畳させて、ユーザの操作に用いる操作画像を作成し、表示部に表示させるステップと、所定数の指先位置点のいずれかがタップ操作された場合に、ユーザが行った操作内容を判定するステップと、判定したユーザの操作内容をコマンドに変換し、操作対象機器に送信するステップとを備える。

本発明の入力装置及び入力方法によれば、選択メニューのボタンの配置が予め決められている画面デザインを損なわずに、操作面上に置く手の指の間隔や位置をそれらボタンの配置に合わせて変える必要がないため、所定数のボタンを各対応する指により楽に操作することが可能となる。

以下、本発明の各実施形態に係る入力装置について図面を用いて説明する。なお、各図面において、視認性を考慮し、本発明の実施について特に重要ではない要素は省略している。
（第１の実施形態）

図１は、本発明の第１の実施形態に係る入力装置１００のハードウエア構成例を示す図である。図１において、入力装置１００は、接触領域検知部１と、演算部２とを備える。演算部２は、データの入出力を行うＩ／Ｏ１１と、データやプログラム等を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１２と、ＢＩＯＳ等の基本プログラムを格納するＲＯＭ１３と、ＨＤＤ１２に記憶されたプログラム及びＲＯＭ１３に格納されたプログラムを実行するＣＰＵ１４と、データを保持するＲＡＭ１５と、画像データを処理する画像プロセッサ１７と、画像データを保持するＶＲＡＭ１８と、これらの構成要素を接続するバス線１６とを備える。

接触領域検知部１は、Ｉ／Ｏ１１の入力側に接続され、操作面に接触したユーザの手１９の接触領域を多点で検知し、当該検知した接触領域の位置データ（以下、接触位置データという）を出力するタッチパッドである。接触領域検知部１からＩ／Ｏ１１の入力側に入力される接触位置データは、ＲＡＭ１５に保持される。

Ｉ／Ｏ１１の出力側には、表示部３が接続される。表示部３は、画像データに対応する画像を表示するディスプレイである。また、Ｉ／Ｏ１１の出力側には、入力装置１００によって操作されるカーナビゲーション装置、オーディオ装置、エアコン等の操作対象機器４が接続される。演算部２は、接触領域検知部１で検知されたユーザの指示に基づいて、操作対象機器４に指示を出力する。

ＨＤＤ１２は、手を表す画像データ（以下、手画像データ）を、ＧＵＩと共に表示部３に表示させるようにＣＰＵ１４を機能させる制御プログラムを記憶している。手画像データの指先には、指先の種類を示すＩＤが付与されている。手画像データは、ＲＡＭ１５に予め保持されているものとする。なお、手画像データは、手の指先の形状を簡易的に表したものであってもよいし、ＣＧ等によって手の指先を詳細に模倣したものであってもよい。あるいは、手画像データは、手の指先に限らず、ユーザが指先と同視できるものであれば、どのような画像データであってもよい。

なお、入力装置１００における制御は、ハードウエア、又はハードウエア及びソフトウエアの協働によって実行される。

以下では、入力装置１００の構成及び動作について、より詳しく説明する。まずは、入力装置１００の構成から説明する。図２は、入力装置１００の機能ブロックの一例を示す図である。図２に示すように、入力装置１００は、接触領域検知部１と、演算部２とを備える。演算部２は、位置座標データ作成部２１と、指先位置特定部２２と、手画像データ保持部２３と、ＧＵＩパーツ保持部２４と、重畳画像作成部２５と、操作内容判定部２６と、コマンド送信部２７とを含む。

演算部２において、位置座標データ作成部２１は、接触領域検知部１から入力される接触位置データから、接触領域検知部１上におけるユーザの指先の位置の座標を表す指先位置点を生成する。指先位置点は、例えば、接触領域検知部１の操作面上において（Ｘ、Ｙ）座標により表される。

指先位置特定部２２は、位置座標データ作成部２１が作成した指先位置点が４点あるか否かを判定する。そして、指先位置点が４点あった場合に、指先位置点がユーザの指先であると判定し、手の指の並び方に基づいて、順番に指先位置点にＩＤを付与する。ここで、指先位置特定部２２が、指先位置点が４点あるか否かを判定しているのは、ユーザが４本の指で接触領域検知部１に接触したか否かを判定するためである。なお、指先位置特定部２２は、判定する指先位置点の数を所定数に変更することができる。例えば、指先位置特定部２２は、指先位置点が１〜５点のいずれであるかを判定してもよいし、両手を考慮した場合、指先位置点が１〜１０点のいずれであるかを判定してもよい。

手画像データ保持部２３は、上述した手画像データを予め保持している。ＧＵＩパーツ保持部２４は、表示部３に表示される操作画像に含まれるＧＵＩパーツを保持する。ＧＵＩパーツ保持部２４に保持されるＧＵＩパーツとは、例えば、操作対象機器４を操作する操作ボタン等のことである。

重畳画像作成部２５は、ＧＵＩパーツ保持部２４から読み出した複数のＧＵＩパーツと、手画像データ保持部２３から読み出した手画像データとを重畳させて、ユーザの操作に用いる操作画像として、表示部３に表示させる。また、重畳画像作成部２５は、操作内容判定部２６が判定したユーザの操作内容に応じて、表示部３に表示される操作画像を変更する。

操作内容判定部２６は、ユーザが行った操作内容（ユーザの指示）の種類を判定する。操作内容判定部２６は、当該判定した操作内容が画面表示に関するものであれば、重畳画像作成部２５及びコマンド送信部２７にユーザの操作内容を送信する。コマンド送信部２７は、操作内容判定部２６が判定したユーザの操作内容をコマンドに変換し、操作対象機器４に送信する。

次に、入力装置１００の動作について説明する。図３は、入力装置１００の動作の一例を示すフローチャートである。なお、以下の処理は、例えば、図１に示すＣＰＵ１４が、ＨＤＤ１２に記憶された制御プログラムをＲＡＭ１５において展開して実行される。

まず、ステップＳ３０１において、位置座標データ作成部２１は、接触領域検知部１から接触位置データを取得する。接触位置データは、接触領域検知部１の操作面にユーザの手が接触した領域を、点群（以下、接触点群という）によって表すデータである。

次に、ステップＳ３０２において、位置座標データ作成部２１は、当該取得した接触点群を用いて指先位置点を求める。図４は、ステップＳ３０２で求められる指先位置点を説明するための図である。図４（ａ）に示すように、位置座標データ作成部２１は、接触領域検知部１から取得した接触点群をそれぞれ矩形で囲んで複数の領域を指定する。なお、領域を示す形状は、矩形に限らず楕円でもその他の形状であってもよい。そして、位置座標データ作成部２１は、図４（ｂ）に示すように、例えば、矩形Ａの重心を指先位置点とする。なお、位置座標データ作成部２１は、指先位置点を上述した方法に限らず、どのような方法で求めてもよい。図４（ｃ）には、位置座標データ作成部２１によって求められた指先位置点４１〜４４を示す。

次に、ステップＳ３０３において、指先位置特定部２２は、指先位置点を４点取得できたか否かを判定する。指先位置特定部２２は、指先位置点を４点取得できた場合（Ｙｅｓ）には、ステップＳ３０４に処理を進め、指先位置点を４点取得できなかった場合（Ｎｏ）には、ステップＳ３０１に処理を戻す。なお、指先位置特定部２２は、上述したように、判定する指先位置点の数を変更してもよい。また、ユーザが間違って接触領域検知部１に触れてしまう場合等を考慮して、指先位置特定部２２は、シングルタップではなく、ダブルタップがされた場合にだけ、指先位置点を４点取得できたか否かを判定するようにしてもよい。

ステップＳ３０４において、指先位置特定部２２は、ユーザの手の指の並び方（手の構造）に基づいて、取得した指先位置点にそれぞれＩＤを付与する。例えば、図４（ｃ）に示すように、４つの指先位置点が得られるので、指先位置点４１〜４４に、それぞれ、小指、薬指、中指、人差し指を示すＩＤを付与する。これによって、指先位置点４１〜４４と、手画像データの指先とを対応付けることができる。ここでは、ユーザが接触領域検知部１を左手で操作しているものと仮定している。

次に、ステップＳ３０５において、指先位置特定部２２は、取得した指先位置点を、ステップＳ３０４で付与した小指、薬指、中指、人差し指のＩＤのそれぞれに対応させてＲＡＭ１５に蓄積する。

次に、ステップＳ３０６において、重畳画像作成部２５は、ＧＵＩパーツ保持部２４から読み出した複数のＧＵＩパーツと、手画像データ保持部２３から読み出した手画像データとを重畳させて、ユーザの操作に用いる操作画像として、表示部３に表示させる。この際、重畳画像作成部２５は、複数のＧＵＩパーツと、手画像データの指先とを対応付ける。

図５は、ステップＳ３０６の処理により、表示部３に表示される操作画面の一例を示している。図５において、ＧＵＩパーツ５０１〜５０４は、操作対象機器を選択するための操作メニューを表している。この例では、ＧＵＩパーツ５０１が選択されるとＤＶＤが、ＧＵＩパーツ５０２が選択されるとＣＤが、ＧＵＩパーツ５０３が選択されるとＦＭラジオが、ＧＵＩパーツ５０４が選択されるとＴＶ（テレビ）が操作対象機器４となる。操作対象機器４が選択されることにより、表示部３にはそれぞれの操作対象機器４を操作するための下位メニューが表示され、ユーザにより下位メニューが選択されることで各操作対象機器４を操作することができる。

上記の様に予め配置されたＧＵＩパーツ５０１〜５０４の各々に対応する下側の位置に、手画像データを構成する指５１１〜５１４がそれぞれ表示されており、順番に小指、薬指、中指、人差し指に対応している。このように操作画像を配置することで、ユーザは小指によりＤＶＤを、薬指によりＣＤを、中指によりＦＭラジオを、人指し指によりＴＶを操作対象機器４として選択できることが直感的に理解できる。手画像データは、手画像データ保持部２３に予め保持されている画像であるため、予め画面デザインにより配置されたＧＵＩパーツに対応する位置に手画像データを表示させることができる。手画像データの表示位置は、操作面上のユーザの手の位置とは関係なく、ユーザが手を動かしても手画像データは移動しない。

重畳画像作成部２５は、画面デザインによりＧＵＩパーツの配置が変わる場合には、それに対応した手画像データを手画像データ保持部２３から選択して読み出すことで、ＧＵＩパーツの位置と手画像データの各指の位置を合わせることができる。また、重畳画像作成部２５は、指先位置特定部２２が判定する指先位置点の数に合わせて、表示するＧＵＩパーツの数を変更することも可能である。

図３に戻り、ステップＳ３０７において、入力装置１００は、ユーザの操作内容の特定処理を実行する。以下、図６を用いて、ステップＳ３０７の処理について詳しく説明する。

まず、ステップＳ６０１において、指先位置特定部２２は、位置座標データ作成部２１から指先位置点を取得する。次に、ステップＳ６０２において、操作内容判定部２６は、いずれかの指先位置点でシングルタップ操作がされたか否かを判定する。操作内容判定部２６は、シングルタップ操作がされたと判定した場合には、ステップＳ６０５に処理を進め、シングルタップ操作がされなかったと判定した場合には、ステップＳ６０３に処理を進める。なお、この例では、操作内容判定部２６は、シングルタップ操作がされたか否かを判定しているが、判定するタップ操作の種類を変更してもよい。例えば、操作内容判定部２６は、ダブルタップ等の操作がされたか否かを判定してもよい。

ステップＳ６０３において、操作内容判定部２６は、いずれかの指先位置点が操作面上でドラッグ操作がされたか否かを判定する。操作内容判定部２６は、ドラッグ操作がされたと判定した場合には、ステップＳ６０４に処理を進め、ドラッグ操作がされなかったと判定した場合にはステップＳ６０１に処理を戻す。

次に、ステップＳ６０４において、ステップＳ６０３でドラッグ操作が検出されたため、操作内容判定部２６は、ユーザの操作内容を画面のスクロール操作と判定する。そして、図３のステップＳ３０８に処理を戻す。なお、操作内容判定部２６は、ドラッグ操作がされた場合に画面のスクロール操作と判定しているが、判定する操作を変更してもよい。

ステップＳ６０５において、ステップＳ６０２でシングルタップが検出されたため、操作内容判定部２６は、ＲＡＭ１５に蓄積されている４つの各指先位置点と、シングルタップが検出された指先位置点との間の各距離を算出する。

次に、ステップＳ６０６において、操作内容判定部２６は、算出した距離が最も短い指先位置点から、シングルタップ操作があった指先を特定する。具体的には、操作内容判定部２６は、４つの指先位置点のうち、算出した距離が最も短い指先位置点に対応した指先を、シングルタップ操作があった指と特定する。

ステップＳ６０７において、操作内容判定部２６は、ステップＳ６０６で特定した指先に対応するＧＵＩパーツが選択されたと判定し、そのＧＵＩパーツに割り当てられた操作内容を特定する。そして、図３のステップＳ３０８に処理を戻す。

図３のステップＳ３０８において、操作内容判定部２６は、ステップＳ６０４でユーザの操作内容を画面のスクロール操作であると判定した場合には、重畳画像作成部２５に判定した操作内容を送信する。重畳画像作成部２５は、送信された操作内容に基づいて、操作画面の表示内容を変更する。

一方、操作内容判定部２６は、ステップＳ６０７でユーザに選択されたＧＵＩパーツに割り当てられた操作内容を特定した場合には、重畳画像作成部２５及びコマンド送信部２７に特定した操作内容を送信する。重畳画像作成部２５は、操作内容判定部２６が特定したユーザの操作内容に基づいて表示内容を変更する。また、コマンド送信部２７は、操作内容判定部２６が特定したユーザの操作内容をコマンドに変換し、操作対象機器４に送信する。

以上のように、本発明の第１の実施形態に係る入力装置によれば、選択メニューのボタンと、指先とを対応させるので、ユーザが選択メニューの位置に手を合わせる必要がなくなる。また、操作面上に置く手の指の間隔や位置をボタンの配置に合わせて変える必要がないため、複数のボタンを各対応する指により楽に操作することができる。また、選択メニューの画面デザインをそのまま使用することができるので、画面デザインを損なうことがない。

（第２の実施形態）
第２の実施形態に係る入力装置のハードウェア構成、及び機能ブロックについては、図１及び図２を援用して説明する。第２の実施形態に係る入力装置は、第１の実施形態に係る入力装置１００と比較して、接触領域検知部の構成が異なる。第１の実施形態に係る接触領域検知部１は、各接触点を独立して取得できるタッチパッドであったが、第２の実施形態に係る接触領域検知部は、図７に示すように、縦方向と横方向との交点を検出するセンサーにより、各接触点を検出するものである。

図７（ａ）は、本発明の第２の実施形態に係る接触領域検知部１ａの構成例を示す図である。ただし、接触領域検知部１ａの操作面上の領域をＸ座標とＹ座標とで表すものとする。また、ユーザの手の長手方向をＹ座標軸の方向とし、Ｙ座標軸と直交する方向をＸ座標軸の方向と定義する。

図７（ａ）において、接触領域検知部１ａは、Ｘ座標軸と垂直な方向に光を発する多数の発光部と、多数の発光部が発した光を受光する多数の受光部とを備える。また、接触領域検知部１ａは、Ｙ座標軸と垂直な方向に光を発する多数の発光部と、当該多数の発光部が発した光を受光する多数の受光部とを備える。

例えば、接触領域検知部１ａは、操作面の形状が長方形である場合、Ｘ座標軸と平行し、互いに対向する２辺のうち一辺に光を発する多数の発光部と、他の一辺に当該発光部が発した光を受光する多数の受光部とを備える。また、接触領域検知部１ａは、Ｙ座標軸と平行し、互いに対向する２辺のうち一辺に光を発する多数の発光部と、他の一辺に当該発光部が発した光を受光する多数の受光部とを備える。なお、操作面の形状は、長方形に限らず、どのような形状であってもよく、例えば、円形であってもよい。

操作面にユーザの手が接触した場合、多数の発光部から発した一部の光が、ユーザの手によって遮られ、一部の受光部に届かなくなるために、接触領域検知部１ａは、接触領域のＸ座標及びＹ座標を検知することができる。

図７（ｂ）は、本発明の第２の実施形態に係る接触領域検知部１ｂの構成例を示す図である。図７（ｂ）において、接触領域検知部１ｂは、Ｘ座標方向にストライプ状に電流を流すストライプ状導電膜が形成された基板と、Ｙ座標方向にストライプ状に電流を流すストライプ状導電膜が形成された基板とを、所定の空間を介して導電膜が対向するように上下に重ねて構成されている。この例では、Ｘ座標方向のストライブ状導電膜が上側に、Ｙ座標方向のストライブ状導電膜が下側に重ねられている。操作面に手が接触した場合、通常は上下に離れているＸ座標方向のストライプ状導電膜とＹ座標方向のストライプ状導電膜が、接触した位置で通電し、接触領域検知部１ｂは、接触領域のＸ座標及びＹ座標を検知することができる。

しかしながら、これらの接触領域検知部１ａ、１ｂには、以下のような課題がある。図８（ａ）は、第２の実施形態に係る接触領域検知部１ａ、１ｂの課題を説明する図である。ただし、Ｘ座標Ｙ座標で表される領域を（Ｘ，Ｙ）領域と記す。接触領域検知部１ａの操作面上において、人間の左手の形状を想定して、ユーザの指先が黒丸で示す点で接触している場合を想定する。接触領域検知部１ａ、１ｂは、上記の様な検出方式であるために、（Ｘ１，Ｙ２）領域８０１、（Ｘ２，Ｙ１）領域８０２、（Ｘ３，Ｙ１）領域８０３、及び（Ｘ４、Ｙ１）領域８０４以外に、（Ｘ１，Ｙ１）８１１、（Ｘ２，Ｙ２）領域８１２、（Ｘ３，Ｙ２）領域８１３、（Ｘ４，Ｙ２）領域８１４の、実際にはユーザの指先が接触していない領域を検出してしまう。また、（Ｘ２，Ｙ１）領域８０２、（Ｘ３，Ｙ１）領域８０３、及び（Ｘ４、Ｙ１）領域８０４のＹ座標が同じになってしまう。これは、例えば接触領域検知部１ａで説明すると、薬指、中指、人指し指のＹ座標が近接しているので、発光部が発した光がこれら３本の指で遮られて、別個に特定できず、領域Ｙ１という幅の広い領域内に有るということだけしか検出できないためである。また、接触領域検知部１ｂについても、縦方向と横方向との交点を検出する同じ検出方式であるため、同様の課題がある。

上述したような課題に対して、接触領域検知部１ａ、１ｂは、以下のように課題を解決する。図８（ｂ）は、第２の実施形態に係る接触領域検知部１ａ、１ｂの課題を解決する手段を説明する図である。図８（ｂ）において、接触領域検知部１ａ、１ｂは、Ｘ座標のみを用いて、操作面上のユーザの手の接触領域を検知する。接触領域検知部１ａ、１ｂは、人間の手の形状からＸ座標が重なることを想定し難いので、Ｘ座標のみを用いても、操作面上のユーザの手の接触領域を検知することが可能である。そのため、本実施形態においては、第１の実施形態の図６に示すステップＳ６０５、Ｓ６０６の処理が異なる。蓄積された各指先位置点とタップされた指先位置点との距離を求めるステップＳ６０５の処理は必要ない。ステップＳ６０６において、操作内容判定部は、蓄積された各指先位置点のうち、タップ操作がされた指先位置点とのＸ座標が最も近い指先位置点に対応した指先を、タップ操作があった指先と特定する。

また、第２の実施形態に係る接触領域検知部１ａ、１ｂは、人間の手の形状からＸ座標が重なることを想定し難いことを利用して、図９（ａ）及び図９（ｂ）に示すように、はじめからＸ座標を読みとるセンサー（発光部及び受光部、又はストライプ状導電膜）のみを備える構成であってもよい。図９（ｂ）の場合には、Ｙ座標方向のストライプ状導電膜を形成した基板を上下に重ねて、もしくは、上側の基板にＹ座標方向のストライプ状導電膜を形成し、下側の基板全面に導電膜を形成した基板を組み合わせることで、Ｘ座標のみを読みとることができる。これら構成をとることで、Ｘ座標のみを検出すれば良いため、部品数が減り、回路構成も簡単になる。

（第３の実施形態）
第３の実施形態では、上述した第１〜２の実施形態に係る入力装置１００の車両への取り付け例について説明する。図１０は、入力装置１００が車両のセンターコンソールに取り付けられた場合の一例を示す図である。図１１は、入力装置１００が車両のハンドルに取り付けられた場合の一例を示す図である。図１２は、入力装置１００が車両のドアの操作部に取り付けられた場合の一例を示す図である。図１０〜図１２に示すような車両の位置に、入力装置１００を取り付けることで、運転者は、運転操作に支障なく、入力操作を行うことが可能である。

本発明の入力装置は、ユーザが機器に対して命令を入力するための入力装置等に利用可能であり、特に、タッチパネルディスプレイの直感的な操作感を維持した操作感を実現したい場合等に有用である。

本発明の第１の実施形態に係る入力装置１００のハードウエア構成例を示す図 本発明の第１の実施形態に係る入力装置１００の機能ブロックの一例を示す図 本発明の第１の実施形態に係る入力装置１００の動作の一例を示すフローチャート ステップＳ３０２で求められる指先位置点を説明するための図 ステップＳ３０６で表示部３に表示される操作画面の一例を示す図 ステップＳ３０７の詳細な処理を説明するためのフローチャート 本発明の第２の実施形態に係る接触領域検知部の構成例を示す図 第２の実施形態に係る接触領域検知部の課題を説明する図 Ｘ座標を読みとるセンサー（発光部及び受光部、又はストライプ状導電膜）のみを備えた接触領域検知部の構成例を示す図 入力装置１００が車両のセンターコンソールに取り付けられた場合の一例を示す図 入力装置１００が車両のハンドルに取り付けられた場合の一例を示す図 入力装置１００が車両のドアの操作部に取り付けられた場合の一例を示す図 特許文献１に開示の従来の入力装置を説明する図 特許文献２に開示の従来の入力装置を説明する図 特許文献３に開示の従来の入力装置を説明する図

符号の説明

１ 接触領域検知部
２ 演算部
１１ Ｉ／Ｏ
１２ ＨＤＤ
１３ ＲＯＭ
１４ ＣＰＵ
１５ ＲＡＭ
１６ バス線
１７ 画像プロセッサ
１８ ＶＲＡＭ
２１ 位置座標データ作成部
２２ 指先位置特定部
２３ 手画像データ保持部
２４ ＧＵＩパーツ保持部
２５ 重畳画像作成部
２６ 操作内容判定部
２７ コマンド送信部
４１〜４４ 指先位置点
１００ 入力装置
５０、６４ 入力部
５１ カメラ
５２、６５ ユーザの手
５３、６２ 表示部
５４ 選択メニュー
５５、７１ 手画像
６３ 選択メニュー
６６ 手形状モデル

Claims (13)

1. 表示部に表示される操作画像を利用して入力されるユーザの指示を操作対象機器に与える入力装置であって、
   手を表す画像データである手画像データを予め保持する手画像データ保持部と、
   前記操作対象機器に与える指示を割当てた複数のＧＵＩパーツを予め保持するＧＵＩパーツ保持部と、
   前記ユーザが操作するための操作面を有し、当該操作面と前記ユーザの手との接触領域を検知する接触領域検知部と、
   前記接触領域検知部が検知した前記接触領域に基づいて、前記操作面に現在接触している前記ユーザの手の指先位置を示す指先位置点を作成する位置座標データ作成部と、
   前記指先位置点が所定数あるか否かを判定する指先位置特定部と、
   前記指先位置点が所定数ある場合に、前記ＧＵＩパーツ保持部に保持された前記所定数のＧＵＩパーツと、前記手画像データ保持部に保持された手画像データとを重畳させて、ユーザの操作に用いる操作画像を作成し、前記表示部に表示させる重畳画像作成部と、
   前記所定数の指先位置点のいずれかがタップ操作された場合に、前記ユーザが行った操作内容を判定する操作内容判定部と、
   前記操作内容判定部が判定したユーザの操作内容をコマンドに変換し、前記操作対象機器に送信するコマンド送信部とを備える、入力装置。
2. 前記指先位置特定部は、前記指先位置点が所定数あった場合に、ユーザの手の指の並び方に基づいて、前記手画像データの指先と、前記所定数の指先位置点とを対応付けることを特徴とする、請求項１に記載の入力装置。
3. 前記重畳画像作成部は、前記操作画像を作成する際に、前記所定数のＧＵＩパーツと、前記手画像データの指先とを対応付けることを特徴とする、請求項２に記載の入力装置。
4. 前記操作内容判定部は、前記所定数の指先位置点と、前記タップ操作がされた指先位置点との各距離を算出し、前記所定数の指先位置点のうち、当該算出した距離が最も短い指先位置点に対応した指先を、前記タップ操作があった指先と特定することを特徴とする、請求項３に記載の入力装置。
5. 前記操作内容判定部は、前記タップ操作があったと特定した指先に対応付けられたＧＵＩパーツが選択されたと判定し、当該ＧＵＩパーツに割り当てられた操作内容を、前記ユーザが行った操作内容と判定することを特徴とする、請求項４に記載の入力装置。
6. 前記接触領域検知部は、前記操作面と前記手との各接触点を独立して取得できるタッチパッドであることを特徴とする、請求項１に記載の入力装置。
7. 前記接触領域検知部の操作面上の領域をＸ座標及びＹ座標で表すと、
   前記接触領域検知部は、
   Ｘ座標軸と垂直な方向に光を発する多数のＸ発光部と、当該多数のＸ発光部が発した光を受光する多数のＸ受光部と、
   Ｙ座標軸と垂直な方向に光を発する多数のＹ発光部と、当該多数のＹ発光部が発した光を受光する多数のＹ受光部とを備えることを特徴とする、請求項１に記載の入力装置。
8. 前記接触領域検知部の操作面上の領域をＸ座標及びＹ座標で表すと、
   前記接触領域検知部は、
   Ｘ座標軸と垂直な方向にストライプ状の電流を流すＸストライプ状導電膜と、
   Ｙ座標軸と垂直な方向にストライプ状の電流を流すＹストライプ状導電膜とを備えることを特徴とする、請求項１に記載の入力装置。
9. 前記接触領域検知部の操作面上におけるユーザの手の長手方向をＹ座標軸の方向とし、当該Ｙ座標軸と直交する方向をＸ座標軸の方向とすると、
   前記操作内容判定部は、前記所定数の指先位置点のうち、前記タップ操作がされた指先位置点とのＸ座標が最も近い指先位置点に対応した指先を、前記タップ操作があった指先と特定することを特徴とする、請求項７又は８のいずれかに記載の入力装置。
10. 前記接触領域検知部の操作面上の領域をＸ座標及びＹ座標で表すと共に、前記接触領域検知部の操作面上におけるユーザの手の長手方向をＹ座標軸の方向とし、当該Ｙ座標軸と直交する方向をＸ座標軸の方向とすると、
    前記接触領域検知部は、
    前記Ｘ座標軸と垂直な方向に光を発する多数のＸ発光部と、当該多数のＸ発光部が発した光を受光する多数のＸ受光部とを備えることを特徴とする、請求項１に記載の入力装置。
11. 前記接触領域検知部の操作面上の領域をＸ座標及びＹ座標で表すと共に、前記接触領域検知部の操作面上におけるユーザの手の長手方向をＹ座標軸の方向とし、当該Ｙ座標軸と直交する方向をＸ座標軸の方向とすると、
    前記接触領域検知部は、
    前記Ｘ座標軸と垂直な方向にストライプ状の電流を流すＸストライプ状導電膜を備えることを特徴とする、請求項１に記載の入力装置。
12. 請求項１に記載の入力装置を備えたハンドル。
13. 表示部に表示される操作画像を利用して、操作面に入力されるユーザの指示を操作対象機器に与える入力方法であって、
    前記操作面と前記ユーザの手との接触領域を検知するステップと、
    前記検知した接触領域に基づいて、前記操作面に現在接触している前記ユーザの手の指先位置を示す指先位置点を作成するステップと、
    前記指先位置点が所定数あるか否かを判定するステップと、
    前記指先位置点が所定数ある場合に、予め保持された前記操作対象機器に与える指示を割当てた前記所定数のＧＵＩパーツと、予め保持された手を表す画像データである手画像データとを重畳させて、ユーザの操作に用いる操作画像を作成し、前記表示部に表示させるステップと、
    前記所定数の指先位置点のいずれかがタップ操作された場合に、前記ユーザが行った操作内容を判定するステップと、
    前記判定したユーザの操作内容をコマンドに変換し、前記操作対象機器に送信するステップとを備える、入力方法。

Images