JP2012181612A - タッチパネル装置、操作判定方法、および操作判定プログラム - Google Patents

Abstract

【課題】 複数のユーザの操作を判定することができるタッチパネル装置、操作判定方法、および操作判定プログラムを提供する。
【解決手段】 タッチパネル装置は、複数の指の指紋の隆線を検出する隆線検出部と、隆線検出部が検出する各隆線の所定点を結ぶ隆線結合線の方向の所定領域を指ごとに検出する領域検出部と、領域検出部が検出する複数の領域の位置関係が所定条件を満たす場合に、複数の指の操作を判定する操作判定部と、を備える。操作判定方法は、複数の指の指紋の隆線を検出する隆線検出ステップと、隆線検出ステップにおいて検出された各隆線の所定点を結ぶ隆線結合線の方向の所定領域を指ごとに検出する領域検出ステップと、領域検出ステップにおいて検出された複数の領域の位置関係が所定条件を満たす場合に、複数の指の操作を判定する操作判定ステップと、を含む。
【選択図】 図４

Description

本発明は、タッチパネル装置、操作判定方法、および操作判定プログラムに関する。

携帯電話、パソコン等に備わるタッチパネル装置は、画面に表示された画像データ、メニュー上の複数の点等に同時に触れることにより、対象物の移動、拡大、縮小等の動きを直感的に操作可能にするユーザインターフェースを提供している。しかしながら、従来のタッチパネル装置は、ディスプレイが小さく、個人（シングルユーザ）が利用する場合の画面操作を前提として構成されている。そのため、従来のタッチパネル装置は、画面上の複数の点を複数の人が同時に操作した場合、どの指が同一のユーザであるか識別する機能を備えていない。そのため、大型のタッチパネルを複数の人が同時に操作するような場合、ユーザを識別することができない。

例えば、オフィスで会議を行う場合などに、テーブルの上面にタッチパネルディスプレイを備えたテーブルを利用して、ディスプレイに表示した会議資料を複数の人が同時に操作するような利用形態が考えられる。しかしながら、従来のタッチパネル装置では、このようなマルチユーザ・マルチタッチ方式を識別できない。

特許文献１は、入力された指の方向を識別することにより、複数の方向に位置する操作者からの入力を特定するタッチパネル式入力装置を開示している。また、特許文献２は、多人数が使用するタッチパネル装置を開示している。

特開２００８−３８６８号公報 特開２０１０−２１９７８５号公報

しかしながら、特許文献１の技術では、タッチパネルに入力された指の方向を用いて複数の人が入力した複数の指から同じ人の指を識別する。そのため、同じ方向を向いている複数の異なる指を区別できない。また、特許文献２の技術では、同時に複数の人が使用する場合に、各人を識別することができない。

本発明は上記課題に鑑みなされたものであり、複数のユーザの操作を判定することができるタッチパネル装置、操作判定方法、および操作判定プログラムを提供することを目的とする。

上記課題を解決するために、明細書開示のタッチパネル装置は、複数の指の指紋の隆線を検出する隆線検出部と、前記隆線検出部が検出する各隆線の所定点を結ぶ隆線結合線の方向の所定領域を指ごとに検出する領域検出部と、前記領域検出部が検出する領域の位置関係が所定条件を満たす場合に、前記複数の指の操作を判定する操作判定部と、を備えるものである。

上記課題を解決するために、明細書開示の操作判定方法は、複数の指の指紋の隆線を検出する隆線検出ステップと、前記隆線検出ステップにおいて検出された各隆線の所定点を結ぶ隆線結合線の方向の所定領域を指ごとに検出する領域検出ステップと、前記領域検出ステップにおいて検出された領域の位置関係が所定条件を満たす場合に、前記複数の指の操作を判定する操作判定ステップと、を含むものである。

上記課題を解決するために、明細書開示の操作判定プログラムは、コンピュータに、複数の指の指紋の隆線を検出する隆線検出ステップと、前記隆線検出ステップにおいて検出された各隆線の所定点を結ぶ隆線結合線の方向の所定領域を指ごとに検出する領域検出ステップと、前記領域検出ステップにおいて検出された領域の位置関係が所定条件を満たす場合に、前記複数の指の操作を判定する操作判定ステップと、を実行させるものである。

明細書開示のタッチパネル装置、操作判定方法、および操作判定プログラムによれば、複数のユーザの操作を判定することができる。

複数のユーザがタッチパネルを使用する場面を説明するための模式図である。 各ユーザの操作について説明するための図である。 各ユーザの操作について説明するための図である。 実施例１に係るタッチパネル装置のブロック図である。 画像処理部によって補正された指紋画像データの一例である。 指紋データ採取ログの一例を説明するための図である。 （ａ）は指紋の曲率が極大値となる点を指紋画像データ上で表した図であり、（ｂ）は隆線結合管理テーブルの一例を説明するための図である。 指紋の一部を表す図である。 紋様を説明するための図である。 隆線結合線を説明するための図である。 手の中心領域の抽出を説明するための図である。 同じ手の指管理テーブルの一例を説明するための図である。 同じ指管理テーブルの一例である。 操作判定テーブルおよび各操作を説明するための図である。 タッチパネルの操作判定方法の処理の一例を説明するためのフローチャートである。 隆線結合線を説明するための図である。 隆線結合線の補正について説明するための図である。 指紋面積と距離ｄとの関係を記録する距離管理テーブルの一例を説明するための図である。 本変形例におけるタッチパネルの操作判定方法の処理を表すフローチャートである。 同じ指の乾燥状態を説明するための図である。 本変形例におけるタッチパネルの操作判定方法の処理をフローチャートである。 タッチパネル操作の際の各指がなす角度について説明するための図である。 距離管理テーブルの他の例を説明するための図である。 複数のユーザの指が近い位置に配置された場合を説明するための図である。 無効化パターンテーブルの一例を説明するための図である。 実施例２に係るタッチパネル装置のブロック図である。 関節情報を用いた隆線結合線の補正について説明するための図である。 関節数と距離ｄとの関係を記録する距離管理テーブルの一例を説明するための図である。

まず、複数のユーザ（マルチユーザ）が使用するタッチパネルの使用場面について説明する。図１は、複数のユーザがタッチパネルを使用する場面を説明するための模式図である。図１を参照して、ユーザＡ、ユーザＢ、ユーザＣ、およびユーザＤは、テーブル上面のタッチパネルに提案書を表示しつつ、打ち合わせを行っている。ユーザＡが提案書に含まれる図形を回転させようと試み、ユーザＢが画面のスクロール表示を試み、ユーザＣが文字の拡大を試み、ユーザＤがハイパーリンクの表示を試みていると仮定する。また、ユーザＡ〜Ｄは、各操作を同時に行っていると仮定する。

各ユーザのタッチ操作は、以下のとおりである。
１）ユーザＡは、提案書に含まれる図形に対して右手親指を支点にし、右手人さし指で孤を描いて、図形を度回転させようとしている。
２）ユーザＢは、右手人さし指および右手中指を同方向にスライドさせて、提案書の画面をスクロールさせようとしている。
３）ユーザＣは、提案書に含まれる特定の文字列に対して右手親指と右手人さし指とを押し広げるようにして、文字を拡大させようとしている。
４）ユーザＤは、提案書に含まれるハイパーリンクを右手人さし指でクリックして表示させようとしている。

このような状況では、各ユーザの操作を判定することが困難である。図２の例では、２人のユーザが、それぞれ２本の指をタッチパネルに対して入力している。一方のユーザは、右手人さし指と右手中指とを同方向にスライドさせて、表示画面をスクロールさせようとしている。他方のユーザは、右手親指と右手人差し指とを広げて拡大表示させようとしている。しかしながら、前者の右手中指および右手人さし指と後者の右手人さし指とが近い場合、前者の右手中指および右手人さし指と後者の右手人さし指とを同一のユーザが入力した指と判定されるおそれがある。この場合、各ユーザの操作を判定することができない。

そこで、タッチパネルに入力された指の方向を用いて、複数の指から同じユーザの指を識別することが考えられる。しかしながら、複数のユーザの指が同一方向を向く場合がある。図３の例では、一方のユーザが右手親指を支点とし、右手人さし指で孤を描くことによって、表示された図を回転させようとしている。他方のユーザは、右手親指と右手人さし指とを押し広げるようにして、タッチディスプレイに表示された特定の文字を拡大しようとしている。しかしながら、前者の右手親指と、後者の右手親指および右手人さし指とが同一方向を向いている場合には、各ユーザの操作を判定することができない。

入力された指の位置、向きなどの情報を用いる方法では、各ユーザの操作を判定することが困難である。そこで、以下の実施例では、複数のユーザの操作を判定することができるタッチパネル装置、操作判定方法、および操作判定プログラムについて説明する。

図４（ａ）は、実施例１に係るタッチパネル装置１００の機能ブロック図である。図４（ａ）を参照して、タッチパネル装置１００は、タッチパネル１０、演算処理部２０、データ記憶部３０、および電源供給部４０を備えている。タッチパネル１０は、指紋情報取得部１１を供える。演算処理部２０は、画像処理部２１、指紋データ生成部２２、隆線結合処理部２３、同一手判定部２４、同一指判定部２５、および操作判定部２６を備える。

図４（ｂ）は、タッチパネル装置１００のハードウェア構成を説明するためのブロック図である。図４（ｂ）を参照して、タッチパネル装置１００は、図４（ａ）のタッチパネル１０およびデータ記憶部３０の他に、ＣＰＵ１０１を備える。これらの各機器は、バスなどによって接続されている。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。データ記憶部３０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３などを含む。ＲＡＭ１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。ＲＯＭ１０３は、不揮発性記憶装置である。本実施例に係る操作判定プログラムは、ＲＯＭ１０３が記憶している。なお、不揮発系記憶装置は、ＲＯＭに限られず、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）等であってもよく、ハードディスクドライブに駆動されるハードディスクなどであってもよい。

ＲＯＭ１０３に記憶されている操作判定プログラムは、実行可能にＲＡＭ１０２に展開される。ＣＰＵ１０１は、ＲＡＭ１０２に展開された操作判定プログラムを実行する。その結果、図４（ａ）の各機能が実現される。なお、プログラムの実行に限らず、図４（ａ）の各機能を、それぞれ専用のハードウェアを用いて実現してもよい。

再度、図４（ａ）を参照して、電源供給部４０は、コンセント等を介して外部から電源を取得し、タッチパネル１０、演算処理部２０、およびデータ記憶部３０に電源供給を行う。データ記憶部３０は、指紋に関するデータ、操作判定に用いるためのテーブルなどを記憶する。データ記憶部３０が記憶するデータの詳細については、後述する。

指紋情報取得部１１は、指紋センサなどの光学式センサである。指紋情報取得部１１は、タッチパネル１０に触れているユーザの指紋画像データおよび指紋座標値を取得し、取得した指紋画像データおよび指紋座標値を指紋ＩＤと関連付けて画像処理部２１にわたす。

画像処理部２１は、指紋画像データに対してノイズ除去などの画像補正処理を行い、指紋データ生成部２２に、補正後の指紋画像データおよび指紋座標値をわたす。図５は、画像処理部２１によって補正された指紋画像データの一例である。指紋データ生成部２２は、指紋画像データから指紋データを作成し、指紋座標値とともに指紋データ採取ログに記録する。

図６は、指紋データ採取ログの一例を説明するための図である。図６を参照して、指紋データ採取ログは、テーブルとしてデータ記憶部３０に記憶されている。指紋データ採取ログは、指紋ＩＤと関連付けて、指紋データ、指紋座標、手の中心領域、手の中心ＩＤ、および更新日時を含む。指紋データ採取ログの初期状態においては、手の中心領域および手の中心ＩＤは記録されていない。手の中心領域および手の中心ＩＤの詳細については、後述する。

指紋データは、特徴点情報（特徴点の位置、形状等）、隆線の間隔情報、隆線方向情報、指紋中心の座標値情報、指の乾燥状態を数値化したもの、などを含む。なお、指紋データ採取ログ内のデータは、一定時間経過後に自動的に消去されてもよい。それにより、指紋データ採取ログ内のデータを定期的に更新することができる。

隆線結合処理部２３は、指紋データとそれに対応する座標値とから指紋の曲率が極大値となる点を抽出し、隆線結合管理テーブルに記録する。図７（ａ）は、指紋の曲率が極大値となる点を指紋画像データ上で表した図である。図７（ｂ）は、隆線結合管理テーブルの一例を説明するための図である。隆線結合管理テーブルは、データ記憶部３０に記憶されている。図７（ｂ）を参照して、隆線結合管理テーブルは、指紋ＩＤと関連付けて、指紋の曲率が極大値となる点を含む。

隆線結合処理部２３は、図７（ａ）のように、各隆線の曲率が極大値となる点を結ぶことによって、隆線結合線を取得する。曲率が極大値となる点を結ぶことによって、指が延伸する方向と略同一の方向を取得することができる。指が延伸する方向を取得することによって、手の中心方向を取得することができる。隆線結合処理部２３は、取得した手の中心方向を、手の中心方向管理テーブルに記録する。

なお、曲率が極大値となる点を結ぶ方法を用いれば、図８のように指紋の一部しか採取できなかった場合においても、手の中心方向を取得することができる。また、曲率が極大値となる点を結ぶ方法では、図９（ａ）〜図９（ｅ）のいずれの紋様に対しても、手の中心方向を取得することができる。なお、図９（ａ）の紋様は、渦型である。図９（ｂ）の紋様は、左流れ型である。図９（ｃ）の紋様は、右流れ型である。図９（ｄ）の紋様は、柱型である。図９（ｅ）の紋様は、波型である。

図１０（ａ）を参照して、隆線結合処理部２３は、曲率が極大値となる点を通る隆線の向きがハの字になる方向を手の中心方向として取得してもよい。すなわち、同一手判定部２４は、曲率が極大値となる点における隆線がなる角が１８０度未満になる方向を手の中心方向として取得してもよい。この場合、手の中心方向の取得精度が向上する。

図１０（ｂ）は、手の中心方向管理テーブルの一例を説明するための図である。手の中心方向管理テーブルは、指紋ＩＤと関連付けて、手の中心方向（角度）を含む。手の中心方向管理テーブルは、データ記憶部３０に記憶されている。手の中心方向は、タッチパネル１０上において、基準方向からの回転角度とすることができる。

同一手判定部２４は、各指の指紋から得られる隆線結合線の方向の所定領域の少なくとも一部が互いに重複する場合に、各指が同一手の指であると判定する。例えば、同一手判定部２４は、隆線結合線から手の中心領域を取得し、各中心領域の少なくとも一部が互いに重複する場合に、各指が同一手の指であると判定する。

なお、図１１（ａ）を参照して、各指の指紋から得られる隆線結合線を手のひら方向に延ばした場合、各隆線結合線は、必ずしも１点に集束するわけではない。そこで、同一手判定部２４は、指紋の位置からの所定の距離ｄと、手の中心方向管理テーブルに記録された手の中心方向とを用いて、手の中心領域を抽出する。例えば、図１１（ｂ）を参照して、同一手判定部２４は、指紋の位置から手の中心方向に距離ｄだけ移動した点（ｘ，ｙ）から許容範囲（ｘ±ａ，ｙ±ｂ）を手の中心領域とする。基準となる指紋の位置は、例えば曲率が極大値となる点などから任意に選択して設定することができる。同一手判定部２４は、得られた手の中心領域を図６の指紋データ採取ログに記録する。

また、同一手判定部２４は、手の中心領域の少なくとも一部が重複する指紋ＩＤを同じ手の指と判定し、指紋データ採取ログに含まれる手の中心ＩＤを同じ値に設定する。同一手判定部２４は、この判定結果を同じ手の指管理テーブルに記録する。図１２は、同じ手の指管理テーブルの一例を説明するための図である。同じ手の指管理テーブルは、管理ＩＤ（手の中心ＩＤ）と関連付けて、指紋ＩＤを含む。同じ手の指管理テーブルは、データ記憶部３０に記憶されている。なお、同じ手の指管理テーブル内のデータは、一定時間経過後に自動的に消去されてもよい。それにより、同じ手の指管理テーブル内のデータを定期的に更新することができる。

ところで、マルチユーザが同時にタッチパネル１０を操作する場合（マルチタッチ操作）、同じ指が動作することで操作方法を決定するため、どの指とどの指が同じ指かを識別する必要がある。そのため、同一指判定部２５は、指紋データ採取ログに記録された指紋データを相互に照らし合わせることによって同一の指を判定し、同じ指管理テーブルに記録する。図１３は、同じ指管理テーブルの一例である。

操作判定部２６は、操作判定テーブルと、図６の指紋データ採取ログと、図１２の同じ手の指管理テーブルと、図１３の同じ指管理テーブルと、を照らし合わせることによって、タッチパネルの操作を判定する。図１４（ａ）は、操作判定テーブルの一例である。図１４（ａ）を参照して、操作判定テーブルは、検出された同一手の指数、時系列変化、および操作を操作Ｎｏ．と関連付けて含む。図１４（ｂ）は、操作Ｎｏ．２の拡大および縮小のタッチ操作を説明するための図である。図１４（ｃ）は、操作Ｎｏ．５のスライドのタッチ操作を説明するための図である。図１４（ｄ）は、操作Ｎｏ．４の回転のタッチ操作を説明するための図である。操作判定テーブルは、データ記憶部３０に記憶されている。タッチパネル１０は、操作判定部２６による判定の結果として得られる操作を実行する。

図１５は、タッチパネルの操作判定方法の処理の一例を説明するためのフローチャートである。図１５のフローチャートは、指紋情報取得部１１によって指紋情報が取得され、指紋データ生成部２２によって指紋データが生成された後に実行される。以下、具体的なデータを用いて、図１５のフローチャートについて説明する。

まず、演算処理部２０は、指紋情報取得部１１によって検出された指の数を保持する値“Ｘ”を初期化（０に設定）する（ステップＳ１）。次に、隆線結合処理部２３は、隆線の曲率が極大値となる点を抽出し、図７（ｂ）の隆線結合データ管理テーブルに記録する（ステップＳ２）。図７（ｂ）の例では、検出された指紋に割り付けられた指紋ＩＤが「０００００００１」に対して、極大値６点（（１０，３０）、（１０，２８）、（１０，２６）、（１０，２４）、（１０，２２）、（１０，２０））が抽出されている。次に、隆線結合処理部２３は、抽出した６点に対して、隆線の形がハの字に開く方向を手の中心方向として、図１０（ｂ）の手の中心方向管理テーブルに記録する。図１０（ｂ）の手の中心方向管理テーブルの例では、指紋ＩＤが「０００００００１」の手の中心方向が２６０度であると記録されている。

次に、同一手判定部２４は、指紋ＩＤが「０００００００１」の手の中心を抽出する（ステップＳ３）。該当する指紋ＩＤが「０００００００１」の曲率の極大値となる点から任意に選択して始点として設定してもよいし、採取した指紋データの中心の位置を設定してもよい。同一手判定部２４は、指紋ＩＤが「０００００００１」の手の中心に許容範囲を持たせて、（０，０）〜（２０，２０）とし、図６の指紋データ採取ログに記録する。

次に、演算処理部２０は、“Ｘ＋１”を値“Ｘ”に代入する（ステップＳ４）。次いで、演算処理部２０は、値“Ｘ”が検出された指の数よりも大きいか否かを判定する（ステップＳ５）。ステップＳ５で「Ｎｏ」と判定された場合、ステップＳ２から再度実行される。

ステップＳ５で「Ｙｅｓ」と判定された場合、同一手判定部２４は、指紋データ採取ログに含まれる手の中心ＩＤを検出し、手の中心領域の少なくとも一部が重複する指を、同一手の指であると判定する（ステップＳ６）。次に、同じ指が短時間で動作したことを識別するために、同一手判定部２４は、指紋データ採取ログに含まれる指紋データを相互に照らし合わせて同じ指を検出し（ステップＳ７）、その検出結果を図１３の同じ指管理テーブルに記録する。図１３の例では、指紋ＩＤが「０００００００１」と「０００００００７」とが同じ指であり、指紋ＩＤが「０００００００２」と「００００００１０」とが同じ指である判定されている。

操作判定部２６は、図１２の同じ手の指管理テーブルと、図１３の同じ指管理テーブルと、図６の指紋データ採取ログに含まれる各指紋ＩＤの位置情報とを照らし合わせることによって、指の動きを判定する。次に、操作判定部２６は、図１４の（ａ）の操作判定テーブルを参照し、操作を判定する（ステップＳ８）。上記例が操作判定テーブルの管理Ｎｏ．１に該当する場合、操作判定部２６は、管理Ｎｏ．１の操作が行われていると判定する。それにより、タッチパネル１０は、画面をスライドさせる。

本実施例によれば、複数のユーザが複数の指を同時にタッチパネルに触れるマルチユーザ・マルチタッチ操作において、位置が近い複数の指紋が検出された場合でも、同じ手の指を識別することができる。それにより、複数のユーザの操作を判定することができる。また、隆線結合線から得られる所定領域を用いて同一手を判定することから、向きが同じ複数の指が検出された場合でも、同じ手の指を識別することができる。また、事前に指紋を登録する必要がないため、利便性低下を抑制することができる。

なお、上記例では、隆線結合線から手の中心領域を取得したが、それに限られない。隆線結合線の方向のいずれかの領域を取得すればよい。また、上記例では、手の中心領域の少なくとも一部が重複する場合に各指が同一手の指であると判定したが、それに限られない。隆線結合線の方向の所定領域が互いに重複していなくても、その位置関係に応じて、複数の指が同一手の指であるか否かを判定してもよい。例えば、隆線結合線の方向の所定点同士が所定距離内である場合、隆線結合線の方向の所定領域同士が所定距離内である場合などに、当該複数の指が同一手の指であると判定してもよい。

（変形例１）
なお、各隆線の曲率が極大値となる点を結ぶ際に、直線が得られない場合がある。その場合、隆線結合処理部２３は、隆線結合線を補正してもよい。例えば、図１６（ａ）および図１６（ｂ）を参照して、隆線の曲率が極大値となる点が、他の点と繋いだ時にずれる場合がある。そこで、隆線結合処理部２３は、３点を繋いだ時の角度（θ）があらかじめ設定した基準値以下の場合に、該当する点との結合処理を行わずに、次の点と結合してもよい。

図１６（ｃ）は、隆線結合処理部２３が隆線結合線を取得する際に実行するフローチャートの一例を説明するための図である。図１６（ｃ）を参照して、隆線結合処理部２３は、指紋データ生成部２２によって検出された隆線の数を保持する値“Ｘ”を初期化（０に設定）する（ステップＳ１１）。次に、隆線結合処理部２３は、隣り合う３本の隆線において、曲率が極大値となる点がなす角度を抽出する（ステップＳ１２）。

次に、隆線結合処理部２３は、３点の角度が基準値θ以下であるか否かを判定する（ステップＳ１３）。ステップＳ１３において「Ｎｏ」と判定された場合、隆線結合処理部２３は、間の１点をとばして端の２点を結ぶ。次いで、隆線結合処理部２３は、“Ｘ＋１”を値“Ｘ”に代入する（ステップＳ１５）。ステップＳ１３において「Ｙｅｓ」と判定された場合、３点を結ぶ（ステップＳ１６）。その後、ステップＳ１５が実行される。

ステップＳ１５の実行後、隆線結合処理部２３は、値“Ｘ”が、検出された隆線の曲率の極大値の数よりも大きいか否かを判定する（ステップＳ１７）。ステップＳ１７で「Ｎｏ」と判定された場合、ステップＳ１２から再度実行される。ステップＳ１７で「Ｙｅｓ」と判定された場合、フローチャートの実行が終了する。本変形例によれば、隆線結合線が手の中心方向に向く精度が向上する。

（変形例２）
なお、隆線結合線を求める際に、指紋中心を用いてもよい。図１７（ａ）は、指紋中心を説明するための図である。図１７（ａ）を参照して、指紋中心は、指紋に含まれる半円状の流れを示す点のことで、コアと呼ばれることもある。渦を巻いた指紋においては、渦の中心が指紋中心である。指紋中心は、入力画像の位置合わせなどに使われる。図１７（ｃ）〜（ｇ）は、指紋中心の例を表す。隆線結合処理部２３は、図１７（ｂ）を参照して、隆線結合線を、指紋中心を用いて補正してもよい。この補正の際には、最小二乗法などを用いることができる。最小二乗法で求まった隆線結合線は、必ずしも指紋中心を通っていなくてもよい。隆線の結合処理に指紋中心情報を適用することにより、手の中心領域を抽出する精度を向上させることができ、同じ手の指識別の精度を向上させることができる。

（変形例３）
指ごとに指紋面積が異なっていることから、手の中心領域を求める際に指紋面積を用いてもよい。例えば、親指の指紋面積は他の指の指紋面積よりも大きくなる。親指と手の中心との距離は、他の指と手の中心との距離よりも大きくなる。この関係を利用して、手の中心領域を求めてもよい。例えば、同一手判定部２４は、指紋面積に応じて、図１１（ｂ）の距離ｄを変更してもよい。

図１８は、指紋面積と、図１１（ｂ）の距離ｄとの関係を記録する距離管理テーブルの一例を説明するための図である。図１８を参照して、距離管理テーブルは、管理ＩＤと関連付けて、指紋面積および距離ｄを含む。距離管理テーブルは、あらかじめ設定しておくことができる。指紋面積の計算方法は、特に限定されるものではない。本変形例によれば、距離ｄを適切に変更できることから、手の中心領域の検出精度を向上させることができる。

（変形例４）
なお、指紋面積が比較的小さい場合には、親指以外の指が検出されていると判定することができる。親指以外の指を用いる操作としては、スクロールなどが考えられる。この場合、同じ手の指は、互いに近い箇所に配置されていることが考えられる。そこで、手の中心領域を抽出する過程を省略してもよい。例えば、同じ手の指の隆線間隔が近似している特性を利用することができる。例えば、採取した指紋の面積が比較的小さい場合において、当該指紋の近傍（所定距離内）に隆線間隔が近似する指紋が検出された場合は、同じ手の指と判定してもよい。なお、隆線間隔は、図６の指紋データ採取ログに記録されている。

図１９は、本変形例におけるタッチパネルの操作判定方法の処理を表すフローチャートである。図１９のフローチャートは、指紋情報取得部１１によって指紋情報が取得され、指紋データ生成部２２によって指紋データが生成された後に実行される。

まず、演算処理部２０は、指紋情報取得部１１によって検出された指の数を保持する値“Ｘ”を初期化（０に設定）する（ステップＳ２１）。次に、同一手判定部２４は、指紋情報取得部１１によって取得された指紋の面積がしきい値以上であるか否かを判定する（ステップＳ２２）。ステップＳ２２において「Ｙｅｓ」と判定された場合、演算処理部２０の各部は、図１５のステップＳ２〜ステップＳ８と同様の処理を実行する。

ステップＳ２２において「Ｎｏ」と判定された場合、同一手判定部２４は、当該指紋と所定距離内で検出されかつ隆線間隔が近似する（隆線間隔差が所定値以下の）指紋に係る指は、当該指紋の指と同一手の指であると判定する（ステップＳ２３）。その後、演算処理部２０は、ステップＳ８を実行する。本変形例によれば、処理を簡素化することができる。

（変形例５）
変形例４では隆線間隔を用いたが、乾燥状態を用いてもよい。図２０（ａ）〜図２０（ｃ）は、同じ指の乾燥状態を説明するための図である。図２０（ａ）は乾燥した状態の指紋画像を表し、図２０（ｂ）は良好な状態の指紋画像を表し、図２０（ｃ）は湿潤の状態の指紋画像を表す。これらの乾燥状態は、数値化することができる。

一般的に、同じ手の指の乾燥状態は、同時間帯において近似している。この特性を用いることによって、処理の効率化を図ることができる。例えば、採取した指紋の面積が比較的小さい場合において、当該指紋の近傍に乾燥状態が近似する指紋が検出された場合は、同じ手の指と判定してもよい。なお、乾燥状態は、図６の指紋データ採取ログに数値化されて記録されている。

図２１は、本変形例におけるタッチパネルの操作判定方法の処理をフローチャートである。図２１のフローチャートは、指紋情報取得部１１によって指紋情報が取得され、指紋データ生成部２２によって指紋データが生成された後に実行される。

まず、演算処理部２０は、指紋情報取得部１１によって検出された指の数を保持する値“Ｘ”を初期化（０に設定）する（ステップＳ３１）。次に、同一手判定部２４は、指紋情報取得部１１によって取得された指紋の面積がしきい値以上であるか否かを判定する（ステップＳ３２）。ステップＳ３２において「Ｙｅｓ」と判定された場合、演算処理部２０の各部は、図１５のステップＳ２〜ステップＳ８と同様の処理を実行する。

ステップＳ３２において「Ｎｏ」と判定された場合、同一手判定部２４は、当該指紋と所定距離内で検出されかつ乾燥状態が近似する（乾燥状態の数値差が所定値以下の）指紋に係る指は、当該指紋の指と同一の手の指であると判定する（ステップＳ３３）。その後、演算処理部２０は、ステップＳ８を実行する。本変形例によれば、処理を簡素化することができる。

（変形例６）
各指の角度を用いて、手の中心領域を求めてもよい。図２２（ａ）〜図２２（ｃ）は、タッチパネル操作の際の各指がなす角度について説明するための図である。図２２（ａ）を参照して、拡大または縮小操作をする際の、親指と人差し指とがなす角度は、一例として２５度程度である。図２２（ｂ）を参照して、スクロール操作をする際の、人差し指と中指とがなす角度は、一例として０度程度である。図２２（ｃ）を参照して、回転操作をする際の、親指と人差し指とがなす角度は、一例として４５度程度である。

このように、２つの指がなす角度が０度に近い場合、ユーザは人差し指および中指を使って操作していると推測できる。この場合、２本の指の指紋から手の中心領域までの距離がほぼ同じであると考えられる。一方で、２つの指がなす角度が大きい場合、ユーザは親指および人差し指を使って操作していると推測できる。この場合、右利きのユーザの場合、ユーザからタッチパネルに向かって左側に親指が配置され、右側に人差し指が配置される。以上の点を利用することによって、同一手判定部２４は、図１１（ｂ）の距離ｄを変更することができる。

図２３は、距離管理テーブルの他の例を説明するための図である。図２３を参照して、距離管理テーブルは、管理ＩＤと関連付けて、２本の指がなす角度および距離ｄを含む。距離管理テーブルは、あらかじめ設定しておくことができる。例えば、ユーザからタッチパネルに向かって左側を大角度側と設定し、右側を低角度側と設定しておくことによって、親指と人差し指との関係を定めておくことができる。なお、２本の指の角度の求め方は、特に限定されるものではない。例えば、採取した指紋の近傍の位置にある指紋、隆線間隔が近似する指紋、指の乾燥状態が近い指紋同士で２つの指の角度を算出することができる。

（変形例７）
異なるユーザの指が近
い位置に配置された場合に、いずれかのユーザの操作を無効化してもよい。図２４は、複数のユーザの指が近い位置に配置された場合を説明するための図である。図２４を参照して、同一手の２本の指の間に、他のユーザの指が配置されてしまうことがある。この場合、操作判定部２６は、上記他のユーザの指による操作を無効化することによって、タッチパネル１０に対する操作矛盾および誤作動を抑制することができる。

図２５は、無効化パターンテーブルの一例を説明するための図である。図２５を参照して、無効化パターンテーブルは、管理ＩＤと関連付けて、無効化パターンを含む。例えば、同一手の２つの指の間に、異なる手の指紋が１つ検出された場合、操作判定部２６は、異なる点の操作を無効化する。この場合、同一手の２本の指による操作は実行してもよい。または、同一手の２本の指の間に、異なる同一手の指紋が２つ検出された場合、操作判定部２６は、２つの指紋を挟む２本の指による操作を無効化する。この場合、間に挟まれた２本の指による操作は実行してもよい。

なお、異なる手の指か否かは、手の中心領域が一致するか否かに応じて判定してもよく、隆線間隔が近似するか否かに応じて判定してもよく、乾燥状態が近似するか否かに応じて判定してもよい。また、無効化する際に、図２４のような２本の指のなす角度の組み合わせパターンを用いてもよい。また、２本の指の間で検出された指紋の近傍に指の角度の組み合わせ条件に合致する指紋が検出された場合、指の間に検出された指紋と近傍に検出された指の角度の組み合わせパターンに合致する指の組み合わせの操作を無効化してもよい。

図２６（ａ）は、実施例２に係るタッチパネル装置１００ａの機能ブロック図である。タッチパネル装置１００ａが図４（ａ）のタッチパネル装置１００と異なる点は、タッチパネル１０が関節情報取得部１２をさらに備える点である。関節情報取得部１２は、赤外線センサなどであり、タッチパネル１０に触れた指の表面形状を取得する。それにより、関節情報取得部１２は、関節の位置情報を取得することができる。図２６（ｂ）は、タッチパネル装置１００ａのハードウェア構成を説明するためのブロック図である。

図２７（ａ）は、関節情報取得部１２によって取得された指の表面形状の一例を説明するための図である。図２７（ａ）を参照して、指の関節は、線として認識される。したがって、この線を隆線と異なる基準で識別することによって、関節位置情報を取得することができる。一例として、長さが所定値以上で、傾きが所定値以下の線を関節として取得することができる。識別方法は特に限定されるものではなく、任意の方法を用いてもよい。

関節情報取得部１２は、関節領域管理テーブルに、関節位置情報として、関節領域と、関節と関節との中点とを記録する。図２７（ｂ）は、関節領域管理テーブルの一例を説明するための図である。図２７（ｂ）を参照して、関節領域管理テーブルは、管理ＩＤと関連付けて、関節領域および関節中点を含む。関節領域管理テーブルは、データ記憶部３０に記憶されている。

本実施例においては、隆線結合処理部２３は、図２７（ｂ）の関節領域管理テーブルに記録された関節位置情報情報を用いて隆線結合を行う。例えば、図２７（ｃ）を参照して、隆線結合線を、関節領域を通るように補正してもよい。隆線結合線が関節中点を通れば、手の中心領域の検出精度が向上する。図２７（ｃ）の例では、（１，５）〜（１０，５）の関節領域の関節中点（５，５）を通るように、隆線結合線を補正する。

（変形例）
図２８（ａ）を参照して、親指の関節は１つである。親指以外の指の関節は２つである。一方で、親指と手の中心との距離は、他の指と手の中心との距離よりも大きい。この関係を利用して、手の中心領域を求めてもよい。例えば、検出された関節数に応じて、図１１（ｂ）の距離ｄを変更してもよい。図２８（ｂ）は、関節数と距離ｄとの関係を記録する距離管理テーブルの一例を説明するための図である。図２８（ｂ）を参照して、距離管理テーブルは、管理ＩＤと関連付けて、関節数および距離ｄを含む。距離管理テーブルは、あらかじめ設定しておくことができる。本変形例によれば、距離ｄを適切に変更できることから、手の中心領域の検出精度を向上させることができる。なお、関節数は、指紋のいずれかの箇所から手の中心方向に所定距離内において検出された数とすることができる。

なお、上記各例において、指紋データ生成部２２が、複数の指の指紋の隆線を検出する隆線検出部として機能する。また、同一手判定部２４が、隆線検出部が検出する各隆線の所定点を結ぶ隆線結合線の方向の所定領域を指ごとに検出する領域検出部として機能する。また、操作判定部２６が、操作判定部および実施判定部として機能する。

以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（付記）
（付記１）
指紋の隆線を検出する隆線検出部と、
前記隆線検出部が検出する各隆線の所定点を結ぶ隆線結合線の方向の所定領域を複数の指に対して検出する領域検出部と、
前記領域検出部が検出する領域の位置関係が所定条件を満たす場合に、前記複数の指の操作を判定する操作判定部と、を備えることを特徴とするタッチパネル装置。
（付記２）
前記操作判定部は、前記領域検出部が検出する複数の領域の少なくとも一部が重複する場合に、前記複数の指の操作を判定することを特徴とする付記１記載のタッチパネル装置。
（付記３）
前記隆線結合線は、各隆線において曲率が極大となる点を結ぶ線であることを特徴とする付記１または２記載のタッチパネル装置。
（付記４）
前記領域検出部が検出する所定領域は、前記隆線結合線の方向において、前記指紋のいずれかの箇所から所定距離の点を含む領域であることを特徴とする付記１〜３のいずれかに記載のタッチパネル装置。
（付記５）
前記領域検出部は、指紋の面積に応じて、前記所定距離を変更することを特徴とする付記４記載のタッチパネル装置。
（付記６）
前記領域検出部は、２本の指から求まる隆線結合線の角度差を用いて、前記所定距離を変更することを特徴とする付記４記載のタッチパネル装置。
（付記７）
前記領域検出部は、前記隆線結合線の方向において、前記指紋のいずれかの箇所からの距離が所定値以内における指の関節数に応じて、前記所定距離を変更することを特徴とする付記４記載のタッチパネル装置。
（付記８）
前記領域検出部は、指紋中心を用いて前記隆線結合線を補正した上で、前記所定領域を検出することを特徴とする付記１〜７のいずれかに記載のタッチパネル装置。
（付記９）
前記領域検出部は、指の関節を通るように前記隆線結合線を補正した上で、前記所定領域を検出することを特徴とする付記１〜８のいずれかに記載のタッチパネル装置。
（付記１０）
指紋の面積が所定値以下である場合に、前記領域検出部は前記所定領域を検出する過程を省略し、前記操作判定部は所定距離内の複数の指のうち隆線間隔の差が所定値以下となる複数の指の操作を判定することを特徴とする付記１〜９のいずれかに記載のタッチパネル装置。
（付記１１）
指紋の面積が所定値以下である場合に、前記領域検出部は前記所定領域を検出する過程を省略し、前記操作判定部は所定距離内の複数の指のうち数値化された乾燥状態の差が所定値以下となる複数の指の操作を判定することを特徴とする付記１〜９のいずれかに記載のタッチパネル装置。
（付記１２）
前記操作判定部によって判定された操作を実施するか否かを判定する実施判定部を備え、
前記実施判定部は、前記領域検出部が検出する所定領域が所定条件を満たす２つの指の間に、前記領域検出部が検出する所定領域が前記所定条件を満たさない指が挟まれている場合に、前記２つの指の間に挟まれた指の操作を実施しないと判定することを特徴とする付記１〜１１のいずれかに記載のタッチパネル装置。
（付記１３）
前記操作判定部によって判定された操作を実施するか否かを判定する実施判定部を備え、
前記実施判定部は、前記領域検出部が検出する所定領域が所定条件を満たす２つの指の間に、当該２本の指の隆線間隔との差が所定値以上となる指が配置されている場合に、前記２つの指の間に挟まれた指の操作を実施しないと判定することを特徴とする付記１〜１１のいずれかに記載のタッチパネル装置。
（付記１４）
前記操作判定部によって判定された操作を実施するか否かを判定する実施判定部を備え、
前記実施判定部は、前記領域検出部が検出する所定領域が所定条件を満たす２つの指の間に、当該２本の指の乾燥状態との差が所定値以上となる指が配置されている場合に、前記２つの指の間に挟まれた指の操作を実施しないと判定することを特徴とする付記１〜１１のいずれかに記載のタッチパネル装置。
（付記１５）
前記操作判定部によって判定された操作を実施するか否かを判定する実施判定部を備え、
前記実施判定部は、２本の指から求まる隆線結合線の角度差が所定範囲にない場合に、前記操作判定部によって判定された操作を実施しないと判定することを特徴とする付記１〜１１のいずれかに記載のタッチパネル装置。
（付記１６）
前記操作判定部によって判定された操作を実施するか否かを判定する実施判定部を備え、
前記実施判定部は、２本の指の間で検出された指紋の近傍に指の角度の組み合わせ条件に合致する指紋が検出された場合、指の間に検出された指紋と近傍に検出された指の角度の組み合わせパターンに合致する指の組み合わせの操作を実施しないと判定することを特徴とする付記１〜１１のいずれかに記載のタッチパネル装置。
（付記１７）
指紋の隆線を検出する隆線検出ステップと、
前記隆線検出ステップにおいて検出された各隆線の所定点を結ぶ隆線結合線の方向の所定領域を複数の指に対して検出する領域検出ステップと、
前記領域検出ステップにおいて検出された領域の位置関係が所定条件を満たす場合に、前記複数の指の操作を判定する操作判定ステップと、を含むことを特徴とする操作判定方法。
（付記１８）
コンピュータに、
指紋の隆線を検出する隆線検出ステップと、
前記隆線検出ステップにおいて検出された各隆線の所定点を結ぶ隆線結合線の方向の所定領域を複数の指に対して検出する領域検出ステップと、
前記領域検出ステップにおいて検出された領域の位置関係が所定条件を満たす場合に、前記複数の指の操作を判定する操作判定ステップと、を実行させることを特徴とする操作判定プログラム。

１０ タッチパネル
１１ 指紋情報取得部
１２ 関節情報取得部
２０ 演算処理部
２１ 画像処理部
２２ 指紋データ生成部
２３ 隆線結合処理部
２４ 同一手判定部
２５ 同一指判定部
２６ 操作判定部
３０ データ記憶部
４０ 電源供給部
１００ タッチパネル装置

Claims (10)

1. 指紋の隆線を検出する隆線検出部と、
   前記隆線検出部が検出する各隆線の所定点を結ぶ隆線結合線の方向の所定領域を複数の指に対して検出する領域検出部と、
   前記領域検出部が検出する領域の位置関係が所定条件を満たす場合に、前記複数の指の操作を判定する操作判定部と、を備えることを特徴とするタッチパネル装置。
2. 前記操作判定部は、前記領域検出部が検出する複数の領域の少なくとも一部が重複する場合に、前記複数の指の操作を判定することを特徴とする請求項１記載のタッチパネル装置。
3. 前記隆線結合線は、各隆線において曲率が極大となる点を結ぶ線であることを特徴とする請求項１または２記載のタッチパネル装置。
4. 前記領域検出部が検出する所定領域は、前記隆線結合線の方向において、前記指紋のいずれかの箇所から所定距離の点を含む領域であることを特徴とする請求項１〜３のいずれかに記載のタッチパネル装置。
5. 前記領域検出部は、指紋の面積に応じて、前記所定距離を変更することを特徴とする請求項４記載のタッチパネル装置。
6. 前記領域検出部は、２本の指から求まる隆線結合線の角度差を用いて、前記所定距離を変更することを特徴とする請求項４記載のタッチパネル装置。
7. 前記領域検出部は、前記隆線結合線の方向において、前記指紋のいずれかの箇所からの距離が所定値以内における指の関節数に応じて、前記所定距離を変更することを特徴とする請求項４記載のタッチパネル装置。
8. 前記領域検出部は、指紋中心を用いて前記隆線結合線を補正した上で、前記所定領域を検出することを特徴とする請求項１〜７のいずれかに記載のタッチパネル装置。
9. 指紋の隆線を検出する隆線検出ステップと、
   前記隆線検出ステップにおいて検出された各隆線の所定点を結ぶ隆線結合線の方向の所定領域を複数の指に対して検出する領域検出ステップと、
   前記領域検出ステップにおいて検出された領域の位置関係が所定条件を満たす場合に、前記複数の指の操作を判定する操作判定ステップと、を含むことを特徴とする操作判定方法。
10. コンピュータに、
    指紋の隆線を検出する隆線検出ステップと、
    前記隆線検出ステップにおいて検出された各隆線の所定点を結ぶ隆線結合線の方向の所定領域を複数の指に対して検出する領域検出ステップと、
    前記領域検出ステップにおいて検出された領域の位置関係が所定条件を満たす場合に、前記複数の指の操作を判定する操作判定ステップと、を実行させることを特徴とする操作判定プログラム。

Images