JP2008305244A

JP2008305244A - タッチパネルスイッチの操作パターン検出システム

Info

Publication number: JP2008305244A
Application number: JP2007152874A
Authority: JP
Inventors: Mitsuo Hagyuda; 満夫萩生田
Original assignee: Calsonic Kansei Corp
Current assignee: Marelli Corp
Priority date: 2007-06-08
Filing date: 2007-06-08
Publication date: 2008-12-18

Abstract

【課題】各種の操作を、複雑な判断ロジックを用いないで検知することができ、より直感的に操作する楽しさをユーザーに提供することができるタッチパネルスイッチの操作パターン検出システムを提供すること。
【解決手段】タッチパネルスイッチ１へのタッチ入力によりタッチ入力面にタッチ入力の軌跡として描くように形成される操作パターンを検出するタッチパネルスイッチ１の操作パターン検出システムであって、タッチ入力の軌跡が、予め記憶した複数の操作パターンのいずれに該当するかを、レーベンシュタイン距離を用いて判断認識した。
【選択図】図１

Description

本発明は、タッチパネルスイッチの操作パターン検出システムの技術分野に属する。

従来では、検知可能な操作点座標に操作原点に対する方向角と速度を設定し、一の操作点座標が検知されると、一の操作点座標に設定された方向角と速度に沿って、一の操作点座標の継続的な検知が解除されるまで、ポインタの移動等の画面の座標操作を行うようにして、ポインタを移動させるために何度もタッチパッドを繰り返して撫でる操作を不要にしている（例えば、特許文献１参照。）。

また、タッチセンサは、操作面に平行に配置され、かつ、入力ポイントのＹ方向の座標の検出をするためのＹ座標検出用導電部と電気的に接続された第１透明導電膜と、第１透明導電膜に対向するように配置され、且つ入力ポイントのＹ方向の座標の検出を行うＹ座標検出用導電部と電気的に接続された第２透明導電膜と、第１透明導電膜と第２透明導電膜との間に設けられた誘電体層と、第１透明導電膜及び第２透明導電膜のうち選択された一方に電圧を印加するスイッチング回路とを備え、Ｘ方向及びＹ方向に広がる操作面内における外部からの入力ポイントを静電容量結合方式により検出しているものもある（例えば、特許文献２参照。）。
特開２００３−２８０８０７号公報（第２−１０頁、全図）特開２００３−１７３２３８号公報（第２−７頁、全図）

しかしながら、従来にあっては、タッチパネルスイッチは人差し指１本での操作が基本であり、１タッチ、長押しの操作方法が基本である。パソコン上のマウスでのドラッグアンドドロップ操作にあたるような操作にバリエーションを持たせて、回転、波線、Ｓ字、への字などの操作を認識させるには、複雑な解析方法を必要としていたため問題であった。

この点について詳しく説明する。
例えば、回転、波線、Ｓ字、への字などの操作を認識させるには、タッチ点座標（X1,Y1）〜(Xn-1,Yn-1)と時間(t0〜tn)の３つの変量と、タッチ開始点(X0,Y0)、タッチ終了点(Xn,Yn)を総合的に判断し、操作を解析する必要がある点が困難で問題となっていた。

本発明は、上記問題点に着目してなされたもので、その目的とするところは、各種の操作を、複雑な判断ロジックを用いないで検知することができ、より直感的に操作する楽しさをユーザーに提供することができるタッチパネルスイッチの操作パターン検出システムを提供することにある。

上記目的を達成するため、本発明では、タッチパネルスイッチへのタッチ入力によりタッチ入力面にタッチ入力の軌跡として描くように形成される操作パターンを検出するタッチパネルスイッチの操作パターン検出システムであって、タッチ入力の軌跡が、予め記憶した複数の操作パターンのいずれに該当するかを、レーベンシュタイン距離を用いて判断認識した、ことを特徴とする。

よって、本発明にあっては、タッチパネルスイッチの形状を生かした各種の操作を、複雑な判断ロジックを用いないで検知することができ、より直感的に操作する楽しさをユーザーに提供することができる。

以下、本発明のタッチパネルスイッチの操作パターン検出システムを実現する実施の形態を、請求項１，２，３に係る発明に対応する実施例１に基づいて説明する。

まず、構成を説明する。
図１は実施例１のタッチパネルスイッチの操作パターン検出システムのブロック図である。
実施例１のタッチパネルスイッチの操作パターン検出システムは、タッチパネルスイッチ１と操作パターン認識部２を主要な構成としている。
タッチパネルスイッチ１は、検出面となるタッチパネルへの操作者の指の近接位置又は接触位置を入力座標位置として検出する操作入力手段である。例として、操作者の指の近接又は接触による静電容量の変化により操作入力を検出する特開２００３−１７３２３８の静電容量方式を挙げ、詳細な説明を省略する。
なお、静電容量方式の場合には、タッチしている地点の重心がただ１点のみ検出できるものとし、タッチされたかどうかと、その重心座標が１点検出される方式のセンサとする。

操作パターン認識部２は、タッチパネルスイッチ１からのＸＹ方向の操作座標から、操作パターンの判断処理を行う部分である。この処理は、ソフトによる処理であっても又はハードによる処理であってもよい。
なお、操作パターン認識部２はCPUや記憶部を備えた制御コントローラである。

作用を説明する。
[タッチパネルスイッチの操作パターン検出処理]
図２に示すのは、実施例１のタッチパネルスイッチの操作パターン検出システムの操作パターン認識部２で実行する操作パターン検出処理の流れを示すフローチャートで、以下各ステップについて説明する。

ステップＳ１では、タッチスタート地点(PX0,PY0)、現在のタッチ地点(PX0,PY0)、スタート後で過去のタッチ軌跡(PXn-m,PYn-m)をタッチパネルスイッチ１から取得する。

ステップＳ２では、タッチパネルスイッチ１の各エリアごとに、タッチ軌跡から水平成分(X)と垂直成分(Y)の正接（タンジェント）をとり、勾配θを求める。

ステップＳ３では、各エリアごとに勾配θを近似により、８方向の文字列(Ａ〜Ｈ)に変換する。

ステップＳ４では、軌跡の配列データとテンプレート配列文字データのレーベンシュタイン距離を求める。

ステップＳ５では、各テンプレート配列文字データとのレーベンシュタイン距離が最小なものをその操作とする。

[タッチパネルスイッチの操作パターン検出作用]
図３は実施例１のタッチパネルスイッチの操作パターン検出システムの軌跡勾配と設定された文字列の関係を示す説明図である。
図４は実施例１のタッチパネルスイッチの操作パターン検出システムの軌跡勾配と近似値、設定された文字列の関係を示す表を示す説明図である。

実施例１では、タッチパネルスイッチ１の操作面を検出座標により水平成分（Ｘ成分）、垂直成分（Ｙ成分）とした際に、図３に示すように、８方向をＡ〜Ｈの文字列として設定する。
つまり、操作軌跡の水平成分（Ｘ成分）、垂直成分（Ｙ成分）から正接（タンジェント）により求める勾配θが、３３７．５度を超えて２２．５度以下の場合を近似値０度として、文字列Ａとする。

次に、勾配θが、２２．５度を超えて６７．５度以下の場合に近似値４５度として、文字列Ｂとする。
次に、勾配θが、６７．５度を超えて１１２．５度以下の場合に近似値９０度として、文字列Ｃとする。
次に、勾配θが、１１２．５度を超えて１５７．５度以下の場合に近似値１３５度として、文字列Ｄとする。

次に、勾配θが、１５７．５度を超えて２０２．５度以下の場合に近似値１８０度として、文字列Ｅとする。
次に、勾配θが、２０２．５度を超えて２４７．５度以下の場合に近似値２２５度として、文字列Ｆとする。
次に、勾配θが、２４７．５度を超えて２９２．５度以下の場合に近似値２７０度として、文字列Ｇとする。
次に、勾配θが、２９２．５度を超えて３３７．５度以下の場合に近似値３１５度として、文字列Ｈとする。

次に実施例１のタッチパネルスイッチの操作パターン検出システムでは、予め、操作パターンのテンプレートを用意する。
図５〜図７は実施例１のタッチパネルスイッチの操作パターン検出システムの操作パターンのテンプレート配列文字データの説明図である。
実施例１では、タッチパネルスイッチのタッチエリア３の全体を水平方向に８つ、垂直方向に８つの６４の小エリア３１に分割する。
そして、図５(a)〜(e)、図６(a)〜(e)、図７(a)〜(e)に示す操作パターン４１〜５５のそれぞれについて、６４の小エリア３１がそれぞれ、文字列Ａ〜Ｈ及び空白のどれにあたるかを予め設定しておく。

つまり、６４個の小エリア３１が、文字列Ａ〜Ｈ及び空白の組合せによるテンプレート配列文字データを構成し、それぞれ予め設定し記憶しているものとする。
次に実施例１のタッチパネルスイッチの操作パターンの検出について説明する。
まず、タッチスタート地点を(PX0,PY0)として、現在タッチしている地点を(PXn,PYn)として、過去の軌跡データｍ個分を新しいものから順に(PXn-1,PYn-1),(PXn-2,PYn-2),(PXn-3,PYn-3)・・・(PXn-m,PYn-m)とし、操作パターン認識部２がタッチパネルスイッチ１からデータを取得する（ステップＳ１）。

次に、タッチエリア全体を８×８の６４個に分割し、各エリアごとのタッチ軌跡、つまり各小エリア３１における入口〜出口までのタッチ地点の軌跡から、水平成分(X),垂直成分(Y)の正接（タンジェント）をとることで、軌跡の勾配(θ)を計算する（ステップＳ２）。
そして、各小エリア３１ごとの軌跡の勾配(θ)を近似により、８方向の文字列（Ａ〜Ｈ、空白）に変換する（ステップＳ３）。

次に、６４個の小エリア３１の軌跡の配列文字データと、図５(a)〜(e)、図６(a)〜(e)、図７(a)〜(e)のテンプレート配列文字データのレーベンシュタイン距離を求める（ステップＳ４）。

ここで、レーベンシュタイン距離について説明する。
レーベンシュタイン距離とは、編集距離とも言われ、情報理論において、二つの文字列がどの程度異なっているかを数値で示したものである。
より具体的に説明すると、文字の挿入、削除、置換によって、一つの文字列を別の文字列に変形するのに必要な手順の最小回数として与えられるものである。
例として、「kitten」という文字列と、「sitting」という文字列間のレーベンシュタイン距離の計算を示す。第１手順では、「k」を「s」に置換する。つまり「sitten」となる。第２手順では、「e」を「i」に置換する。つまり、「sittin」となる。第３手順では、「g」を挿入する。つまり、「sitting」となる。
この例では、最低でも３回の手順が必要となるので、「kitten」という文字列と、「sitting」という文字列間のレーベンシュタイン距離は、３となる。

そして、８×８で６４個の小エリア３１の行方向のそれぞれのレーベンシュタイン距離、列方向のそれぞれのレーベンシュタイン距離を求める。
次に、行方向のレーベンシュタイン距離の平均、列方向のレーベンシュタイン距離の平均を求め、小さい方の値を採用する。
これにより、予め記憶しているテンプレート配列文字データとのマッチング処理とし、最も近い操作パターンの操作であると認識する（ステップＳ５）。

図８〜図１１は実施例１のタッチパネルスイッチの操作パターン検出システムの軌跡の配列文字データとテンプレート配列文字データのレーベンシュタイン距離によるマッチングの状態を示す説明図である。
図８〜図１１には、軌跡の配列文字データの操作パターン８１〜９０を示す。
図１１(b)のデータを例に説明する。
図１１の６４個の小エリア３１で得たデータ、つまり軌跡の配列文字データは、図１１(b)の通りである。

そして、この軌跡の配列文字データに対して、図７(b)に示した円弧のテンプレート配列文字データとの行方向（横方向）のレーベンシュタイン距離の各行の値を符号６に示す。
また、列方向（縦方向）のレーベンシュタイン距離の各列の値を符号７に示す。
そして、行方向のレーベンシュタイン距離の平均値を符号６１に、列方向のレーベンシュタイン距離の平均値を符号７１に示す。
この場合には、行方向のレーベンシュタイン距離の平均値は１．７５であり、列方向のレーベンシュタイン距離の平均値は１．８７５である。

次に、図１１(b)に示す、この軌跡の配列文字データに対して、図６(d)に示したへの字のテンプレート配列文字データとの行方向（横方向）のレーベンシュタイン距離の各行の値を符号６２に示す。
また、列方向（縦方向）のレーベンシュタイン距離の各列の値を符号７２に示す。
そして、行方向のレーベンシュタイン距離の平均値を符号６３に、列方向のレーベンシュタイン距離の平均値を符号７３に示す。
この場合には、行方向のレーベンシュタイン距離の平均値は２．２５であり、列方向のレーベンシュタイン距離の平均値は２．０である。

そして、行方向、列方向で、小さい値を選択すると、円弧とのレーベンシュタイン距離が１．７５、への字とのレーベンシュタイン距離が２．０である。よって、よりレーベンシュタイン距離が小さい円弧の操作パターン９０に該当すると認識される。そして、他の操作パターンとも比較を行い、操作パターンの認識を行う。
この認識結果は、操作パターン認識部２から出力され、所定の操作パターンの入力があったとして、制御や出力、表示などが行われる。

このように実施例１のタッチパネルスイッチ１の操作パターン検出システムでは、タッチパネルスイッチ１の利点を生かした各種の複雑な操作を検出し、より直感的な操作を判断する。つまり、図５(a),(b)のような円の操作、図５(c),図６(a)のような波型（Ｓ字）の操作、図５(d),(e),図６(b),(c),図７(a),(c),(d)のような直線の操作、図６(d),図７(e)のようなへの字の操作、図７(b)のような円弧の操作の判断である。

なお、この操作パターンの検出には、テンプレート化された文字配列データを用意するだけで、その他に特別なハードウェアを追加することがないので、安価に実現可能となる。
また、操作軌跡の追加削除、変更は、テンプレート化された文字配列データを追加削除、変更するだけなので、システムの変更を容易に行える。
さらに、テンプレートデータを文字配列にすることで、テンプレートデータが多くなった場合でも、各種圧縮の技術がそのまま使用でき、メモリ上の制限や、判断ロジックの高速化に優位となる。

次に、効果を説明する。
実施例１のタッチパネルスイッチの操作パターン検出システムにあっては、下記に列挙する効果を得ることができる。

(1)タッチパネルスイッチ１へのタッチ入力によりタッチ入力面にタッチ入力の軌跡として描くように形成される操作パターンを検出するタッチパネルスイッチ１の操作パターン検出システムであって、タッチ入力の軌跡が、予め記憶した複数の操作パターンのいずれに該当するかを、レーベンシュタイン距離を用いて判断認識したため、各種の操作を、複雑な判断ロジックを用いないで検知することができ、より直感的に操作する楽しさをユーザーに提供することができる。

(2)タッチ入力の軌跡を文字列データに変換し、予め記憶した複数の操作パターンの文字列データとのレーベンシュタイン距離から、タッチ入力の軌跡が、予め記憶した複数の操作パターンのいずれに該当するかを、判断認識したため、文字列間の変換手順を距離とするレーベンシュタイン距離により、最も近い距離となる操作パターンを判定するように認識することで、正確にタッチ入力による操作パターンを検出し、各種の操作を、複雑な判断ロジックを用いないで検知することができ、より直感的に操作する楽しさをユーザーに提供することができる。

(3)タッチパネルスイッチ１へのタッチ入力から入力の軌跡を検知する操作パターン認識部２で行うステップＳ１の処理と、タッチパネルスイッチ１のタッチ入力面３を行列状の複数の小エリア３１からなるものと想定し、小エリア３１における軌跡データの通過方向を予め設定した数の方向と判断する操作パターン認識部２で行うステップＳ２の処理と、小エリア３１の通過方向を予め設定した単数又は複数の文字データに変換し、行列状の文字列データを形成する操作パターン認識部２で行うステップＳ３の処理と、タッチ入力の軌跡で形成される複数の操作パターンを、小エリア３１の通過方向で変換した行列状の文字列データとして記憶し、文字データ変換手段により形成された文字列データと、文字列配列パターン記憶手段に記憶した文字列データのレーベンシュタイン距離を演算する操作パターン認識部２で行うステップＳ４の処理と、レーベンシュタイン距離の短さにより、文字列配列パターン記憶手段で記憶する複数の操作パターンの中から、タッチ入力の軌跡で入力された操作パターンを認識する操作パターン認識部２で行うステップＳ５の処理を備えたため、タッチ入力面を格子状に仕切ったものとし、仕切った小エリアごとでのタッチ軌跡の通過方向を演算し、その方向を文字に変換し、行列状、つまり縦横の文字列データを構成し、この縦横の文字列と、操作パターンに小エリアを設定した縦横の文字列との変換手順を距離とするレーベンシュタイン距離により、最も近い距離となる操作パターンを判定するように認識することで、正確にタッチ入力による操作パターンを検出し、各種の操作を、複雑な判断ロジックを用いないで検知することができ、より直感的に操作する楽しさをユーザーに提供することができる。

(4)レーベンシュタイン距離は、第１の文字列から第２の文字列へ変更する際の最低手順数を、第１文字列と第２文字列の距離とするものであるため、タッチ入力による操作パターンの認識を、文字列間のレーベンシュタイン距離の遠近で判別して認識処理する。そのため非常に簡略化された処理になる。よって、各種の操作を、複雑な判断ロジックを用いないで検知することができる。

以上、本発明のタッチパネルスイッチ１の操作パターン検出システムを実施例１に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
実施例１のテンプレート配列文字データは、操作パターン認識部２で記憶したが、操作パターン認識部２の外部に記憶させたものであってもよい。

実施例１のタッチパネルスイッチの操作パターン検出システムのブロック図である。実施例１のタッチパネルスイッチの操作パターン検出システムの操作パターン認識部２で実行する操作パターン検出処理の流れを示すフローチャートである。実施例１のタッチパネルスイッチの操作パターン検出システムの軌跡勾配と設定された文字列の関係を示す説明図である。実施例１のタッチパネルスイッチの操作パターン検出システムの軌跡勾配と近似値、設定された文字列の関係を示す表を示す説明図である。実施例１のタッチパネルスイッチの操作パターン検出システムの操作パターンのテンプレート配列文字データの説明図である。実施例１のタッチパネルスイッチの操作パターン検出システムの操作パターンのテンプレート配列文字データの説明図である。実施例１のタッチパネルスイッチの操作パターン検出システムの操作パターンのテンプレート配列文字データの説明図である。実施例１のタッチパネルスイッチの操作パターン検出システムの軌跡の配列文字データとテンプレート配列文字データのレーベンシュタイン距離によるマッチングの状態を示す説明図である。実施例１のタッチパネルスイッチの操作パターン検出システムの軌跡の配列文字データとテンプレート配列文字データのレーベンシュタイン距離によるマッチングの状態を示す説明図である。実施例１のタッチパネルスイッチの操作パターン検出システムの軌跡の配列文字データとテンプレート配列文字データのレーベンシュタイン距離によるマッチングの状態を示す説明図である。実施例１のタッチパネルスイッチの操作パターン検出システムの軌跡の配列文字データとテンプレート配列文字データのレーベンシュタイン距離によるマッチングの状態を示す説明図である。

符号の説明

１タッチパネルスイッチ
２操作パターン認識部
３タッチエリア（タッチ入力面）
３１小エリア
４１〜５５（テンプレート配列文字データの）操作パターン
８１〜９０（軌跡の配列文字データの）操作パターン
６行方向（横方向）のレーベンシュタイン距離
６１行方向のレーベンシュタイン距離の平均値
６２への字の行方向（横方向）のレーベンシュタイン距離
６３への字の行方向（横方向）のレーベンシュタイン距離の平均値
７列方向（縦方向）のレーベンシュタイン距離
７１列方向のレーベンシュタイン距離の平均値
７２への字の列方向（縦方向）のレーベンシュタイン距離
７３への字の列方向（縦方向）のレーベンシュタイン距離の平均値
Ａ〜Ｈ（方向を変換した）文字データ
θ 勾配

Claims

タッチパネルスイッチへのタッチ入力によりタッチ入力面にタッチ入力の軌跡として描くように形成される操作パターンを検出するタッチパネルスイッチの操作パターン検出システムであって、
タッチ入力の軌跡が、予め記憶した複数の操作パターンのいずれに該当するかを、レーベンシュタイン距離を用いて判断認識した、
ことを特徴とするタッチパネルスイッチの操作パターン検出システム。
請求項１に記載のタッチパネルスイッチの操作パターン検出システムにおいて、
タッチ入力の軌跡を文字列データに変換し、予め記憶した複数の操作パターンの文字列データとのレーベンシュタイン距離から、タッチ入力の軌跡が、予め記憶した複数の操作パターンのいずれに該当するかを、判断認識した、
ことを特徴とするタッチパネルスイッチの操作パターン検出システム。
請求項１又は請求項２に記載のタッチパネルスイッチの操作パターン検出システムにおいて、
タッチパネルスイッチへのタッチ入力から入力の軌跡を検知する軌跡データ検知手段と、
前記タッチパネルスイッチのタッチ入力面を行列状の複数の小エリアからなるものと想定し、前記小エリアにおける前記軌跡データの通過方向を予め設定した数の方向と判断する小エリア通過方向判断手段と、
前記小エリアの通過方向を予め設定した単数又は複数の文字データに変換し、行列状の文字列データを形成する文字データ変換手段と、
タッチ入力の軌跡で形成される複数の操作パターンを、前記小エリアの通過方向で変換した行列状の文字列データとして記憶する文字列配列パターン記憶手段と、
前記文字データ変換手段により形成された文字列データと、前記文字列配列パターン記憶手段に記憶した文字列データのレーベンシュタイン距離を演算するレーベンシュタイン距離判定手段と、
前記レーベンシュタイン距離の短さにより、前記文字列配列パターン記憶手段で記憶する複数の操作パターンの中から、タッチ入力の軌跡で入力された操作パターンを認識する操作パターン認識手段と、
を備えたことを特徴とするタッチパネルスイッチの操作パターン検出システム。
請求項１〜請求項３に記載のタッチパネルスイッチの操作パターン検出システムにおいて、
前記レーベンシュタイン距離は、第１の文字列から第２の文字列へ変更する際の最低手順数を、第１文字列と第２文字列の距離とするものである、
ことを特徴とするタッチパネルスイッチの操作パターン検出システム。