JP2005303870A - 端末装置 - Google Patents

Abstract

【課題】 筐体を把持した片手でジェスチャ操作により操作可能な端末装置を提供する。
【解決手段】 筐体を把持する手をキー操作可能な位置に維持したままその手の指で接触可能な位置に装着され接触した指の接触位置を検出するセンサ５と、このセンサにより検出された接触位置の時系列からジェスチャを切り出すジェスチャ識別手段６と、このジェスチャ識別手段により切り出されたジェスチャの組み合わせに対応する一纏まりの機能を実行する制御手段８と、を備えた。
【選択図】 図４

Description

この発明は携帯可能な端末装置に係るものであり、特に端末装置の操作を効率化するユーザインターフェース技術に関する。

携帯電話は、固定式電話との操作性を承継しているため、テンキーを中心とした操作インターフェースが採用されることが多い。また携帯電話は持ち運び容易であることが求められるので、筐体サイズが限られており、筐体に装着可能なキーの個数が限られている。一方で、携帯電話は高機能化の一途を辿っており、少ないキー操作の組み合わせで複雑な機能を選択する必要があるために、操作性が劣化しやすい。

このような問題を解決する方法として、テンキーとは異なる入力デバイスを備える方法がある。そのような入力デバイスの一例として各種の拡張キーがある。またキー以外のデバイスを使用するものとしては、感圧可能なセンサを用いて携帯電話の操作性を向上しようとした構成もある（例えば、特許文献１）。

特開２００１−６９２２３「通信装置」公報

特許文献１に記載された技術は、感圧可能なセンサを通じたスクロール操作を簡易に行うものであるが、感圧センサはスクロール操作以外の用途にも用いることが可能であり、またそうすることにより携帯電話の複雑な機能を効率的に選択することができる。その一方で、感圧センサはテンキーのクリック感のようなしっかりとした操作感がないことが多く、そのために利用者に不安を与えしまう。このことから、感圧センサを用いた操作インターフェースは、画面に表示された項目をポインティングする目的で用いられることが多く、キー操作のように直接的に機能を選択するような操作インターフェースに採用されづらいものであった。

この発明は、指の接触位置を検出するセンサを用いて、利用者に幅広い機能の中から所望の操作を、確実な操作感で行うことのできる端末装置を提供することを目的とする。

この発明による端末装置は、片手で筐体を把持しキー操作により使用する端末装置において、
筐体を把持する手をキー操作可能な位置に維持したままその手の指で接触可能な位置に装着され接触した指の接触位置を検出するセンサと、
このセンサにより検出された接触位置の時系列からジェスチャを切り出すジェスチャ識別手段と、
このジェスチャ識別手段により切り出されたジェスチャの組み合わせに対応する一纏まりの機能を実行する制御手段と、
を備えたものである。

このように、この発明による端末装置は、端末を把持する片手でジェスチャ操作が可能であって、さらにジェスチャの組み合わせから機能を選択することとしたので、端末の携帯性に最適で、かつ多様な表現力を有し、確実感のある操作インターフェースを提供するのである。

以下、この発明の実施の形態を図を用いて説明する。
実施の形態１．
図１は、この発明の実施の形態１による端末装置を携帯電話として構成した場合の背面斜視図である。図の端末装置１において、開閉部位２は本体部位３に対してヒンジ機構４を介して開閉自在に装着されている。また本体部位３にはセンサ５が装着されている。このセンサ５は、物体が接触するとその接触位置を電気信号に変換して出力するセンサとなっている。

図１の例では、センサ５は本体部位３の側面に設置されている。しかしながら、センサ５の設置位置は側面に限られるものではなく、筐体を把持する手をキー操作可能な位置に維持したままその手の指で接触可能な位置であれば、如何なる位置であってもよい。ここで、「筐体を把持する手をキー操作可能な位置に維持する」とは、筐体を把持した手でそのままキーの大部分を操作できるように、筐体を把持した状態を保つ行為を意味しているのであって、例えば図２に示すような方法で端末装置を把持するような行為を指す。

一般に、端末装置１のように携帯可能な端末装置では、片手でも操作しやすいように、キーボタンを一箇所に集中して配置する。そして利用者はその端末を把持する場合に、これらのキーを操作しやすい位置を手で把持するのである。このような場合、手で端末装置を把持したままであっても、その手の一部の指を限定的に動かすことが可能である場合が多い。そしてセンサ５は、このような状態の指によって接触可能な位置に配置されるのである。なお、センサ５に接触する指の位置は、指の先端である必要はなく、指のいずれかの部位であればよいのである。

端末装置１は、図３に示すように、開閉部位２がヒンジ機構４を介して本体部位３に開閉自在に装着されているので、筐体を折り畳んでおくことができる。しかしそれのみならず、開閉部位２を閉蓋した場合（筐体を折り畳んだ状態）においても、センサ５は外部に露出するように配置されているので、筐体を折り畳んだ状態でもセンサ５に接触することが可能となっている。さらに加えて、閉蓋時においても、開蓋時の把持位置とほぼ同じ位置を手で把持したまま、その手の一部の指で接触可能な位置にセンサ５が設置されているという特徴を有している。このようなセンサ５の設置位置としては、端末装置１の側面や背面が代表的である。こうすることで、開蓋・閉蓋の別にかかわらずセンサ５を用いて端末装置１を操作することが可能となる。

図４は、端末装置１の構成を示すブロック図である。図においてヒンジ機構４及びセンサ５は、図１に示した同一符号の構成部位と同じものである。ヒンジ機構４は、開閉部位２と本体部位３とを開閉自在に結合するのみならず、開閉部位２を開閉する操作を検出して、それぞれの操作で信号が発生するようなスイッチ機能を内蔵している。このようなスイッチ機能を有するヒンジ機構は、折り畳み式の携帯電話端末などですでに広く利用されているものであるので、ここではその構造について詳述しない。

またセンサ５は、表面に接触した物体の接触位置を電気信号として出力するセンサである。なお、このようなセンサの実現方式としては、センサ表面を圧力で押した場合にセンサ本体に変形が生じ、その変形によってセンサの電気抵抗の特性に生じた変化を電気信号として出力する感圧センサ方式や、導体が表面付近に接近した場合に静電容量特性に生じる変化を電気信号として出力する非接触型静電容量センサ方式などを初めとする各種方式が知られているが、センサ５に採用するセンサは、物体の接触位置を検出できるものであれば如何なる方式であってもよい。また物体の接触位置の出力の仕方としては、センサ信号を処理する回路がセンサから接触位置の時系列（接触位置の時間変化）が得られるようになっていればどのような方法であってもよく、例えば、センサがその回路に対して割り込み信号を出力するようにしていてもよいし、センサの信号処理回路からポーリングによってセンサの状態を取得するようにしてもよい。

図５は、このようなセンサ５の構成例を示した図である。図の拡大部分はセンサ５が拡大した状態で示されている。この例におけるセンサ５は小さな圧電素子５−１〜５−Ｎからなる配列で構成されている。圧電素子５−１〜５−Ｎはそれぞれ独立した圧電素子となっており、物体等が表面と接触することで圧迫を検出した場合に、独立して信号を出力できるようになっている。この結果、複数の部位がそれぞれ押された状態と押されていない状態の２値で表されることとなる。ここでは圧電素子５−１〜５−Ｎのそれぞれが押された状態を「１」と表現し、押されていない状態（通常の状態）を「０」と表現することとする。このように、このセンサ５の構成例では、各圧電素子は押されているか押されていないかの２値で表現されるため、圧力の絶対値を取得しない。しかし後述するように、このような構成のセンサにもかかわらず、この発明によれば安定した操作性を実現することができる。なお、以降においては、センサ５は状態が変化した場合に割り込み信号を出力することができるようになっているものとし、また必要に応じて現在の状態を取得できる（ポーリング可能な）ようになっているものとして説明を進める。

ジェスチャ識別手段６は、センサ５が出力する接触位置の時系列を処理し、ジェスチャを切り出す回路又は素子である。ただしジェスチャ識別手段６は、コンピュータプログラムと中央演算装置との組み合わせによって同様の機能を実現するように構成されていても構わない。ジェスチャ辞書７は、ジェスチャ識別手段６が切り出すジェスチャのパターンをデータとして記憶する記憶素子又は回路、あるいは記憶媒体である。

制御手段８は、端末装置１の備えている機能であって、ジェスチャが表している一纏まりの機能を、ジェスチャ識別手段６が切り出したジェスチャに合わせて選択し、実行する回路又は素子である。その場合には、ヒンジ機構４が開蓋時・閉蓋時に出力する信号を記憶することで、現在の開閉部位２の状態に応じて、実行する機能を選択するようになっている。

ここで、「一纏まりの機能」とは、操作者が操作によって意識的に選択する機能の単位（まとまり）をいう。例えば携帯電話の場合、発呼をする操作においてさまざまな処理が行われるが、操作者はそれらの処理の一つ一つを分解した形で操作しようと意識するのではなく、「発呼」という一纏まりの機能を操作により選択するのである。このような機能はテンキーや拡張キーなどを一回又は数回操作することで選択できるようになっていることが多い。したがって「一纏まりの機能」とは、テンキー又は拡張キー、ショートカットキーを操作することで操作者が選択しうる機能、と考えることができる。但し、ここでいう一纏まりの機能とは、予めメニュー項目などの形で選択可能とされた機能には限定されず、例えば操作者が事後的にカスタマイズにより追加定義していくマクロ機能（複数の機能の組み合わせ）やアプリケーションプログラムを導入することによって拡張した機能のようなものも「一纏まりの機能」の中に含まれるものとする。

なお、制御手段８も、ジェスチャ識別手段６と同じように、コンピュータプログラムと中央演算装置との組み合わせによって同様の機能を実現するように構成されていてもよい。またジェスチャ識別手段６と制御手段８を必ずしも別体に構成する必要はなく、同一のＣＰＵによって構成しコンピュータプログラムのサブルーチンレベル、あるいは処理ステップレベルでそれぞれの機能を果たすように構成してもよいのである。

タイマ９は、ジェスチャ識別手段６や制御手段８に必要に応じてクロック信号を供給する回路又は素子であって、水晶発振子などを用いて構成される。機能テーブル１０は、ジェスチャとそのジェスチャに対応する機能の対応表であって、図示せぬ記憶素子又は回路、記憶媒体などに記憶される情報である。

なお、端末装置１は、携帯電話を例として構成したものであるので、図４に示した構成要素以外に、無線信号を送受信する部位や電源制御を行う部位、キー操作部、ＬＥＤや表示部などの構成要素を備えているが、それらの部位の構成や実現方式は、この発明の構成には直接影響するものではないので、ここでは説明を省略する。

続いて、端末装置１の動作について説明する。端末装置１の動作は、ジェスチャ識別手段６における処理と制御手段７における処理とに大別される。始めにジェスチャ識別手段６における処理について説明する。図６は、ジェスチャ識別手段６の処理のフローチャートである。まずセンサ５に指が接触すると、センサ５の圧電素子５−１〜５−Ｎのいずれかが割り込み信号を発生し、ジェスチャ識別手段６にジェスチャの開始を通知する。これを受けてジェスチャ識別手段６において、図６の処理が活性化される。

図において、ジェスチャ識別手段６はセンサ５に対してポーリングを行い、現在の状態を取得する（ステップＳ１）。ここで取得される現在の状態とは、圧電素子５−１〜５−Ｎそれぞれの状態が「１」（押されている状態）か「０」（押されていない状態）のいずれかで表現された１と０の配列である。続いて、指がセンサ５を接触する接触面の大きさが所定値を超えているかどうかを調べる（ステップＳ２）。指は一定の大きさを有しているので、指がセンサ５に接触すると複数個の圧電素子が同時に「１」の状態となりうる。しかもその場合には、「１」の状態となる圧電素子は隣接する。したがって隣接する圧電素子であって、状態が「１」となっている圧電素子の個数を数えることによって、接触面の大きさを取得することができる。ここで、指は表面が柔らかいので、センサ５に軽く接している状態（例えば、図７）に比べれば、強く押した状態（例えば、図８）では、変形の度合いが大きく、接触面が広がる。このことから、接触面の大きさは指の圧力と相関があるといえる。

このように、接触面の大きさを取得することで、圧力の絶対値を取得できないセンサ素子を使用していても、間接的に圧力に基づく処理が可能となる。そしてこの接触面の大きさが所定値を超えているか否かを検定することで、操作者が誤ってセンサ５に触れてしまった場合に発生する信号を棄却することが可能となる。

また、ユーザが触る位置に基づいて操作を行うユーザインターフェースでは、接触開始直後において接触位置が変動するためにジェスチャの形状が不安定となることが多い。そのため、ステップＳ２のように、何らかの条件を設けて不安定な接触位置を棄却した方がよりしっかりした操作感が得られるのである。

ステップＳ２で、接触面の大きさが所定値を上回らない場合は、ステップＳ３に進む（ステップＳ２：Ｎｏ）。ステップＳ３では、タイマ９を用いて一定時間、例えば１０ミリ秒が経過するまで待機し、その時間が経過後、再びステップＳ１に戻って次の状態の処理を行う。一方、ステップＳ２で、接触面の大きさが所定値を上回った場合はステップＳ４に進む。

以上の処理は、接触面の大きさが所定値を上回らない場合に、その状態を棄却することで誤操作や処理の不安定感を取り除くことを目的としているが、この場合に状態を棄却せずに、すべての圧電素子の状態が「０」となっていると仮定して、ステップＳ４に進む制御を行っても構わない。

また、より圧力値が直接得られるセンサを用いて構成している場合は、ステップＳ２を接触面の大きさではなく圧力値に基づいて検定するようにしてもよい。

続いて、このようにして取得した接触位置の情報を接触位置の時系列に追加する（ステップＳ４）。接触位置の時系列は、複数の接触位置データからなる配列であって、発生時刻順にデータが並べられたものである。ここでは、記憶容量を節約するために、「１」が連続する圧電素子の分布の中央値（分布の中心となる圧電素子の位置、あるいは分布の中心となる圧電素子を識別する情報）のみを採用して時系列の要素として記憶する。その際、タイマ９から現在時刻を取得して接触位置とともに時系列要素として記憶しておくようにしてもよい。

次に、ジェスチャが終了したかどうかを判断する（ステップＳ５）。ジェスチャの終了を判断する方法の例として、「１」の状態となっている圧電素子の個数が０個となったかどうかを判断する方法（第１の方法）が考えられる。ジェスチャ操作中は、指がセンサ５のいずれかの部位に接しているので、いずれかの圧電素子が「１」の状態となっている。そしてジェスチャが終了すると、指がセンサ５を離れるので、「１」の状態となっている圧電素子の個数が０個となる。したがって「１」の状態となっている圧電素子の個数が０個となったかどうかで、指がセンサ５に接しているかどうかを判別できる。この方法はセンサ５を指が離れたことをもって、ジェスチャが完了したと判断するものであり、指が離れると即座に、ジェスチャが完了した、と判断されることになる。

また他に、定常状態が一定時間経過したことを検知する方法（第２の方法）が考えられる。これは、時系列要素の間の差分を求めることで検知することができる。すなわち一定数以上の時系列要素の間の差分が０（前後の要素が同じ）であれば、何ら新たな操作をセンサ５に加えていないことを意味するから、そのことをもってジェスチャの終了を判断するのである。

ただし指をセンサ５に触れたまま状態変化が生じない場合は、操作者が操作に不慣れであったり、考えながら操作しているために、ジェスチャの途中であることも想定できるので、この場合においても「１」の状態となっている圧電素子の個数が０個となった状態が一定時間継続した場合に、ジェスチャ終了と判断するようにする。

第２の方法、すなわち一定時間が経過する間、状態変化が生じないことを利用してジェスチャの終了を判断する方法は、ジェスチャを中断しても再開できることを特徴としている。第１の方法の場合は、指がセンサ５から離れたら即座にジェスチャ終了と判断してしまうので、ジェスチャの再開という概念がない。また、第２の方法の場合は、ジェスチャの中断（指がセンサ５から離れている時間）までも操作の一環としてみなすことができるので、ジェスチャの自由度や組み合わせが豊富となり表現力が増すという利点がある。以降では、第２の方法に基づいてジェスチャ終了を判断するものとして説明することとする。しかし、第１の方法であってもジェスチャを利用することができるので、この発明の趣旨は達成される。

なお、ステップＳ５において、ジェスチャ終了と判断されなかった場合は、ステップＳ３に進み（ステップＳ５：Ｙｅｓ）、ステップＳ１からの処理を繰り返す。

また、ステップＳ５において、ジェスチャ終了と判断された場合は、ステップＳ６に進む。ここでは、これまでの接触位置の時系列をジェスチャに変換する。この構成では、一定時間が経過することを条件としてジェスチャ終了の判断する方法（第２の方法）を採用しているので、時系列の中には、指がセンサ５に接触していない状態（圧電素子がすべて「０」の状態）も含まれている。

次に、時系列を移動量ベクトルに変換する（ステップＳ６）。移動量ベクトルとは時系列要素間の接触位置の変化量（差分）であるが、変化する方向に応じて、例えば図９に示すような符号を付することとする。そして移動量ベクトルに変換された入力時系列とジェスチャ辞書８に記憶されている各ジェスチャパターンとの距離値を算出する（ステップＳ７）。

ジェスチャ辞書８に記憶されているジェスチャパターンは、この端末装置１によって認識可能なジェスチャの基本的な時系列情報であり、例えば図１０に示すようなパターン（ジェスチャ１〜ジェスチャ１１）などの移動量ベクトルの時系列情報が予め記憶されている。ここに記憶されるジェスチャパターンの特徴は、ストローク操作（センサ５の表面を指で一方向のみになぞる操作）とタップ操作（センサ５の表面に一時的に接触する操作）を最小単位とした場合に、これらの最小単位を２つ以上含んだ組み合わせとして構成されているという点である。

このような構成を採用することで、次のような効果が生じる。まず、携帯電話の筐体側面のように限られたスペースに接触センサを配置した場合、設置面の一定方向になぞる（ストローク操作）か、タップ操作程度の操作バリエーションしかないが、これらを複数組み合わせることで複雑なジェスチャパターンを作り出せる。したがって異なるジェスチャを多くの機能に対応させることが可能となり、ジェスチャ操作の適用範囲を広げることができる。

また、ジェスチャの最小単位一つだけで機能選択をさせることも考えられるが、センサ５は筐体外部に露出しているものであるため、誤操作も生じやすい。最小単位となるジェスチャを複数組み合わせることで、かかる誤操作の可能性を減じることができるのである。

ジェスチャパターンとの距離値の算出は、一般的なパターン照合技術を用いて行う。このようなパターン照合技術はいくつか知られており、どのような方法でパターン照合を行ってもよい。以下の説明では、そのような方法の例として、ＤＰ（Dynamic Programming）マッチングによる方法を紹介する。

入力時系列およびジェスチャパターンのｉ番目のベクトル要素をそれぞれｆ(ｉ)、ｇ(ｉ)とし、ｄ(ｉ，ｊ)を入力時系列のｉ番目のベクトル要素とジェスチャパターンのｊ番目のベクトル要素との絶対値距離ｄ(ｉ，ｊ)＝｜ｆ(ｉ)−ｇ(ｊ)｜により算出する。そして、入力時系列のｉ番目のベクトル要素とジェスチャパターンのｊ番目のベクトル要素との差を算出する際のＤＰ評価値ｈ(ｉ，ｊ)を以下のように算出し、これをＤＰマッチングによる距離値とする。

なお上式において、ＤＰ＿ＰＥＮＡＬＴＹは１対１の対応付け以外の場合のペナルティ値を表している。つまり対応付けを行う入力時系列のベクトル要素とジェスチャパターンのベクトル要素とが１対１の対応付けとならない場合、多対１あるいは１対多の対応付けを行うが、この場合は多対１あるいは１対多の対応付けを評価値として表す必要がある。例えば、入力時系列のベクトル要素が上方向で、ジェスチャパターンのベクトル要素が下方向となった場合、両者を対応づけたときの評価値は、−１（上方向）と＋１（下方向）なので２となるが、この場合は対応付けが正しく行えていないので、ペナルティ値をこの評価値に加えることとしたものである。

また、このようなペナルティ値を事後的に増減して評価値を調整するのではなく、最初の数値化の段階で、上方向を−Ｎ、下方向を＋Ｎすることで、正しく対応付けができなかった場合の評価値を大きくすることも可能である。

このように、ＤＰマッチングによって、ジェスチャパターンとの距離値を算出することとしたので、時間的に操作パターンが変動しても適切なジェスチャパターンを選択することができる。また例えば、上から下へのストローク操作と下から上へのストローク操作とを一続きの操作（上→下→上）で行うような簡単な変形にも容易に対応できるのである。

なお、ステップＳ５において、指がセンサ５の表面から離れる動作が発生しても、即座にジェスチャの終了とは判断しないこととしたので、時系列の中には「１」の圧電素子数のが０個の状態の時系列要素が含まれることになる。この場合の移動量ベクトルは次のようにして算出する。すなわち、その前において指がセンサ５の表面に接していた状態と、その後において指がセンサ５の表面に接していた状態との差異に基づいて方向と移動ベクトルの絶対値を与えることとする。例えば、上から下になぞるストローク操作を続けて二回高速に行う場合、指がセンサ５の表面に接していない間の指の移動速度は大きくなると考えられる。またタップ操作を二回繰り返すような場合は、ほぼ同じ位置を二回タップすることが多いので、指の移動速度はほぼ０と考えられる。このように、指が離れている前後のセンサ５に接していた状態に基づいて、指が離れている間の移動量ベクトルを補完することで、ジェスチャの動きを適切に数値化することが可能となる。

最後に、このようにしてジェスチャパターンごとに算出したＤＰマッチングの距離値の中で、入力時系列との最も距離値が小さいジェスチャパターンをジェスチャ識別手段の処理結果として出力する（ステップＳ８）。

次に制御手段８の処理について説明する。制御手段８は、ジェスチャ識別手段６によって特定されたジェスチャパターンを取得し、このジェスチャパターンに対応する機能を機能テーブル１０から特定して、その機能を実行する。図１１は、機能テーブル１０の内容の例を示す図である。図が示すように、機能テーブル１０はジェスチャパターンを識別する情報と、そのジェスチャパターンに対応する開蓋時の機能と閉蓋時の機能との対応表である。表において、「−」（ハイフン）は、対応する機能が存在しない、すなわち、このようなジェスチャ操作を行っても何も機能が実行されないことを意味する。なお、図１１に示した例では同一のジェスチャに対する開蓋時機能と閉蓋時機能は常に同一か、あるいは閉蓋時機能がなく開蓋時機能のみが指定されている例のみに限られているが、このような例に限定されるものではなく、
また、すでに述べたように開閉部位２が開蓋状態にあるのか閉蓋状態にあるのか、については、閉蓋操作・開蓋操作に伴ってヒンジ機構４から送出される信号に基づいて判断する。このようにして、制御手段８は、この表を参照してジェスチャ識別手段６が特定したジェスチャパターンに対応する機能を実行するのである。

このように、端末装置１によれば、筐体を把持する手をキー操作可能な位置に維持したままその手の指で接触可能な位置に装着されたセンサ５に対して指によるジェスチャ操作を行うことにより操作可能としたので、多様な操作を片手で行うことが可能となる。

また、ジェスチャ識別手段６によってジェスチャを切り出し、切り出したジェスチャを複数個組み合わせてジェスチャパターンとした上で、ジェスチャパターンに対応する一纏まりの機能を選択して実行するようにしたので、接触センサを用いたユーザインターフェースにもかかわらず、しっかりとした操作感で操作することが可能となる。

またセンサ５を開蓋時と閉蓋時のどちらでも操作できる位置に配置したので、開蓋時のみならず閉蓋時においてもジェスチャ操作が可能である。さらに、機能テーブル１０に、各ジェスチャパターンに対応する開蓋時の機能と閉蓋時の機能を記憶させることとし、ヒンジ機構４から得られた閉開蓋情報に基づいてジェスチャパターンに対応するいずれかの機能を選択することとしたので、閉蓋状態・開蓋状態のそれぞれの状態に合わせて最適な機能をジェスチャにより独立して選択できる。

また閉蓋時と開蓋時で独立した機能を対応付けるように構成したことにより、ジェスチャ操作で選択できる機能を制限できる。このため、閉蓋状態で端末装置１を持ち運ぶ場合などに、センサ５に物体が接触する等の原因により、誤ってジェスチャ識別してしまっても、一部の機能が実行されないように制限することが可能なのである。

なお、この発明の実施の形態１においては、この発明による端末装置として、携帯電話端末を例にとって説明した。しかしこのことは、この発明に係る端末装置が携帯電話端末に限定されることを意味するものではない。つまりこの発明は、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や電子辞書のような携帯情報機器、さらには固定式電話機の受話器部分（子機を含む）や家電機器のリモコン端末のように片手で把持可能であって、さらにキーを押下して機能選択し操作を行うようになっているあらゆる端末装置に広く適用できるのである。

さらに、この発明の実施の形態１においては、１次元の接触位置を出力するセンサを用いて構成しているが、接触位置やジェスチャの形状は１次元に限定されるものではなく、２次元であってもよい。２次元のジェスチャのマッチングについても、上述したＤＰマッチングで行うことが可能であることは広く知られている。

また、この発明の実施の形態１においては、ジェスチャ識別手段６においてジェスチャの組み合わせを切り出すこととしたが、この他にもジェスチャ識別手段６で一つ一つのジェスチャ（ストローク操作やタップ操作）を切り出しておき、制御手段８でジェスチャの組み合わせを構成するようにしてもよい。

実施の形態２．
実施の形態１では、接触センサを用いてこの発明の端末装置１を構成する例について説明したが、接触センサに替えて非接触型センサを用いても構成できる。この発明の実施の形態２による端末装置はかかる特徴を有するものである。

図１２は、この発明の実施の形態２による端末装置の正面図である。図において、端末装置１１は回動可能な部位１２（以下、回動部位１２という）を有する携帯電話装置である。本体部位１３は回動部位１２と図示せぬヒンジ機構１４によって回動自在に結合されている。センサ１５は、実施の形態１におけるセンサ５と同じように、端末装置１１の筐体を把持する手をキー操作可能な位置に維持したままその手の指で接触可能な位置に装着されている。なお、図１３は回動部位１２の角度を変えた状態の正面図である。また図１４は、回動部位１２を本体部位１３に重ね合わせた状態の正面図である。この図が示すように、回動部位１２は、本体部位１３の正面の一部（キー操作部）を覆い隠すように開閉自在に装着された部位であって、図１４のように回動部位１２と本体部位１３とをほぼ完全に重ね合わせた状態を、閉蓋時と呼ぶこととする。またそうでない状態のことを開蓋時という。

図１５は、端末装置１１の構成を示すブロック図である。図において、ヒンジ機構１４は、実施の形態１におけるヒンジ機構４と同じように開閉操作に伴って、その操作が行われたことを通知する信号を端末装置１１の制御部分に送出するようになっている。センサ１５は、図１２〜図１４のセンサ１５と同じものであり、非接触型センサであることを特徴としている。このような非接触型センサの例としては、米国Ｃｉｒｑｕｅ社のＴＳＭ９９１０や、米国Ｓｙｎａｐｔｉｃｓ社製ＴｏｕｃｈＰａｄなどの静電容量型非接触センサなどがある。これらのセンサは、導体である人体の一部がセンサ表面に近づくことによって生じる静電容量の変化を検知し、そのことを電気信号として出力することが主な原理とされている。しかしながら、この発明においてはいかなる原理でセンサ表面への接近を検出してもよく、例えば赤外線や温度変化を用いてセンサ表面への接近を検出するようなでもよいのである。なお、以下の説明ではセンサ１５が静電容量型非接触センサを用いて構成されているものとして説明する。

ジェスチャ操作履歴１６は、操作者がセンサ１５に対して行ったジェスチャ操作に関する情報のうち、ジェスチャ操作の速さを表す情報、例えば各ジェスチャ完了までの所要時間を蓄積し、記憶するジェスチャ操作履歴ファイルであり、記憶素子や記憶回路、又は記憶媒体を用いて構成されている。所要時間算出手段１７は、ジェスチャ操作履歴１６に記憶されているジェスチャ操作の速さを表す情報に基づいて、ジェスチャ操作完了の所要時間の最大値算出する部位である。なお、所要時間算出手段１７は、コンピュータプログラムと中央演算装置との組み合わせによって同様の機能を実現するように構成されていてもよい。

なお、その他図４と同一の符号を付された構成要素については実施の形態１と同様であるので、説明を省略する。また端末装置１１は、この発明の実施の形態の一例として、携帯電話として構成したものである。したがって、図１５に示した構成要素以外に、無線部や電源制御部、テンキー、ＬＥＤや表示部などの構成要素を備えているが、そのような構成要素の実現方式は、この発明の構成には直接影響するものではないので、それらの部位についても説明を省略する。

続いて、端末装置１１の動作について説明する。図１４は、端末装置１１の動作のフローチャートである。なお、図１４において図６のフローチャートと同一の符号を付したステップは、実施の形態１と同様であるので、ここでは異なる動作ステップ部分についてのみ説明を行うこととする。

まずセンサ１５に指が接近すると、センサ１５は割り込み信号を発生し、ジェスチャ識別手段６にジェスチャの開始を通知する。これを受けてジェスチャ識別手段６では図１４の処理が活性化され、処理が開始される。それと同時に、センサ１５は、いくつかのプロット（代表点）における指とセンサ表面との距離の情報を表す信号をプロット毎に出力する。この信号は、図１５に示すように表面と接触しているプロット（距離０）で最大となり、一定の距離以上離れたプロットでは０となる。したがって最大値となるプロットの個数を数えれば、接触面の大きさを求めることができる。

また最大値のプロットに替えて、一定値以上の信号値となるプロットの個数を数えることでも、接触面の大きさと同等の情報を得ることができる。これによって非接触ではあるが、センサ表面に指を接触させている状態の情報も取得できるので、識別可能なジェスチャパターンの数を増やすことができ、したがって数多くの機能をそれぞれ特有のジェスチャ操作で指示することが可能となる。

ステップＳ１でこのセンサ１５の状態を取得し、以降ステップＳ２〜Ｓ４まで処理を行った時点で、ジェスチャ識別手段６は、所要時間算出手段１７を用いて、ジェスチャ完了の所要時間の最大値を算出する。所要時間算出手段１７は、ジェスチャ操作履歴１６に蓄積されているジェスチャ操作の速さを表す情報に基づいて、ジェスチャ完了の所要時間の最大値を決定する。ジェスチャ完了の所要時間の最大値の決定方法としては、例えばジェスチャ操作履歴１６に記憶されるジェスチャ操作の速さを表す情報が、各ジェスチャ完了までの所要時間であるならば、所要時間の平均値を求め、この平均値にある一定のマージン値を加えた値を所要時間の最大値とする、などの方法が考えられる。

また、ジェスチャ操作の速さを表す情報としては、移動量ベクトルから算出された指の移動速度としてもよく、この場合には、例えば図１５に示すように、この指の移動速度を数段階に分けて、それぞれの段階に応じてタイムアウト値を設けておいて、このタイムアウト値に基づいて決定するようにしてもよい。

ステップＳ５において、センサ１５の状態が定常状態になってから所要時間算出手段１７が算出したジェスチャ完了の所要時間の最大値が経過したかどうかを調べ、経過している場合にはそこでジェスチャが完了したものと判断する。ここでセンサ１５が定常状態となった場合とは、時系列の前の要素と今回の要素が変化がない状態をいう。そしてジェスチャが終了したと判定した場合には（ステップＳ５：Ｙｅｓ）、ステップＳ５２に進み、ジェスチャの速さを表す情報をジェスチャ操作履歴１６に記憶させる。その後ステップＳ６〜Ｓ８は実施の形態１と同様である。

また、制御手段８がヒンジ機構１４から通知される信号に基づいて、開蓋時と閉蓋時のそれぞれの機能をジェスチャパターンに合わせて選択する点についても、実施の形態１と同様である。

以上のように、この発明の実施の形態２の端末装置によれば、回動部位１２を備えた開閉自在の筐体を有する端末装置において、開蓋時と閉蓋時の双方で外部から露出する位置にセンサ１５を装着したので、どちらの状態であってもセンサ１５に対するジェスチャを行うことで、操作を行うことができる。

またジェスチャ操作履歴１６と所要時間算出手段１７とを備え、ジェスチャ操作の速さを表す情報に基づいて、ジェスチャ完了までの時間を変更するように構成した。これによって、操作者の操作習熟度が上がり、手早く操作できるようになってきた場合に、より短時間かつ効率的に操作が行えるようになるのである。

なお上述の記載においては、毎回ジェスチャ完了までの時間を設定しなおすこととして処理の説明を行ったが、学習モード・定常モードのように、一時期のみジェスチャ完了までの時間を変更するようにし、以降は変更しないようにしておいてもよい。

また実施の形態１の端末装置では折り畳み式の筐体を有するものとして、さらに端末装置１１では回動可能な部位を備える筐体を有するものとして、この発明の実施の形態を説明してきたが、所謂フリップ式やスライド式などの筐体を有するものであっても適用可能であることはいうまでもないのである。

この発明は、特に携帯電話を初めとする携帯情報端末やテレビやオーディオ、家電製品などのリモコン端末を効率的に操作するユーザインターフェースに適用可能である。

この発明の実施の形態１の端末装置の背面斜視図である。 この発明の実施の形態１の端末装置を手で把持した状態を示す正面図である。 この発明の実施の形態１の端末装置の閉蓋時の正面図である。 この発明の実施の形態１の端末装置の構成を示すブロック図である。 この発明の実施の形態１のセンサの詳細な構成例を示した図である。 この発明の実施の形態１による端末装置の動作のフローチャートである。 この発明の実施の形態１のセンサで発生する信号の分布例を示す図である。 この発明の実施の形態１のセンサで発生する信号の別の分布例を示す図である。 この発明の実施の形態１の時系列と移動量ベクトルの関係を説明する図である。 この発明の実施の形態１のジェスチャパターンの例を示す表である。 この発明の実施の形態１のジェスチャと機能の対応関係を示す図である。 この発明の実施の形態２の端末装置の開蓋時の斜視図である。 この発明の実施の形態２の端末装置の開蓋時の別の斜視図である。 この発明の実施の形態２の端末装置の閉蓋時の別の斜視図である。 この発明の実施の形態２の端末装置の構成を示すブロック図である。 この発明の実施の形態２の端末装置の動作を示すフローチャートである。 この発明の実施の形態２のセンサが発生する信号の状態の説明図である。 この発明の実施の形態２によるジェスチャ完了のタイムアウト値の設定例を示す図である。

符号の説明

５、１５ センサ、
６ ジェスチャ識別手段、
８ 制御手段、
１６ ジェスチャ操作履歴、
１７ 所要時間算出手段。

この発明による端末装置は、片手で把持可能な筐体を有し、筐体を把持する手の指でキー操作して使用する端末装置であって、開閉自在に装着され閉蓋時に筐体の正面又は背面の一部を覆い隠す部位を備える端末装置において、
上記筐体を把持する手をキー操作可能な位置に維持したままその手の指で接触可能な位置であって、上記部位の閉蓋時と開蓋時のいずれにおいても外部に露出する位置に装着され、接触した指の接触位置を検出するセンサと、
このセンサにより検出された接触位置の時系列からジェスチャを切り出すジェスチャ識別手段と、
このジェスチャ識別手段により切り出された複数のジェスチャを組み合わせて、組み合わされた複数のジェスチャに対応する機能を実行する制御手段と、
を備えたものである。

この発明は携帯可能な端末装置に係るものであり、特に端末装置の操作を効率化するユーザインターフェース技術に関する。

携帯電話は、固定式電話との操作性を承継しているため、テンキーを中心とした操作インターフェースが採用されることが多い。また携帯電話は持ち運び容易であることが求められるので、筐体サイズが限られており、筐体に装着可能なキーの個数が限られている。一方で、携帯電話は高機能化の一途を辿っており、少ないキー操作の組み合わせで複雑な機能を選択する必要があるために、操作性が劣化しやすい。

このような問題を解決する方法として、テンキーとは異なる入力デバイスを備える方法がある。そのような入力デバイスの一例として各種の拡張キーがある。またキー以外のデバイスを使用するものとしては、感圧可能なセンサを用いて携帯電話の操作性を向上しようとした構成もある（例えば、特許文献１）。

特開２００１−６９２２３「通信装置」公報

特許文献１に記載された技術は、感圧可能なセンサを通じたスクロール操作を簡易に行うものであるが、感圧センサはスクロール操作以外の用途にも用いることが可能であり、またそうすることにより携帯電話の複雑な機能を効率的に選択することができる。その一方で、感圧センサはテンキーのクリック感のようなしっかりとした操作感がないことが多く、そのために利用者に不安を与えしまう。このことから、感圧センサを用いた操作インターフェースは、画面に表示された項目をポインティングする目的で用いられることが多く、キー操作のように直接的に機能を選択するような操作インターフェースに採用されづらいものであった。

この発明は、指の接触位置を検出するセンサを用いて、利用者に幅広い機能の中から所望の操作を、確実な操作感で行うことのできる端末装置を提供することを目的とする。

この発明による端末装置は、片手で把持可能な筐体を有し、筐体を把持する手の指でキー操作して使用する端末装置であって、開閉自在に装着され閉蓋時に筐体の正面又は背面の一部を覆い隠す部位を備える端末装置において、
上記筐体を把持する手をキー操作可能な位置に維持したままその手の指で接触可能な位置であって、上記部位の閉蓋時と開蓋時のいずれにおいても外部に露出する位置に装着され、接触した指の接触位置を検出するセンサと、
このセンサにより検出された接触位置の時系列からジェスチャを切り出すジェスチャ識別手段と、
このジェスチャ識別手段により切り出された複数のジェスチャを組み合わせて、組み合わされた複数のジェスチャに対応する機能を実行する制御手段とを備え、
前記センサは、さらに指の接触面の大きさを検出し、
前記ジェスチャ識別手段は、このセンサに検出された接触位置の時系列から、上記接触面の大きさが所定値を下回った時間帯における接触位置の時系列を棄却してジェスチャを切り出すものである。

このように、この発明による端末装置は、端末を把持する片手でジェスチャ操作が可能であって、さらにジェスチャの組み合わせから機能を選択することとしたので、端末の携帯性に最適で、かつ多様な表現力を有し、確実感のある操作インターフェースを提供するのである。

以下、この発明の実施の形態を図を用いて説明する。
実施の形態１．
図１は、この発明の実施の形態１による端末装置を携帯電話として構成した場合の背面斜視図である。図の端末装置１において、開閉部位２は本体部位３に対してヒンジ機構４を介して開閉自在に装着されている。また本体部位３にはセンサ５が装着されている。このセンサ５は、物体が接触するとその接触位置を電気信号に変換して出力するセンサとなっている。

図１の例では、センサ５は本体部位３の側面に設置されている。しかしながら、センサ５の設置位置は側面に限られるものではなく、筐体を把持する手をキー操作可能な位置に維持したままその手の指で接触可能な位置であれば、如何なる位置であってもよい。ここで、「筐体を把持する手をキー操作可能な位置に維持する」とは、筐体を把持した手でそのままキーの大部分を操作できるように、筐体を把持した状態を保つ行為を意味しているのであって、例えば図２に示すような方法で端末装置を把持するような行為を指す。

一般に、端末装置１のように携帯可能な端末装置では、片手でも操作しやすいように、キーボタンを一箇所に集中して配置する。そして利用者はその端末を把持する場合に、これらのキーを操作しやすい位置を手で把持するのである。このような場合、手で端末装置を把持したままであっても、その手の一部の指を限定的に動かすことが可能である場合が多い。そしてセンサ５は、このような状態の指によって接触可能な位置に配置されるのである。なお、センサ５に接触する指の位置は、指の先端である必要はなく、指のいずれかの部位であればよいのである。

端末装置１は、図３に示すように、開閉部位２がヒンジ機構４を介して本体部位３に開閉自在に装着されているので、筐体を折り畳んでおくことができる。しかしそれのみならず、開閉部位２を閉蓋した場合（筐体を折り畳んだ状態）においても、センサ５は外部に露出するように配置されているので、筐体を折り畳んだ状態でもセンサ５に接触することが可能となっている。さらに加えて、閉蓋時においても、開蓋時の把持位置とほぼ同じ位置を手で把持したまま、その手の一部の指で接触可能な位置にセンサ５が設置されているという特徴を有している。このようなセンサ５の設置位置としては、端末装置１の側面や背面が代表的である。こうすることで、開蓋・閉蓋の別にかかわらずセンサ５を用いて端末装置１を操作することが可能となる。

図４は、端末装置１の構成を示すブロック図である。図においてヒンジ機構４及びセンサ５は、図１に示した同一符号の構成部位と同じものである。ヒンジ機構４は、開閉部位２と本体部位３とを開閉自在に結合するのみならず、開閉部位２を開閉する操作を検出して、それぞれの操作で信号が発生するようなスイッチ機能を内蔵している。このようなスイッチ機能を有するヒンジ機構は、折り畳み式の携帯電話端末などですでに広く利用されているものであるので、ここではその構造について詳述しない。

またセンサ５は、表面に接触した物体の接触位置を電気信号として出力するセンサである。なお、このようなセンサの実現方式としては、センサ表面を圧力で押した場合にセンサ本体に変形が生じ、その変形によってセンサの電気抵抗の特性に生じた変化を電気信号として出力する感圧センサ方式や、導体が表面付近に接近した場合に静電容量特性に生じる変化を電気信号として出力する非接触型静電容量センサ方式などを初めとする各種方式が知られているが、センサ５に採用するセンサは、物体の接触位置を検出できるものであれば如何なる方式であってもよい。また物体の接触位置の出力の仕方としては、センサ信号を処理する回路がセンサから接触位置の時系列（接触位置の時間変化）が得られるようになっていればどのような方法であってもよく、例えば、センサがその回路に対して割り込み信号を出力するようにしていてもよいし、センサの信号処理回路からポーリングによってセンサの状態を取得するようにしてもよい。

図５は、このようなセンサ５の構成例を示した図である。図の拡大部分はセンサ５が拡大した状態で示されている。この例におけるセンサ５は小さな圧電素子５−１〜５−Ｎからなる配列で構成されている。圧電素子５−１〜５−Ｎはそれぞれ独立した圧電素子となっており、物体等が表面と接触することで圧迫を検出した場合に、独立して信号を出力できるようになっている。この結果、複数の部位がそれぞれ押された状態と押されていない状態の２値で表されることとなる。ここでは圧電素子５−１〜５−Ｎのそれぞれが押された状態を「１」と表現し、押されていない状態（通常の状態）を「０」と表現することとする。このように、このセンサ５の構成例では、各圧電素子は押されているか押されていないかの２値で表現されるため、圧力の絶対値を取得しない。しかし後述するように、このような構成のセンサにもかかわらず、この発明によれば安定した操作性を実現することができる。なお、以降においては、センサ５は状態が変化した場合に割り込み信号を出力することができるようになっているものとし、また必要に応じて現在の状態を取得できる（ポーリング可能な）ようになっているものとして説明を進める。

ジェスチャ識別手段６は、センサ５が出力する接触位置の時系列を処理し、ジェスチャを切り出す回路又は素子である。ただしジェスチャ識別手段６は、コンピュータプログラムと中央演算装置との組み合わせによって同様の機能を実現するように構成されていても構わない。ジェスチャ辞書７は、ジェスチャ識別手段６が切り出すジェスチャのパターンをデータとして記憶する記憶素子又は回路、あるいは記憶媒体である。

制御手段８は、端末装置１の備えている機能であって、ジェスチャが表している一纏まりの機能を、ジェスチャ識別手段６が切り出したジェスチャに合わせて選択し、実行する回路又は素子である。その場合には、ヒンジ機構４が開蓋時・閉蓋時に出力する信号を記憶することで、現在の開閉部位２の状態に応じて、実行する機能を選択するようになっている。

ここで、「一纏まりの機能」とは、操作者が操作によって意識的に選択する機能の単位（まとまり）をいう。例えば携帯電話の場合、発呼をする操作においてさまざまな処理が行われるが、操作者はそれらの処理の一つ一つを分解した形で操作しようと意識するのではなく、「発呼」という一纏まりの機能を操作により選択するのである。このような機能はテンキーや拡張キーなどを一回又は数回操作することで選択できるようになっていることが多い。したがって「一纏まりの機能」とは、テンキー又は拡張キー、ショートカットキーを操作することで操作者が選択しうる機能、と考えることができる。但し、ここでいう一纏まりの機能とは、予めメニュー項目などの形で選択可能とされた機能には限定されず、例えば操作者が事後的にカスタマイズにより追加定義していくマクロ機能（複数の機能の組み合わせ）やアプリケーションプログラムを導入することによって拡張した機能のようなものも「一纏まりの機能」の中に含まれるものとする。

なお、制御手段８も、ジェスチャ識別手段６と同じように、コンピュータプログラムと中央演算装置との組み合わせによって同様の機能を実現するように構成されていてもよい。またジェスチャ識別手段６と制御手段８を必ずしも別体に構成する必要はなく、同一のＣＰＵによって構成しコンピュータプログラムのサブルーチンレベル、あるいは処理ステップレベルでそれぞれの機能を果たすように構成してもよいのである。

タイマ９は、ジェスチャ識別手段６や制御手段８に必要に応じてクロック信号を供給する回路又は素子であって、水晶発振子などを用いて構成される。機能テーブル１０は、ジェスチャとそのジェスチャに対応する機能の対応表であって、図示せぬ記憶素子又は回路、記憶媒体などに記憶される情報である。

なお、端末装置１は、携帯電話を例として構成したものであるので、図４に示した構成要素以外に、無線信号を送受信する部位や電源制御を行う部位、キー操作部、ＬＥＤや表示部などの構成要素を備えているが、それらの部位の構成や実現方式は、この発明の構成には直接影響するものではないので、ここでは説明を省略する。

続いて、端末装置１の動作について説明する。端末装置１の動作は、ジェスチャ識別手段６における処理と制御手段７における処理とに大別される。始めにジェスチャ識別手段６における処理について説明する。図６は、ジェスチャ識別手段６の処理のフローチャートである。まずセンサ５に指が接触すると、センサ５の圧電素子５−１〜５−Ｎのいずれかが割り込み信号を発生し、ジェスチャ識別手段６にジェスチャの開始を通知する。これを受けてジェスチャ識別手段６において、図６の処理が活性化される。

図において、ジェスチャ識別手段６はセンサ５に対してポーリングを行い、現在の状態を取得する（ステップＳ１）。ここで取得される現在の状態とは、圧電素子５−１〜５−Ｎそれぞれの状態が「１」（押されている状態）か「０」（押されていない状態）のいずれかで表現された１と０の配列である。続いて、指がセンサ５を接触する接触面の大きさが所定値を超えているかどうかを調べる（ステップＳ２）。指は一定の大きさを有しているので、指がセンサ５に接触すると複数個の圧電素子が同時に「１」の状態となりうる。しかもその場合には、「１」の状態となる圧電素子は隣接する。したがって隣接する圧電素子であって、状態が「１」となっている圧電素子の個数を数えることによって、接触面の大きさを取得することができる。ここで、指は表面が柔らかいので、センサ５に軽く接している状態（例えば、図７）に比べれば、強く押した状態（例えば、図８）では、変形の度合いが大きく、接触面が広がる。このことから、接触面の大きさは指の圧力と相関があるといえる。

このように、接触面の大きさを取得することで、圧力の絶対値を取得できないセンサ素子を使用していても、間接的に圧力に基づく処理が可能となる。そしてこの接触面の大きさが所定値を超えているか否かを検定することで、操作者が誤ってセンサ５に触れてしまった場合に発生する信号を棄却することが可能となる。

また、ユーザが触る位置に基づいて操作を行うユーザインターフェースでは、接触開始直後において接触位置が変動するためにジェスチャの形状が不安定となることが多い。そのため、ステップＳ２のように、何らかの条件を設けて不安定な接触位置を棄却した方がよりしっかりした操作感が得られるのである。

ステップＳ２で、接触面の大きさが所定値を上回らない場合は、ステップＳ３に進む（ステップＳ２：Ｎｏ）。ステップＳ３では、タイマ９を用いて一定時間、例えば１０ミリ秒が経過するまで待機し、その時間が経過後、再びステップＳ１に戻って次の状態の処理を行う。一方、ステップＳ２で、接触面の大きさが所定値を上回った場合はステップＳ４に進む。

以上の処理は、接触面の大きさが所定値を上回らない場合に、その状態を棄却することで誤操作や処理の不安定感を取り除くことを目的としているが、この場合に状態を棄却せずに、すべての圧電素子の状態が「０」となっていると仮定して、ステップＳ４に進む制御を行っても構わない。

また、より圧力値が直接得られるセンサを用いて構成している場合は、ステップＳ２を接触面の大きさではなく圧力値に基づいて検定するようにしてもよい。

続いて、このようにして取得した接触位置の情報を接触位置の時系列に追加する（ステップＳ４）。接触位置の時系列は、複数の接触位置データからなる配列であって、発生時刻順にデータが並べられたものである。ここでは、記憶容量を節約するために、「１」が連続する圧電素子の分布の中央値（分布の中心となる圧電素子の位置、あるいは分布の中心となる圧電素子を識別する情報）のみを採用して時系列の要素として記憶する。その際、タイマ９から現在時刻を取得して接触位置とともに時系列要素として記憶しておくようにしてもよい。

次に、ジェスチャが終了したかどうかを判断する（ステップＳ５）。ジェスチャの終了を判断する方法の例として、「１」の状態となっている圧電素子の個数が０個となったかどうかを判断する方法（第１の方法）が考えられる。ジェスチャ操作中は、指がセンサ５のいずれかの部位に接しているので、いずれかの圧電素子が「１」の状態となっている。そしてジェスチャが終了すると、指がセンサ５を離れるので、「１」の状態となっている圧電素子の個数が０個となる。したがって「１」の状態となっている圧電素子の個数が０個となったかどうかで、指がセンサ５に接しているかどうかを判別できる。この方法はセンサ５を指が離れたことをもって、ジェスチャが完了したと判断するものであり、指が離れると即座に、ジェスチャが完了した、と判断されることになる。

また他に、定常状態が一定時間経過したことを検知する方法（第２の方法）が考えられる。これは、時系列要素の間の差分を求めることで検知することができる。すなわち一定数以上の時系列要素の間の差分が０（前後の要素が同じ）であれば、何ら新たな操作をセンサ５に加えていないことを意味するから、そのことをもってジェスチャの終了を判断するのである。

ただし指をセンサ５に触れたまま状態変化が生じない場合は、操作者が操作に不慣れであったり、考えながら操作しているために、ジェスチャの途中であることも想定できるので、この場合においても「１」の状態となっている圧電素子の個数が０個となった状態が一定時間継続した場合に、ジェスチャ終了と判断するようにする。

第２の方法、すなわち一定時間が経過する間、状態変化が生じないことを利用してジェスチャの終了を判断する方法は、ジェスチャを中断しても再開できることを特徴としている。第１の方法の場合は、指がセンサ５から離れたら即座にジェスチャ終了と判断してしまうので、ジェスチャの再開という概念がない。また、第２の方法の場合は、ジェスチャの中断（指がセンサ５から離れている時間）までも操作の一環としてみなすことができるので、ジェスチャの自由度や組み合わせが豊富となり表現力が増すという利点がある。以降では、第２の方法に基づいてジェスチャ終了を判断するものとして説明することとする。しかし、第１の方法であってもジェスチャを利用することができるので、この発明の趣旨は達成される。

なお、ステップＳ５において、ジェスチャ終了と判断されなかった場合は、ステップＳ３に進み（ステップＳ５：Ｙｅｓ）、ステップＳ１からの処理を繰り返す。

また、ステップＳ５において、ジェスチャ終了と判断された場合は、ステップＳ６に進む。ここでは、これまでの接触位置の時系列をジェスチャに変換する。この構成では、一定時間が経過することを条件としてジェスチャ終了の判断する方法（第２の方法）を採用しているので、時系列の中には、指がセンサ５に接触していない状態（圧電素子がすべて「０」の状態）も含まれている。

次に、時系列を移動量ベクトルに変換する（ステップＳ６）。移動量ベクトルとは時系列要素間の接触位置の変化量（差分）であるが、変化する方向に応じて、例えば図９に示すような符号を付することとする。そして移動量ベクトルに変換された入力時系列とジェスチャ辞書８に記憶されている各ジェスチャパターンとの距離値を算出する（ステップＳ７）。

ジェスチャ辞書８に記憶されているジェスチャパターンは、この端末装置１によって認識可能なジェスチャの基本的な時系列情報であり、例えば図１０に示すようなパターン（ジェスチャ１〜ジェスチャ１１）などの移動量ベクトルの時系列情報が予め記憶されている。ここに記憶されるジェスチャパターンの特徴は、ストローク操作（センサ５の表面を指で一方向のみになぞる操作）とタップ操作（センサ５の表面に一時的に接触する操作）を最小単位とした場合に、これらの最小単位を２つ以上含んだ組み合わせとして構成されているという点である。

このような構成を採用することで、次のような効果が生じる。まず、携帯電話の筐体側面のように限られたスペースに接触センサを配置した場合、設置面の一定方向になぞる（ストローク操作）か、タップ操作程度の操作バリエーションしかないが、これらを複数組み合わせることで複雑なジェスチャパターンを作り出せる。したがって異なるジェスチャを多くの機能に対応させることが可能となり、ジェスチャ操作の適用範囲を広げることができる。

また、ジェスチャの最小単位一つだけで機能選択をさせることも考えられるが、センサ５は筐体外部に露出しているものであるため、誤操作も生じやすい。最小単位となるジェスチャを複数組み合わせることで、かかる誤操作の可能性を減じることができるのである。

ジェスチャパターンとの距離値の算出は、一般的なパターン照合技術を用いて行う。このようなパターン照合技術はいくつか知られており、どのような方法でパターン照合を行ってもよい。以下の説明では、そのような方法の例として、ＤＰ（Dynamic Programming）マッチングによる方法を紹介する。

入力時系列およびジェスチャパターンのｉ番目のベクトル要素をそれぞれｆ(ｉ)、ｇ(ｉ)とし、ｄ(ｉ，ｊ)を入力時系列のｉ番目のベクトル要素とジェスチャパターンのｊ番目のベクトル要素との絶対値距離ｄ(ｉ，ｊ)＝｜ｆ(ｉ)−ｇ(ｊ)｜により算出する。そして、入力時系列のｉ番目のベクトル要素とジェスチャパターンのｊ番目のベクトル要素との差を算出する際のＤＰ評価値ｈ(ｉ，ｊ)を以下のように算出し、これをＤＰマッチングによる距離値とする。

なお上式において、ＤＰ＿ＰＥＮＡＬＴＹは１対１の対応付け以外の場合のペナルティ値を表している。つまり対応付けを行う入力時系列のベクトル要素とジェスチャパターンのベクトル要素とが１対１の対応付けとならない場合、多対１あるいは１対多の対応付けを行うが、この場合は多対１あるいは１対多の対応付けを評価値として表す必要がある。例えば、入力時系列のベクトル要素が上方向で、ジェスチャパターンのベクトル要素が下方向となった場合、両者を対応づけたときの評価値は、−１（上方向）と＋１（下方向）なので２となるが、この場合は対応付けが正しく行えていないので、ペナルティ値をこの評価値に加えることとしたものである。

また、このようなペナルティ値を事後的に増減して評価値を調整するのではなく、最初の数値化の段階で、上方向を−Ｎ、下方向を＋Ｎすることで、正しく対応付けができなかった場合の評価値を大きくすることも可能である。

このように、ＤＰマッチングによって、ジェスチャパターンとの距離値を算出することとしたので、時間的に操作パターンが変動しても適切なジェスチャパターンを選択することができる。また例えば、上から下へのストローク操作と下から上へのストローク操作とを一続きの操作（上→下→上）で行うような簡単な変形にも容易に対応できるのである。

なお、ステップＳ５において、指がセンサ５の表面から離れる動作が発生しても、即座にジェスチャの終了とは判断しないこととしたので、時系列の中には「１」の圧電素子数のが０個の状態の時系列要素が含まれることになる。この場合の移動量ベクトルは次のようにして算出する。すなわち、その前において指がセンサ５の表面に接していた状態と、その後において指がセンサ５の表面に接していた状態との差異に基づいて方向と移動ベクトルの絶対値を与えることとする。例えば、上から下になぞるストローク操作を続けて二回高速に行う場合、指がセンサ５の表面に接していない間の指の移動速度は大きくなると考えられる。またタップ操作を二回繰り返すような場合は、ほぼ同じ位置を二回タップすることが多いので、指の移動速度はほぼ０と考えられる。このように、指が離れている前後のセンサ５に接していた状態に基づいて、指が離れている間の移動量ベクトルを補完することで、ジェスチャの動きを適切に数値化することが可能となる。

最後に、このようにしてジェスチャパターンごとに算出したＤＰマッチングの距離値の中で、入力時系列との最も距離値が小さいジェスチャパターンをジェスチャ識別手段の処理結果として出力する（ステップＳ８）。

次に制御手段８の処理について説明する。制御手段８は、ジェスチャ識別手段６によって特定されたジェスチャパターンを取得し、このジェスチャパターンに対応する機能を機能テーブル１０から特定して、その機能を実行する。図１１は、機能テーブル１０の内容の例を示す図である。図が示すように、機能テーブル１０はジェスチャパターンを識別する情報と、そのジェスチャパターンに対応する開蓋時の機能と閉蓋時の機能との対応表である。表において、「−」（ハイフン）は、対応する機能が存在しない、すなわち、このようなジェスチャ操作を行っても何も機能が実行されないことを意味する。なお、図１１に示した例では同一のジェスチャに対する開蓋時機能と閉蓋時機能は常に同一か、あるいは閉蓋時機能がなく開蓋時機能のみが指定されている例のみに限られているが、このような例に限定されるものではなく、
また、すでに述べたように開閉部位２が開蓋状態にあるのか閉蓋状態にあるのか、については、閉蓋操作・開蓋操作に伴ってヒンジ機構４から送出される信号に基づいて判断する。このようにして、制御手段８は、この表を参照してジェスチャ識別手段６が特定したジェスチャパターンに対応する機能を実行するのである。

このように、端末装置１によれば、筐体を把持する手をキー操作可能な位置に維持したままその手の指で接触可能な位置に装着されたセンサ５に対して指によるジェスチャ操作を行うことにより操作可能としたので、多様な操作を片手で行うことが可能となる。

また、ジェスチャ識別手段６によってジェスチャを切り出し、切り出したジェスチャを複数個組み合わせてジェスチャパターンとした上で、ジェスチャパターンに対応する一纏まりの機能を選択して実行するようにしたので、接触センサを用いたユーザインターフェースにもかかわらず、しっかりとした操作感で操作することが可能となる。

またセンサ５を開蓋時と閉蓋時のどちらでも操作できる位置に配置したので、開蓋時のみならず閉蓋時においてもジェスチャ操作が可能である。さらに、機能テーブル１０に、各ジェスチャパターンに対応する開蓋時の機能と閉蓋時の機能を記憶させることとし、ヒンジ機構４から得られた閉開蓋情報に基づいてジェスチャパターンに対応するいずれかの機能を選択することとしたので、閉蓋状態・開蓋状態のそれぞれの状態に合わせて最適な機能をジェスチャにより独立して選択できる。

また閉蓋時と開蓋時で独立した機能を対応付けるように構成したことにより、ジェスチャ操作で選択できる機能を制限できる。このため、閉蓋状態で端末装置１を持ち運ぶ場合などに、センサ５に物体が接触する等の原因により、誤ってジェスチャ識別してしまっても、一部の機能が実行されないように制限することが可能なのである。

なお、この発明の実施の形態１においては、この発明による端末装置として、携帯電話端末を例にとって説明した。しかしこのことは、この発明に係る端末装置が携帯電話端末に限定されることを意味するものではない。つまりこの発明は、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や電子辞書のような携帯情報機器、さらには固定式電話機の受話器部分（子機を含む）や家電機器のリモコン端末のように片手で把持可能であって、さらにキーを押下して機能選択し操作を行うようになっているあらゆる端末装置に広く適用できるのである。

さらに、この発明の実施の形態１においては、１次元の接触位置を出力するセンサを用いて構成しているが、接触位置やジェスチャの形状は１次元に限定されるものではなく、２次元であってもよい。２次元のジェスチャのマッチングについても、上述したＤＰマッチングで行うことが可能であることは広く知られている。

また、この発明の実施の形態１においては、ジェスチャ識別手段６においてジェスチャの組み合わせを切り出すこととしたが、この他にもジェスチャ識別手段６で一つ一つのジェスチャ（ストローク操作やタップ操作）を切り出しておき、制御手段８でジェスチャの組み合わせを構成するようにしてもよい。

実施の形態２．
実施の形態１では、接触センサを用いてこの発明の端末装置１を構成する例について説明したが、接触センサに替えて非接触型センサを用いても構成できる。この発明の実施の形態２による端末装置はかかる特徴を有するものである。

図１２は、この発明の実施の形態２による端末装置の正面図である。図において、端末装置１１は回動可能な部位１２（以下、回動部位１２という）を有する携帯電話装置である。本体部位１３は回動部位１２と図示せぬヒンジ機構１４によって回動自在に結合されている。センサ１５は、実施の形態１におけるセンサ５と同じように、端末装置１１の筐体を把持する手をキー操作可能な位置に維持したままその手の指で接触可能な位置に装着されている。なお、図１３は回動部位１２の角度を変えた状態の正面図である。また図１４は、回動部位１２を本体部位１３に重ね合わせた状態の正面図である。この図が示すように、回動部位１２は、本体部位１３の正面の一部（キー操作部）を覆い隠すように開閉自在に装着された部位であって、図１４のように回動部位１２と本体部位１３とをほぼ完全に重ね合わせた状態を、閉蓋時と呼ぶこととする。またそうでない状態のことを開蓋時という。

図１５は、端末装置１１の構成を示すブロック図である。図において、ヒンジ機構１４は、実施の形態１におけるヒンジ機構４と同じように開閉操作に伴って、その操作が行われたことを通知する信号を端末装置１１の制御部分に送出するようになっている。センサ１５は、図１２〜図１４のセンサ１５と同じものであり、非接触型センサであることを特徴としている。このような非接触型センサの例としては、米国Ｃｉｒｑｕｅ社のＴＳＭ９９１０や、米国Ｓｙｎａｐｔｉｃｓ社製ＴｏｕｃｈＰａｄなどの静電容量型非接触センサなどがある。これらのセンサは、導体である人体の一部がセンサ表面に近づくことによって生じる静電容量の変化を検知し、そのことを電気信号として出力することが主な原理とされている。しかしながら、この発明においてはいかなる原理でセンサ表面への接近を検出してもよく、例えば赤外線や温度変化を用いてセンサ表面への接近を検出するようなでもよいのである。なお、以下の説明ではセンサ１５が静電容量型非接触センサを用いて構成されているものとして説明する。

ジェスチャ操作履歴１６は、操作者がセンサ１５に対して行ったジェスチャ操作に関する情報のうち、ジェスチャ操作の速さを表す情報、例えば各ジェスチャ完了までの所要時間を蓄積し、記憶するジェスチャ操作履歴ファイルであり、記憶素子や記憶回路、又は記憶媒体を用いて構成されている。所要時間算出手段１７は、ジェスチャ操作履歴１６に記憶されているジェスチャ操作の速さを表す情報に基づいて、ジェスチャ操作完了の所要時間の最大値算出する部位である。なお、所要時間算出手段１７は、コンピュータプログラムと中央演算装置との組み合わせによって同様の機能を実現するように構成されていてもよい。

なお、その他図４と同一の符号を付された構成要素については実施の形態１と同様であるので、説明を省略する。また端末装置１１は、この発明の実施の形態の一例として、携帯電話として構成したものである。したがって、図１５に示した構成要素以外に、無線部や電源制御部、テンキー、ＬＥＤや表示部などの構成要素を備えているが、そのような構成要素の実現方式は、この発明の構成には直接影響するものではないので、それらの部位についても説明を省略する。

続いて、端末装置１１の動作について説明する。図１４は、端末装置１１の動作のフローチャートである。なお、図１４において図６のフローチャートと同一の符号を付したステップは、実施の形態１と同様であるので、ここでは異なる動作ステップ部分についてのみ説明を行うこととする。

まずセンサ１５に指が接近すると、センサ１５は割り込み信号を発生し、ジェスチャ識別手段６にジェスチャの開始を通知する。これを受けてジェスチャ識別手段６では図１４の処理が活性化され、処理が開始される。それと同時に、センサ１５は、いくつかのプロット（代表点）における指とセンサ表面との距離の情報を表す信号をプロット毎に出力する。この信号は、図１５に示すように表面と接触しているプロット（距離０）で最大となり、一定の距離以上離れたプロットでは０となる。したがって最大値となるプロットの個数を数えれば、接触面の大きさを求めることができる。

また最大値のプロットに替えて、一定値以上の信号値となるプロットの個数を数えることでも、接触面の大きさと同等の情報を得ることができる。これによって非接触ではあるが、センサ表面に指を接触させている状態の情報も取得できるので、識別可能なジェスチャパターンの数を増やすことができ、したがって数多くの機能をそれぞれ特有のジェスチャ操作で指示することが可能となる。

ステップＳ１でこのセンサ１５の状態を取得し、以降ステップＳ２〜Ｓ４まで処理を行った時点で、ジェスチャ識別手段６は、所要時間算出手段１７を用いて、ジェスチャ完了の所要時間の最大値を算出する。所要時間算出手段１７は、ジェスチャ操作履歴１６に蓄積されているジェスチャ操作の速さを表す情報に基づいて、ジェスチャ完了の所要時間の最大値を決定する。ジェスチャ完了の所要時間の最大値の決定方法としては、例えばジェスチャ操作履歴１６に記憶されるジェスチャ操作の速さを表す情報が、各ジェスチャ完了までの所要時間であるならば、所要時間の平均値を求め、この平均値にある一定のマージン値を加えた値を所要時間の最大値とする、などの方法が考えられる。

また、ジェスチャ操作の速さを表す情報としては、移動量ベクトルから算出された指の移動速度としてもよく、この場合には、例えば図１５に示すように、この指の移動速度を数段階に分けて、それぞれの段階に応じてタイムアウト値を設けておいて、このタイムアウト値に基づいて決定するようにしてもよい。

ステップＳ５において、センサ１５の状態が定常状態になってから所要時間算出手段１７が算出したジェスチャ完了の所要時間の最大値が経過したかどうかを調べ、経過している場合にはそこでジェスチャが完了したものと判断する。ここでセンサ１５が定常状態となった場合とは、時系列の前の要素と今回の要素が変化がない状態をいう。そしてジェスチャが終了したと判定した場合には（ステップＳ５：Ｙｅｓ）、ステップＳ５２に進み、ジェスチャの速さを表す情報をジェスチャ操作履歴１６に記憶させる。その後ステップＳ６〜Ｓ８は実施の形態１と同様である。

また、制御手段８がヒンジ機構１４から通知される信号に基づいて、開蓋時と閉蓋時のそれぞれの機能をジェスチャパターンに合わせて選択する点についても、実施の形態１と同様である。

以上のように、この発明の実施の形態２の端末装置によれば、回動部位１２を備えた開閉自在の筐体を有する端末装置において、開蓋時と閉蓋時の双方で外部から露出する位置にセンサ１５を装着したので、どちらの状態であってもセンサ１５に対するジェスチャを行うことで、操作を行うことができる。

またジェスチャ操作履歴１６と所要時間算出手段１７とを備え、ジェスチャ操作の速さを表す情報に基づいて、ジェスチャ完了までの時間を変更するように構成した。これによって、操作者の操作習熟度が上がり、手早く操作できるようになってきた場合に、より短時間かつ効率的に操作が行えるようになるのである。

なお上述の記載においては、毎回ジェスチャ完了までの時間を設定しなおすこととして処理の説明を行ったが、学習モード・定常モードのように、一時期のみジェスチャ完了までの時間を変更するようにし、以降は変更しないようにしておいてもよい。

また実施の形態１の端末装置では折り畳み式の筐体を有するものとして、さらに端末装置１１では回動可能な部位を備える筐体を有するものとして、この発明の実施の形態を説明してきたが、所謂フリップ式やスライド式などの筐体を有するものであっても適用可能であることはいうまでもないのである。

この発明は、特に携帯電話を初めとする携帯情報端末やテレビやオーディオ、家電製品などのリモコン端末を効率的に操作するユーザインターフェースに適用可能である。

この発明の実施の形態１の端末装置の背面斜視図である。 この発明の実施の形態１の端末装置を手で把持した状態を示す正面図である。 この発明の実施の形態１の端末装置の閉蓋時の正面図である。 この発明の実施の形態１の端末装置の構成を示すブロック図である。 この発明の実施の形態１のセンサの詳細な構成例を示した図である。 この発明の実施の形態１による端末装置の動作のフローチャートである。 この発明の実施の形態１のセンサで発生する信号の分布例を示す図である。 この発明の実施の形態１のセンサで発生する信号の別の分布例を示す図である。 この発明の実施の形態１の時系列と移動量ベクトルの関係を説明する図である。 この発明の実施の形態１のジェスチャパターンの例を示す表である。 この発明の実施の形態１のジェスチャと機能の対応関係を示す図である。 この発明の実施の形態２の端末装置の開蓋時の斜視図である。 この発明の実施の形態２の端末装置の開蓋時の別の斜視図である。 この発明の実施の形態２の端末装置の閉蓋時の別の斜視図である。 この発明の実施の形態２の端末装置の構成を示すブロック図である。 この発明の実施の形態２の端末装置の動作を示すフローチャートである。 この発明の実施の形態２のセンサが発生する信号の状態の説明図である。 この発明の実施の形態２によるジェスチャ完了のタイムアウト値の設定例を示す図である。

符号の説明

５、１５ センサ、６ ジェスチャ識別手段、８ 制御手段、１６ ジェスチャ操作履歴、１７ 所要時間算出手段。

Claims (9)

1. 片手で筐体を把持しキー操作により使用する端末装置において、
   筐体を把持する手をキー操作可能な位置に維持したままその手の指で接触可能な位置に装着され接触した指の接触位置を検出するセンサと、
   このセンサにより検出された接触位置の時系列からジェスチャを切り出すジェスチャ識別手段と、
   このジェスチャ識別手段により切り出されたジェスチャの組み合わせに対応する一纏まりの機能を実行する制御手段と、
   を備えたことを特徴とする端末装置。
2. 筐体は、その正面又は背面の一部を覆い隠すように開閉自在に装着された部位を備え、
   センサは、この部位の閉蓋時と開蓋時のいずれにおいても外部に露出するように装着されたことを特徴とする請求項１に記載の端末装置。
3. 制御手段は、上記部位の開蓋と閉蓋とに伴って、ジェスチャと実行する機能との対応付けを変更することを特徴とする請求項２に記載の端末装置。
4. ジェスチャ識別手段は、センサ表面を一方向になぞるストローク操作とセンサ表面に一時的に接触するタップ操作との何れかをジェスチャとして切り出すことを特徴とする請求項１に記載の端末装置。
5. センサは、さらに指の接触面の大きさを検出し、
   ジェスチャ識別手段は、このセンサに検出された接触位置の時系列から、上記接触面の大きさの変化を抽出して、上記センサの表面を指で押し込む操作をジェスチャとして切り出すことを特徴とする請求項１に記載の端末装置。
6. ジェスチャ識別手段は、指をセンサに複数回接触させる間の非接触時間の情報を上記センサが検出した接触位置の時系列に含めてジェスチャを切り出すことを特徴とする請求項１に記載の端末装置。
7. センサは、非接触静電センサであって非接触時の指の位置を検出し、
   ジェスチャ識別手段は、非接触時間帯における指の位置の時系列と接触位置の時系列からジェスチャを切り出すことを特徴とする請求項６に記載の端末装置。
8. ジェスチャを行う速さを表す情報を複数回のジェスチャ操作にわたって蓄積し記憶するジェスチャ操作履歴ファイルと、
   このジェスチャ操作履歴ファイルが保持するジェスチャを行う速さを表す情報に基づいてジェスチャ操作の所要時間の最大値を算出する所要時間算出手段を備え、
   ジェスチャ識別手段は、接触位置の時系列から切り出したジェスチャを行う速さを表す情報を上記ジェスチャ操作履歴ファイルに蓄積するとともに、接触位置の時系列の先頭から上記所要時間算出手段が算出した所要時間の最大値が経過するまでの時系列からジェスチャを切り出す、
   ことを特徴とする請求項１に記載の端末装置。
9. センサは、さらに指の接触面の大きさを検出し、
   ジェスチャ識別手段は、このセンサに検出された接触位置の時系列から、上記接触面の大きさが所定値を下回った時間帯における接触位置の時系列を棄却してジェスチャを切り出すことを特徴とする請求項１に記載の端末装置。

Images