JP2007189395A - 携帯電話機 - Google Patents

Abstract

【課題】携帯電話機は操作部の寸法上の制限があり、従来の操作ボタン配列に指紋センサを追加することは、小型化及び操作部のレイアウトの自由度を阻害するという問題がある。
【解決手段】携帯電話機１０は、制御処理部１１０と、指先の動きを検出してボタン操作として出力するポインティング手段１００と、しきい値変更手段１０４と、を含んでいる。また、ポインティング手段１００は、指紋センサデバイス１０５と、動き算出手段１１２と、操作変換手段１１４と、を含んでいる。さらに、指紋センサデバイス１０５は、指紋センサ１０３と、動きベクトル変換手段１０６と、本人認証用のハードウエア及びソフトウエアと、を含んでおり、動きベクトル変換手段１０６は、感度処理部１１６を含んでいる。
【選択図】図３

Description

本発明は、携帯電話機に関し、特に携帯電話機に搭載される指紋センサを用いたポインティングデバイスに関する。

携帯電話機に搭載される指紋センサは、本人なりすまし等を防止するための本人認証に用いられている。本人認証としてパスワードによる認証方法もあるが、使用するたびにパスワードを入力する煩雑さに対し、指で触れるだけで入力ができるという指紋センサの手軽さがユーザに認められている。このため複数の携帯電話会社から指紋センサ付き携帯電話機が販売されている。

従来から、パーソナルコンピュータ（以下ＰＣという。）には情報漏洩の防止やパスワード漏洩による本人なりすまし防止のために指紋センサが搭載されている。指紋センサには指の腹をセンサ面に触れることで指紋を検出させる面型と、スリット状のセンサ面の上を滑らせることで指紋を検出させるスイープ型がある。スイープ型は、面型に比べて設置面積が狭いことから面型に比べてＰＣや小型機器及び携帯電話機等に広く用いられている。

また、特許文献１には、スイープ型の指紋センサをポインティングデバイスとして使用する例として、マウスに指紋を検出させる第１と第２のラインセンサを設け、ユーザが表示装置に表示されているウインドのスクロールバーをラインセンサで操作可能とする技術が開示されている。

特開２００１−４３０１７号公報

スイープ型は指先を滑らせて検出するため、滑らせる方向のセンサの長さが面型に比べて短く、一度に見渡せる検出範囲も狭い。このようなスイープ型をポインティングデバイスとして使用する場合において、指紋センサの検出範囲が制限されており、特許文献１に示されるスイープ型の場合は、指先の大きな動きを検出しにくいという問題がある。

また、一般的に、指紋センサには静電容量方式のセンサが多く用いられている。これは、光学方式の指紋センサに比べて安価であり、容易に指紋センサを製造することができるからである。しかし、静電容量方式は、皮脂又は汗の少ない「乾き指」では検出感度を上げる必要があり、汗の多い「濡れ指」では感度が高すぎで画面が真っ黒になるときは検出感度を下げる必要がある。

特に、皮脂や汗の多い「濡れ指」では汗により指紋の残像が指紋センサに残ることによるゴーストと、残った指紋から水分が蒸発することによる残像の変化と、を指の動きとして検知させないために指紋センサの検出感度を外部から調整する必要がある。

以上のような問題を解決するために、本発明に係る指紋センサを有する携帯電話機は、指紋センサで指紋を検出して指先の動きを検出するポインティング手段と、ポインティング手段により指先の動きを検知する場合、指紋センサの感度を調整するために指紋センサの検出感度のしきい値を変更するしきい値変更手段と、を含み、ポインティング手段は、指紋センサが検出した指先の複数の画像を取得し、取得した画像の差分により指先の動きをベクトルとして小刻みに動きベクトルに変換する動きベクトル変換手段と、動きベクトル手段から取得した動きベクトルを、累積加算して指先の移動方向と移動量を求める動き算出手段と、を含むことを特徴とする。

また、本発明に係る携帯電話機において、しきい値変更手段は、指紋センサの検出感度を予め複数の設定刻みに割当て、各設定刻みを選択可能とし、濡れ指に対する設定刻みを、乾き指に対する設定刻みより多くしたことを特徴とする。

さらに、本発明に係る携帯電話機において、ポインティング手段は、動き算出手段から取得した移動方向と移動量から、ポインティング方向又は決定の操作に変換する操作変換手段を含むことを特徴とする。

さらにまた、本発明に係る携帯電話機において、操作変換手段は、動き算出手段から取得した移動方向と移動量から、ポインティング方向の操作に変換した後に、動き算出手段から取得した指先の動きを累積した移動量が、所定の移動量より少ない場合は、長押し状態と判定することを特徴とする。

本発明を用いると、濡れ指や乾き指であっても適切にしきい値を設定することができるようになり、操作性の良いポインティングデバイスを提供することが可能となる。このため、従来の上下左右及び決定ボタンの代わりに指紋センサを用いることが可能となり、携帯電話機の小型化と操作部のレイアウトの自由度が増大するという効果がある。

以下、本発明の実施の形態（以下実施形態という）を、図面に従って説明する。

図１は、携帯電話機１０の外観図である。図１に示すように、携帯電話機１０は、表示部１８と、指紋センサ１０３と、ＫＥＹスイッチ１０８と、を含んでいる。なお、指紋センサ１０３は、本人認証のために使用するだけでなく、後述するポインティング手段としも使用する。

図２は、携帯電話機１０のハードウエア構成図であり、図３は、ポインティング手段の機能を示す機能ブロック図である。図２に示すように、携帯電話機１０は、指紋センサ１０３と、ＫＥＹスイッチ１０８と、メインＣＰＵ１２と、ＲＦプロセッサ１３と、フラッシュＲＯＭ１４と、ＲＡＭ１６と、表示部１８と、を有している。フラッシュＲＯＭ１４は、ポインティング手段等を実現するためのソフトウエアを記憶している。指紋センサ１０３は、例えば、２５６ポイントの静電容量方式のラインセンサ１０２が８ラインで構成されたセンサである。指紋センサ１０３と、ＫＥＹスイッチ１０８と、メインＣＰＵ１２と、ＲＦプロセッサ１３と、フラッシュＲＯＭ１４と、ＲＡＭ１６と、表示部１８と、は内部バスに接続されており、相互にデータのやり取りが可能である。

さらに、メインＣＰＵ１２は、携帯電話機１０のユーザインターフェースも司り、ＫＥＹスイッチ１０８からの入力に対して、その応答を表示部１８に表示させる。また、ＲＦプロセッサ１３は、メインＣＰＵ１２の制御下で無線通信に関する処理を行う。フラッシュＲＯＭ１４には、図３に示す携帯電話機１０の制御処理を実行する制御処理部１１０のプログラムと、ポインティング手段１００のプログラム及びしきい値変更手段１０４のプログラム等が記憶されている。ＲＡＭ１６には、各処理のためのデータが記憶される。

図３に示すように、ポインティング手段１００は、指紋センサデバイス１０５と、動き算出手段１１２と、操作変換手段１１４と、を含んでいる。また、指紋センサデバイス１０５は、指紋センサ１０３と、動きベクトル変換手段１０６と、図示しない本人認証用のハードウエア及びソフトウエアと、を含んでいる。さらに、動きベクトル変換手段１０６は、感度処理部１１６を含んでいる。

しきい値変更手段１０４は、感度処理部１１６に対して検出感度のしきい値を変更することができる。感度処理部１１６は、指紋センサ１０３からの信号を処理して指紋の画像を検出する。次に、動きベクトル変換手段１０６は、複数の画像から目印となる点を探して点の動きを捕らえ、ベクトルとして動きベクトル変換手段１０６に出力する。

動き算出手段１１２は、動きベクトル変換手段１０６から取得した動きベクトルを基にして指先の動きを算出し、操作変換手段１１４に出力する。操作変換手段１１４は、取得した指先の動きを基にして、携帯電話機１０のＫＥＹスイッチ１０８に存在しない仮想の上下左右ボタンが押されたと判定し、制御処理部１１０に出力する。

なお、所定の時間間隔で取り込まれた２枚の画像を比較するアルゴリズムは、指紋の特徴点となる端点や分岐点を抽出して特徴点のポイントの位置及びベクトルで比較する特徴点抽出法、画像のパターンをそのまま比較するパターンマッチング法、及び、画像の周波数成分による周波数解析法がある。

特徴点抽出法は、データ量を絞り込むため多くの指紋を管理することが可能である反面、特徴点を抽出する演算が多くなり、携帯電話機１０のような演算能力が低い装置に向いておらず、さらに、特徴点が少ない人の指紋の判定が難しい。これに対して、パターンマッチング法は、アルゴリズムが簡単で、組み込み機器に向いていることから、本実施形態ではパターンマッチング法を用いている。

図４（Ａ），（Ｂ）は、携帯電話機１０のポインティングしきい値設定画面のイメージ図であり、図５は、しきい値変更手段１０４の処理の流れを示すフローチャート図である。図４（Ａ）に示すように、指紋センサメニューには［１］指紋設定〜[５]センサ省電力設定までの５つの項目がある。ここで、ポインティング手段１００として使用する上で重要なメニューが「[３]ポインティングしきい値設定」である。

図４（Ａ）の「[３]ポインティングしきい値設定」メニューを選択すると、図４（Ｂ）に示すようなポインティングしきい値設定メニューにレベル１〜レベル５までの選択肢が表示される。ここで、レベル２は通常使用される値であり、レベル１は「乾き指」の場合のしきい値である。さらに、「濡れ指」対応としてレベル３からレベル５まである。

図４（Ｂ）の各レベル１からレベル５の設定値は、例えば、（表１）に示すような感度値と対応づけられており、感度値は０〜２５５までの値を取ることができる。（表１）の「レベル２（普通）」に示した通常の感度値は、例えば、３０であり、乾き指側には１段階、濡れ指側には３段階の設定値を用意した。これらの値は指数関数的に数値を増加させている。また、各レベルの感度値は、実際のユーザのモニターテストによる結果から設定したが、これらの感度値はこの値に限定するものではない。

図５のフローチャートに示すように、ステップＳ１０において、ユーザ入力による設定変更を行うと、ステップＳ１２において、レベル１〜レベル５のいずれか１つの設定値がＲＡＭ１６に格納される。次に、ステップＳ１４において、（表１）に示したフラッシュＲＯＭ１４に記憶されているテーブルから感度値を読み出し、ステップＳ１６において、感度値を感度処理部１１６に設定する。この設定値が、次回からの画像に適用される。

図６（Ａ）〜（Ｂ）は動きベクトル検出サイクルを説明するタイミングチャートであり、図６（Ｃ）〜（Ｄ）は動きベクトル変換手段１０６が取得した指紋と、捕らえた目印となる点を示したものである。図６に示すように、動きベクトル検出サイクルは２つのセット（例えば、１セット１００ｍｓ幅）を含んでおり、２００ｍｓで動きベクトルが検出される。さらに、各セットは、例えば、２０ｍｓ毎に約１ｍｓ間隔で図６（Ｃ）〜（Ｄ）に示す２枚の画像を撮影して目印となる点の比較を行い、その差から（（ｄｘ１，ｄｙ１），（ｄｘ２，ｄｙ２），・・・）の動きベクトルを求める。図６（Ｂ）に示すように、１セット０〜１００ｍｓの間に５回のサンプリングを行い、２セット合計で１０回のサンプリングを繰り返して行う。なお、撮影枚数は２枚以上であってもよい。

図６（Ｃ）〜（Ｄ）に示すように、動きベクトル変換手段１０６が取得した指紋の画像は、ｘ方向検出範囲に対してｙ方向の検出範囲が狭いため、ｘ方向に比べてｙ方向の動きを見失いやすい。また、指を速く動かした場合でも検知させるために、画像の撮影間隔を約１ｍｓとしているが、逆に指がゆっくり動いた場合には、動きベクトル（ｄｘｎ，ｄｙｎ：ｎは１〜５）がほとんどゼロとなる。このような場面では、指先のゆっくりとした動きを検知できない場合があるので、上述した２セットの測定を設けることにより解決している。なお、２セット以上であってもよいし、１セットの周期は、１００ｍｓに限定するものではない。

動き算出手段１１２は、（式１，２）に示すように１セット毎に動きベクトル（ｄｘｎ，ｄｙｎ）を加算して動き加算ベクトル（Ｘ１，Ｙ２）を求めている。なお、動き算出手段１１２は、動き加算ベクトル（Ｘ１，Ｙ２）を指先の動きとして操作変換手段１１４へ出力する。

Ｘ１ ＝ ｄｘ１＋ｄｘ２＋ｄｘ３＋ｄｘ４＋ｄｘ５ ・・・（式１）
Ｙ１ ＝ ｄｙ１＋ｄｙ２＋ｄｙ３＋ｄｙ４＋ｄｙ５ ・・・（式２）

図７は、操作変換手段の検出処理を説明する説明図である。図に示すように、操作変換手段１１４は、携帯電話機１０にない仮想の上下左右ボタン（４６，４８，５０，５２）と仮想の決定ボタン５４を判定するための仮想領域を有している。また、仮想領域は仮想の決定ボタン５４を判定する決定領域４０と、仮想の上下左右ボタン（４６，４８，５０，５２）を判定するための保留領域４２及び上下左右領域４４と、を含んでいる。

次に、図７の動き加算ベクトル（ａ）〜（ｃ）を用いて仮想の上下左右ボタン（４６，４８，５０，５２）と仮想の決定ボタン５４の検出における操作変換手段１１４の判定方法を示す。操作変換手段１１４は、通常処理と、高速処理の二つの処理を有している。通常処理は、動き加算ベクトル（動きベクトル５個の加算ベクトル）を二つ取得して加算することで、より確実な入力処理を行う処理である。これに対し、高速処理は、通常処理では追いつかない高速な指先の動きを検出する処理であり、１セット目で取得した動き加算ベクトルが上下左右領域４４に到達した時点で仮想の上下左右ボタン（４６，４８，５０，５２）として判定する処理である。

図７の動き加算ベクトル（ａ）に示すように、操作変換手段１１４は、動き算出手段から取得した動き加算ベクトルの到達点が１セット目において保留領域４２内であれば「保留」と判定し、２セット目の動き加算ベクトルを取得する（通常処理）。また、図５の動き加算ベクトル（ｃ）に示すように、動き加算ベクトルの到達点が決定領域４０であれば「ボタンの長押し」と判定して２セット目の動き加算ベクトルを取得する（通常処理）。しかし、図７の動き加算ベクトル（ｂ）に示すように、動き加算ベクトルの到達点が上下左右領域４４内にあれば、その時点で「仮想の下ボタン（４８）」として決定し、下ボタンコードを制御処理部１１０に送出する（高速処理）。

図８は、操作変換手段１１４の具体的な処理を示したものであり、図８（Ａ）は１セット目、図８（Ｂ）は２セット目の仮想領域の状況である。なお、１セット目及び２セット目の動き加算ベクトル（（Ｘ１，Ｙ１），（Ｘ２，Ｙ２））を加算した動き（Ｘ，Ｙ）を、（式３，４）に示す。

Ｘ ＝ Ｘ１＋Ｘ２ ・・・（式３）
Ｙ ＝ Ｙ１＋Ｙ２ ・・・（式４）

図８（Ａ）に示す動き加算ベクトル（ａ）は、仮想領域の中心から、１セット目で保留領域４２内に到達した場合である。この時、操作変換手段１１４は、「右方向；保留」と判定し、通常処理なので制御処理部１１０にはボタンコードは送られない。次に、２セット目の動き加算ベクトル（ｂ）を図８（Ｂ）に示す。

図８（Ｂ）に示されるように、動き加算ベクトル（ｂ）は動き加算ベクトル（ａ）の到達点から上下左右領域４４に到達しているため、操作変換手段１１４は、「仮想の右ボタン（５２）」と決定し、右ボタンコードを制御処理部１１０に送出する。次に、操作変換手段１１４は、動き加算ベクトルの始点を仮想領域の中心に戻し、「仮想の右ボタン（５２）押し下げ」の状態を「継続」とする。なお、「継続」が解除される条件は、次の操作変換処理で移動方向が変化した場合、又は、指先が検出されなくなった場合である。

図８（Ａ）に示す動き加算ベクトル（ｃ）は、仮想領域の中心から１セット目で上下左右領域４４内に到達した場合である。この場合には、操作変換手段１１４は、高速処理として「仮想の下ボタン（４８）」と決定し、下ボタンコードを制御処理部１１０に送出する。同様に動きベクトルの始点を初期値である中心部に戻し、「仮想の下ボタン（４８）押し下げ」の状態を「継続」とする。

図８（Ａ）に示す動き加算ベクトル（ｄ）は、仮想領域の中心から１セット目で決定領域４０内に到達した場合である。この場合、操作変換手段１１４は通常処理となり、１セット目では「移動なし；保留」となる。次に、図８（Ｂ）に示されるように、動き加算ベクトル（ｅ）は、動き加算ベクトル（ｄ）の到達点から、決定領域４０内に留まっているため、操作変換手段１１４は「仮想の決定ボタン（５４）」と判定し、決定ボタンコードを制御処理部１１０に送出する。同様に動きベクトルの始点を初期値である中心部に戻し、「仮想の決定ボタン（５４）押し下げ」状態は「継続」となる。

以上説明したように、本実施形態によると、濡れ指や乾き指であっても適切にしきい値を設定することで指紋の検出が可能となるだけでなく、ポインティング手段として利用が可能になるという効果がある。さらに、従来の方向ボタンや決定ボタンと同様な機能を指紋センサを用いたポインティング手段により実現することができる。このため、従来の携帯電話機の操作部に設けられていた上下左右ボタンと決定ボタンの位置に指紋センサを配置し、これらのボタンを廃止することも可能となり、小型化及び操作部のレイアウトの自由度が確保できるという効果がある。

なお、本実施形態では、２５６ポイント，８ラインの静電容量方式の指紋センサを用いたが、この方式に限定するものではなく、光学方式、その他の方式等でもよく、スイープ型に限定するものでもない。また、携帯電話機を例に説明したが、携帯電話機に限定するものではなく、ＰＣ、小型のＰＣ若しくはＰＤＡ等の携帯端末でも同様な効果を得ることができることはいうまでもない。さらに、本実施形態では、測定方法及び「上下左右ボタン」の中央にあるボタンを「仮想の決定ボタン５４」として使用したが、これらの設定に限定するものではない。

本発明の実施形態に係る携帯電話機の外観図である。 本発明の実施形態に係る携帯電話機のハードウエア構成図である。 本発明の実施形態に係るポインティング手段の機能を示す機能ブロック図である。 本発明の実施形態に係るポインティングしきい値設定画面のイメージ図である。 本発明の実施形態に係るしきい値変更手段の処理の流れを示すフローチャート図である。 本発明の実施形態に係る動きベクトル検出サイクルを説明する説明図である。 本発明の実施形態に係る操作変換手段の検出処理を説明する説明図である。 本発明の実施形態に係る操作変換手段のその他の検出処理を説明する説明図である。

符号の説明

１０ 携帯電話機、１３ ＲＦプロセッサ、１８ 表示部、４０ 決定領域、４２ 保留領域、４４ 上下左右領域、４６ 仮想の上ボタン、４８ 仮想の下ボタン、５０ 仮想の左ボタン、５２ 仮想の右ボタン、５４ 仮想の決定ボタン、１００ ポインティング手段、１０２ ラインセンサ、１０３ 指紋センサ、１０４ しきい値変更手段、１０５ 指紋センサデバイス、１０６ 動きベクトル変換手段、１０８ ＫＥＹスイッチ、１１０ 制御処理部、１１２ 動き算出手段、１１４ 操作変換手段、１１６ 感度処理部。

Claims (4)

1. 指紋センサを有する携帯電話機において、
   指紋センサで指紋を検出して指先の動きを検出するポインティング手段と、
   ポインティング手段により指先の動きを検知する場合、指紋センサの感度を調整するために指紋センサの検出感度のしきい値を変更するしきい値変更手段と、
   を含み、
   ポインティング手段は、
   指紋センサが検出した指先の複数の画像を取得し、取得した画像の差分により指先の動きをベクトルとして小刻みに動きベクトルに変換する動きベクトル変換手段と、
   動きベクトル変換手段から取得した動きベクトルを累積加算して指先の動きである移動方向と移動量を求める動き算出手段と、
   を含むことを特徴とする携帯電話機。
2. 請求項１に記載の携帯電話機において、
   しきい値変更手段は、
   指紋センサの検出感度を予め複数の設定刻みに割当て、各設定刻みを選択可能とし、
   濡れ指に対する設定刻みを、乾き指に対する設定刻みより多くしたことを特徴とする携帯電話機。
3. 請求項１に記載の携帯電話機において、
   ポインティング手段は、
   動き算出手段から取得した移動方向と移動量から、ポインティング方向又は決定の操作に変換する操作変換手段を含むことを特徴とする携帯電話機。
4. 請求項３に記載の携帯電話機において、
   操作変換手段は、
   動き算出手段から取得した移動方向と移動量から、ポインティング方向の操作に変換した後に、動き算出手段から取得した指先の動きを累積した移動量が、所定の移動量より少ない場合は、長押し状態と判定することを特徴とする携帯電話機。