図面を参照しつつ実施形態を詳細に説明する。以下では、タッチスクリーンを備える装置の一例として、スマートフォンについて説明する。
(実施形態)
図1から図3を参照しながら、本実施形態に係るスマートフォン1の全体的な構成について説明する。図1から図3に示すように、スマートフォン1は、ハウジング20を有する。ハウジング20は、フロントフェイス1Aと、バックフェイス1Bと、サイドフェイス1C1〜1C4とを有する。フロントフェイス1Aは、ハウジング20の正面である。バックフェイス1Bは、ハウジング20の背面である。サイドフェイス1C1〜1C4は、フロントフェイス1Aとバックフェイス1Bとを接続する側面である。以下では、サイドフェイス1C1〜1C4を、どの面であるかを特定することなく、サイドフェイス1Cと総称することがある。
スマートフォン1は、タッチスクリーンディスプレイ2と、ボタン3A〜3Cと、照度センサ4と、近接センサ5と、レシーバ7と、マイク8と、カメラ12とをフロントフェイス1Aに有する。スマートフォン1は、スピーカ11と、カメラ13とをバックフェイス1Bに有する。スマートフォン1は、ボタン3D〜3Fと、コネクタ14とをサイドフェイス1Cに有する。以下では、ボタン3A〜3Fを、どのボタンであるかを特定することなく、ボタン3と総称することがある。
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2Aは、液晶ディスプレイ(Liquid Crystal Display)、有機ELパネル(Organic Electro−Luminescence panel)、又は無機ELパネル(Inorganic Electro−Luminescence panel)等の表示デバイスを備える。ディスプレイ2Aは、文字、画像、記号又は図形等を表示する。
タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、又はスタイラスペン等の接触を検出する。タッチスクリーン2Bは、複数の指、ペン、又はスタイラスペン等がタッチスクリーン2Bに接触した位置を検出することができる。
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式(又は超音波方式)、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。以下では、説明を簡単にするため、タッチスクリーン2Bが接触を検出する指、ペン、又はスタイラスペン等は単に「指」ということがある。
スマートフォン1は、タッチスクリーン2Bにより検出された接触、接触が検出された位置、接触が検出された間隔、及び接触が検出された回数の少なくとも1つに基づいてジェスチャの種別を判別する。ジェスチャは、タッチスクリーン2Bに対して行われる操作である。スマートフォン1によって判別されるジェスチャには、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、ピンチアウト等が含まれる。
「タッチ」は、タッチスクリーン2Bに指が触れるジェスチャである。スマートフォン1は、タッチスクリーン2Bに指が接触するジェスチャをタッチとして判別する。「ロングタッチ」は、タッチスクリーン2Bに指が一定時間以上触れるジェスチャである。スマートフォン1は、タッチスクリーン2Bに指が一定時間以上接触するジェスチャをロングタッチとして判別する。
「リリース」は、指がタッチスクリーン2Bから離れるジェスチャである。スマートフォン1は、指がタッチスクリーン2Bから離れるジェスチャをリリースとして判別する。「スワイプ」は、指がタッチスクリーン2Bに接触したままで移動するジェスチャである。スマートフォン1は、指がタッチスクリーン2Bに接触したままで移動するジェスチャをスワイプとして判別する。
「タップ」は、タッチに続いてリリースをするジェスチャである。スマートフォン1は、タッチに続いてリリースをするジェスチャをタップとして判別する。「ダブルタップ」は、タッチに続いてリリースをするジェスチャが2回連続するジェスチャである。スマートフォン1は、タッチに続いてリリースをするジェスチャが2回連続するジェスチャをダブルタップとして判別する。
「ロングタップ」は、ロングタッチに続いてリリースをするジェスチャである。スマートフォン1は、ロングタッチに続いてリリースをするジェスチャをロングタップとして判別する。「ドラッグ」は、移動可能なオブジェクトが表示されている領域を始点としてスワイプをするジェスチャである。スマートフォン1は、移動可能なオブジェクトが表示されている領域を始点としてスワイプをするジェスチャをドラッグとして判別する。
「フリック」は、タッチに続いて指が一方方向へ移動しながらリリースするジェスチャである。スマートフォン1は、タッチに続いて指が一方方向へ移動しながらリリースするジェスチャをフリックとして判別する。フリックの移動速度は、スワイプおよびドラッグの移動速度と比較して高速である。フリックは、指が画面の上方向へ移動する「上フリック」、指が画面の下方向へ移動する「下フリック」、指が画面の右方向へ移動する「右フリック」、指が画面の左方向へ移動する「左フリック」等を含む。
「ピンチイン」は、複数の指が近付く方向にスワイプするジェスチャである。スマートフォン1は、複数の指が近付く方向にスワイプするジェスチャをピンチインとして判別する。「ピンチアウト」は、複数の指が遠ざかる方向にスワイプするジェスチャである。スマートフォン1は、複数の指が遠ざかる方向にスワイプするジェスチャをピンチアウトとして判別する。
スマートフォン1は、タッチスクリーン2Bを介して判別するこれらのジェスチャに従って動作を行う。このため、利用者にとって直感的で使いやすい操作性が実現される。判別されるジェスチャに従ってスマートフォン1が行う動作は、ディスプレイ2Aに表示されている画面に応じて異なる。以下では、説明を簡単にするために、「タッチスクリーン2Bがジェスチャを検出し、検出されたジェスチャの種別をスマートフォン1がXと判別すること」を、「スマートフォン1がXを検出する」、又は「コントローラがXを検出する」と記載することがある。
図4を参照しながら、ディスプレイ2Aに表示されるホーム画面の例について説明する。図4は、ホーム画面の一例を示している。ホーム画面は、デスクトップ、又は待受画面と呼ばれることもある。ホーム画面は、ディスプレイ2Aに表示される。ホーム画面は、スマートフォン1にインストールされているアプリケーションのうち、どのアプリケーションを実行するかを利用者に選択させる画面である。スマートフォン1は、ホーム画面で選択されたアプリケーションをフォアグランドで実行する。フォアグランドで実行されるアプリケーションの画面は、ディスプレイ2Aに表示される。
スマートフォン1は、ホーム画面にアイコンを配置することができる。図4に示すホーム画面40には、複数のアイコン50が配置されている。それぞれのアイコン50は、スマートフォン1にインストールされているアプリケーションと予め対応付けられている。スマートフォン1は、アイコン50に対するジェスチャを検出すると、そのアイコン50に対応付けられているアプリケーションを実行する。例えば、スマートフォン1は、メールアプリケーションに対応付けられたアイコン50に対するタップが検出されると、メールアプリケーションを実行する。
アイコン50は、画像と文字列を含む。アイコン50は、画像に代えて、記号又は図形を含んでもよい。アイコン50は、画像又は文字列のいずれか一方を含まなくてもよい。アイコン50は、配置パターンに基づいて配置される。アイコン50の背後には、壁紙41が表示される。壁紙は、フォトスクリーン又はバックスクリーンと呼ばれることもある。スマートフォン1は、任意の画像を壁紙41として用いることができる。利用者の設定に従って任意の画像が壁紙41として決定されてもよい。
スマートフォン1は、ホーム画面の数を増減することができる。スマートフォン1は、例えば、ホーム画面の数を利用者による設定に従って決定する。スマートフォン1は、ホーム画面の数が複数であっても、選択された1つをディスプレイ2Aに表示する。
スマートフォン1は、ホーム画面上に、1つ又は複数のロケータを表示する。ロケータの数は、ホーム画面の数と一致する。ロケータは、どのホーム画面が現在表示されているかを示す。現在表示されているホーム画面に対応するロケータは、他のロケータと異なる態様で表示される。
図4に示す例では、4つのロケータ51が表示されている。これは、ホーム画面40の数が4つであることを示す。さらに、図4に示す例では、左から2番目のシンボルが他のシンボルと異なる態様で表示されている。これは、現在、左から2番目のホーム画面がディスプレイ2Aに表示されていることを示している。
スマートフォン1は、ホーム画面を表示中にジェスチャを検出すると、ディスプレイ2Aに表示するホーム画面を切り替える。例えば、スマートフォン1は、右フリックを検出すると、ディスプレイ2Aに表示するホーム画面を1つ左のホーム画面に切り替える。例えば、スマートフォン1は、左フリックを検出すると、ディスプレイ2Aに表示するホーム画面を1つ右のホーム画面に切り替える。
ディスプレイ2Aの上端には、領域42が設けられている。領域42には、充電池の残量を示す残量マーク43、及び通信用の電波の電界強度を示す電波レベルマーク44が表示される。スマートフォン1は、領域42に、時刻、天気、実行中のアプリケーション、通信システムの種別、電話のステータス、装置のモード、装置に生じたイベント等を表示してもよい。このように、領域42は、利用者に対して各種の通知を行うために用いられる。領域42は、ホーム画面40以外の画面でも設けられることがある。領域42が設けられる位置は、ディスプレイ2Aの上端に限定されない。
ホーム画面40の上下方向は、ディスプレイ2Aに表示される文字または画像の上下方向を基準とした方向である。よって、ホーム画面40は、タッチスクリーンディスプレイ2の長手方向において領域42に近い側がホーム画面40の上側となり、領域42から遠い側がホーム画面40の下側となる。領域42において電波レベルマーク44が表示されている側がホーム画面40の右側であり、領域42において残量マーク43が表示されている側がホーム画面40の左側である。スマートフォン1は、ホーム画面40に表示される文字または画像の上下方向に基づいて、例えば、ホーム画面の左方向、斜め左上方向、斜め右上方向、右方向、斜め右下方向、および、斜め左下方向を決定する。
図4に示したホーム画面は、一例であり、各種の要素の形態、各種の要素の配置、ホーム画面の数、及びホーム画面での各種の操作の仕方等は上記の説明の通りでなくてもよい。
図5は、スマートフォン1の構成を示すブロック図である。スマートフォン1は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12及び13と、コネクタ14と、加速度センサ15と、方位センサ16と、ジャイロスコープ17とを有する。
タッチスクリーンディスプレイ2は、上述したように、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2Aは、文字、画像、記号、又は図形等を表示する。タッチスクリーン2Bは、ジェスチャを検出する。
ボタン3は、利用者によって操作される。ボタン3は、ボタン3A〜ボタン3Fを有する。コントローラ10はボタン3と協働することによってボタン3に対する操作を検出する。ボタン3に対する操作は、例えば、クリック、ダブルクリック、トリプルクリック、プッシュ、及びマルチプッシュである。
ボタン3A〜3Cは、例えば、ホームボタン、バックボタン、又はメニューボタンである。ボタン3Dは、例えば、スマートフォン1のパワーオン/オフボタンである。ボタン3Dは、スリープ/スリープ解除ボタンを兼ねてもよい。ボタン3E及び3Fは、例えば、音量ボタンである。
照度センサ4は、照度を検出する。照度は、光の強さ、明るさ、又は輝度を示す。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、例えば、タッチスクリーンディスプレイ2が顔に近付けられたことを検出する。照度センサ4及び近接センサ5は、一つのセンサとして構成されていてもよい。
通信ユニット6は、無線により通信する。通信ユニット6によって行われる通信方式は、無線通信規格である。無線通信規格として、例えば、2G、3G、4G等のセルラーフォンの通信規格がある。セルラーフォンの通信規格として、例えば、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communications)、PHS(Personal Handy−phone System)等がある。無線通信規格として、例えば、WiMAX(Worldwide Interoperability for Microwave Access)、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)等がある。通信ユニット6は、上述した通信規格の1つ又は複数をサポートしていてもよい。
レシーバ7及びスピーカ11は、コントローラ10から送信される音声信号を音声として出力する。レシーバ7は、例えば、通話時に相手の声を出力するために用いられる。スピーカ11は、例えば、着信音及び音楽を出力するために用いられる。レシーバ7及びスピーカ11の一方が、他方の機能を兼ねてもよい。マイク8は、利用者等の音声を音声信号へ変換してコントローラ10へ送信する。
ストレージ9は、プログラム及びデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域としても利用される。ストレージ9は、半導体記憶デバイス、及び磁気記憶デバイス等の任意の非一過的(non−transitory)な記憶デバイスを含んでよい。ストレージ9は、複数の種類の記憶デバイスを含んでよい。ストレージ9は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。
ストレージ9に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ2Aに画面を表示させ、タッチスクリーン2Bによって検出されるジェスチャに応じた処理をコントローラ10に実行させる。制御プログラムは、例えば、OSである。アプリケーション及び制御プログラムは、通信ユニット6による無線通信又は非一過的な記憶媒体を介してストレージ9にインストールされてもよい。
ストレージ9は、例えば、制御プログラム9A、メールアプリケーション9B、ブラウザアプリケーション9C、及び設定データ9Zを記憶する。メールアプリケーション9Bは、電子メール機能を提供する。電子メール機能は、例えば、電子メールの作成、送信、受信、及び表示等を可能にする。ブラウザアプリケーション9Cは、WEBブラウジング機能を提供する。WEBブラウジング機能は、例えば、WEBページの表示、及びブックマークの編集等を可能にする。設定データ9Zは、スマートフォン1の動作に関する各種の設定機能を提供する。例えば、設定データ9Zは、スマートフォン1のロック状態を解除する解除パターンを記憶している。解除パターンは、タッチスクリーン2Bに対する複数の接触の相対位置に対応する。ここで、複数の接触の相対位置は、利用者の複数の指に対応する複数の接触(タッチ)が検出されたタッチスクリーン2B上の接触位置の相対的な位置関係を示す。つまり、複数の接触の相対位置とは、接触位置の相対的な位置関係を示すパターンともいえる。
本実施形態において、設定データ9Zに記憶される解除パターンは、ロック状態の解除中に、利用者の複数の指が揃った状態でタッチスクリーン2Bにより検出された複数の接触に基づいて設定される。例えば、スマートフォン1は、特定のボタン3がクリックされる等の所定の操作が検出されると、解除パターンを登録するための登録画面をディスプレイ2Aに表示する。ここで、利用者が登録画面上で複数の指を揃えた状態でタッチスクリーン2Bをタッチすると、スマートフォン1は、複数の指に対応する接触位置に基づいて、後述する図7〜図11に示すような、接触領域の中心座標、各中心座標間の距離、各中心座標を通る各平行線間の距離、隣接する接触領域間で算出される角度、および、各接触領域の面積の相対比等を算出し、これらのうち少なくとも1つに基づいて、接触位置の相対的な位置関係を示すパターンとして、解除パターンを登録する。
スマートフォン1は、解除パターンを登録する際、所定回数、利用者に同じ動作を促すようメッセージを登録画面上に表示してもよい。この場合、スマートフォン1は、1回目に登録した解除パターンと2回目に登録した解除パターンが異なる場合、解除パターンの設定をやり直すメッセージを登録画面上に表示する。例えば、利用者が1回目の登録において、指を揃えた状態で登録画面をタッチしたが、2回目の登録において、指を広げた状態で登録画面をタッチした場合、スマートフォン1は、解除パターンの設定をやり直すメッセージを登録画面上に表示してもよい。また、スマートフォン1は、所定回数登録された解除パターンの平均を最適な解除パターンとして登録してもよい。このようにして登録された解除パターンは、スマートフォン1がロック状態を解除する際に参照される。
制御プログラム9Aは、スマートフォン1を稼働させるための各種制御に関する機能を提供する。制御プログラム9Aは、例えば、通信ユニット6、レシーバ7、及びマイク8等を制御することによって、通話を実現させる。制御プログラム9Aが提供する機能には、ロック画面を表示する機能と、ロック状態において、タッチスクリーンディスプレイ2に対する複数の接触が検出された場合、当該検出された複数の接触の相対位置に基づいて、ロック状態を解除する機能とが含まれる。制御プログラム9Aが提供する機能は、メールアプリケーション9B等の他のプログラムが提供する機能と組み合わせて利用されることがある。
コントローラ10は、演算回路である。演算回路は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、又はFPGA(Field−Programmable Gate Array)である。コントローラ10は、スマートフォン1の動作を統括的に制御して各種の機能を実現する。
具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。機能部は、ディスプレイ2A、通信ユニット6、マイク8、及びスピーカ11を含むが、これらに限定されない。検出部は、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、レシーバ7、カメラ12、カメラ13、加速度センサ15、方位センサ16、及びジャイロスコープ17を含むがこれらに限定されない。
コントローラ10は、例えば、制御プログラム9Aを実行することにより、ロック状態において、タッチスクリーンディスプレイ2に対する複数の接触が検出された場合、当該検出された複数の接触の相対位置が条件を満たした場合、ロック状態を解除する処理を実行する。
カメラ12は、フロントフェイス1Aに面している物体を撮影するインカメラである。カメラ13は、バックフェイス1Bに面している物体を撮影するアウトカメラである。
コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(High−Definition Multimedia Interface)(登録商標)、ライトピーク(サンダーボルト(登録商標))、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用の端子でもよい。コネクタ14に接続される装置は、例えば、外部ストレージ、スピーカ、及び通信装置である。
加速度センサ15は、スマートフォン1に働く加速度の方向及び大きさを検出する。方位センサ16は、地磁気の向きを検出する。ジャイロスコープ17は、スマートフォン1の角度及び角速度を検出する。加速度センサ15、方位センサ16及びジャイロスコープ17の検出結果は、スマートフォン1の位置及び姿勢の変化を検出するために、組み合わせて利用される。
図5においてストレージ9が記憶するプログラムの一部又は全部は、通信ユニット6による無線通信で他の装置からダウンロードされてもよい。図5においてストレージ9が記憶するプログラムの一部又は全部は、ストレージ9に含まれる読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。図5においてストレージ9が記憶するプログラムの一部又は全部は、コネクタ14に接続される読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。非一過的な記憶媒体は、例えば、CD(登録商標)、DVD(登録商標)、Blu−ray(登録商標)等の光ディスク、光磁気ディスク、又はメモリカードである。
図5に示したスマートフォン1の構成は一例であり、本出願の要旨を損なわない範囲において適宜変更してよい。例えば、ボタン3の数と種類は図5の例に限定されない。スマートフォン1は、画面に関する操作のためのボタンとして、ボタン3A〜3Cに代えて、テンキー配列又はQWERTY配列等のボタンを備えていてもよい。スマートフォン1は、画面に関する操作のために、ボタンを1つだけ備えてよいし、ボタンを備えなくてもよい。図5に示した例では、スマートフォン1が2つのカメラを備えるが、スマートフォン1は、1つのカメラのみを備えてもよいし、カメラを備えなくてもよい。図5に示した例では、スマートフォン1が位置及び姿勢を検出するために3種類のセンサを備えるが、スマートフォン1は、このうちいくつかのセンサを備えなくてもよい。あるいは、スマートフォン1は、位置及び姿勢の少なくとも一つを検出するための他の種類のセンサを備えてもよい。
図6から図12を参照しながら、制御プログラム9Aが提供する機能に基づく制御の例について説明する。制御プログラム9Aが提供する機能には、ロック状態において、タッチスクリーンディスプレイ2に対する複数の接触が検出された場合、当該検出された複数の接触の相対位置に基づいて、ロック状態を解除する機能が含まれる。以下に、ロック状態が設定されている間に利用者の指示に従って実行される制御の例を示す。
ここで、図6を用いて、ロック画面の例について説明する。ロック画面は、スマートフォン1がロックされていることを示す画面である。スマートフォン1は、例えば、タッチスクリーンディスプレイ2またはボタン3等に対する操作が行われずに所定の時間が経過するとロックされる。スマートフォン1は、例えば、スマートフォン1のスリープ/スリープ解除ボタンであるボタン3Dがクリックされた場合にもロックされる。スマートフォン1は、ロックされると、ロック状態を解除するために予め設定された操作が行われた場合にのみ、各種機能を実行することが可能な状態となる。
スマートフォン1は、ロックが解除されると、ロック画面を消去し、ロックされる直前にディスプレイ2Aに表示していた画面を再びディスプレイ2Aに表示する。例えば、スマートフォン1は、ホーム画面40をディスプレイ2Aに表示している状態でロックされた場合、ロックが解除されると、ホーム画面40を再びディスプレイ2Aに表示する。なお、スマートフォン1のロックが解除されたときにディスプレイ2Aに表示される画面は、ロックされる直前に表示していた画面と異なる画面であってもよい。
図6は、ディスプレイ2Aに表示されたロック画面60を示す図である。図6に示すように、スマートフォン1は、ディスプレイ2Aにロック画面60および領域42を表示している。領域42は、図4と同様に、ディスプレイ2Aの上端に表示される。ロック画面60には、日付および時刻が領域42の下側に表示されている。スマートフォン1は、領域42を、ロック画面60と一緒に表示しなくてもよい。
図7は、実施形態に係るスマートフォンが行う制御の第1の例を示す図である。この第1の例では、スマートフォン1は、タッチスクリーン2Bによって複数の接触が検出された各接触領域の中心点に対応する各中心座標に基づいて決定された相対位置のパターンを、上記の解除パターンとして設定している。
スマートフォン1は、図7に示すように、ステップS11で、図6に示したロック画面60をディスプレイ2A(タッチスクリーンディスプレイ2)に表示している。
そして、ステップS12では、利用者が、4本の指(指F1、指F2、指F3、指F4)を揃えた状態で、タッチスクリーン2B(タッチスクリーンディスプレイ2)においてロック画面60が表示された部分をタッチしている。
この場合、スマートフォン1は、ロック画面60に対する複数の位置での接触を検出する。具体的には、スマートフォン1は、ロック画面60に対する複数の位置での接触を略同時に検出する。
本実施形態において、略同時とは、複数の指によるタッチが行われるとき、第1位置でのタッチが検出された時間と第2位置でのタッチが検出された時間との差が所定の時間間隔内である場合を含む概念である。つまり、スマートフォン1は、複数の位置でのタッチが厳密に同時に行われていない場合であっても、複数の位置でのタッチが検出された時間が所定の時間間隔内に収まっていれば、タッチスクリーンにおいて複数の位置が同時にタッチされたと判定する。例えば、スマートフォン1は、利用者が複数の指を順番にタッチスクリーンに置いた場合、つまり、複数の指による接触のタイミングがそれぞれずれた場合であっても、最初の指のタッチが検出された時間から最後の指のタッチが検出された時間が所定の時間間隔内であれば、複数の指が同時にタッチスクリーンに触れている状態にあると認識して、複数の接触として検出する。当然ながら、略同時とは、複数の位置でのタッチが同時に行われた場合、つまり、第1位置でのタッチが検出された時間と第2位置でのタッチが検出された時間との差がない場合も含む。
スマートフォン1は、ロック画面60に対する複数の位置での接触を検出すると、ステップS13に示すように、各指F1〜指F4の略先端部分における略楕円形領域に対応する接触領域(タッチ点)T1〜T4を検出する。スマートフォン1は、利用者が4本の指F1〜F4の先端部分だけなく指の裏全体をタッチスクリーン2B上に置いた場合であっても、パターンマッチング技術等を利用して特徴点を抽出することにより、各指F1〜指F4の略先端部分における略楕円形領域に対応する接触領域(タッチ点)T1〜T4を検出することができる。
次に、スマートフォン1は、ステップS14に示すように、ステップS13で検出した各接触領域T1〜T4の中心点に対応する各中心座標C1〜C4を算出する。そして、スマートフォン1は、ステップS14で算出した各中心座標C1〜C4に基づいて複数の接触の相対位置(すなわち、複数の接触が検出されたタッチスクリーン2B上の接触位置の相対的な位置関係を示すパターン)を決定する。
その後、スマートフォン1は、決定した複数の接触の相対位置のパターンと、設定データ9Zに記憶された解除パターンと一致するか否かを判定して一致する場合は、ロック状態を解除する。スマートフォン1は、例えば、ディスプレイ2Aの表示をロック画面60から図4と同様のホーム画面40に変更する。
このように、スマートフォン1は、ロック画面60が複数の指を揃えた状態でタッチされている場合に、複数の指の各接触領域の中心点に対応する各中心座標により決定される相対位置のパターンに基づいて、スマートフォン1のロック状態を解除する。つまり、スマートフォン1は、決定された相対位置のパターンと所定条件とを比較し、決定された相対位置のパターンが所定条件を満たした場合、スマートフォン1のロック状態を解除する。これにより、スマートフォン1は、簡易なロック解除操作でロック状態を解除することができる。ここで、利用者の手の大きさ、指の太さ、長さは利用者ごとに異なるため、接触領域の中心点に対応する中心座標より決定される、複数の接触の相対位置も利用者ごとに異なる。よって、スマートフォン1は、利用者の判別を行うこともできセキュリティ性も確保することができる。このように、本実施形態によれば、セキュリティ性の確保とロック解除操作の操作性の向上とを両立させることができる。
また、スマートフォン1は、接触位置の相対位置のパターンに基づいて、ロック解除を行うかを判定することで、タッチスクリーンディスプレイ2と複数の指との相対的な向きに影響を受けることなく判定を行うことができる。これにより、利用者は、スマートフォン1の向きを考慮せず、タッチスクリーンディスプレイ2に指を接触させるだけで、ロック状態を解除させることができる。
図7に示す第1の例では、スマートフォン1は、ロック画面が4本の指を揃えた状態でタッチされるとロック状態を解除するが、本実施形態はこれに限られない。スマートフォン1は、利用者が、3本の指または2本の指を揃えた状態で、タッチスクリーン2B(タッチスクリーンディスプレイ2)においてロック画面60が表示された部分をタッチした場合も、設定データ9Zに記憶された解除パターンと、決定した相対位置のパターンとが部分一致するか否かを判定し、部分一致する場合、ロック状態を解除してもよい。
図8は、実施形態に係るスマートフォンが行う制御の第2の例を示す図である。この第2の例では、スマートフォン1は、各中心座標間の距離に基づいて決定された相対位置のパターンを、上記の解除パターンとして設定している。
図8に示すように、スマートフォン1は、上述の図7のステップS14で、タッチスクリーン2Bによって複数の接触が検出された各接触領域T1〜T4の中心点に対応する各中心座標C1〜C4を算出した後、算出した各中心座標間の距離D1〜D3を算出する。そして、スマートフォン1は、算出した各中心座標間の距離D1〜D3に基づいて複数の接触の相対位置を決定する。
その後、スマートフォン1は、決定した複数の接触の相対位置のパターンと、設定データ9Zに記憶された解除パターンと一致するか否かを判定して一致する場合は、ロック状態を解除する。スマートフォン1は、例えば、ディスプレイ2Aの表示をロック画面60から図4と同様のホーム画面40に変更する。
このように、スマートフォン1は、ロック画面60が複数の指を揃えた状態でタッチされている場合に、複数の指の各接触領域の中心点に対応する各中心座標間の距離により決定される相対位置のパターンに基づいて、スマートフォン1のロック状態を解除する。これにより、スマートフォン1は、上記第1の例により決定された相対位置のパターンと、この第2の例により決定された相対位置のパターンとを適宜組み合わせることで、利用者ごとの識別精度を向上させることができ、その結果、セキュリティ性をさらに向上させることができる。
図8に示す第2の例では、スマートフォン1は、各中心座標間の距離として、C1とC2との間の距離D1、C2とC3との間の距離D2、C3とC4との間の距離D3を算出するが、本実施形態はこれに限られない。スマートフォン1は、C1とC3との距離、C1とC4との距離、C2とC4との距離も、各中心座標間の距離として算出して、これらの距離に基づいて相対位置を決定してもよい。
図9は、実施形態に係るスマートフォンが行う制御の第3の例を示す図である。この第3の例では、スマートフォン1は、各中心座標を通る各平行線間の距離に基づいて決定された相対位置のパターンを、上記の解除パターンとして設定している。
図9に示すように、スマートフォン1は、上述の図7のステップS14で、各中心座標C1〜C4を算出した後、算出した各中心座標を通る各平行線L1〜L4を設定する。具体的には、スマートフォン1は、各中心座標C1〜C4を含む略楕円形の各接触領域T1〜T4の長手方向を検出し、各中心座標C1〜C4から長手方向に向かって延びる各直線が平行になるよう、各中心座標C1〜C4を通る各平行線L1〜L4を設定する。この際、スマートフォン1は、基準となる中心座標C1についてのみ接触領域T1の長手方向を検出し、当該中心座標C1から当該長手方向に向かって引いた直線を基準線として設定し、当該基準線に対して平行になるよう他の中心座標C2〜C4を通る他の平行線L2〜L4を設定してもよい。そして、スマートフォン1は、設定した各平行線L1〜L4の距離を算出する。そして、スマートフォン1は、算出した各平行線間の距離D4〜D9に基づいて複数の接触の相対位置を決定する。
その後、スマートフォン1は、決定した複数の接触の相対位置のパターンと、設定データ9Zに記憶された解除パターンと一致するか否かを判定して一致する場合は、ロック状態を解除する。スマートフォン1は、例えば、ディスプレイ2Aの表示をロック画面60から図4と同様のホーム画面40に変更する。
このように、スマートフォン1は、ロック画面60が複数の指を揃えた状態でタッチされている場合に、複数の指の各接触領域の中心点に対応する各中心座標を通る各平行線間の距離により決定された相対位置のパターンに基づいて、スマートフォン1のロック状態を解除する。これにより、スマートフォン1は、上記第1の例および上記第2の例により決定された相対位置のパターンと、この第3の例により決定された相対位置のパターンとを適宜組み合わせることで、利用者ごとの識別精度を向上させることができ、その結果、セキュリティ性をより一層向上させることができる。
図10は、実施形態に係るスマートフォンが行う制御の第4の例を示す図である。この第4の例では、スマートフォン1は、互いに距離が最も近い隣接する接触領域間で算出される角度に基づいて決定された相対位置のパターンを、上記の解除パターンとして設定している。
図10に示すように、スマートフォン1は、上述の図7のステップS14で、各中心座標C1〜C4を算出し、上述の図8で算出した各中心座標間の距離D1〜D3を算出し、更に、上述の図9で算出した各中心座標を通る各平行線L1〜L4を設定した後、互いに距離が最も近い隣接する接触領域を第1の接触領域(例えば、T1)および第2の接触領域(例えば、T2)として設定する。そして、スマートフォン1は、当該第1の接触領域の中心座標(例えば、C1)と当該第2の接触領域の中心座標(例えば、C2)を結ぶ第1の線分を算出する。そして、スマートフォン1は、当該第1の接触領域の中心座標(例えば、C1)から当該第2の接触領域の中心座標を通る平行線(例えば、L2)上で垂直に交わる第2の線分を算出する。そして、スマートフォン1は、当該第1の線分と第2の線分とがなす角度(例えば、α)を算出する。そして、スマートフォン1は、算出した互いに距離が最も近い隣接する接触領域間で算出される角度に基づいて、複数の接触の相対位置を決定する。なお、角度β、γについても、スマートフォン1は、上述と同様の処理により算出することができる。
その後、スマートフォン1は、決定した複数の接触の相対位置のパターンと、設定データ9Zに記憶された解除パターンと一致するか否かを判定して一致する場合は、ロック状態を解除する。スマートフォン1は、例えば、ディスプレイ2Aの表示をロック画面60から図4と同様のホーム画面40に変更する。
このように、スマートフォン1は、ロック画面60が複数の指を揃えた状態でタッチされている場合に、互いに距離が最も近い隣接する接触領域間で算出される角度により決定された相対位置のパターンに基づいて、スマートフォン1のロック状態を解除する。これにより、スマートフォン1は、上記第1の例、上記第2の例、および、上記第3の例により決定された相対位置のパターンと、この第4の例により決定された相対位置のパターンとを適宜組み合わせることで、利用者ごとの識別精度をより向上させることができ、その結果、セキュリティ性をより一層向上させることができる。
図11は、実施形態に係るスマートフォンが行う制御の第5の例を示す図である。この第5の例では、スマートフォン1は、各接触領域の面積の相対比に基づいて決定された相対位置のパターンを、上記の解除パターンとして設定している。
図11に示すように、スマートフォン1は、上述の図7のステップS13で、各指F1〜指F4の略先端部分における略楕円形領域に対応する各接触領域T1〜T4を検出した後、検出した各接触領域の面積A1〜A4を算出する。そして、コントローラ10は、算出した各接触領域の面積の相対比(例えば、A1を1とした場合、A2は1.2、A3は0.9、A4は0.8)に基づいて、複数の接触の相対位置を決定する。
その後、スマートフォン1は、決定した複数の接触の相対位置と、設定データ9Zに記憶された解除パターンと一致するか否かを判定して一致する場合は、ロック状態を解除する。スマートフォン1は、例えば、ディスプレイ2Aの表示をロック画面60から図4と同様のホーム画面40に変更する。
このように、スマートフォン1は、ロック画面60が複数の指を揃えた状態でタッチされている場合に、各接触領域の面積の相対比に基づいて決定された相対位置のパターンに基づいて、スマートフォン1のロック状態を解除する。これにより、スマートフォン1は、上記第1の例、上記第2の例、上記第3の例、および、上記第4の例により決定された相対位置のパターンと、この第5の例により決定された相対位置のパターンとを適宜組み合わせることで、利用者ごとの識別精度をより向上させることができ、その結果、セキュリティ性をより一層向上させることができる。
次に、図12を参照して、スマートフォン1がタッチスクリーン2Bにより検出される複数の接触の相対位置に基づいてロック状態を解除する処理手順について説明する。図12は、スマートフォン1のコントローラ10が行う制御を示すフローチャートである。コントローラ10は、図12に示す処理手順と並行して、他の処理手順を実行することがある。
まず、スマートフォン1のコントローラ10は、ステップS101として、ロック画面をディスプレイ2Aに表示する。そして、コントローラ10は、ステップS102に進む。
コントローラ10は、ステップS102で、タッチスクリーン2Bに対する接触が検出された否かを判定する。つまり、コントローラ10は、タッチスクリーン2Bに対するタッチが行われたか否かを判定する。コントローラ10は、タッチスクリーン2Bに対する接触が検出されなかったと判定した場合(ステップS102でNo)、ステップS102に進む。このように、コントローラ10は、ステップS102でタッチスクリーン2Bに対する接触が検出されたと判定されるまで、ステップS102の処理を繰り返す。
コントローラ10は、タッチスクリーン2Bに対する接触が検出されたと判定した場合(ステップS102でYes)、ステップS103に進む。コントローラ10は、ステップS103として、タッチスクリーン2Bによって検出された接触が複数であるか否かを判定する。つまり、コントローラ10は、タッチスクリーン2Bによって検出されたタッチが複数であるか否かを判定する。具体的には、ステップS103において、コントローラ10は、タッチスクリーン2Bによって略同時に検出された接触が複数であるか否かを判定する。ステップS103において、コントローラ10は、利用者の複数の指による接触のタイミングがそれぞれずれた場合であっても、最初の指のタッチが検出された時間から最後の指のタッチが検出された時間が所定の時間間隔内ある場合、複数の指が同時にタッチスクリーン2Bに触れている状態にあると認識して、接触が複数であると判定する。
コントローラ10は、タッチスクリーン2Bによって検出された接触が複数ではないと判定した場合(ステップS103でNo)、ステップS102に進む。このように、コントローラ10は、ステップS103でタッチスクリーン2Bによって検出された接触が複数であると判定されるまで、ステップS102〜S103の処理を繰り返す。
コントローラ10は、タッチスクリーン2Bによって検出された接触が複数であると判定した場合(ステップS103でYes)、ステップS104に進む。コントローラ10は、ステップS104として、タッチスクリーン2Bによって検出された複数の接触の相対位置を決定する。例えば、コントローラ10は、上述の図7〜図11に示した制御により、相対位置を決定する。そして、コントローラ10は、ステップS104で複数の接触の相対位置を決定した後、ステップS105に進む。
コントローラ10は、ステップS105として、ステップS104で決定された複数の接触の相対位置のパターンが、設定データ9Zに記憶された解除パターンと一致するか否かを判定する。ここで、コントローラ10は、ステップS104で決定された複数の接触の相対位置と解除パターンとの一致度を算出し、当該一致度が所定閾値以上であるか否かを判定することにより、設定データ9Zに記憶された解除パターンと一致するか否かを判定してもよい。
コントローラ10は、ステップS105で複数の接触の相対位置が解除パターンと一致すると判定した場合(ステップS105でYes)、ステップS106に進む。コントローラ10は、ステップS106として、スマートフォン1のロック状態を解除する。このとき、コントローラ10は、ディスプレイ2Aの表示を、ロック画面からロックされる直前にディスプレイ2Aに表示していた画面に変更する。
コントローラ10は、ステップS105で複数の接触の相対位置が解除パターンと一致しないと判定した場合(ステップS105でNo)ステップS107に進む。コントローラ10は、ステップS107として、スマートフォン1のロック状態を解除する操作をやり直すことを利用者に促すメッセージをディスプレイ2Aに表示する。そして、コントローラ10は、ステップS101に戻る。
スマートフォン1は、予め設定された利用者の指の相対位置の情報に基づいて、接触の相対位置の比較を行うことで、セキュリティ性を高くすることができる。ここで、スマートフォン1は、利用者の指の相対位置の情報を登録せずに、検出した接触の相対位置と代表的な人の指の接触の相対位置とを比較し、検出した接触の相対位置が人の指の接触であると判定した場合、ロック状態を解除するようにしてもよい。この場合、比較時に人の指であると判定する許容範囲は、上記実施形態の許容範囲よりも広くなる。
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。
例えば、図5に示した各プログラムは、複数のモジュールに分割されていてもよい。あるいは、図5に示した各プログラムは、他のプログラムと結合されていてもよい。
上記の実施形態では、タッチスクリーンを備える装置の一例として、スマートフォンについて説明したが、添付の請求項に係る装置は、スマートフォンに限定されない。添付の請求項に係る装置は、スマートフォン以外の携帯電子機器であってもよい。携帯電子機器は、例えば、モバイルフォン、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、又はゲーム機である。あるいは、添付の請求項に係る装置は、据え置き型の電子機器であってもよい。据え置き型の電子機器は、例えば、デスクトップパソコン、及びテレビ受像器である。