JP2018045729A - 情報処理装置、情報処理方法、コンピュータプログラム、及び記録媒体 - Google Patents

情報処理装置、情報処理方法、コンピュータプログラム、及び記録媒体 Download PDF

Info

Publication number
JP2018045729A
JP2018045729A JP2017247776A JP2017247776A JP2018045729A JP 2018045729 A JP2018045729 A JP 2018045729A JP 2017247776 A JP2017247776 A JP 2017247776A JP 2017247776 A JP2017247776 A JP 2017247776A JP 2018045729 A JP2018045729 A JP 2018045729A
Authority
JP
Japan
Prior art keywords
image
finger
user
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017247776A
Other languages
English (en)
Inventor
友宣 中村
Tomonori Nakamura
友宣 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017247776A priority Critical patent/JP2018045729A/ja
Publication of JP2018045729A publication Critical patent/JP2018045729A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】片手で操作する際の操作性を向上させた情報処理端末を提供する。
【解決手段】情報処理装置100は、タッチパネル107と指紋読取センサ105を備えるホームボタンとを備える。記憶部113は、認証用の指紋画像を記憶する。照合部110は、ホームボタンの押下時に指紋読取センサ105で読み取った指紋の指紋画像と記憶部113に記憶する指紋画像とを照合することでユーザ認証を行う。照合時に照合部110は、指紋読取センサ105で読み取った指紋画像を回転して一致性を高める。この回転時の回転角度により、特定部111は、ホームボタン押下時の指の方向を特定し、特定した指の方向に基づいて、タッチパネル107におけるGUIオブジェクトの表示領域を決める。この表示領域にGUIオブジェクトを表示することで、押下時の指による操作性が向上する。
【選択図】図1

Description

本発明は、GUI(Graphics User Interface)を備えた情報処理装置において、ユーザに操作されるGUIオブジェクトを表示する技術に関する。
ユーザは、スマートフォンのようなタッチパネルを備えた携帯型の情報処理装置を、片手で持ちながら操作することが多い。例えば、ユーザは、親指でタッチパネルの表示画面に表示されたGUIオブジェクトの操作を行い、その他の指で情報処理装置本体を支持する。片手で操作を行う場合、ユーザの手の大きさや情報処理装置の持ち方によっては、タッチパネル上でユーザの親指が届きにくい領域が発生してしまうことがある。この場合、ユーザは、親指が届きにくい領域に表示されるGUIオブジェクトを操作することが困難になる。ユーザの操作を容易にするために、例えば特許文献1、2のような技術が提案されている。
特許文献1には、ユーザが指等でタッチパネルに線図を描く動作を行うことで指の可動範囲を決定し、その範囲内にGUIオブジェクトを表示する情報処理装置が開示されている。特許文献2には、ドラッグ操作又はフリック操作による指のタッチ位置の軌跡の平均曲率半径と曲率中心座標とに基づいて、ユーザにとって操作が容易な領域を特定し、その領域内にGUIオブジェクトを表示する情報処理装置が開示されている。
特開2007−274136号公報 特開2012−108674号公報
特許文献1では、ユーザが明示的に指示した領域にGUIオブジェクトが表示される。特許文献2では、ユーザによる明示的な領域の指示はない。しかし、事前にドラッグ操作又はフリック操作を行う必要がある。このように、いずれの技術もユーザによるタッチパネルへの入力操作が行われてから、GUIオブジェクトの表示位置に制御を加えるものであり、ユーザにとっては最初の操作が煩わしい場合もあった。
本発明は、上記の問題を解決するために、片手で操作する際の操作性を向上させた携帯型の情報処理端末を提供することを主たる課題とする。
上記課題を解決する本発明の情報処理装置は、オブジェクトを表示する表示画面であるタッチパネルであって、ユーザの操作指示を受け付ける操作受付手段と、ユーザの指の生体情報を表す第1の画像を保持する保持手段と、前記ユーザの指の生体情報を読み取り、読み取った生体情報を表す第2の画像を取得するセンサと、前記センサで読み取った前記第2の画像と前記第1の画像との特徴を照合する照合手段と、前記照合手段の照合の結果、前記第1の画像と前記第2の画像との特徴が一致すると見做される場合、前記第1の画像に対する前記第2の画像の回転角度に基づいて、前記センサを操作した指の方向を特定し、特定した指の方向に基づいて前記表示画面上の前記オブジェクトが前記指の可動範囲に表示されるように前記オブジェクトの表示領域を決定する決定手段と、前記表示領域に前記オブジェクトを表示させる表示制御手段と、を備えることを特徴とする。
本発明によれば、操作手段を操作した指の方向に基づいてオブジェクトの表示領域を決定するために、情報処理装置を片手で操作する際の操作性を向上させることができる。
(a)〜(c)は、情報処理装置の構成を表す図。 指紋登録処理を表すフローチャート。 指紋登録処理の説明図。 ロック解除処理を表すフローチャート。 (a)、(b)は、ロック解除時の動作を表す図。 情報処理装置の機能ブロック図。 表示領域を登録する処理を表すフローチャート。 (a)はガイダンスの例示図、(b)は表示領域の算出処理の説明図。
以下、図面を参照して実施形態を詳細に説明する。ただし、本実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
本実施形態では、タッチパネルと、指紋読取センサを有するホームボタンとを備えた携帯型の情報処理装置について説明する。なお、「ホームボタン」は、スリープ状態にある情報処理装置を動作状態に復帰させるために操作される操作部である。また、個別のアプリケーションの実行画面から、いわゆるホーム画面(アプリケーションや各種機能の設定メニューなどに遷移可能な初期画面)に戻る指示も、ホームボタンを押下する操作によって入力される。このような情報処理装置には、スマートフォンやタブレットPC(Personal Computer)を用いることができる。
一般的にこの種の情報処理装置は、操作が一定時間行われずにスリープ状態になると、操作にロックがかかる。「ロック」がかかった情報処理装置は、ユーザ認証が行われない限り、ユーザによる操作を受け付けない。本実施形態の情報処理装置は、ユーザ認証に指紋認証技術を用いる。指紋を取得するための指紋読取センサは、ホームボタンに設けられる。ユーザがホームボタンを押下することで、指紋読取センサは、ユーザの指紋を読み取る。情報処理装置は、指紋読取センサで読み取った指紋の画像により、指紋認証によるユーザ認証を行うことができる。ユーザ認証が終了すると、情報処理装置は、ロックを解除して、GUIオブジェクトをタッチパネルの表示画面に表示する。図1は、このような情報処理装置100の構成を表す図である。
図1(a)は、情報処理装置100のハードウェア構成図である。情報処理装置100は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、及びRAM(Random Access Memory)103を備えたコンピュータである。CPU101は、ROM102に格納されたコンピュータプログラムを読み出し、RAM103を作業領域として実行することで、情報処理装置100の動作を制御する。コンピュータプログラムは、HDD(Hard Disk Drive)104に格納されていてもよい。HDD104は、この他に、ユーザの指紋画像を表す指紋画像データ等の電子データを格納する。
なお、コンピュータプログラムや電子データは、外部記憶装置に格納されていてもよい。外部記憶装置は、情報処理装置100にネットワークを介して接続される装置の他に、例えば、メディア(記録媒体)と、当該メディアへのアクセスを実現するための外部記憶ドライブにより実現することもできる。このようなメディアには、例えば、フレキシブルディスク(FD)、CD−ROM、DVD、USBメモリ、MO、フラッシュメモリ等を用いることができる。
情報処理装置100は、この他に、指紋読取センサ105、タッチパネル107、及びボタン操作部108を備える。指紋読取センサ105は、ホームボタンに設けられており、ユーザの指紋を読み取り、その画像(指紋画像)のデータ(指紋画像データ)を取得する。本実施形態の指紋読取センサ105は、静電容量方式であり、指紋の凹凸による電荷の変化を読み取り、電荷の量から指紋画像データを取得する。指紋画像データは、デジタル信号であり、後述の指紋照合処理等の画像処理に用いられる。なお、指紋読取センサは、静電容量方式に限らず、感圧方式や光学方式であってもよい。本実施形態では、指紋読取センサ105は、ホームボタンの表面に設置されている。
タッチパネル107は、ディスプレイ及びタッチ位置を検出するポインティングデバイスを備える。タッチパネル107は、ディスプレイにGUIオブジェクト等の画像が表示される。ポインティングデバイスは、例えば透過したシート状であり、ディスプレイの表示画面上に重ねられる。ユーザがディスプレイをタッチすると、ポインティングデバイスはタッチ位置を検出して、検出したタッチ位置をCPU101に送信する。CPU101は、例えば、ポインティングデバイスから送信されたタッチ位置に相当する表示画面上の位置に表示されるGUIオブジェクトを特定し、特定したGUIオブジェクトに関連づけられる処理を実行する。本実施形態では、タッチパネル107は静電容量方式であるがこれに限らず、例えば、感圧方式や光学方式であってもよい。
ボタン操作部108は、ホームボタン等の物理ボタンであり、ユーザに操作(押下)されることによって、当該ボタンに対応付けられた操作指示を受け付けてCPU101に入力する。CPU101は、操作指示に応じた処理を実行する。例えば、ホームボタンが押下された場合、CPU101にスリープ状態からの復帰、あるいはホーム画面への遷移指示が入力される。本実施形態では、ホームボタンが押下された時に情報処理装置100がロックされた状態にあれば、さらに、押下時に指紋読取センサ105が取得した指紋データに基づいてロック状態を解除する解除指示が入力される。
図1(b)は、情報処理装置100の機能ブロック図である。CPU101がコンピュータプログラムを実行することで、取得部109、照合部110、特定部111、表示制御部112、記憶部113、操作検出部114の各機能ブロックが情報処理装置100に実現される。なお、各機能ブロックは、このようにソフトウェア処理で実現する他に、ハードウェアで構成してもよい。その場合、各機能ブロックは、演算回路等を組み合わせて実現される。
取得部109は、指紋読取センサ105から指紋画像データを取得する。照合部110は、取得部109で取得した指紋画像データを、情報処理装置100の操作が許可されたユーザの指紋画像であるとして登録し、記憶部113に記憶する。また、照合部110は、ロックがかかっているときに取得部109が取得した指紋画像データと、記憶部113に記憶した指紋画像データとを照合する。照合処理は、本実施形態では、指紋照合で利用実績の高いマニューシャ・マッチング方式で行う。マニューシャ・マッチング方式では、まず指紋画像からマニューシャ(特徴点)を抽出する。特徴点は、例えば、指紋の紋様の中心点、指紋の凸線の分岐点、指紋の凸線の端点等である。照合部110は、照合を行う2つの指紋画像データが表す指紋画像のそれぞれから抽出した特徴点を、1点ずつ対応付けする。照合部110は、対応が取れた点の数を類似度とし、類似度が閾値以上であれば2つの指紋画像が一致していると判定する。特定部111は、照合部110が2つの指紋画像が一致していると判定した場合に、登録済みの指紋画像に対する、照合した指紋画像の回転角度から、情報処理装置100の操作を行う手の指の方向を特定する。表示制御部112は、表示画像を生成してタッチパネル107のディスプレイに表示する。表示制御部112は、特定部111で特定した指の方向に応じて、GUIオブジェクトを表示する領域を決定する。記憶部113は、各機能ブロックで処理に用いるデータを記憶する。例えば、記憶部113は、照合処理に用いるユーザが予め登録した指紋画像データ、指の方向を特定する処理に用いる指紋画像と指の方向の対応関係を示すデータ、ディスプレイに表示する画像の構成データ等を記憶する。操作検出部114は、ホームボタン等のボタン操作部108や、タッチパネル107をユーザが操作することによって入力される指示を検出する。例えば、操作検出部114は、ホームボタンの押下によりホームボタンから送信されるスリープ状態からの復帰指示、あるいはホーム画面への遷移指示を検出する。本実施形態では、ホームボタンが押下された時に情報処理装置100がロックされた状態にあれば、さらに指紋データに基づいてロック状態を解除する解除指示を検出する。
図1(c)は、情報処理装置100の外観図である。情報処理装置100は、タッチパネル107と同一面下部に、指紋読取センサ105が設けられたホームボタンを備える。ユーザが情報処理装置100を片手で操作する場合、タッチパネル107及びホームボタンは、片手の親指で触れられる。また、ホームボタンを押下することでロックを解除したユーザは、その直後からタッチパネル107に対するタッチ操作を開始するため、その間に情報処理装置100の持ち方を大きく変更する可能性が低い。本実施形態では、ホームボタンとタッチパネル107との位置関係が固定されているので、ホームボタンを押下したときのユーザの指の向きに基づいて、タッチパネル107上におけるユーザの指の可動範囲を推定することが可能となる。なお、タッチパネル107とホームボタンとの位置関係が特定可能な所定位置であれば、ホームボタンの配置は、タッチパネル107の下部に限らない。
図2は、情報処理装置100にユーザの指紋を登録する処理を表すフローチャートである。情報処理装置100は、例えば指紋を登録するためのアプリケーションプログラムを有しており、このアプリケーションプログラムが起動されることで、ユーザの指紋の登録が可能になる。アプリケーションプログラムが起動されると、表示制御部112は、タッチパネル107のディスプレイに、ユーザに指紋の登録方法を説明するためのガイダンス画像を表示する(S201)。図3は、指紋登録処理の説明図である。ガイダンス画像401は、ユーザに指紋の登録方法を指示する。
ガイダンス画像401を表示した情報処理装置100は、ユーザがガイダンス画像401の指示に従って親指402でホームボタンを押下するのを待つ(S202)。ユーザがホームボタンを押下すると(S202:Y)、指紋読取センサ105がユーザの指紋を読み取る。取得部109は、指紋読取センサ105が読み取った指紋の指紋画像データを取得する(S203)。指紋画像データを取得すると、表示制御部112は、取得した指紋画像データによりタッチパネル107に指紋画像を表示する(S204)。表示制御部112は、指紋画像とともに、指紋画像を登録する「OK」ボタンと指紋画像の再読み取りのための「やり直し」ボタンとを、タッチパネル107に表示する。
ユーザは、指紋画像を確認して、「OK」ボタン又は「やり直し」ボタンを押下する(S205)。操作検出部114が、ユーザが「やり直し」ボタンを押下したことを検出すると(S205:N)、表示制御部112は、再度、タッチパネル107にガイダンス画像401を表示する(S201)。操作検出部114が、ユーザが「OK」ボタンを押下したことを検出すると(S205:Y)、照合部110は、表示した指紋画像の指紋画像データを情報処理装置100の操作を許可されたユーザの指紋画像として登録し、記憶部113に記憶する(S206)。このようにして、ユーザの指紋の登録が終了する。
指紋の登録時には、親指402の付け根から先端を通る直線403と、タッチパネル107の面の下端から上端を通る直線404の方向が一致する状態でホームボタンが押下される。本実施形態では、この登録した状態の親指402の向き(直線403)の直線404に対する回転角度を「0度」とする。
図4は、情報処理装置100がロックされた状態から指紋認証によりユーザ認証を行いロックを解除する処理を表すフローチャートである。ロックの解除の処理は、ユーザがホームボタンを押下して、指紋読取センサ105がユーザの指紋を読み取ることにより処理される。取得部109は、指紋読取センサ105で読み取った指紋画像の指紋画像データを取得する(S301)。この指紋画像は、記憶部113に既に登録された指紋画像(以下、「特録指紋画像」という。)と比較される、認証用の指紋画像(以下、「認証指紋画像」という。)である。取得部109により認証指紋画像の指紋画像データを取得すると、照合部110は、記憶部113に記憶された登録指紋画像の指紋画像データを読み出し、登録指紋画像及び認証指紋画像の各々の特徴点を抽出する(S302)。特徴点は、上述の通り、例えば、指紋の紋様の中心点、指紋の凸線の分岐点、指紋の凸線の端点等である。
照合部110は、抽出した特徴点同士の位置関係により、認証指紋画像の各特徴点の位置と回転のずれを補正する(S303)。具体的には、照合部110は、登録指紋画像と認証指紋画像との各特徴点の位置座標の一致性が高まるように、認証指紋画像の特徴点の平行移動及び回転を行う。照合部110は、各特徴点の位置と回転ずれの補正後に、登録指紋画像の特徴点と認証指紋画像の特徴点とを1点ずつ対応付ける(S304)。照合部110は、位置座標が一致する特徴点同士を対応付けすることで登録指紋画像と認証指紋画像との照合を行う。照合部110は、対応付けした特徴点の数をカウントし、そのカウント値が閾値以上であるか否かを判断する(S305)。対応付けられた特徴点のカウント値が閾値未満であれば(S305:N)、照合部110は、照合の結果、認証指紋画像と登録指紋画像とが一致せず、ユーザ認証ができなかったと判断して処理を終了する。対応付けられた特徴点の数が閾値以上であれば(S305:Y)、照合部110は、照合の結果、認証指紋画像と登録指紋画像とが一致して、ユーザ認証ができたと判断する。情報処理装置100は、ユーザ認証できたと判断したために、ロックを解除する(S306)。
ユーザ認証後、特定部111は、ステップS303において認証指紋画像の特定点を回転した角度により、操作を行う手の指の方向を特定する(S307)。表示制御部112は、特定部111で特定した手の指の方向に基づいて、タッチパネル107に表示領域を決めて、この表示領域内にGUIオブジェクトを表示する(S308)。これにより、GUIオブジェクトは、ユーザが指で操作しやすい位置に表示される。ステップS301〜S306の処理は通常のロックの解除処理と同様であり、ユーザは、何ら特別な操作を行う必要が無い。このような通常の処理で得られる特定点の回転角度に基づいて指の方向を特定するために、ユーザの操作性が損なわれることなく、GUIオブジェクトがユーザの指で操作しやすい位置に表示される。
本実施形態では、記憶部113に、指の方向(回転角度)に対応付けて段階的に定められたGUIオブジェクトの表示領域の情報が記憶される。従って、表示制御部112は、記憶部113に記憶されたこの情報に基づいて、特定した指の方向に対応付けられた表示領域を、GUIオブジェクトの表示領域に決定することができる。具体的には、「−180度〜180度」の回転角度の絶対値が小さいほど、タッチパネル107にGUIオブジェクトを表示する領域が狭くなるように表示領域が決められる。特定した指の方向に対応付けられた表示領域がない場合には、特定した指の方向に近い指の方向に対応付けられた表示領域、或いは特定した指の方向よりも回転角度が小さい指の方向に対応付けられた表示領域を、GUIオブジェクトの表示領域に決定する。本実施形態では、図3の親指402の方向(直線403と直線404の成す角度)を「0度」とし、「−180度〜180度の範囲で、時計回りに何度回転すれば0度になるか」を、指の方向を示す情報として用いる。
図5は、ユーザによる情報処理装置100のロック解除時の動作を表す図である。図5(a)と図5(b)とでは、ユーザが情報処理装置100を持つ位置が異なる。図5(a)の手の方が図5(b)の手よりも情報処理装置100を深く握り込んでいる形になっている。そのために、図5(a)の手の親指502の方が図5(b)の手の親指504よりもディスプレイ上の届く範囲が広くなる。
図5(a)では、親指502の付け根から先端を通る直線505が、指紋画像を登録するときの親指の付け根から先端を通る直線403(図3参照)との間でなす角が「90度」である。つまり直線505は、直線403に平行なタッチパネル107の面の下端から上端を通る直線404に対して「90度」回転している。親指502から取得された指紋画像は、時計回りに「−90度」回転することで、記憶部113に登録された登録指紋画像と同じ向きの画像になる。図4のステップS303の処理の際に、照合部110は、親指502から取得された認証指紋画像を、時計回りに「−90度」回転する。
図5(b)では、親指504の付け根から先端を通る直線506が、指紋画像を登録するときの親指の付け根から先端を通る直線403(図3参照)との間でなす角が「60度」である。つまり直線506は、直線403に平行なタッチパネル107の面の下端から上端を通る直線404に対して「60度」回転している。親指504から取得された指紋画像は、時計回りに「−60度」回転することで、記憶部113に登録された登録指紋画像と同じ向きの画像になる。図4のステップS303の処理の際に、照合部110は、親指502から取得された認証指紋画像を、時計回りに「−60度」回転する。
図5(a)のように直線505と直線404とのなす角が「90度」である場合、親指502の届く範囲が境界線501で表される。GUIオブジェクトは、境界線501内の領域に表示される。図5(b)のように直線506と直線404とのなす角が「60度」である場合、親指の届く範囲が境界線503で表される。GUIオブジェクトは、境界線503内の領域に表示される。つまり、直線404となす角が大きいほど、親指が届く範囲が大きくなり、GUIオブジェクトの表示可能な範囲が大きくなる。
以上のように、親指の指紋認証により情報処理装置100のロックを解除するという必須の操作により、GUIオブジェクトを表示する領域を決めることができる。ユーザは、GUIオブジェクトの表示領域を指紋認証時の手の向き(親指の向き)により変更することができ、情報処理装置100を片手で操作する際の操作性が向上する。
本実施形態では、ホームボタンに設けられた指紋読取センサ105を利用して、ホームボタンを押下したときの指(指紋)の向きによって、情報処理装置100を持つ手の指の方向を特定する例を説明した。指紋に代えて、他の手に関する生体情報を用いることもできる。この場合、ホームボタンに生体情報を画像(生体画像)として取得するセンサを設ける。例えば指の静脈の画像等を利用して手の指の方向を特定することができる。このように指紋画像以外の生体画像を用いる場合であっても、ロック解除という必須の操作だけで、GUIオブジェクトの表示領域を片手の親指の届く範囲に設定して、操作性を向上させることができる。
<変形例>
ユーザが、ホームボタンを押下する指の方向と、そのときのタッチパネル107上における指の可動範囲を予め設定しておけば、ユーザの手の大きさや情報処理装置100の持ち方の癖に対応することが可能となり、より操作性を向上させることが可能となる。以下、GUIオブジェクトの表示領域を、ユーザが予め設定する場合について説明する。
図6は、この場合の情報処理装置100の機能ブロック図である。これらの機能ブロックは、CPU101がコンピュータプログラムを実行することで実現され、図1(b)の構成に領域設定部601を追加した構成である。同じ機能ブロックについては、説明を省略する。領域設定部601は、ユーザがタッチパネル107の表示画面を指でなぞった軌跡に基づいてGUIオブジェクトの表示領域を設定する。領域設定部601は、例えば、タッチパネル107のディスプレイの表示画面のうち、ユーザがなぞった軌跡よりホームボタン側の範囲をGUIオブジェクトの表示領域として登録する。
図7は、このような情報処理装置100によりGUIオブジェクトの表示領域を登録する処理を表すフローチャートである。情報処理装置100は、本体設定や表示領域の登録アプリケーションプログラムを有しており、このアプリケーションプログラムが起動されることで、ユーザによるGUIオブジェクトの表示領域の登録が可能になる。アプリケーションプログラムが起動されると、表示制御部112は、タッチパネル107のディスプレイに、ユーザにGUIオブジェクトの表示領域の設定方法を説明するためのガイダンス画像を表示する(S701)。図8(a)は、表示するガイダンス画像801の例示図である。ガイダンス画像801は、ユーザにGUIオブジェクトの表示領域の登録方法を指示する。表示制御部112は、ガイダンス画像801の他に、「OK」ボタン及び「Cancel」ボタンを表示する。
ユーザがガイダンス画像801の指示に従ってディスプレイの表示画面上を親指802でなぞることで、GUIオブジェクトの表示領域の登録が行われる。親指802でなぞった軌跡は、親指802が届く範囲の境界線803を表す。ユーザがディスプレイの表示画面上を親指802でなぞり、「OK」ボタンを押下することで、操作検出部114は、境界線803を検出する(S702:Y)。ユーザは、表示画面をなぞる際にホームボタンを押下する。領域設定部601は、操作検出部114で検出した境界線803に基づいてタッチパネル107上のGUIオブジェクトの表示領域を登録する(S703)。これによりGUIオブジェクトの表示領域が、ホームボタンを押下した際に指紋読取センサ105が取得した指紋画像の回転角度に対応付けて、記憶部113に記憶される。なお、「Cancel」ボタンが押下されると、操作検出部114は、表示領域を登録することなく処理を終了する(S702:N)。
本実施形態では、ユーザがディスプレイの表示画面上をなぞった軌跡を、ユーザが情報処理装置100を持ちながら親指802で無理なく触ることができる境界線803とみなしている。境界線803よりもホームボタン側の範囲がGUIオブジェクトの表示領域となる。ユーザは、このような処理を、情報処理装置100を把持する手の向きを変えながら、複数回行う。例えば、ユーザは、図5の境界線501、503のようにディスプレイの表示画面上をなぞる。これにより、情報処理装置100は、親指802がディスプレイの表示画面上をなぞった軌跡に応じた複数のGUIオブジェクトの表示領域を記憶する。複数のGUIオブジェクトの表示領域を記憶した情報処理装置100は、ロック解除時の親指の方向に応じて、記憶した表示領域から最適な表示領域を算出することができる。図8(b)は、最適なGUIオブジェクトの表示領域の算出処理の説明図である。
境界線811は、図5(a)の状態でユーザがディスプレイの表示画面上をなぞった軌跡を表す。境界線812は、図5(b)の状態でユーザがディスプレイの表示画面上をなぞった軌跡を表す。境界線811、812によるGUIオブジェクトの表示領域が、そのときの親指の回転角度に関連付けられて、予め記憶部113に記憶される。この状態からロック解除の操作がなされ取得部109が指紋読取センサ105から認証指紋画像を取得すると、領域設定部601は、認証指紋画像に基づいて、GUIオブジェクトの表示領域を算出する。領域設定部601は、認証指紋画像に対して図4のステップS303により行われる回転処理の回転角度を確認し、この回転角度に関連付けられたGUIオブジェクトの表示領域を記憶部113から読み出す。関連付けられたGUIオブジェクトの表示領域が無い場合、記憶されている回転角度から、確認した回転角度に近い回転角度を特定し、この特定した回転角度からGUIオブジェクトの表示領域を算出する。例えば、境界線813は、境界線811、812の間に位置するが、関連付けられたGUIオブジェクトの表示領域は、記憶部113に記憶されていない。この場合、境界線811、812と境界線813との関係から、GUIオブジェクトの表示領域を算出する。
以上のように、片手の親指の回転角度に基づいてGUIオブジェクトの表示領域を設定する。これにより、ユーザ毎の手の大きさの違いや情報処理装置100の支持のし方の癖にも対応し、操作性を向上させることができる。また、予め設定した値から、設定されていない値の領域を算出することで、設定操作を細かく繰り返すというユーザの煩わしさを低減させることができる。
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
105…指紋読取センサ、107…タッチパネル、108…ボタン操作部、109…取得部、110…照合部、111…特定部、112…表示制御部、113…記憶部、114…操作検出部、601…領域設定部

Claims (12)

  1. オブジェクトを表示する表示画面であるタッチパネルであって、ユーザの操作指示を受け付ける操作受付手段と、
    ユーザの指の生体情報を表す第1の画像を保持する保持手段と、
    前記ユーザの指の生体情報を読み取り、読み取った生体情報を表す第2の画像を取得するセンサと、
    前記センサで読み取った前記第2の画像と前記第1の画像との特徴を照合する照合手段と、
    前記照合手段の照合の結果、前記第1の画像と前記第2の画像との特徴が一致すると見做される場合、前記第1の画像に対する前記第2の画像の回転角度に基づいて、前記センサを操作した指の方向を特定し、特定した指の方向に基づいて前記表示画面上の前記オブジェクトが前記指の可動範囲に表示されるように前記オブジェクトの表示領域を決定する決定手段と、
    前記表示領域に前記オブジェクトを表示させる表示制御手段と、を備えることを特徴とする、
    情報処理装置。
  2. 前記保持手段は、予め定められた方向を向く指から前記センサにより取得した画像を、前記第1の画像として保持することを特徴とする、
    請求項1記載の情報処理装置。
  3. 前記決定手段は、前記予め定められた方向と前記特定した指の方向とのなす角が小さいほど、前記表示領域を狭くすることを特徴とする、
    請求項2記載の情報処理装置。
  4. 前記保持手段は、複数の指の方向と複数の表示領域とを対応付けて保持しており、
    前記決定手段は、前記保持手段を参照して、前記特定した指の方向に対応付けられた表示領域を決定することを特徴とする、
    請求項1〜3のいずれか1項記載の情報処理装置。
  5. 前記保持手段は、前記ユーザが前記表示画面を指でなぞった軌跡に基づく前記オブジェクトの表示領域を、前記指の方向に対応付けて保持しており、
    前記決定手段は、前記保持手段を参照して、前記特定した指の方向に対応付けられた表示領域を決定することを特徴とする、
    請求項4記載の情報処理装置。
  6. 前記決定手段は、前記特定した指の方向に対応付けられた表示領域が前記保持手段に保持されていなければ、前記特定した指の方向に近い指の方向に対応付けられた表示領域に基づいて、前記表示領域を決定することを特徴とする、
    請求項5記載の情報処理装置。
  7. 前記照合手段は、前記第1の画像及び前記第2の画像の各々から特徴点を抽出して、各特徴点の位置及び回転のずれを補正することで前記回転角度を算出し、前記第1の画像の特徴点及び前記第2の画像の特徴点を照合することで、ユーザ認証を行い、
    前記表示制御手段は、前記ユーザ認証の結果、ユーザが認証されたときに前記表示領域に前記オブジェクトを表示させることを特徴とする、
    請求項1〜6のいずれか1項記載の情報処理装置。
  8. 前記保持手段は、前記第1の画像として前記ユーザの指紋の画像を保持し、
    前記センサは、前記第2の画像として前記ユーザの指紋の画像を取得することを特徴とする、
    請求項1〜7のいずれか1項記載の情報処理装置。
  9. 前記センサは、前記操作受付手段の近傍に設けられることを特徴とする、
    請求項1〜8のいずれか1項記載の情報処理装置。
  10. オブジェクトを表示する表示画面であるタッチパネルであって、ユーザの操作指示を受け付ける操作受付手段と、ユーザの指の生体情報を表す第1の画像を保持する保持手段と、前記ユーザの指の生体情報を読み取り、読み取った生体情報を表す第2の画像を取得するセンサと、を備えた情報処理装置により実行される方法であって、
    前記第1の画像と前記第2の画像との特徴を照合するステップと、
    照合の結果、前記第1の画像と前記第2の画像との特徴が一致すると見做される場合、前記第1の画像に対する前記第2の画像の回転角度に基づいて、前記センサを操作した指の方向を特定するステップと、
    特定した指の方向に基づいて前記表示画面上の前記オブジェクトが前記指の可動範囲に表示されるように前記オブジェクトの表示領域を決定し、決定した前記表示領域に前記オブジェクトを表示するステップと、を含むことを特徴とする、
    情報処理方法。
  11. オブジェクトを表示する表示画面であるタッチパネルであって、ユーザの操作指示を受け付ける操作受付手段と、前記ユーザの指の生体情報を読み取り、読み取った生体情報を表す第2の画像を取得するセンサと、を備えたコンピュータを、
    ユーザの指の生体情報を表す第1の画像を保持する保持手段、
    前記センサで読み取った前記第2の画像と前記第1の画像との特徴を照合する照合手段、
    前記照合手段の照合の結果、前記第1の画像と前記第2の画像との特徴が一致すると見做される場合、前記第1の画像に対する前記第2の画像の回転角度に基づいて、前記センサを操作した指の方向を特定し、特定した指の方向に基づいて前記表示画面上の前記オブジェクトが前記指の可動範囲に表示されるように前記オブジェクトの表示領域を決定する決定手段、
    前記表示領域に前記オブジェクトを表示させる表示制御手段、
    として機能させるためのコンピュータプログラム。
  12. 請求項11記載のコンピュータプログラムが記録されたコンピュータが読み取り可能な記録媒体。
JP2017247776A 2017-12-25 2017-12-25 情報処理装置、情報処理方法、コンピュータプログラム、及び記録媒体 Pending JP2018045729A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017247776A JP2018045729A (ja) 2017-12-25 2017-12-25 情報処理装置、情報処理方法、コンピュータプログラム、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017247776A JP2018045729A (ja) 2017-12-25 2017-12-25 情報処理装置、情報処理方法、コンピュータプログラム、及び記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014027561A Division JP6272069B2 (ja) 2014-02-17 2014-02-17 情報処理装置、情報処理方法、コンピュータプログラム、及び記録媒体

Publications (1)

Publication Number Publication Date
JP2018045729A true JP2018045729A (ja) 2018-03-22

Family

ID=61693801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017247776A Pending JP2018045729A (ja) 2017-12-25 2017-12-25 情報処理装置、情報処理方法、コンピュータプログラム、及び記録媒体

Country Status (1)

Country Link
JP (1) JP2018045729A (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010036299A1 (en) * 1998-05-15 2001-11-01 Andrew William Senior Combined fingerprint acquisition and control device
JP2009048643A (ja) * 2008-09-16 2009-03-05 Seiko Epson Corp 入力装置、情報装置及び制御情報生成方法
JP2011022958A (ja) * 2009-07-21 2011-02-03 Kyocera Corp 入力装置
JP2012027581A (ja) * 2010-07-21 2012-02-09 Kddi Corp 携帯端末およびキー表示方法
JP2013149027A (ja) * 2012-01-18 2013-08-01 Canon Inc 携帯情報端末、表示制御方法、およびプログラム
WO2013173838A2 (en) * 2012-05-18 2013-11-21 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
WO2013176472A1 (en) * 2012-05-21 2013-11-28 Samsung Electronics Co., Ltd. Method and apparatus of controlling user interface using touch screen

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010036299A1 (en) * 1998-05-15 2001-11-01 Andrew William Senior Combined fingerprint acquisition and control device
JP2009048643A (ja) * 2008-09-16 2009-03-05 Seiko Epson Corp 入力装置、情報装置及び制御情報生成方法
JP2011022958A (ja) * 2009-07-21 2011-02-03 Kyocera Corp 入力装置
JP2012027581A (ja) * 2010-07-21 2012-02-09 Kddi Corp 携帯端末およびキー表示方法
JP2013149027A (ja) * 2012-01-18 2013-08-01 Canon Inc 携帯情報端末、表示制御方法、およびプログラム
WO2013173838A2 (en) * 2012-05-18 2013-11-21 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
WO2013176472A1 (en) * 2012-05-21 2013-11-28 Samsung Electronics Co., Ltd. Method and apparatus of controlling user interface using touch screen

Similar Documents

Publication Publication Date Title
US11755137B2 (en) Gesture recognition devices and methods
Huang et al. Digitspace: Designing thumb-to-fingers touch interfaces for one-handed and eyes-free interactions
US9626099B2 (en) Multi-finger sliding detection using fingerprints to generate different events
US9916017B2 (en) Smart eraser to erase digital strokes
JP6272069B2 (ja) 情報処理装置、情報処理方法、コンピュータプログラム、及び記録媒体
JP5604279B2 (ja) ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
KR102090956B1 (ko) 지문 인식 방법 및 이를 위한 장치
US9378427B2 (en) Displaying handwritten strokes on a device according to a determined stroke direction matching the present direction of inclination of the device
US8514188B2 (en) Hand posture mode constraints on touch input
JP2016530602A (ja) ユーザ認証の改良又はユーザ認証に関する改良
TW201432520A (zh) 操作方法以及電子裝置
JP2008192092A (ja) タッチパネル装置、情報処理装置及びプログラム
US20160210452A1 (en) Multi-gesture security code entry
WO2018079001A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20160274670A1 (en) Gesture input apparatus, gesture input method, and program for wearable terminal
US20160370986A1 (en) Hand-written recording device and hand-written recording method
US10331333B2 (en) Touch digital ruler
US20120256860A1 (en) Directional Finger Recognition Authoring
KR102147086B1 (ko) 필기 서명 입력에 대한 검증 방법 및 장치
JP2015018413A (ja) 携帯端末、画像表示方法、及びプログラム
JP2018045729A (ja) 情報処理装置、情報処理方法、コンピュータプログラム、及び記録媒体
TWI621971B (zh) 書寫姿勢提醒方法與使用其之電子系統
JP2013077180A (ja) 認識装置およびその制御方法
JP5605270B2 (ja) タッチパネル装置、操作判定方法、および操作判定プログラム
US20170371481A1 (en) Enhanced touchscreen

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190205