JP2020149501A - 情報処理装置、及びプログラム - Google Patents

Abstract

【課題】情報処理装置において画面上の操作に依存しないで画面を簡易に操作できるようにする情報処理装置、及びプログラムを提供する。【解決手段】情報処理装置は、表示部を有する筐体と、表示部以外の箇所で筐体外面に設けられ、指による操作を検出するセンサと、センサによって検出された操作に応じて表示部の表示を変更可能な制御部と、を備える。制御部は、指によるセンサへの接触開始から第１所定時間が経過前は、操作に応じて表示部での表示をスクロールする処理を実行する。また、制御部は、第１所定時間が経過後は、表示部での表示を所定倍率で拡大し、操作に応じて表示部での表示をさらに拡大または縮小する処理を実行する。【選択図】図４

Description

本発明は、情報処理装置、及びプログラムに関する。

最近の可搬型の情報処理装置では、電源キーに、指紋と指の動きを読み取るセンサが設けられ、ズームあるいはスクロールが指一本で可能とされている（非特許文献１参照）。

特表２０１８−５３００４４号公報

株式会社ＮＴＴドコモ、「arrows Be F-04Kカタログ」、２０１８年４月

しかし、従来は、ズームあるいはスクロールなど様々な機能をオンにするための設定が必ずしも分かりやすいものと言えず、ユーザによっては操作が煩雑であると感じる場合もあり、タッチ操作可能な画面上での操作なしには、設定や調整を行うことが困難なことも多い。そこで、本発明の目的は、情報処理装置において画面上の操作に依存しないで画面を簡易に操作できるようにすることある。

開示の技術の一側面は、情報処理装置によって例示される。本情報処理装置は、表示部を有する筐体と、前記表示部以外の箇所で前記筐体外面に設けられ、指による操作を検出するセンサと、前記センサによって検出された操作に応じて前記表示部の表示を変更可能な制御部と、を備える。

制御部は、前記指による前記センサへの接触開始から第１所定時間が経過前は、前記操作に応じて前記表示部での表示をスクロールする処理を実行する。また、前記制御部は、第１所定時間が経過後は、前記表示部での表示を所定倍率で拡大し、前記操作に応じて前記表示部での表示をさらに拡大または縮小する処理を実行する。

本情報処理装置によれば、情報処理装置において画面上の操作に依存しないで画面を簡易に操作することが可能となる。

情報処理装置の一方から見た外観と他方から見た外観を組み合わせて例示する図である。 情報処理装置のハードウェア構成図である。 センサの検出面を例示した平面図である。 センサへの指による操作に伴う画面遷移処理を例示する図である。 センサへの指による操作に伴う画面遷移処理を例示する図である。 センサへの指による操作に伴う画面遷移処理を例示する図である。 センサへの指による操作に伴う画面遷移処理を例示する図である。 プログレス表示を行うグラフィックスオブジェクトの詳細を例示する図である。 拡大縮小モードの後のスクロール表示で画面に表示されるグラフィックスオブジェクトを例示する図である。 情報処理装置の制御部による処理のフローチャートの例である。 タップ、ロングタップ、指の移動を検出する処理の詳細を例示するフローチャートである。 センサからの指の離間を判定する処理のフローチャートである。

以下、図面を参照して、一実施の形態に係る情報処理装置１０について説明する。情報処理装置１０は、表示部１９を有する筐体Ｈ１と、表示部１９以外の箇所でその筐体Ｈ１の外面に設けられ、指による操作を検出するセンサ１５と、センサ１５によって検出された操作に応じて表示部１９の表示内容を変更可能な制御部１３と、を備える。ここで、情報処理装置１０は、例えば、携帯電話、スマートフォン、携帯情報端末と呼ばれる可搬可能な電子機器である。

そして、制御部１３は、指によるセンサへの接触開始から第１所定時間が経過前は、検出された操作に応じて表示をスクロールする処理を実行する。このような処理が実行される状態をスクロールモードと呼ぶこともできる。一方、第１所定時間が経過後は、制御部１３は、検出された操作に応じて表示を所定倍率まで拡大し、検出された操作に応じて表示をさらに拡大または縮小する処理を実行する。このような処理が実行される状態を拡大縮小モードと呼ぶこともできる。

そして、拡大縮小モードで変更する処理を実行中に、センサ１５から指が離間すると、制御部１３は、拡大または縮小された表示を維持しつつ、先ほどの指によるセンサ１５への接触開始を受け付ける状態に移行する。この接触開始を受け付ける状態で指によるセンサ１５への接触が検出されると、制御部１３は、再び、指によるセンサ１５へのその接触開始から第１所定時間が経過したか否かに応じて、上記処理を実行する。ただし、再び上記処理を実行するときには、前回拡大または縮小された表示の変更結果が維持されている。例えば、前回の操作で画面が拡大された場合には、制御部１３は、その拡大された状態で、接触開始を受け付ける。

なお、制御部１３が前回スクロールモードで表示をスクロールする処理を実行中に、センサ１５から指が離間した場合の、制御部１３の処理に限定はない。この場合、制御部１３は、スクロールモードで表示をスクロールする前の画面の初期状態に表示を戻してもよい。また、制御部１３は、スクロールモードでスクロールされた表示を維持しつつ、先ほどの指によるセンサ１５への接触開始を受け付ける状態に移行してもよい。

情報処理装置１０では、表示部１９は、いわゆるタッチ操作可能なタッチパネルを有してもよい。しかし、制御部１３が、上記処理を実行することで、ユーザは必ずしもタッチ操作可能な表示部１９に対する操作をしなくても、比較的面積の狭いセンサ１５上の操作で、表示部１９の画面を簡易に操作することが可能となる。以下、この情報処理装置１０を例に実施の形態を説明する。
＜実施の形態＞

図１に、実施の形態の情報処理装置１０の一方から見た外観（前面側の外観とする）と、他方から見た外観（背面側の外観とする）を例示する。図１では、矢印によって、情報処理装置１０の前面側と背面側が入れ替えて配置され、例示されている。情報処理装置１０は、板状の筐体Ｈ１を有する。したがって、図１には描かれていないが、筐体Ｈ１の前
面と背面との間の距離（厚み）は、前面または背面の外形寸法と比較して短い。上下方向については、図１で紙面に向かって上側が筐体Ｈ１の上側であり、紙面に向かって下側が筐体Ｈ１の下側であると仮定する。なお、制御部１３は、筐体Ｈ１の内部に収容されている。

図１のように、筐体Ｈ１の前面には、表示部１９が設けられ、さらに、表示部１９の上側中央の位置に第１のカメラＨ３が設けられている。第１のカメラＨ３は、情報処理装置１０を操作するユーザが操作中に、そのユーザ自身を撮影し、表示部１９に表示にする。筐体Ｈ１の前面が筐体Ｈ１外面での第１面に相当する。

筐体Ｈ１の背面の中央付近には、センサ１５をカバーする円形状の凹部１５Ａが形成され、凹部１５Ａの上方向に第二のカメラＨ４が設けられている。すなわち、センサ１５は、筐体Ｈ１の背面中央付近に形成された円形状の凹部１５Ａの直下で筐体Ｈ１の内部に配置されている。つまり、凹部１５Ａをなす筐体Ｈ１の外壁がセンサ１５を被覆している。センサ１５は、凹部１５Ａをなす筐体Ｈ１の外壁を介して、指による接触を検出する。そこで、本実施の形態では、センサ１５と凹部１５Ａをなす筐体Ｈ１の外壁とを含めて、指（指紋のある物体）による操作を検出するセンサということができる。以下、センサ１５が凹部１５Ａをなす筐体Ｈ１の外壁を介して、指による接触を検出する場合も、単に、「センサ１５が指による接触を検出する」という。ただし、凹部１５Ａの外壁自体はなくてもよく、センサ１５が凹部１５Ａに相当する開口から露出していてもよい。センサ１５が露出する場合には、センサ１５の表面に保護膜が設けられてもよい。なお、第二のカメラＨ４は筐体Ｈ１の後面方向の被写体を撮影し、表示部１９に表示する。筐体Ｈ１の背面が筐体Ｈ１外面での背面に相当する。

図２は、情報処理装置１０のハードウェア構成図である。情報処理装置１０はプロセッサ１１と、主記憶部１２と、各種インターフェースを通じて接続される入出力部品を有し、主記憶部１２に記憶されるプログラムにより情報処理を実行する。第1の入出力部品と
しては、表示部１９と表示制御部１９１を例示できる。また、第２の入出力部品としては、タッチパネル１８とタッチイベント制御部１８１を例示できる。また、第３の入出力部品としては、センサ１５とセンサ入力フィルタ部１５１とセンサ入力解析部１５２とスクロールタップイベント制御部１５３を例示できる。さらに、第４の入出力部品としては、通信部１７を例示できる。

プロセッサ１１は、主記憶部１２に実行可能に展開されたコンピュータプログラムを実行し、情報処理装置１０の機能を提供する。プロセッサ１１は、マルチコアであってもよいし、信号処理等を実行する専用プロセッサを含んでもよい。プロセッサ１１は、信号処理、積和演算、ベクトル演算、その他の処理を実行する専用のハードウェア回路を含んでもよい。

主記憶部１２は、プロセッサ１１が実行するコンピュータプログラム、プロセッサ１１が処理するデータ等を記憶する。主記憶部１２は、Dynamic Random Access Memory（ＤＲＡＭ）、Static Random Access Memory（ＳＲＡＭ）、Read Only Memory（ＲＯＭ）、フ
ラッシュメモリ等である。

なお、情報処理装置１０は、主記憶部１２の他に外部記憶部を有してもよい。外部記憶部は、例えば、主記憶部１２を補助する記憶領域として使用され、プロセッサ１１が実行するコンピュータプログラム、プロセッサ１１が処理するデータ等を記憶する

また、表示部１９は、例えば、液晶ディスプレイ、エレクトロルミネッセンスパネル等である。表示制御部１９１は、例えば、表示部１９に表示される画像を格納する画像メモ
リと、グラフィックス処理を実行するコントローラ等である。ただし、表示制御部１９１がプロセッサ１１と主記憶部１２上のプログラムによって形成されてもよい。また、表示制御部１９１は、信号処理専用のプロセッサとメモリ等に記憶されたプログラムによって形成されてもよい。また、表示制御部１９１が専用のハードウェア回路を含んでもよい。

タッチパネル１８は、表示部１９の画面上に配置され、指による接触を検出し、接触位置の座標値を取得する。タッチイベント制御部１８１は、タッチパネル１８において、取得された接触位置の座標値と時刻情報をプロセッサ１１に通知する。タッチイベント制御部１８１は、プロセッサ１１と主記憶部１２上のプログラムによって形成されてもよいし、専用のプロセッサと図示しないメモリに記憶されたプログラムによって形成されてもよい。また、タッチイベント制御部１８１は、専用のハードウェア回路を含んでもよい。

通信部１７は、ネットワーク上の他の装置とデータを授受する。通信部１７は、例えば、携帯電話網の基地局と接続可能な端末側の通信装置である。ただし、通信部１７は、無線ＬＡＮ（Local Area Network）へのインターフェース、Bluetooth（登録商標）, Bluetooth Low Energy (BLE)のインターフェースを含んでもよい。

図３は、センサ１５の検出面を例示した平面図である。センサ１５は、指による接触を検出する接触センサ１５Ｃと、指の指紋を検出する指紋センサ１５Ｂを含む。接触センサ１５Ｃは、複数の検出素子１５ＣＥを配列して有する。したがって、接触センサ１５Ｃは、配列された複数の検出素子１５ＣＥにより人の指の接触面から複数個の接触点を検出する。この接触点の数は、指の接触面積に相当する。図３の例では、接触センサ１５Ｃは、４×３の配列で合計１２箇所から指の接触を検出する。１２箇所には、それぞれ静電容量センサが配置され、筐体Ｈ１に形成された凹部１５Ａの外壁を介して、指の接触を検出する。複数の検出素子１５ＣＥは、指による接触を検出する複数の検出部の一例である。

一方、指紋センサ１５Ｂも、静電容量センサの配列を含む。ただし、指紋センサ１５Ｂは、接触センサ１５Ｃよりも細かい静電容量センサの配列を有し、画素配列を形成し、画像を取得する。指紋センサ１５Ｂの静電容量センサの配列要素数（画素数に相当）は、接触センサ１５Ｃの静電容量センサ数の１０００倍から１００００倍程度（縦方向または横方向の配列のサイズが数倍から数十倍）である。例えば、画素数は、概ね１００×１００〜４００×４００程度である。

したがって、接触センサ１５Ｃは、指の接触面（上述のように筐体Ｈ１の外壁あるいはセンサ１５の保護膜）から、粗くかつ高速に接触の有無を検出する。一方、指紋センサ１５Ｂは、接触センサ１５Ｃよりも精細な接触面の画像を取得する。ただし、指紋センサ１５Ｂが接触面全体の画像を取得する時間は、接触センサ１５Ｃが指による接触の有無を検出する時間よりも長い。そこで、本実施の形態では、制御部１３は、接触センサ１５Ｃにより比較的短時間に、指による粗い接触状態を検出し、比較的時間を掛けて、指紋センサ１５Ｂによる精細な接触面での指紋の画像を取得する。

なお、制御部１３は、接触センサ１５Ｃから、指が接触している面積に相当する、接触点の個数の報告を受ける。制御部１３は、接触センサ１５Ｃから報告された接触点の個数が第１所定個数を超えると、指がセンサ１５に接触したと判定する。この場合、第１所定個数は、接触センサ１５Ｃの検出素子の数よりも小さな数でもよい。また、第１所定個数は、検出素子の全数であってもよい。また、制御部１３は、接触センサ１５Ｃから報告された接触点の個数の第２所定個数以下になると、指がセンサ１５に離間したと判定する。第２所定個数は、０でなくもてもよい。さらに、制御部１３は、第２所定個数として、第１所定個数より小さな値を採用することで、ユーザの指よる接触の検出時、ヒステリシスを形成し、ユーザの指によるセンサ１５への接触と離間を安定して判断できる。

図２に戻り、センサ１５について説明を継続する。センサ１５は、図１で説明した通り、筐体Ｈ１背面の凹部１５Ａに被覆されて、筐体Ｈ１内に配置される。センサ１５は、ユーザの指紋の画像を取得するとともに、ユーザの指による凹部１５Ａを介した接触を検出する。センサ入力フィルタ部１５１は、センサ１５で検出された信号を信号処理フィルタにより整形する。例えば、センサ入力フィルタ部１５１は、センサ１５で検出された信号からノイズを除去し、画像のエッジを強調する処理をする。センサ入力解析部１５２は、センサ入力フィルタ部１５１からの信号を基に、ユーザの指紋の画像を形成する。また、センサ入力解析部１５２は、センサ入力フィルタ部１５１からの信号を基に、接触センサ１５Ｃでの接触の有無を判定した結果である、オンオフの２値信号を生成する。スクロールタップイベント制御部１５３は、センサ入力解析部１５２からの画像を基に、センサ１５（凹部１５Ａ）でのユーザの指によるスクロール操作、タップ操作を検出する。そして、スクロールタップイベント制御部１５３は、スクロールの方向、タップとロングタップとの区別、検出時刻等をプロセッサ１１に報告する。

センサ入力フィルタ部１５１、センサ入力解析部１５２、スクロールタップイベント制御部１５３の少なくとも１つは、プロセッサ１１と主記憶部１２上のプログラムによって形成されてもよい。また、これらのうちの少なくとも１つが専用のプロセッサとメモリに記憶されたプログラムによって形成されてもよい。また、また、これらのうちの少なくとも１つが、専用のハードウェア回路を含んでもよい。

本実施形態では、プロセッサ１１と主記憶部１２を制御部１３と呼ぶことにする。ただし、制御部１３は、表示制御部１９１、タッチイベント制御部１８１、センサ入力フィルタ部１５１、センサ入力解析部１５２、スクロールタップイベント制御部１５３の少なくとも一部を含んでもよい。

図４から図９は、情報処理装置１０においてセンサ１５への指による操作に伴う画面遷移処理を例示する図である。この処理では、ユーザが筐体Ｈ１背面の凹部１５Ａを介してセンサ１５に指でタッチする事を想定する（Ｎ−１）。ここで、符号Ｎ−１は、図中の文を示すものであり、文の先頭に記載した。以下、Ｎ、Ｓ、Ｚ等で開始する他の符号も同様である。

すると、センサ１５は、指による凹部１５Ａを介した接触を検出し、制御部１３に報告する（処理Ｄ１）。ここで、制御部１３は、ユーザの指が凹部１５Ａに接触したか否かを接触センサ１５Ｃ内の検出素子１５ＣＥのうちの接触を検出した検出素子数が第１所定個数に達したか否かで判定する。

そして、検出素子数が第１所定個数に達すると、制御部１３は、タイマによる計時を開始する。タイマは、第１所定時間まで進行する。そして、指による凹部１５Ａを介した接触が継続すると（Ｎ−２）、制御部１３は、時間の経過にしたがって、グラフィックスオブジェクトにより、画面上に進行状況を表示する。この表示をプログレス表示と呼ぶ。図４のプログレス表示では、時間の経過ともに、中心角が増加する円弧を描く矢印が複数段階で例示されている。処理Ｎ−２において、タイマによる計時を開始することが、複数の検出部のうちの第1所定個数以上の検出部が前記指との接触を検出すると指のセンサへの
接触開始からの時間の計測を開始することの一例である。

図８に、プログレス表示を行うグラフィックスオブジェクトの詳細を例示する。図８のプログレス表示では、グラフィックスオブジェクトは、円形のマークＭ０内で、表示部１９の画面上でマークＭ０内の上部側部分において上向きに頂点を有する三角形Ｍ１−１、マークＭ０内の右側部分において右向きに頂点を有する三角形Ｍ１−２、マークＭ０内の
下部側部分で下向きに頂点を有する三角形Ｍ１−３、マークＭ０内の左側部分において左向きに頂点を有する三角形Ｍ１−４を配置した構造を有する。そして、矢印Ｔ１が時間の経過にしたがって円弧を描く。矢印Ｔ１が中心角３６０度の円を描き終わるときが、センサ１５が指による凹部１５Ａを介した接触を検出した後、第１所定時間が経過するときである。このように、本実施形態のプログレス表示でのグラフィックスオブジェクトは、上下左右に頂点を有する４つの三角形Ｍ１−１からＭ１−４によって画面のスクロールが可能であることを表示する。４つの三角形Ｍ１−１からＭ１−４は、表示部での表示をスクロールするための操作が受付可能であることを示す表示部品の一例である。中心角３６０度の円を描く矢印Ｔ１が第１所定時間経過までの計時が進行中であることを示す表示部品の一例である。

図４に戻り、プログレス表示で、矢印Ｔ１が中心角３６０度の円を描き終わる前（第１所定時間経過前）に、ユーザが凹部１５Ａの表面上で指を移動すると、センサ１５がユーザの指の凹部１５Ａを介した接触状態での移動を検出し、制御部１３に通知する。ここで、制御部１３は、接触センサ１５Ｃ内の検出素子１５ＣＥのうちの接触を検出した検出素子数が第１所定個数に達した状態で、指紋センサ１５Ｂの画像によりユーザの指が凹部１５Ａ上をスライド移動したときに限り、有効なスライド移動であると判定してもよい。すなわち、制御部１３は、ユーザの指が確実にセンサ１５に接触したことを条件に、有効なスライド移動であると判定してもよい。このような検出素子１５ＣＥの数等により、有効なスライド移動を判定することが、相対移動を有効な操作と判定することの一例である。有効なスライド移動が判定されると、制御部１３は、スクロールモードでの画面表示を実行し、ユーザの指の操作にしたがって表示部１９の画面をスクロールする。図４、図５におけるスクロールモードでの画面表示が、操作に応じて表示部での表示をスクロールする処理の一例である。

スクロールモードは、ユーザが凹部１５Ａから指による接触を止める（指が離間する）まで継続する。なお、上述のように、制御部１３は、ユーザが凹部１５Ａから指による接触を止めたか否かを接触センサ１５Ｃ内の検出素子１５ＣＥのうちの接触を検出した検出素子数が第２所定個数以下になったか否かで判定すればよい。

次に、図５により説明を継続する。制御部１３は、ユーザの指が凹部１５Ａの表面に接触を継続する間、ユーザの指の動きを検出し（処理Ｄ２）、検出された指の動きに応じて画面をスクロールする。例えば、ユーザは、指をセンサ１５（凹部１５Ａ）に接触させ、接触開始位置から直交する４方向のいずれかに動かしたのち静止する（Ｓ−１−１）。ここで、直交する四方向は、例えば、９０度（正負４５度づつ）の許容誤差で判定される。すなわち、制御部１３は、処理Ｄ２の吹き出しに例示したように、ユーザの指が接触しているタッチ起点から、上下左右に９０度単位で放射状の領域のいずれの方向に指が移動したかによって、移動方向が４方向のいずれの方向であるかを決定する。放射状の領域は、例えば、上下左右方向のそれぞれを中心に、正負４５度ずつ形成される。ここで、タッチ起点は、例えば、接触センサ１５Ｃが接触を最初に検知したときの、指紋センサ１５Ｂが検出した指紋の画像の重心とすればよい。

上述のように、上下方向は、情報処理装置１０の筐体を基準に判断される。例えば、ユーザが情報処理装置１０の画面表面を鉛直方向近傍に維持して操作するときに、ユーザの視線に対して鉛直上方向が、センサ１５上での指の移動の上方向である。また、ユーザの視線に対して鉛直下方向が、センサ１５上での指の移動の下方向である。また、例えば、ユーザが情報処理装置１０の画面表面を水平方向近傍に維持して操作するときに、情報処理装置１００の筐体Ｈ１で、ユーザから遠い側が上側であり、ユーザから近い側が下側である。また、左右方向は、上記の上下方向を基準に判断される。また、ユーザが表示部１９の画面を見たときに、向かって右側が画面の右側であり、向かって左側が画面の左側で
あるとする。

そして、制御部１３は、指を動かした領域に対応する方向に画面のスクロールを継続する（Ｓ−２−１）。このとき、制御部１３は、表示部１９の画面に、スクロール方向を示すインジケータをグラフィックスオブジェクトで表示してもよい。図５では、Ｓ−２−１において、実線矢印が紙面下方向に向き、スクロール方向が画面下方向であることを示している。また、移動のインジケータとなるグラフィックスオブジェクトは、図８のグラフィックスオブジェクトから矢印Ｔ１を除いたもので、移動方向に該当する１つの三角が濃い色で表示され、移動方向以外の３つの三角が薄い色で表示されたものである。Ｓ−２−１の後の処理は、センサ表面上で所定の許容値の範囲で指による第１方向に相対移動する操作を検出すると、次の操作を検出するまでの間、表示部の画面上で表示部での表示を第１方向にスクロールする処理を継続することの一例である。

そして、ユーザが、指静止位置から、指を直交する４方向のいずれかに動かしたのち静止する（Ｓ−３−１、Ｄ３）。処理Ｄ３の吹き出しに例示したように、例えば、ユーザは、タッチ起点から右側の９０度の放射状の領域に移動し、静止する。制御部１３は、指の移動が止まり、静止を検出しても、指を動かした領域に対応する方向に画面のスクロールを継続する（Ｓ−４−１）。このとき、制御部１３は、表示部１９の画面に、スクロール方向を示すインジケータを表示すればよい。Ｓ−４−１の処理は、センサ表面上で指が第１方向と直交する方向から所定の許容範囲で第３方向に相対移動する操作を検出すると、次の操作を検出するまでの間、表示部の画面上で表示部での表示を第１方向と直交する方向にスクロールする処理を継続することの一例である。そして、ユーザが凹部１５Ａから指を離すと、制御部１３は、符号Ａ４で示される最初の状態に戻る。すなわち、制御部１３は、ユーザのセンサ１５へのタッチ操作によるモード選択を受け付け、計時を開始可能な状態に戻る。

一方、ユーザのセンサ１５へのタッチ操作によるモード選択を受け付け、プログレス表示で、矢印Ｔ１が中心角３６０度の円を描き終わると（第１所定時間が経過すると）、制御部１３は、拡大縮小モードに遷移する。そして、制御部１３は、画面を所定の倍率に拡大する（Ｚ−１）。所定の倍率は、例えば、１．５倍である。そして、制御部１３は、拡大縮小モードでの画面表示を実行する。拡大縮小モードでは、制御部１３は、ユーザの指の操作にしたがって表示部１９の画面を拡大または縮小する。なお、所定の倍率１．５倍（およびその近傍の範囲の値）は、スマートフォン等の小型デバイスにおいて、標準表示に対して、一般的なユーザが読みやすい倍率として推奨される倍率である。拡大縮小モードでの処理が、表示部での表示をさらに拡大または縮小する処理の一例である。

拡大縮小モードは、ユーザが凹部１５Ａから指による接触を止めるまで（指がセンサ１５から離間するまで）継続する。なお、上述のように、制御部１３は、ユーザが凹部１５Ａから指による接触を止めたか否かを接触センサ１５Ｃ内の検出素子１５ＣＥのうちの接触を検出した検出素子数が第２所定個数以下になったか否かで判定する。

次に、図６により説明を継続する。拡大縮小モードでは、制御部１３は、ユーザの指が凹部１５Ａの表面に接触を継続する間、ユーザの指の動きを検出し、検出された指の動きに応じて画面を拡大または縮小する。例えば、ユーザは、指をセンサ１５（凹部１５Ａ）に接触させ、接触開始位置から下方に動かしたのち静止する（Ｚ−２−１）。すると、制御部１３は、処理Ｄ４の吹き出しに例示したように、ユーザの指が接触しているタッチ起点から、下の領域に移動したことを検出する（処理Ｄ４）。

制御部１３は、処理Ｄ４の吹き出しに例示したように、ユーザの指が接触しているタッチ起点から、上下の領域のいずれの方向に指が移動したかによって、指の移動方向を決定
する。処理Ｄ４の吹き出しでは、指による接触開始位置から下方がハッチングされている。ここで、タッチ起点は、例えば、指紋センサ１５Ｂが検出した指紋の画像の重心とすればよい。処理Ｄ４の吹き出しの例では、制御部１３は、センサ１５（指紋センサ１５Ｂ）上で指がタッチ基点から、例えば、１８０度の範囲許容範囲で下側（タッチ起点を通る左右方向の点線より下側の領域）に接触し、その接触状態が維持されていることを検出する。そこで、制御部１３は、画面の縮小を実行し、処理を継続する（Ｚ−３−１）。Ｚ−３−１の処理は、センサ表面上で所定の許容値の範囲で指による第２方向に相対移動する操作を検出すると、次の操作を検出するまでの間、表示部での表示を縮小する処理を継続することの一例である。

その後、例えば、ユーザは、指をセンサ１５（凹部１５Ａ）に接触させ、接触開始位置から上方に動かしたのち静止する（Ｚ−４−１）。すると、制御部１３は、処理Ｄ５の吹き出しに例示したように、ユーザの指が接触しているタッチ起点から、上側の領域に移動したことを検出する（処理Ｄ５）。処理Ｄ５の吹き出しでは、指による移動停止位置から下方がハッチングされており、処理Ｄ４の吹き出しでの指の位置が移動していることが理解される。この例でも、制御部１３は、次のタッチ基点（処理Ｄ４での停止位置）から、例えば、１８０度の範囲許容範囲で上側への移動が検出されている。そこで、制御部１３は、画面の拡大を実行し、処理を継続する（Ｚ−５−１）。さらに、拡大倍率が規定の最大値になると、制御部１３は、画面の拡大を停止する（Ｚ−６−１）。Ｚ−５−１の処理は、センサ表面上で所定の許容値の範囲で指による第１方向に相対移動する操作を検出すると、次の操作を検出するまでの間、表示部での表示を拡大する処理を継続ことの一例である。

そして、ユーザが凹部１５Ａから指を離すと（Ｚ−７）、制御部１３は、画面の表示倍率を維持して、符号Ａ４で示される最初の状態に戻る。すなわち、制御部１３は、ユーザのセンサ１５へのタッチ操作によるモード選択を受け付け、計時を開始可能な状態に戻る（矢印Ａ４）。Ｚ−７の後の処理が、拡大または縮小された表示部での表示を維持して、指によるセンサへの接触開始を受け付ける状態に移行することの一例である。このとき、制御部は、図９に例示したように、グラフィックスオブジェクトに画面の倍率を表示する。

次に、図７により説明を継続する。制御部１３が画面を所定の倍率に拡大した後、ユーザがセンサ１５を下から上にスライドして停止する（Ｚ−２−２）。すると、制御部１３は、処理Ｄ６の吹き出しに例示したように、ユーザの指が接触しているタッチ起点から、上の領域に移動したことを検出する。制御部１３は、その接触状態が維持されている間、制御部１３は、画面の拡大を継続する（Ｚ−３−２）。

その後、例えば、ユーザは、指をセンサ１５（凹部１５Ａ）への接触を維持したまま、指を下方に動かしたのち静止する（Ｚ−４−２）。すると、制御部１３は、処理Ｄ７の吹き出しに例示したように、ユーザの指が下の領域に移動したことを検出する（処理Ｄ７）。そこで、制御部１３は、画面を縮小する。制御部１３は、その接触状態が維持されている間、画面の縮小を継続する（Ｚ−５−２）。

そして、ユーザが凹部１５Ａから指を離すと（Ｚ−６−２）、制御部１３は、画面の表示倍率を維持して、接触センサ１５Ｃによる接触検出前の最初の状態に戻る。すなわち、制御部１３は、ユーザのセンサ１５へのタッチ操作によるモード選択を受け付け、計時を開始可能な状態に戻る（矢印Ａ４）。Ｚ−６−２の後の処理が、拡大または縮小された表示部での表示を維持して、指によるセンサへの接触開始を受け付ける状態に移行することの一例である。このとき、制御部は、図９に例示したように、グラフィックスオブジェクトに画面の倍率を表示する。

上述のように、制御部１３は、拡大縮小モードからユーザのセンサ１５へのタッチ操作によるモード選択を受け付けると、画面の表示倍率を維持して、符号Ａ４で示される最初の状態に戻る。このとき、制御部１３は、図９と同様のグラフィックスオブジェクトによりプログレス表示を実行する。このとき、グラフィックスオブジェクトには、画面の現在の表示倍率が表示される。そして、図８の場合と同様、矢印Ｔ１が時間の経過にしたがって円弧を描く。そして、センサ１５が指による凹部１５Ａを介した接触を検出した後第１所定時間が経過するとき、矢印Ｔ１が中心角３６０度の円を描き終わる。そして、このプログレス表示で、矢印Ｔ１が中心角３６０度の円を描き終わる前に（第１所定時間が経過する前に）、ユーザが凹部１５Ａの表面上で指を移動すると、制御部１３は、スクロールモードでの画面表示を実行する。

図９に、拡大縮小モードの後のスクロール表示で画面に表示されるグラフィックスオブジェクトを例示する。拡大縮小モード後の画面の表示倍率が維持された状態でのスクロール表示において、グラフィックスオブジェクトは、時間の経過にしたがって円弧を描く矢印Ｔ１を有していない。代わりに、グラフィックスオブジェクトは、円形のマークＭ０の中央付近に現在の画面の表示倍率を数値で表示する。また、このとき、グラフィックスオブジェクトは、上下左右に頂点を有する４つの三角形Ｍ１−１からＭ１−４によって画面のスクロールが可能であることを表示する。図９のグラフィックスオブジェクトは、表示部での表示が拡大された倍率または縮小された倍率を表示するグラフィックスオブジェクトの一例である。

図１０に、情報処理装置１０の制御部１３による処理のフローチャートを例示する。この処理は、センサ１５が指による接触を検知することで開始する（Ｓ１）。センサ１５が指による接触を検知すると、接触が検知されたというイベントおよび接触が検知された範囲を制御部１３に報告する。

すると、制御部１３は、接触を検知した接触センサ１５Ｃの部分（検出素子１５ＣＥの数）が所定範囲に達しているか否かを判定する（Ｓ２）。ここで、所定範囲は、例えば、配列状の検出素子１５ＣＥの全数、あるいは、所定割合の数である。接触を検知した接触センサ１５Ｃの部分が所定範囲に達していない場合、制御部１３は、処理をＳ１に戻し、センサ１５からの次の接触の報告を待つ。

一方、接触を検知した接触センサ１５Ｃの部分が所定範囲に達している場合、制御部１３は、タップ、ロングタップ、指の移動を検出する処理を実行する（Ｓ３）。Ｓ３の詳細は、図１１により、後述する。次に、制御部１３は、Ｓ３によってタップ、ロングタップ、指の移動を検出したとき、接触を検知した接触センサ１５Ｃの部分は、所定範囲に達したままであったか否かを判定する（Ｓ４）。接触を検知した接触センサ１５Ｃの部分は、所定範囲達した状態が維持されなかった場合、制御部１３は、処理をＳ１に戻し、センサ１５からの次の接触の報告を待つ。すなわち、制御部１３は、タップ、ロングタップ、あるいは指の移動を検出する際に、指の接触範囲が減少すると、タップ、ロングタップ、あるいは指の移動がキャンセルされたとみなす。

一方、接触を検知した接触センサ１５Ｃの部分は、所定範囲に達したままであった場合、制御部１３は、タップ、ロングタップ、あるいは指の移動に応じた画面上の操作を実行する（Ｓ５）。

図１１は、タップ、ロングタップ、指の移動を検出する処理（図１０のＳ３）の詳細を例示するフローチャートである。この処理では、制御部１３は、センサ１５からの信号により指による接触移動を検出したか否かを判定する（Ｓ３１）。指による接触移動を検出
した場合、制御部１３は、スクロールモードを設定する（Ｓ３４）。以降、制御部１３は、操作に応じて表示部１９での表示をスクロールする処理を実行する。

制御部１３は、Ｓ３１で指の接触移動を検出できない場合、指によるセンサ１５への接触を検出した後、第１所定時間経過したか否かを判定する（Ｓ３２）。指によるセンサ１５への接触を検出した後、第１所定時間経過した場合、制御部１３は、表示部１９の表示を所定倍率で拡大し、拡大縮小モードを設定する（Ｓ３３）。ここで、所定倍率は、例えば、１．５倍である。種々の情報の表示範囲を考慮して設定されるスマートフォン等の標準的な画面上の文字寸法に対して、１．５倍程度に拡大すると文字が認識しやすくなるとの調査結果がある。ただし、所定倍率が１．５倍に限定される訳ではなく、１．３倍から１．７倍等であってもよい。以降、制御部１３は、操作に応じて表示部１９での表示をさらに拡大または縮小する処理を実行する。一方、Ｓ３２で第１所定時間が経過していない場合、制御部１３は、処理をＳ３１に戻し、計時を継続する。

図１２は、タップ、ロングタップ、あるいは指の移動に応じた操作を実行中の制御部１３によるセンサ１５からの指の離間を判定する処理のフローチャートである。この処理は、例えば、所定の時間間隔で、実行される。この処理では、制御部１３は、接触センサ１５Ｃからの信号を取得する（Ｓ５１）。次に、制御部１３は、指によるセンサ１５の接触センサ１５Ｃへの接触部分の範囲は、第２所定値以下となったか否かを判定する（Ｓ５２）。Ｓ５２の判定が、複数の検出部のうち、指との接触を検出する検出部の数が第1所定
個数より少ない第２所定個数以下になったときにセンサから指が離間したと判定することの一例である。

接触センサ１５Ｃへの接触部分の範囲が第２所定値以下である場合、制御部１３は、指がセンサ１５から離間したときの処理を実行する（Ｓ５３）。例えば、拡大縮小モードにおいて、指がセンサ１５から離間すると、そのときの画面の拡大または縮小の倍率を維持して、指によるセンサ１５への接触開始を受け付ける状態に移行する（図５の矢印Ａ４）。Ｓ５３の処理が、拡大または縮小された表示部での表示を維持して、指によるセンサへの接触開始を受け付ける状態に移行することの一例である。一方、接触センサ１５Ｃへの接触部分の範囲が第２所定値を上回る場合、制御部１３は、処理を継続する（Ｓ５４）。
＜実施形態の効果＞

以上述べたように、本実施形態の情報処理装置１０は、筐体Ｈ１背面のセンサ１５により、簡易に画面の操作を可能とする。例えば、ユーザの指によるセンサ１５への接触開始から第１所定時間が経過すると、制御部１３は、画面の表示倍率を１．５（あるいはその近傍）に設定し、拡大縮小モードによる画面操作を実行する。したがって、ユーザがセンサ１５に第１所定時間接触し続けること（ロングタップ）で、拡大縮小モードを簡易に選択することができ、かつ、拡大縮小モードの最初の段階で、ユーザの見やすい画面倍率で画面が自動的に直ちに拡大される。なお、従来は、操作範囲が狭い指紋センサ１５Ｂの領域内では大きな移動量が得られず、直観的に画像の拡縮や左右移動や上下スクロールを行い、素早く読みやすい画像サイズと位置を設定することは困難な場合があった。そこで、従来は、トリプルタップや拡大後の２指操作など、煩雑な操作が行われた。また、ユーザは、画面上のタッチパネルに触れて、位置調整のスクロールや拡大縮小等の操作していた。

また、制御部１３は、拡大縮小モードでの処理を実行中に、センサ１５からユーザの指が離間すると、画面が拡大または縮小された表示を維持して、指によるセンサ１５への接触開始を受け付ける状態に移行する（図５の矢印Ａ４から図４の矢印Ａ４への遷移、図１２のＳ５３）。したがって、ユーザは、画面が拡大または縮小された状態で、さらに、次の操作として、スクロールまたは拡大縮小を選択できる。

また、本実施の形態の処理では、指によるセンサ１５への接触開始から第１所定時間が経過するまでの間、表示部１９での表示をスクロールするための操作が受付可能であることを示す三角形Ｍ１−１からＭ１−４（図８）と第１所定時間経過までの計時が進行中であることを示す矢印Ｔ１とを含むグラフィックスオブジェクトが表示される。したがって、ユーザは、指によるセンサ１５への接触開始から第１所定時間が経過するまでの間の情報処理装置１０の処理状態、受付可能な操作、および、第１所定時間経過までの計時が進行中であることを容易に認識できる。

また、本実施形態の処理では、制御部１３は、スクロールする処理において、センサ１５表面上で所定の許容値の範囲で指がタッチ起点から上下左右のうち、例えば、９０度の許容範囲で第１方向に相対移動する操作を検出すると、次の操作を検出するまでの間、表示部１９の画面上で第１方向にスクロールする処理を継続する。また、制御部１３は、センサ１５表面上で指が第１方向と直交する方向から所定の許容範囲（例えば、９０度の許容範囲）の第３方向に相対移動する操作を検出すると、次の操作を検出するまでの間、表示部１９の画面上で、第１方向と直交する方向にスクロールする処理を継続する。したがって、ユーザは筐体Ｈ１背面のセンサ１５により、筐体Ｈ１前面の表示部１９の表示を簡易にスクロール操作できる。

また、制御部１３は、拡大縮小モードにおいて、センサ１５表面上で所定の許容値の範囲（例えば、タッチ起点から１８０度の範囲）で指が上向きに相対移動する操作を検出すると、次の操作を検出するまでの間、表示部１９での表示を拡大する処理を継続する。また、制御部１３は、拡大縮小モードにおいて、センサ１５表面上で所定の許容値の範囲（例えば、タッチ起点から１８０度の範囲）で指が下向きに相対移動する操作を検出すると、次の操作を検出するまでの間、表示部１９での表示を縮小する処理を継続する。したがって、ユーザは筐体Ｈ１背面のセンサ１５により、筐体Ｈ１前面の表示部１９の表示を簡易に拡大操作あるいは縮小操作できる。

また、本実施形態では、情報処理装置１のセンサ１５は、指が当接可能な表面に対する指との接触を検出する複数の検出素子１５ＣＥの配列を有する。そして、制御部１３は、指による接触を検出した検出素子１５ＣＥが所定割合を超える場合、指によるセンサ１５への接触開始からの時間の計測を開始する。したがって、情報処理装置１は、ユーザの誤操作を抑制し、ユーザからの有効な操作を検出できる。

また、制御部１３は、制御部は、指による接触を検出した検出素子１５ＣＥが所定割合を超える状態で、指がセンサ１５に対して相対移動するときに、相対移動を有効な操作と判定する（図１０のＳ２）。したがって、情報処理装置１は、ユーザの誤操作を抑制し、ユーザからの有効な操作を検出できる。

また、制御部１３は、複数の検出素子１５ＣＥのうち、指との接触を検出する検出素子１５ＣＥの数が第1所定個数より少ない第２所定個数未満になったときにセンサ１５から
指が離間したと判定する。したがって、ユーザが指によるセンサ１５への操作後、操作状態を維持しているときには、多少、ユーザによるセンサ１５へ接触状態が変化しても、安定して画面のスクロール、拡大、あるいは縮小を継続できる。

また、本実施の形態では、ユーザの指によるセンサ１５への接触開始から第１所定時間が経過した後、制御部１３は、グラフィックスオブジェクトに画面倍率を表示するので、ユーザは容易に、現在の画面状態を認識できる。
以上述べたように、本情報処理装置１は、操作領域が狭いセンサ１５であっても素早く簡単に意図した表示状態にすることができる。
＜コンピュータが読み取り可能な記録媒体＞

コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ブルーレイディスク、ＤＡＴ、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスク、ＲＯＭ（リードオンリーメモリ）等がある。さらに、ＳＳＤ（Solid State Drive）は、コンピュータ等から取り外し可能な記録媒体としても、コンピュータ
等に固定された記録媒体としても利用可能である。
なお、本プログラムは、記録媒体に代えて、インターネット等の通信ネットワークを介して、情報処理装置１に配信すること可能である。

１０ 情報処理装置
１１ プロセッサ
１２ 主記憶部
１３ 制御部
１５ センサ
１５１ センサ入力フィルタ部
１５２ センサ入力解析部
１５３ スクロールタップイベント制御部
１５Ａ 凹部
１５Ｂ 指紋センサ
１５Ｃ 接触センサ
１７ 通信部
１８ タッチパネル
１８１ タッチイベント制御部
１９ 表示部
１９１ 表示部制御部

Claims (10)

1. 表示部を有する筐体と、
   前記表示部以外の箇所で前記筐体外面に設けられ、指による操作を検出するセンサと、
   前記センサによって検出された操作に応じて前記表示部の表示を変更可能な制御部と、を備え、
   前記制御部は、前記指による前記センサへの接触開始から第１所定時間が経過前は、前記操作に応じて前記表示部での表示をスクロールする処理を実行し、前記第１所定時間が経過後は、前記表示部での表示を所定倍率で拡大し、前記操作に応じて前記表示部での表示をさらに拡大または縮小する処理を実行する情報処理装置。
2. 前記制御部は、前記拡大または縮小する処理を実行中に、前記センサから前記指が離間すると、拡大または縮小された前記表示部での表示を維持して、指による前記センサへの接触開始を受け付ける状態に移行する請求項１に記載の情報処理装置。
3. 前記制御部は、前記指による前記センサへの接触開始から第１所定時間が経過するまでの間、前記表示部での表示をスクロールするための操作が受付可能であることを示す表示部品と前記第１所定時間経過までの計時が進行中であることを示す表示部品とを含むグラフィックスオブジェクトを表示する請求項１または２に記載の情報処理装置。
4. 前記表示部は前記筐体外面での第１の面に設けられ、
   前記センサは前記筐体外面での第１の面に対する背面に設けられ、
   前記制御部は、前記表示部での表示をスクロールする処理において、
   （１）前記センサ表面上で所定の許容値の範囲で前記指による第１方向に相対移動する操作を検出すると、次の操作を検出するまでの間、前記表示部の画面上で前記表示部での表示を第１方向にスクロールする処理を継続し、
   （２）前記センサ表面上で前記指が前記第１方向と直交する方向から所定の許容範囲で第３方向に相対移動する操作を検出すると、次の操作を検出するまでの間、前記表示部の画面上で前記表示部での表示を前記第１方向と直交する方向にスクロールする処理を継続する請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記制御部は、前記表示部での表示をさらに拡大または縮小する処理において、
   （１）前記センサ表面上で所定の許容値の範囲で前記指による第１方向に相対移動する操作を検出すると、次の操作を検出するまでの間、前記表示部での表示を拡大する処理を継続し、
   （２）前記センサ表面上で所定の許容値の範囲で前記指による第２方向に相対移動する操作を検出すると、次の操作を検出するまでの間、前記表示部での表示を縮小する処理を継続する請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記センサは、前記指が当接可能な表面での前記指による接触を検出する複数の検出部を有し、
   前記制御部は、複数の検出部のうちの第1所定個数以上の検出部が前記指との接触を検
   出すると前記指の前記センサへの接触開始からの時間の計測を開始する請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記制御部は、複数の検出部のうちの第1所定個数以上の検出部が前記指との接触を検
   出した状態で、前記指が前記センサに対して相対移動するときに、前記相対移動を有効な操作と判定する請求項４または５に記載の情報処理装置。
8. 前記制御部は、前記複数の検出部のうち、前記指との接触を検出する検出部の数が第1
   所定個数より少ない第２所定個数以下になったときに前記センサから前記指が離間したと判定する請求項６または７に記載の情報処理装置。
9. 前記制御部は、前記指による前記センサへの接触開始から第１所定時間が経過した後、前記表示部での表示が拡大された倍率または縮小された倍率を前記グラフィックスオブジェクトに表示する請求項３に記載の情報処理装置。
10. 表示部を有する筐体と、
    前記表示部以外の箇所で前記筐体外面に設けられ、指による操作を検出するセンサと、を備えるコンピュータに、前記センサによって検出された操作に応じて前記表示部の表示を変更可能なプログラムであって、前記コンピュータに、
    前記指による前記センサへの接触開始から第１所定時間が経過前は、前記操作に応じて前記表示部での表示をスクロールする処理を実行させ、前記第１所定時間が経過後は、前記表示部での表示を所定倍率で拡大し、前記操作に応じて前記表示部での表示をさらに拡大または縮小する処理を実行させるためのプログラム。

Images