JP2016162331A - 情報処理装置 - Google Patents

Abstract

【課題】ユーザーの指を２次元の画像として読み取る画像読み取り手段を用いてより多様な操作を可能とする。【解決手段】情報処理装置は、表示面に情報を表示する表示手段と、前記表示面と同じ面に設けられ、ユーザーの指を２次元の画像として読み取る画像読み取り手段と、前記画像読み取り手段により読み取られた画像を用いて、前記指の移動方向を検知する移動検知手段と、前記移動検知手段により検知された移動方向に応じた処理を行う処理手段とを有する。【選択図】図１

Description

本発明は、表示面と同じ面に、ユーザーの指の画像を読み取る読み取り手段を有する情報処理装置に関する。

スマートフォンやタブレット端末等の情報処理装置においてユーザー認証のため、指紋認証を行う技術が知られている。特許文献１および２には、１次元の指紋センサーを用いて指の横方向の移動を検知する技術が記載されている。

特開２００７−１８９３９５号公報 国際公開第ＷＯ２００９／１４７７５５号

特許文献１および２に記載された技術においては、指の一方向の移動しか検知することができず、指紋センサーを用いて多様な操作を行うことができなかった。

これに対し本発明は、ユーザーの指を２次元の画像として読み取る画像読み取り手段を用いてより多様な操作を可能とする技術を提供する。

本発明は、表示面に情報を表示する表示手段と、前記表示面と同じ面に設けられ、ユーザーの指を２次元の画像として読み取る画像読み取り手段と、前記画像読み取り手段により読み取られた画像を用いて、前記指の移動方向を検知する移動検知手段と、前記移動検知手段により検知された移動方向に応じた処理を行う処理手段とを有する情報処理装置を提供する。
この情報処理装置によれば、画像読み取り手段を用いて多様な操作が可能になる。

前記処理手段において、前記移動方向が第１方向の場合と第２方向の場合とでそれぞれ異なる処理が割り当てられていてもよい。
この情報処理装置によれば、画像読み取り手段上の指の移動方向が第１方向のときと第２方向のときとで異なる処理を行わせることができる。

この情報処理装置は、前記画像読み取り手段によって読み取られたユーザーの指の画像を用いて当該ユーザーの指紋認証を行う認証手段と、前記画像読み取り手段により読み取られた画像により示される前記指の移動速度に応じて、当該画像の出力先を前記移動検知手段および前記認証手段のいずれかに切り替える切り替え手段とを有してもよい。
この情報処理装置によれば、指紋認証と指の移動方向に応じた処理とを自動的に切り替えることができる。

この情報処理装置は、自装置の向きを検知する向き検知手段と、前記向き検知手段により検知された向きに応じて、前記移動方向と前記処理手段における処理の関連付けを変える設定手段とを有してもよい。
この情報処理装置によれば、画像読み取り手段上の指の移動方向と実行される処理との対応関係を自機の向きに応じて動的に変更することができる。

前記画像読み取り手段は、第１時間間隔で間欠的に画像を読み取り、この情報処理装置は、前記画像読み取り手段により読み取られた画像に前記ユーザーの指が含まれるか判断する判断手段を有し、前記画像に前記ユーザーの指が含まれると前記判断手段により判断された場合、前記画像読み取り手段は、前記第１時間間隔よりも短い第２時間間隔で画像を読み取ってもよい。
この情報処理装置によれば、常に第２時間間隔で画像を読み取る場合と比較して処理の負荷を低減することができる。

前記移動検知手段は、前記複数の画像において、前記指が、画像に含まれる状態から画像の外まで移動したことが示された場合、前記ユーザーの指が前記読み取り手段上をスワイプしたことを検知し、前記スワイプが検知された場合、前記処理手段は、前記スワイプの方向に応じて、前記表示手段に表示される情報を切り替えてもよい。
この情報処理装置によれば、画像読み取り手段上を指でスワイプすることによって、表示手段に表示される情報を切り替えることができる。

一実施形態に係る表示システム１の機能構成を示す図。 携帯端末１０のハードウェア構成を例示する図。 携帯端末１０の外観を例示する図。 表示装置２０のハードウェア構成を例示する図。 携帯端末１０の動作を示すフローチャート。 ＲＡＭ１０２に記憶されている画像を例示する図。

１．構成
図１は、一実施形態に係る表示システム１の機能構成を示す図である。表示システム１は、携帯端末１０および表示装置２０を有する。表示装置２０は、画像を表示する装置である。携帯端末１０は、表示装置２０と通信する。この例で、携帯端末１０は、表示装置２０に対する指示を入力する装置、いわゆるリモートコントローラーとして機能する。

携帯端末１０は、表示手段１１、画像読み取り手段１２、移動検知手段１３、処理手段１４、認証手段１５、切り替え手段１６、向き検知手段１７、設定手段１８、および判断手段１９を有する情報処理装置である。

表示手段１１は、表示面に情報を表示する。画像読み取り手段１２は、表示面と同じ面に設けられ、ユーザーの指を２次元の画像として読み取る。移動検知手段１３は、画像読み取り手段１２により読み取られた画像を用いて、指の移動方向を検知する。処理手段１４は、移動検知手段１３により検知された移動方向に応じた処理を行う。なお、処理手段１４において、移動方向が第１方向の場合と第２方向の場合とでそれぞれ異なる処理が割り当てられている。この例で、処理手段１４が実行する処理には、表示装置２０への指示の送信が含まれる。

認証手段１５は、画像読み取り手段１２によって読み取られたユーザーの指の画像を用いてそのユーザーの指紋認証を行う。切り替え手段１６は、画像読み取り手段１２により読み取られた画像により示される指の移動速度に応じて、その画像の出力先を移動検知手段１３および認証手段１５のいずれかに切り替える。

向き検知手段１７は、自装置の向きを検知する。ここでいう向きは、例えば重力方向（鉛直下向き）に対する向きである。設定手段１８は、向き検知手段１７により検知された向きに応じて、移動方向と処理手段１４における処理の関連付けを変える。

この例で、画像読み取り手段１２は、第１時間間隔で間欠的に画像を読み取っている。判断手段１９は、画像読み取り手段１２により読み取られた画像にユーザーの指が含まれるか判断する。画像にユーザーの指が含まれると判断された場合、画像読み取り手段１２は、第１時間間隔よりも短い第２時間間隔で間欠的に画像を読み取る。

表示装置２０は、受信手段２１および表示手段２２を有する。受信手段２１は、携帯端末１０からの指示を受信する。表示手段２２は、受信した指示に応じて画像を表示する。

図２は、携帯端末１０のハードウェア構成を例示する図である。携帯端末１０は、例えば、スマートフォンまたはタブレット端末である。携帯端末１０は、ＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２、ストレージ１０３、通信ＩＦ１０４、タッチスクリーン１０５、ホームボタン１０６、および加速度センサー１０７を有する。

ＣＰＵ１００は、プログラムに従って各種の演算を行う装置である。ＲＯＭ１０１は、各種のデータおよびプログラムを記憶した不揮発性の記憶装置である。ＲＡＭ１０２は、ＣＰＵ１００がプログラムを実行する際のワークエリアとして機能する揮発性の記憶装置である。ストレージ１０３は、アプリケーションプログラムおよびアプリケーションプログラムで用いられるデータを記憶する不揮発性の記憶装置である。この例で、ストレージ１０３は、携帯端末１０を動作させるためのオペレーティングシステム（ＯＳ）、および携帯端末１０を表示装置２０のリモートコントローラーとして機能させるためのプログラムを記憶している。

通信ＩＦ１０４は、表示装置２０等の他の装置と通信するためのインターフェースである。通信ＩＦ１０４は、所定の通信規格、例えばＷｉＦｉ（登録商標）またはBluetooth（登録商標）に従って他の装置と通信する。

タッチスクリーン１０５は、表示装置およびタッチセンサー（いずれも図示略）を含む。表示装置は、表示面に画像を表示する装置、例えば液晶ディスプレイまたは有機ＥＬディスプレイである。タッチセンサーは、表示面上に設けられ、指示体（例えばユーザーの指）によりタッチされた位置を検知する装置、例えば静電容量式のセンサーである。

ホームボタン１０６は、ユーザーが携帯端末１０に指示を入力するためのボタンであり、タッチスクリーン１０５の表示面と同じ面に設けられている。ホームボタン１０６は、押下センサー１０６１および指紋センサー１０６２を有する。押下センサー１０６１は、ユーザーの指により押下されたことを検知するセンサーである。指紋センサー１０６２は、ユーザーの指から指紋を、２次元画像として読み取るセンサーである。

加速度センサー１０７は、携帯端末１０の傾きを測定するためのセンサーである。

タッチスクリーン１０５は、表示手段１１の一例である。ＣＰＵ１００に制御されている指紋センサー１０６２は、画像読み取り手段１２の一例である。ＣＰＵ１００は、移動検知手段１３、処理手段１４、認証手段１５、切り替え手段１６、設定手段１８、および判断手段１９の一例である。加速度センサー１０７は、向き検知手段１７の一例である。

図３は、携帯端末１０の外観を例示する図である。携帯端末１０は、筐体のうち一の面にタッチスクリーン１０５と、さらにその下部にホームボタン１０６を有する。ユーザーは、タッチスクリーン１０５に表示された画像を見ながら、ホームボタン１０６を操作することができる。

図４は、表示装置２０のハードウェア構成を例示する図である。この例で、表示装置２０は、映像を投写する装置すなわちプロジェクターである。表示装置２０は、ＣＰＵ（Central Processing Unit）２００、ＲＯＭ（Read Only Memory）２０１、ＲＡＭ（Random Access Memory）２０２、記憶部２０３、ＩＦ部２０４、画像処理回路２０５、および投写ユニット２０６を有する。

ＣＰＵ１００は、表示装置２０の各部を制御する制御装置である。ＲＯＭ１０１は、各種プログラムおよびデータを記憶した不揮発性の記憶装置である。ＲＡＭ１０２は、データを記憶する揮発性の記憶装置であり、ＣＰＵ１００が処理を実行する際のワークエリアとして機能する。記憶部２０３は、データやプログラムなどを記憶する不揮発性の記憶装置であり、例えば、フラッシュＲＯＭ、ＳＳＤ（Solid State Drive）、またはＨＤＤ（Hard Disk Drive）を含む。なお、記憶部２０３は、ＲＯＭ１０１に含まれていてもよい。あるいは、記憶部２０３は、ネットワーク上の記憶装置であってもよい。

ＩＦ部２０４は、外部装置（例えば表示装置２０）と信号またはデータのやりとりを仲介するインターフェースである。ＩＦ部２０４は、外部装置と信号またはデータのやりとりをするための端子（例えば、ＶＧＡ端子、ＵＳＢ端子、有線ＬＡＮインターフェース、Ｓ端子、ＲＣＡ端子、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）端子、マイクロフォン端子など）および無線ＬＡＮインターフェースを含む。これらの端子は、映像入力端子に加え、映像出力端子を含んでもよい。

画像処理回路２０５は、入力された映像信号（以下「入力映像信号」という）に所定の画像処理（例えばサイズ変更、台形補正等）を施す。

投写ユニット２０６は、画像処理が施された映像信号に従って、スクリーンまたは壁面等の投写面に画像を投写する。投写ユニット２０６は、光源、光変調器、および光学系（いずれも図示略）を有する。光源は、高圧水銀ランプ、ハロゲンランプ、もしくはメタルハライドランプなどのランプ、またはＬＥＤ（Light Emitting Diode）もしくはレーザーダイオードなどの固体光源、およびこれらの駆動回路を含む。光変調器は、光源から照射された光を映像信号に応じて変調する装置であり、例えば液晶パネルまたはＤＭＤ（Digital Mirror Device）、およびこれらの駆動回路を有する。なお、液晶パネルは、透過型および反射型のいずれの方式であってもよい。光学系は、光変調器により変調された光をスクリーンに投写する素子などで構成されており、例えばミラー、レンズ、およびプリズムを有する。光源および光変調器は色成分毎に設けられていてもよい。

ＩＦ部２０４は、受信手段２１の一例である。投写ユニット２０６は、表示手段２２の一例である。

２．動作
図５は、携帯端末１０の動作を示すフローチャートである。図５のフローは、例えば、携帯端末１０の電源が投入されたことを契機として、または、特定のプログラムが起動されたことを契機として開始される。図５のフローは、携帯端末１０のＯＳ、またはアプリケーションプログラムにより実装される。

図５のフローには記載しないが、指紋センサー１０６２は本来、指紋認証に用いるために設けられている。指紋認証を行う際、ＣＰＵ１００は、指紋センサー１０６２が読み取った指紋の画像を、あらかじめ登録されている指紋の画像とパターンマッチングすることにより、正しい指紋であるか（すなわち本人であるか）認証する。指紋認証は、例えば、携帯端末１０がスリープモード（タッチスクリーン１０５を消灯する等、消費電力を低減した動作モード）から通常モード（タッチスクリーン１０５に画像を表示する等、通常の動作を行うモード）に復帰するときや、特定のサイトにアクセスするため本人認証が求められるときに行われる。

また、ホームボタン１０６は、携帯端末１０に指示を入力するためのボタンとしても用いられる。すなわち、ユーザーは、ホームボタン１０６を押下することにより、操作の「確定」や「ＯＫ」に相当する情報がＣＰＵ１００に入力される。

ステップＳ１００において、ＣＰＵ１００は、指紋センサー１０６２をアクティブにする。アクティブになっている間、指紋センサー１０６２は、読み取った画像を示す画像信号を出力する。ＣＰＵ１００は、この画像信号により示される画像を示すデータを、時間間隔Ｔ１で間欠的にＲＡＭ１０２に書き込む。ＲＡＭ１０２には、所定枚数の画像すなわち直近の有限期間の画像の推移が記憶される。

ステップＳ１１０において、ＣＰＵ１００は、指紋センサー１０６２により読み取られた画像にユーザーの指が写っているか判断する。指が写っていないと判断された場合（Ｓ１１０：ＮＯ）、ＣＰＵ１００は、指が写っていると判断されるまで待機する。指が写っていると判断された場合（Ｓ１１０：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ１２０に移行する。

ステップＳ１２０において、ＣＰＵ１００は、画像信号により示される画像を示すデータをＲＡＭ１０２に書き込む時間間隔をＴ２に変更する。ここで、時間間隔Ｔ２は時間間隔Ｔ１よりも短い（Ｔ２＜Ｔ１）。すなわち、携帯端末１０は、ある時間間隔Ｔ１で指紋センサー１０６２から画像を読み取っているところ、読み取られた画像に指が含まれると判断されると、より短い時間間隔Ｔ２で画像を読み取る。この意味で、以下、時間間隔Ｔ１およびＴ２を、画像の読み取り間隔という。

ステップＳ１３０において、ＣＰＵ１００は、所定の操作が行われたか判断する。所定の操作とは、例えばスワイプである。スワイプとは、ホームボタン１０６を指で覆った状態からホームボタン１０６の外まで指を移動させることをいう。ＣＰＵ１００は、具体的には、ＲＡＭ１０２に記憶されている複数枚の画像を用いて、スワイプが行われたか判断する。

図６は、ＲＡＭ１０２に記憶されている画像を例示する図である。この例では、４枚の画像がＲＡＭ１０２に記憶されている。この例では、左端の画像が最も時刻が古く、右にいくにつれ時刻が新しくなる。ＣＰＵ１００は、これらの画像において、指が占める領域の割合を計算する。これらの画像は指紋センサー１０６２により読み取られたものであるので、指紋を識別できる程度の解像度を有している。しかし、スワイプの判断には指紋（模様）は用いられない。ＣＰＵ１００は、画像のうち指が占める領域（図のハッチング部分）を特定し、さらに、画像の面積に占める割合を計算する。この例では、左端の画像から順に、指が占める割合は、９５％、６０％、３０％、および０％である。ＣＰＵ１００は、この面積率の推移が所定の条件（例えば、面積率が第１しきい値（例えば８０％）以上の状態から減少していき、最後にしきい値（例えば１０％）以下の状態になったという条件）を満たした場合、スワイプが行われたと判断する。

さらに、ＣＰＵ１００は、画像のうち指が占める領域の特徴点（例えば重心）の推移から、指の移動方向を特定する。図６の例では、指が占める領域の重心は右に移動しているので、ＣＰＵ１００は右方向にスワイプが行われたと判断する。なお、ここで説明したスワイプの有無および方向を判断するアルゴリズムはあくまで一例であって、指紋センサー１０６２により読み取られた複数の画像を用いるものであれば、どのようなアルゴリズムによりスワイプの有無およびその方向が特定されてもよい。

再び図５を参照する。所定の操作が行われたと判断された場合（Ｓ１３０：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ１６０に移行する。所定の操作が行われたと判断されなかった場合（Ｓ１３０：ＮＯ）、ＣＰＵ１００は、処理をステップＳ１４０に移行する。

ステップＳ１４０において、ＣＰＵ１００は、画像読み取り間隔の変更条件が満たされたか判断する。この条件は、例えば、（ｉ）読み取り間隔がＴ１からＴ２に変更されてからしきい値時間が経過した、および（ｉｉ）指が含まれていない画像がしきい値時間枚数以上連続して読み取られた、のうち少なくとも一報が満たされたというものである。変更条件が満たされたと判断された場合（Ｓ１４０：ＹＥＳ）、ＣＰＵ１００は、処理をステップＳ１５０に移行する。変更条件が満たされていないと判断された場合（Ｓ１４０：ＮＯ）、ＣＰＵ１００は、処理をステップＳ１１０に移行する。

ステップＳ１５０において、ＣＰＵ１００は、画像の読み取り間隔をＴ１に変更する。画像の読み取り間隔を変更すると、ＣＰＵ１００は、処理をステップＳ１１０に移行する。

ステップＳ１６０において、ＣＰＵ１００は、スワイプされた方向に応じた処理を行う。この例では、スワイプされた方向毎に処理が割り当てられており、ＣＰＵ１００は、割り当てられている処理を示す情報を表示装置２０に送信する。方向に応じた処理を行うと、ＣＰＵ１００は、処理をステップＳ１５０に移行する。表示装置２０は、携帯端末１０から送信された情報に応じた処理を行う。

３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。

３−１．変形例１
携帯端末１０は表示装置２０のリモートコントローラーとして用いられるものに限定されない。携帯端末１０は、表示装置２０とは独立して単体で用いられてもよい。この場合において、携帯端末１０は、ＯＳまたはアプリケーションプログラムの機能により、タッチスクリーン１０５に画像を表示する。この画像は例えば、特定のフォルダに含まれる複数の画像の中から選択された一の画像である。このとき、ホームボタン１０６上のスワイプおよびその方向に応じて、タッチスクリーン１０５に表示される画像を切り替える。

例えば、スワイプの方向に応じて以下の処理が割り当てられる。
左方向：前の画像に戻る
右方向：次の画像に進む
上方向：メニューを表示
下方向：メニューを非表示

スワイプの検知がＯＳに実装されれば、操作（スワイプの方向）に対する処理の割り当てをアプリケーションプログラム毎に設定することができる。

３−２．変形例２
指紋センサー１０６２の用途を、検知された指の移動速度に応じて自動的にスワイプ検出から指紋認証に切り替えてもよい。例えば、ステップＳ１４０において指の移動速度がしきい値以下であるか判断し、しきい値以下であると判断された場合、指紋センサー１０６２の用途を指紋認証に切り替えてもよい。あるいは、指紋認証モードにおいて指の移動速度がしきい値よりも速い場合に、指紋センサー１０６２の用途をスワイプ検知に切り替えてもよい。

３−３．変形例３
ＣＰＵ１００は、携帯端末１０の向きに応じて、スワイプの方向と処理との割り当てを変更してもよい。スワイプの方向は指紋センサー１０６２により読み取られた複数の画像から判断されるので、ここでいう「スワイプの方向」は指紋センサー１０６２のセンサー素子の配置を基準として決められる方向である。これに対し、携帯端末１０の向きを考慮して、スワイプが重力に対してどの方向に行われているか判断し、その結果に応じて処理を行ってもよい。

３−４．他の変形例
指紋センサー１０６２により読み取られた複数の画像から検知される指の動作は、実施形態で例示したものに限定されない。例えば、ＣＰＵ１００は、指紋センサー１０６２上に指が載せられたままでどちらかの方向にスライドされたことを検知してもよい。

携帯端末１０のハードウェア構成は図２で例示したものに限定されない。要求される機能を実現できるものであれば、携帯端末１０はどのようなハードウェア構成を有していてもよい。また、図１の機能構成の一部は省略されてもよい。

表示装置２０はプロジェクターに限定されず、液晶ディスプレイや有機ＥＬディスプレイ等、直視の表示装置であってもよい。また、プリンター等、表示装置以外のリモートコントローラーとして携帯端末１０が用いられてもよい。

１…表示システム、１０…携帯端末、１１…表示手段、１２…画像読み取り手段、１３…移動検知手段、１４…処理手段、１５…認証手段、１６…切り替え手段、１７…向き検知手段、１８…設定手段、１９…判断手段、２０…表示装置、２１…受信手段、２２…表示手段、１００…ＣＰＵ、１０１…ＲＯＭ、１０２…ＲＡＭ、１０３…ストレージ、１０４…通信ＩＦ、１０５…タッチスクリーン、１０６…ホームボタン、１０７…加速度センサー、２００…ＣＰＵ、２０１…ＲＯＭ、２０２…ＲＡＭ、２０３…記憶部、２０４…ＩＦ部１５部、２０５…画像処理回路、２０６…投写ユニット

Claims (6)

1. 表示面に情報を表示する表示手段と、
   前記表示面と同じ面に設けられ、ユーザーの指を２次元の画像として読み取る画像読み取り手段と、
   前記画像読み取り手段により読み取られた画像を用いて、前記指の移動方向を検知する移動検知手段と、
   前記移動検知手段により検知された移動方向に応じた処理を行う処理手段と
   を有する情報処理装置。
2. 前記処理手段において、前記移動方向が第１方向の場合と第２方向の場合とでそれぞれ異なる処理が割り当てられている
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記画像読み取り手段によって読み取られたユーザーの指の画像を用いて当該ユーザーの指紋認証を行う認証手段と、
   前記画像読み取り手段により読み取られた画像により示される前記指の移動速度に応じて、当該画像の出力先を前記移動検知手段および前記認証手段のいずれかに切り替える切り替え手段と
   を有する請求項１または２のいずれか一項に記載の情報処理装置。
4. 自装置の向きを検知する向き検知手段と、
   前記向き検知手段により検知された向きに応じて、前記移動方向と前記処理手段における処理の関連付けを変える設定手段と
   を有する請求項１ないし３のいずれか一項に記載の情報処理装置。
5. 前記画像読み取り手段は、第１時間間隔で間欠的に画像を読み取り、
   前記画像読み取り手段により読み取られた画像に前記ユーザーの指が含まれるか判断する判断手段を有し、
   前記画像に前記ユーザーの指が含まれると前記判断手段により判断された場合、前記画像読み取り手段は、前記第１時間間隔よりも短い第２時間間隔で画像を読み取る
   ことを特徴とする請求項１ないし４のいずれか一項に記載の情報処理装置。
6. 前記移動検知手段は、前記複数の画像において、前記指が、画像に含まれる状態から画像の外まで移動したことが示された場合、前記ユーザーの指が前記読み取り手段上をスワイプしたことを検知し、
   前記スワイプが検知された場合、前記処理手段は、前記スワイプの方向に応じて、前記表示手段に表示される情報を切り替える
   ことを特徴とする請求項１ないし５のいずれか一項に記載の情報処理装置。

Images