JP2013125552A - 情報処理装置、画像表示プログラム - Google Patents

Abstract

【課題】より自然な動作でコマンドやデータを選択することができるユーザインターフェイスを提供することを目的とする。
【解決手段】実施形態の情報処理装置は、タッチパネルディスプレイと、制御部とを有する。制御部は、タッチパネルディスプレイに接触した部位が、事前に定義された手の部位である場合、タッチパネルディスプレイの接触位置に基づき、手の指先に応じた位置に画像が表示されるようにタッチパネルディスプレイを制御する。
【選択図】図５

Description

この明細書に記載の実施形態は、タッチパネルディスプレイを有する情報処理装置の操作に関する。

従来、タッチパネルディスプレイにおいて、あるデータに対し印刷やスキャン、送信などのコマンドを実行する場合、予め用意されているハードボタンか、表示画面内の所定の位置に設けられたボタンを押下するのが一般的である。

また、タッチパネルディスプレイを用いた操作において、指を広げて画面に置くと指の近辺に使用頻度の高いアイコンが現れ、そのアイコンを選択することでコマンドが実行されるというものもある。

前者の一般的な手段では、対象のデータを選んでからコマンドボタンを選ぶというように、直接的ではなく手順も多い。後者の指の近辺にコマンドが現れるものでは、一旦指を画面から離して少し場所を移動させ、再度画面をタップする必要があり、不自然な手の動きになる。

実施形態は上述した問題点を解決するためになされたものであり、より自然な動作でコマンドやデータを選択することができるユーザインターフェイスを提供することを目的とする。

実施形態の情報処理装置は、タッチパネルディスプレイと、制御部とを有する。制御部は、タッチパネルディスプレイに接触した部位が、事前に定義された手の部位である場合、タッチパネルディスプレイの接触位置に基づき、手の指先に応じた位置に画像が表示されるようにタッチパネルディスプレイを制御する。

実施形態の卓上型情報処理装置の外観を示す図である。 実施形態の卓上型情報処理装置のハードウェア構成例の一例を示す図である。 実施形態の卓上型情報処理装置を上側から視認したときの図、およびタッチパネルディスプレイの表示例を示す図である。 コマンド実行用アイコンを表示させるときのユーザの操作例を示す図である。 コマンド実行用アイコンの表示例およびコマンド選択時の表示例を示す図である。 実施形態の卓上型情報処理装置の動作例を示すフローチャートである。 卓上型情報処理装置の各縁に並ぶように複数センサユニットを設置した場合の構成例を示す図である。

本実施形態では、卓上型の情報処理装置（コンピュータ）について説明する。本実施形態の卓上型情報処理装置は、平らな天板面に、タッチパネルディスプレイを有している。

実施形態の卓上型情報処理装置は、手の手根部を卓上のタッチパネルディスプレイに接触させることで、その指先（親指、人差し指、中指、薬指など）の下に操作コマンドを表示する。表示するコマンドは例えばプリント、スキャン、送信（クラウドへの送信、Ｅメール、ＦＡＸ等）、キーボード表示、手書き線の編集等があり、ユーザが設定可能である。

手のひらから指先までの距離や角度、右手を使うか左手を使うかなどはユーザ毎に設定でき、事前にハードディスクドライブなどの記憶部に記憶させておく。また、手のひらを画面に置く動作は、自然な流れの中でできるため、ユーザは、各指とコマンドの対応を覚えれば、都度画面を見なくても「手のひらを置いて人差し指タップ」といったブラインド操作も可能となる。それらのコマンドは、手根部を当てた場所に表示されているデータによって変化し、その時に利用できるものが表示される。

以下、本実施形態の態様について、図面を参照しつつ説明する。図１は、実施形態の卓上型情報処理装置１００の外観を示しており、図２は、卓上型情報処理装置１００の内部ハードウェア構成を示すブロック図である。図１に示すように、卓上型情報処理装置１００は、テーブル型（卓上型）の情報処理装置であり、その天板面上に、操作表示用の大型のタッチパネルディスプレイ５０が配置されている。このタッチパネルディスプレイ５０を用いて、複数ユーザが同時に使用することが可能となる。複数ユーザが使用する際には、ユーザごとに使用可能な領域が区分けされ、ユーザはその領域ごとに使用する。また卓上型情報処理装置１００を用いて複数人でディスカッションやプレゼンテーション、商談などを行うこともできる。

卓上型情報処理装置１００は、図２に示すように、プロセッサ１０、ＤＲＡＭ（Dynamic Random Access Memory）２０、ＲＯＭ（Read Only Memory）３０、ＨＤＤ（Hard Disk Drive）４０、タッチパネルディスプレイ５０、ネットワークＩ／Ｆ（Interface）６０、センサユニット７０を有する。これらは通信バス８０により互いに制御信号、データの送受信を行う。プロセッサ１０は、例えばＣＰＵ（Central Processing Unit）などの演算処理装置であり、ＲＯＭ３０やＨＤＤ４０などに格納されているプログラムをＤＲＡＭ２０にロードし、演算実行することで、プログラムに従い様々な処理を行う。ＤＲＡＭ２０は、揮発性の主記憶装置である。ＲＯＭ３０は、永続的に記憶する不揮発性の記憶装置であり、システム起動時のＢＩＯＳ（Basic Input Output System）などが記憶されている。ＨＤＤ４０は、永続的に記憶可能な不揮発性の補助記憶装置であり、ユーザが使用するデータやプログラムはＨＤＤ４０に記憶される。

タッチパネルディスプレイ５０は、静電容量方式のタッチパネルの入力部、およびフラット型液晶パネルの表示部により構成されている。タッチパネルは、複数の同時接触を検知するマルチタッチに対応しており、接触位置に応じた座標値（Ｘ値、Ｙ値）を得ることができる。

ネットワークＩ／Ｆ６０は、外部機器と通信を担うユニットであり、ＬＡＮ（Local Area Network）ボード、近距離無線通信を制御するユニットや機構、公衆回線網と接続されるＦＡＸボードなどを含む。センサユニット７０は、ユーザが所持するＩＤ（identification）カードを検知し、ＩＤカード内に記述されている情報を読み取るユニットである。読み取られた情報は、卓上型情報処理装置１００のログイン認証などに用いられる。

図３（Ａ）は、卓上型情報処理装置１００を上側から視認したときの平面図であり、図３（Ｂ）は、タッチパネルディスプレイ５０の表示例を示す図である。卓上型情報処理装置１００は、複数ユーザの同時ログインを可能としており、複数ユーザのデスクトップ画面を同時に表示させることができる。センサユニット７０は、本例では天板付近の四方側面の中央部にそれぞれ配置されており（計４つ）、ＩＤカード２００Ａ〜２００Ｄを携帯したユーザがセンサユニット７０に近接することで、センサユニット７０がＩＤカード内の情報を読み取り、ログイン認証が行われる。ＩＤカード内の情報が事前にＨＤＤ４０もしくは外部の認証機構に登録されているものである場合、認証適合となり、そのユーザの居る向きに各個人のデスクトップ画面が表示される（図３（Ｂ）参照）。ユーザの居る向きは、いずれのセンサユニット７０からＩＤカード情報が取得されたかにより決定される。

またタッチパネルディスプレイ５０は、各個人が使用できる範囲を示す境界も表示する。図３（Ｂ）の例では破線ラインとしたが、これに類するものであり、使用範囲がユーザに分かるものであればどのような態様でもよい。また図３（Ｂ）の例は、４人のユーザが同時に使用している例であり、各ユーザの作業領域は、領域Ｒ１〜Ｒ４となっており、ＩＤカード２００Ａを所持しているユーザは領域Ｒ１を作業領域として使用し、以下同様にＩＤカード２００Ｂ所持のユーザは領域Ｒ２を、ＩＤカード２００Ｃ所持のユーザは領域Ｒ３を、ＩＤカード２００Ｄ所持のユーザは領域Ｒ４を、それぞれ作業領域として使用する。

タッチパネルディスプレイ５０は、図３（Ｂ）に示すようにユーザの居る位置に応じて、ユーザにとって正規の向きとなるようにデスクトップ画面を表示する。すなわち、ユーザの居る方が画面下方となり、向かい側が画面上方となる向きでデスクトップ画面を表示する。またログイン時のデスクトップ画面は、ユーザが前回ログアウトしたときの状態で表示されてもよく、事前にユーザごとに定義されたデフォルト状態で表示されてもよい。

図４、図５を参照しつつ、本実施形態のコマンド選択手法を説明する。タッチパネルディスプレイ５０は、手の手根部が画面上に置かれたことを認識すると、そこに表示されているデータを操作するための各コマンド用のアイコン（画像）を、各指の位置に表示する（図５上段図参照）。ここでは、ユーザの画面に対する向きが検知され、手のひらに対し適切な方向に表示される。そのアイコンの表示位置は、各ユーザの手のひらの大きさや利き手に合わせて、あらかじめ調整される。

ＨＤＤ４０には、例えば画像データ、テキストデータ、特定アプリケーションのデータなどを区別する情報（データの種別情報）ごとに、親指から薬指まで（親指から小指まででもよい）のそれぞれに応じたコマンドが記憶されている。各指に関するデータは、手根部の基点（後述）からの距離、Ｘ軸方向を基準とした角度で示される。これらデータは、ユーザごとに記憶されている。これによりプロセッサ１０は、表示されているデータに従い、コマンドの種類を変化させることができる。複数の種別の異なるデータが表示されている場合、プロセッサ１０は、手根部の接触位置にあるデータに従い、表示コマンドを変化させる。またその順番（各指への割り当て）はユーザの好みに合わせて設定変更できる。

図５は、画像データが表示されている領域内に手根部の接触があった場合の表示例である。タッチパネルディスプレイ５０が手根部の接触を検知すると（図４参照）、タッチパネルディスプレイ５０は、プロセッサ１０の制御に従い、ユーザの手の形に合わせて各指先の適切な位置に、画像データに対するコマンドのアイコンを表示する（図５上段参照）。本例では、文字入力、印刷、外部機器やクラウドへの送信、削除のアイコンが各指先の位置に表示される（態様はこれに限定されない）。この状態で、人差し指がタップされると、印刷コマンドが発行されて当該画像データの印刷処理が行われる（図５下段参照）。また、データの無いところ（デスクトップ直上）や、定義されていないデータ上に手根部の接触が検知される場合はデフォルトのコマンド実行用アイコンが指先位置に表示される。このデフォルトのコマンドとして、例えば親指位置にキーボード操作、人差し指位置に使用可能なアプリケーション一覧、中指位置にデータ選択、薬指位置にログアウトなどが考えられる。

このような構成をとることにより、手のひら検知によるコマンドのジェスチャー入力をすることができる。また、手根部を離しても一定期間（例えば５秒）はアイコンを表示した状態を維持する実装でもよい。この場合、この期間内にアイコンが選択されると、対応するコマンドが実行される。

図６は、卓上型情報処理装置１００の動作例を示すフローチャートである。

センタユニット７０は、近傍にあるユーザ所持のＩＤカードを検知し、その情報を読み取る。プロセッサ１０は、この情報が事前に外部の認証機構もしくはＨＤＤ４０に登録されている情報であるかを判定することで、ログイン認証を行う（ＡＣＴ００１）。認証が適合である場合（ＡＣＴ００１、適合）、プロセッサ１０は、ログインユーザがいずれの位置にいるかの情報を取得する（ＡＣＴ００２）。この情報は、いずれのセンタユニット７０が検知したかにより導出される。

プロセッサ１０は、ログインユーザのパラメータ情報をＨＤＤ４０から取得する（ＡＣＴ００３）。このパラメータ情報には、手根部の基点からの各指の距離、角度の情報などが含まれる。これらパラメータ情報は、より高速にアクセス可能なＤＲＡＭ２０に展開される。またパラメータ情報には、ユーザのデスクトップ画面用のレイアウトデータ、アイコンなどの画像データも含まれており、タッチパネルディスプレイ５０は、これら情報に従い、ログインユーザの位置に応じて、正規の向きとなるようにデスクトップ画面を表示する。

タッチパネルディスプレイ５０が何らかの接触を検知する場合（ＡＣＴ００４、Ｙｅｓ）、プロセッサ１０は、その接触が手の手根部であるか否かを判定する（ＡＣＴ００５）。この判定は、例えば以下のような判定のいずれか一つもしくは複数組み合わせとなる。
（１−１）手根部が平たい面に接触する場合、一定の面積を有する形状で接触することから、プロセッサ１０は、一定期間、一定範囲内に複数の同時接触があったかを判定する。本実施形態では、期間を１秒程度、範囲を人の手根部程度の面積や形状の範囲、同時接触数を５〜６点以上とするが、態様はこれに限定されない。
（１−２） ユーザごとに、事前に手根部の形状（画像や特徴点）をＨＤＤ４０に記憶させておき、プロセッサ１０は、接触があった場合はその接触形状とＨＤＤ４０内の形状とを、パターンマッチング技術などを利用して比較することで判定する。この場合、タッチパネルディスプレイ５０のパネルには、表示用の発光素子ととともに読取り用の撮像素子が備えられており、読取り機能（スキャナ機能）も有するものとする。尚、ユーザごとに手根部の形状が記憶されているため、複数ユーザが同時に卓上型情報処理装置１００を使用している場合、プロセッサ１０は、いずれのユーザが手根部を接触させたかまで検出することができる。

ＡＣＴ００５の判定で、接触部位が手根部でない場合（ＡＣＴ００５、Ｎｏ）、他の処理が行われて（ＡＣＴ０１１）、ＡＣＴ０１０に進む。接触部位が手根部である場合（ＡＣＴ００５、Ｙｅｓ）、プロセッサ１０は、その手根部の向きを判定する（ＡＣＴ００６）。手根部の接触を検知した際、その手の指先がどの方向にあるのかを特定しない場合、本来の指先方向とは逆方向にアイコンが表示されることも考えられるため、ここで手根部の向きが判定される。この判定は、例えば以下のような判定のいずれか一つもしくは複数組み合わせとなる。
（２−１） ユーザの使用可能範囲に応じて向きを決定する。図３（Ｂ）を参照しつつ説明すると、例えば領域Ｒ３内で手根部の接触が検出された場合、手根部接触位置よりも図３（Ｂ）の紙面上における上方向に指先があるものとして扱う。Ｒ１の場合は手根部接触位置よりも図３（Ｂ）紙面上における下方向、Ｒ２は右方向、Ｒ４は左方向に指先があるものとして扱う。またこの際、プロセッサ１０は、その領域を使用しているユーザが手根部を接触させたものとみなす。
（２−２） 初回のみ、手根部接触後に指先でタッチする。これにより、手根部の方向が特定され、以降、指先のタッチが無くても方向が決定される。
（２−３） タッチパネルディスプレイ５０に読取り機能（スキャナ機能）が有る場合、手根部の形状により手根部の方向を決定する。接触部分は、指方向では若干窪んだ楕円形に近い形状となるため、プロセッサ１０は、この形状認識により指方向を判定することができる。

上記以外にも、人体通信技術を利用することで、手根部の接触により人体を通じてＩＤカード内の情報を読み取ることができる。この場合、人体通信用モジュールを搭載させる必要がある。これにより、プロセッサ１０は、手根部を接触させたユーザがいずれのユーザであるかを特定することができ、当該ユーザの位置（センサユニット７０が検出した位置）に応じて方向を特定することができる。尚、ＩＤカードはポケットに収容した状態でもよく、首から下げた状態でもよい。これらの状態でも人体を通して通信が可能となる。

次にプロセッサ１０は、ＡＣＴ００３により取得された指先の角度や距離に基づき、各指先の位置に、事前に定義されたアイコンを表示する（ＡＣＴ００７）。このとき、プロセッサ１０は、手根部の接触があった位置に表示されているデータの種別を特定し、そのデータ種別に応じたアイコンをＨＤＤ４０から取得して、タッチパネルディスプレイ５０に表示させる。

尚、上記（１−２）のように手根部接触の形状が特定されている場合は、その形状の重心位置を基点とした角度、距離の位置にアイコンが描画される。上記（１−１）のように一定範囲内での複数点検知である場合、最も中央となる検知点を基点とてもよい。また上記（１−１）の場合、各検知点のＸ，Ｙ座標値の平均値を算出し、その算出された座標値を基点としてもよい。上記（１−１）の場合、最も離れた２点の中心座標を基点としてもよい。これらの実装例はあくまで一例であり、基点の特定については様々な手法が考えられる。また本例では基点からの角度と距離に基づきアイコン描画位置を決定しているが、態様はこれに限定されない。基点の位置（座標）からの相対的な座標値を指先ごとにＨＤＤ４０に記憶させておき、手根部の接触を検知した際には、基点となる座標値とＨＤＤ４０に記憶された座標値とで、絶対座標値を算出して当該座標にアイコンを描画する実装でもよい。

このアイコン表示は、当然ＡＣＴ００６で特定された方向も考慮され、アイコン画像および表示位置は、基点を中心点として０°、９０°、１８０°、２７０°に回転され、表示される。尚、図７に示すように、卓上型情報処理装置１００の各辺に沿うようにセンサユニット７０を並べて配置させることで、より緻密な角度を検出することができる。この場合、各センサユニット７０の検知範囲を狭める。プロセッサ１０は、ＩＤカード２００を検知したセンサの位置と、手根部の接触位置とで、角度を算出し、この角度に応じた位置、角度でアイコン画像を表示するようにタッチパネルディスプレイ５０を制御する。また、手根部の接触位置が検知センサから遠方となる場合、腕の肘部は余り曲がらず、近い場合、腕の肘部が曲がる。このことから、センサ検知位置と手根部との距離に応じて角度を算出するという実装でもよい。また上記（１−２）のように手根部接触の形状が特定されている場合などは、より緻密に角度を検出することが可能となるため、その検出角度に従い回転表示される。

タッチパネルディスプレイ５０は、表示されているアイコン上の接触有無を検知する（ＡＣＴ００８）。接触があった場合、すなわちいずれかの指での選択押下があった場合（ＡＣＴ００８、Ｙｅｓ）、プロセッサ１０は、接触のあったアイコンに事前に対応付けられたコマンドを実行する（ＡＣＴ００９）。ＡＣＴ００４〜ＡＣＴ００９、ＡＣＴ０１１の処理は、ユーザがログアウトするまで行われる（ＡＣＴ０１０、Ｎｏのループ）。

上記実施形態では、手根部（手首）の接触を検出し、この位置を基準に指先位置にアイコンを表示する実装例を示したが、親指側を上方にした姿勢にして、小指付け根近傍から手首にかけた外側面の部位（小指球部位）をタッチパネルディスプレイ５０に接触させ、この接触位置を基準にする方法でもよい。この場合、上方にある親指の先をタッチパネルディスプレイ５０に接触させるようにして手を寝かせた姿勢にしたときの各指先位置にアイコンが表示される。また、親指の先または小指の先のいずれか一方または両方を接触させ、この接触位置を基準にその他の各指先位置にアイコンを表示するなどでもよい。これら以外にも様々な態様がある。すなわち、本実施形態は、事前に定義された手の部位であれば、どの部位でも基準とすることができる。

また本実施形態では、コマンドを実行させるものとし、その操作について説明したが、コマンド実行に限らない。例えば指先位置に写真などの画像を縮小したプレビュー画像を表示させ、指先押下により選択された画像を実際の大きさに拡大表示する、などの態様でもよいし、音声データや動画などを再生させるための選択にも活用できる。これらは、コマンドの選択ではなくデータの選択となる。

本実施形態では、指先位置にアイコン（画像）を表示するものとして説明したが、テキストを表示して選択させる実装でも構わない。尚、テキストデータを表示する場合、像（画像）のデータとなって写しだされるため、テキストデータも画像とみなすことができる。

また、例えば図５上段図に示す状態で、指をタッチパネルディスプレイ５０に接触させてそのまま左右いずれかの方向にスライドさせることで、指とアイコンとの対応関係をシフトさせる実装も可能である。例えば図５上段図に示す状態で、人差し指を左方向にスライドさせると、印刷アイコンが親指の位置に、送信アイコンが人差し指の位置に、削除アイコンが中指の位置にシフトする。薬指の位置には、表示しきれなかったその他のコマンド実行用のアイコンが表示される。人差し指を右方向にスライドさせると、同様に右方向のシフトとなる。このようにシフト可能な構成とする場合、ＨＤＤ４０に記憶されている指先に関するデータとコマンドに関するデータとの対応関係はデフォルトのものとなり、ＤＲＡＭ２０内に展開された、処理実行中に使用される各データの対応関係は可変となる。

また、指先位置の表示については階層を持たせる構成であってもよい。例えば手根部検出時にはフォルダを示すアイコン（態様はこれに限定されない）を各指先位置に表示し、いずれかの指先押下を検出した場合に、当該フォルダ内のコマンドやデータ、もしくはサブフォルダを示すアイコンを各指先の位置に表示する、という実装も可能である。

上記動作をコンピュータに実行させるための画像表示プログラムやコマンド実行プログラムが提供されてもよい。本実施形態を例にして説明すると、ＨＤＤ４０にこの画像表示プログラムやコマンド実行プログラムが事前に記憶されており、プロセッサ１０がこのプログラムを読み出してＤＲＡＭ２０に展開し、演算実行する。

本実施形態では装置内部に発明を実施する機能が予め記録されている場合で説明をしたが、これに限らず同様の機能をネットワークから装置にダウンロードしても良いし、同様の機能を記録媒体に記憶させたものを装置にインストールしてもよい。記録媒体としては、ＣＤ−ＲＯＭ等プログラムを記憶でき、かつ装置が読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

制御部は、実施形態のプロセッサ１０、ＤＲＡＭ２０、通信バス８０を少なくとも有する構成に相当する。またプロセッサ１０、ＤＲＡＭ２０、通信バス８０などの各ハードウェアと協働して動作するプログラムは、ＨＤＤ４０（ＲＯＭ３０でもよい）に事前に記憶されており、プロセッサ１０により演算実行される。

以上に詳説したように、本実施形態の態様により、ユーザの自然な動作により画像（例えばコマンド実行用アイコン）を表示することが可能となる。これにより、より自然な動きでコマンドやデータの選択押下を行わせることができる。

本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、すべて本発明の範囲内のものである。

１０ プロセッサ、２０ ＤＲＡＭ、３０ ＲＯＭ、４０ ＨＤＤ、５０ タッチパネルディスプレイ、６０ ネットワークＩ／Ｆ、７０ センサユニット、８０ 通信バス、卓上型情報処理装置１００（情報処理装置）。

Claims (6)

1. タッチパネルディスプレイと、
   前記タッチパネルディスプレイに接触した部位が、事前に定義された手の部位である場合、前記タッチパネルディスプレイの接触位置に基づき、前記手の指先に応じた位置に画像が表示されるように前記タッチパネルディスプレイを制御する制御部と、
   を有する情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記制御部は、接触した前記手の部位の向きを特定し、該特定した向きに基づき、前記画像の表示位置が、正規の指先の位置となるように前記タッチパネルディスプレイを制御する
   情報処理装置。
3. 請求項１または２に記載の情報処理装置において、
   前記情報処理装置は、卓上型の情報処理装置であり、天板の上面が表示面となるように前記タッチパネルディスプレイが配置されており、
   前記制御部は、複数ユーザの同時ログインが行われている場合、それぞれのユーザに応じた画像が、それぞれのユーザの指先に応じた位置に表示されるように前記タッチパネルディスプレイを制御する
   情報処理装置。
4. 請求項１乃至３のいずれか１項に記載の情報処理装置において、
   前記制御部は、前記部位が接触している位置に表示されているデータの種別に応じた画像が表示されるように、前記タッチパネルディスプレイを制御する
   情報処理装置。
5. 請求項１乃至４のいずれか１項に記載の情報処理装置において、
   前記手の部位は、手根部である。
6. タッチパネルディスプレイを有するコンピュータに実行させるためのプログラムであり、
   前記タッチパネルディスプレイに接触した部位が、事前に定義された手の部位であるかを判定し、
   事前に定義された手の部位である場合、前記タッチパネルディスプレイの接触位置に基づき、前記手の指先に応じた位置に画像が表示されるように前記タッチパネルディスプレイを制御する
   処理を、コンピュータに実行させるための画像表示プログラム。