JP2015133021A - 端末、及び端末制御方法 - Google Patents

Abstract

【課題】指の届く範囲における操作正を向上させることができる端末、及び端末制御方法を提供することを目的とする。【解決手段】端末は、表示部上にかざされる指の形状を認識する認識部と、認識部によって認識された認識結果に基づいて、表示部上に表示されている画像のうち指が指し示す方向の画像を含む１または複数の画像を指の先端位置に向けて移動させる画像制御部と、を備える。【選択図】図１

Description

本発明は、端末、及び端末制御方法に関する。

画面にタッチパネルが搭載されているスマートフォン等の携帯端末では、例えば４．５インチや５インチの画面サイズが実現されている。利用者が携帯端末を片手で保持し、保持した手の指でタッチパネルの操作を行う場合、指を伸ばしきっても画面に表示されるアイコンに届かないことがあった。

このように片手で携帯端末を保持して操作を行う場合、利用者の指が届く操作可能領域の限界を表示可能限界として検出し、検出した表示限界の内側のみに、アイコンを再配置して表示させることが提案されている（例えば、特許文献１参照）。

特開２０１２−１１３７４５号公報

しかしながら、特許文献１に記載の技術では、表示限界の内側にアイコンが再配置されるため、画面内のアイコンのレイアウトが崩れる場合もあり、さらに画面に配置されているアイコンの数によっては全てのアイコンを表示できないという課題があった。

本発明は、上記の問題点に鑑みてなされたものであって、指の届く範囲における操作性を向上させることができる端末、及び端末制御方法を提供することを目的とする。

上記目的を達成するため、本発明の一態様に係る端末は、表示部上にかざされる指の形状を認識する認識部と、前記認識部によって認識された認識結果に基づいて、前記表示部上に表示されている画像のうち前記指が指し示す方向の画像を含む１または複数の画像を前記指の先端位置に向けて移動させる画像制御部と、を備えることを特徴とする。

本発明によれば、端末は、指の届く範囲における操作性を向上させることができる。

第１実施形態に係る端末の外観の一例を示す斜視図と、端末のハードウェア部材およびコンピュータ・プログラムの実行により実現される機能部材の主要なものの概略構成を説明するブロック図である。 第１実施形態に係る指が伸びきっている状態の判断を説明する図である。 第１実施形態に係る指が伸びきっていない状態の判断を説明する図である。 第１実施形態に係る形状比較部が行う処理について説明する図である。 第１実施形態に係る画像制御部が行う処理について説明する図である。 第１実施形態に係る指の検出と画像の移動の処理手順のフローチャートである。 第１実施形態に係る画面の画像の移動例を説明する図である。 第１実施形態に係る画面の画像の移動例を説明する図である。 第１実施形態に係る画面の位置を戻す他の例を説明する図である。 第２実施形態に係る端末のハードウェア部材およびコンピュータ・プログラムの実行により実現される機能部材の主要なものの概略構成を説明するブロック図である。 第２実施形態に係る指の検出と画像の移動の処理手順のフローチャートである。 第２実施形態に係るアイコンを含む画像を移動させて表示させる例を説明する図である。 第２実施形態に係るアイコンを含む画像を移動させて表示させる他の例を説明する図である。

以下、図面を用いて本発明の実施形態について詳細に説明する。なお、本発明はかかる実施形態に限定されず、種々の変更が可能であり、それらの変更は全て本願の特許請求の範囲の技術的範囲に包含される。

［第１実施形態］
図１（ａ）は、本実施形態に係る端末１の外観の一例を示す斜視図である。端末１は、扁平な矩形状の形状を有し、その一方の主要な面の大部分をタッチパネル１０が占有する。例えば、端末１の上端部にはマイクロホン１１、カメラ１２、電源スイッチ１４が設けられ、下端部にはスピーカー１３が設けられる。端末１の内部には、ＣＰＵ、コンピュータ・プログラムなどを格納する記憶装置、各種インターフェース、アンテナなどが設けられている。図１（ｂ）は、本実施形態に係る端末１のハードウェア部材およびコンピュータ・プログラムの実行により実現される機能部材の主要なものの概略構成を説明するブロック図である。

図１（ｂ）に示すように、端末１は、タッチパネル１０（認識部）、入力部２０（認識部）、検知部３０（認識部）、表示部４０、制御部５０、及び記憶部６０を主要なものとして備えている。また、制御部５０は、形状特定部５１（認識部）、形状比較部５２（認識部）、及び画面制御部５３を備えている。端末１は、タッチパネルを有する機器であり、例えば携帯電話、タブレット端末、音楽再生装置、携帯型のカーナビゲーション、携帯型のルータ機能を有する無線通信端末、携帯型ゲーム機等である。

タッチパネル１０は、ユーザのタッチ操作を受け付け、受け付けたタッチ操作を示すタッチ操作情報を入力部２０に出力する。タッチパネル１０は、表示部４０上に取り付けられている。なお、タッチパネル１０のタッチ操作の検出方式は、抵抗膜方式、静電容量方式、表面型静電容量方式、投影型静電容量方式、超音波表面弾性波方式、光学方式、電磁誘電方式等のいずれの方式であってもよい。後述のホバー検出は、例えば静電容量方式を用いて実現できる。
入力部２０は、タッチパネル１０からのタッチ操作情報を受け付け、受け付けたタッチ操作情報を検知部３０に出力する。

検知部３０は、入力部２０から入力されたタッチ操作情報に基づいて、利用者の指がタッチパネル上にかざされたこと（または接触されたこと）を検知する。検知部３０は、入力部２０から入力されたタッチ操作情報と、検知した検知結果とを制御部５０に出力する。

表示部４０は、例えば液晶パネル、又は有機ＥＬディスプレイパネルを備え、制御部５０が出力したアイコン等を含む画像を表示する。なお、アイコンは、端末１にインストールされている（または組み込まれている）アプリケーションを示す画像（記号表記）である。表示部４０に表示されるアイコンは、制御部５０が自動的にレイアウトしてもよく、または利用者がレイアウトするようにしてもよい。

制御部５０は、端末１の動作を制御する。
形状特定部５１は、検知部３０から入力された検知結果に基づいて、タッチパネル１０上にかざされた指の形状を特定し、特定した特定結果を形状比較部５２に出力する。形状特定部５１は、例えば、検知部３０から入力された検知結果から特徴量を抽出し、抽出した特徴量に基づいて指の形状を特定するようにしてもよい。また、後述するように、指が伸びきっていず、検知結果が複数に分離しているような場合、公知の手法を用いて、グループ化することで、指の形状を特定するようにしてもよい。

形状比較部５２は、形状特定部５１から入力される特定結果と、記憶部６０に記憶されている指の形状を示す情報とを比較する。そして、形状比較部５２は、比較した結果に基づいて、例えば指が伸びきっている状態であるか、指が伸びきっていない状態であるか、指先が曲がっている状態であるか等を判別する。形状比較部５２は、判別した判別結果を画面制御部５３に出力する。判別結果には、例えば、指が伸びきっている状態であることを示す情報、指が伸びきっていない状態であることを示す情報、指先が曲がっている状態であることを示す情報等が含まれる。

画面制御部５３は、形状比較部５２から入力された判別結果に基づいて、表示部４０上にアイコンを含む画像を表示させる。なお、表示部４０上に表示される画像については、後述する。

記憶部６０には、指の形状を示す情報が記憶される。なお、指の形状を示す情報は、例えば、成人男性、成人女性、未成年男性、未成年女性等の統計に基づく形状を示す情報であってもよい。または、利用者が所定の画面において、指をタッチパネル１０上にかざして、自分の指の形状を示す情報を記憶部６０に記憶させるようにしてもよい。利用者が自分の指の形状を示す情報を記憶させる場合、利用者はタッチパネル１０の操作に使用する指（例えば、親指、人差し指）の形状を示す情報のみを記憶させるようにしてもよい。このように使用する指の形状を示す情報のみを記憶させることで、記憶容量の削減、制御部５０による形状比較の精度を向上させることができる。

次に、指の形状の検出方法を、図２及び図３を用いて説明する。
図２は、本実施形態に係る指が伸びきっている状態の判断を説明する図である。図２（ａ）は、指がタッチパネル上で伸ばされた状態をタッチパネルの上から見た図である。図２（ｂ）は、指がタッチパネル上で伸ばされた状態をタッチパネルの横から見た図である。図２（ｃ）は、指が伸びきっている状態の判断を説明する図である。図２（ａ）、図２（ｂ）において、符号Ｆが示す画像は、利用者の指（例えば左手の人差し指）であり、図２（ｃ）において、符号１０１が示す画像は、検知部３０が検出した検知結果に基づく画像である。

なお、図２（ｃ）に示した指に対応する符号１０１が示す画像は、検知部３０による検知結果の信号を説明のために画像で示したものである。検知結果は、例えば、タッチパネル１０上の座標軸における、指に対応する座標の集合である。形状特定部５１は、これらの座標の集合の各結果を、例えば、所定の閾値を用いて２値化し、指であると判断される結果と指ではない背景であると判断される結果とに分離する。そして、形状特定部５１は、指であると判断される結果を、周知技術を用いてグループ化することによって、符号１０１に示すような画像の情報を生成するようにしてもよい。

図２（ａ）及び図２（ｂ）のように、この場合は、タッチパネル１０上で利用者が指を伸ばしきる状態である。このとき、図２（ｂ）のように、符号Ｆが示す指の腹とタッチパネルとの距離はｈであり、指はタッチパネル１０には接していない。本実施形態では、このように指がタッチパネル１０の接していないときの検出を、ホバー（ｈｏｖｅｒ）検出ともいう。ホバー検出では、指とタッチパネルとが予め定められている閾値の距離に達したとき、検出が行われる。制御部５０の形状特定部５１と形状比較部５２は、検知部３０から入力された検知結果である図２（ｃ）の符号１０１が示す画像に基づいて、指が伸びきっている状態であると判断する。形状特定部５１は、例えば符号１０１が示す画像が指の画像であることを周知技術によって特定する。次に、形状比較部５２は、符号１０１が示す画像を記憶部６０に記憶されている情報と比較して、指が伸びきった状態であると判断する。

図３は、本実施形態に係る指が伸びきっていない状態の判断を説明する図である。図３（ａ）は、指がタッチパネル上で伸びきっていない状態をタッチパネルの横から見た図である。図３（ｂ）は、指が伸びきっていない状態の判断を説明する図である。図３（ｂ）において、符号１０１ａ及び１０１ｂが示す画像は、検知部３０がホバー検出した検知結果に基づく画像である。

図３（ａ）は、タッチパネル１０上で利用者が指を伸ばしきっていず、第１関節が曲がっている状態である。このとき、図３（ｂ）のように、指はタッチパネル１０には接していず、第１関節が曲がっているため、タッチパネル１０と指の各部との距離が均一ではない。形状特定部５１と形状比較部５２は、検知部３０から入力された検知結果に基づいて、指が伸びきっていない状態であると判断する。指がタッチパネル１０上で伸びきっていない状態の時、図３（ｂ）のように、指に対応する検知結果の画像が分離した部分画像１０１ａ、１０１ｂのように複数ある。

図４は、本実施形態に係る形状比較部５２が行う処理について説明する図である。図４において、符号１０１ｃが示す画像は、記憶部６０に記憶されている情報の一例である。形状比較部５２は、記憶部６０に記憶されている情報のうち、図４に示すように、検知結果である符号１０１が示す画像と完全一致していなくても、検知結果と最も近い情報である符号１０１ｃが示す画像と比較するようにしてもよい。なお、指の前方及び後方の判断は、形状比較部５２が行うようにしてもよい。

図５は、本実施形態に係る画面制御部５３が行う処理について説明する図である。図５において、紙面に向かって左右方向をｘ軸方向（右が正の方向）、上下方向をｙ軸方向（上が正の方向）とする。また、図５は、図２（ｃ）で説明したように指が伸びきった状態の図である。指が伸びきった状態であると判断された場合、画面制御部５３は、指の長手方向の接線（指の両縁部の接線）１１１を公知技術によって検出する。そして、画面制御部５３は、例えば、タッチパネル１０上における接線１１１で囲まれた領域における符号１０１が示す画像の配置に基づいて、表示部４０上に表示されている画像を移動させる方向ｇを決定する。また、画面制御部５３は、符号１０１が示す画像において、指の先端位置１１２を検出する。画面制御部５３は、決定及び検出した結果に基づいて、表示部４０上に表示されている画像を、方向ｇ（負のｘ軸方向かつ負のｙ軸方向）に移動させる。なお、指の先端位置１１２の検出は、形状特定部５１または形状比較部５２が行うようにしてもよい。

次に、指の検出と画像の移動の処理手順を説明する。
図６は、本実施形態に係る指の検出と画像の移動の処理手順のフローチャートである。
（ステップＳ１０１）検知部３０が、タッチパネル１０上の指を認識する。
（ステップＳ１０２）形状特定部５１は、指の形状を認識する。

（ステップＳ１０３）形状比較部５２は、記憶部６０に記憶されている指が伸びきった形状のパターンと、ステップＳ１０２において形状特定部５１が認識した形状とを比較し、比較した結果が一致するか否かを判別する。形状比較部５２は、比較した結果が一致すると判別した場合（ステップＳ１０３；ＹＥＳ）、ステップＳ１０４に進み、比較した結果が一致しないと判別した場合（ステップＳ１０３；ＮＯ）、ステップＳ１１０に進む。

（ステップＳ１０４）画面制御部５３は、指の長手方向の接線を検出し、さらに指の先端位置を検出する。次に、画面制御部５３は、検出した指の長手方向の接線と指の先端位置に基づいて、画面の画像の移動方向を決定する。
（ステップＳ１０５）画面制御部５３は、ステップＳ１０４で決定した方向に画面の画像を一定量移動させる。なお、一定量とは、例えば、表示部４０における対角線を５等分した１つの分の量である。なお、この一定量や等分させる数は、表示部４０の画面サイズに応じて決定するようにしてもよい。

（ステップＳ１０６）検知部３０及び形状特定部５１は、ステップＳ１０１及びＳ１０２と同様に、指の形状を認識する。
（ステップＳ１０７）形状比較部５２は、ステップＳ１０３と同様に、指が伸びきった状態であるか否かを再度、判別する。この理由は、指が伸びきった状態である場合、移動させた画像が、まだ利用者の指に届く範囲に達していず、このため、利用者が利用したいアイコンを選択していないためである。形状比較部５２は、比較した結果が一致すると判別した場合（ステップＳ１０７；ＹＥＳ）、ステップＳ１０５に戻り、比較した結果が一致しないと判別した場合（ステップＳ１０７；ＮＯ）、ステップＳ１０８に進む。
（ステップＳ１０８）形状特定部５１は、指が表示部４０上から完全に離れたか否かを、所定の時間内に指を認識できるか否かに基づいて判別する。このように、指が表示部４０上から完全に離れた場合、画面制御部５３が画像を移動させすぎた場合が想定される。形状特定部５１は、指が表示部４０上から完全に離れていないと判別した場合（ステップＳ１０８；ＮＯ）、ステップＳ１０９に進み、指が表示部４０上から完全に離れたと判別した場合（ステップＳ１０８；ＹＥＳ）、ステップＳ１１０に進む。

（ステップＳ１０９）画面制御部５３は、指の先端が曲がったか、またはタッチパネル１０にタッチされたか否かを判別する。次に、画面制御部５３は、指の先端が曲がったか、またはタッチパネル１０にタッチされたと判別された場合、画像の移動を停止する。次に、制御部５０は、例えば、選択されたアイコンに対応するアプリケーションを起動する。制御部５０は、ステップＳ１０９終了後、ステップＳ１０８に戻す。
（ステップＳ１１０）画面制御部５３は、画像をステップＳ１０５で移動させ始める前の位置に戻す。制御部５０は、ステップＳ１０９終了後、処理を終了する。
以上で、指の検出と画像の移動の処理を終了する。

次に、指の形状を認識した後の画面に表示される画像の例を説明する。
図７は、本実施形態に係る画像の移動例を説明する図である。図７において、図５と同様に、紙面に向かって左右方向をｘ軸方向、上下方向をｙ軸方向とする。また、アイコンＩ１〜Ｉ１４は、各アプリケーションに対応している。図７に示した例では、利用者は、符号Ｉ３に対応するカメラのアプリケーションを起動する場合を説明する図である。

図７（ａ）は、利用者がアイコンを選択する前の指の状態と画面を説明する図である。図７（ｂ）は、画面制御部５３が画像を移動させているときの図である。図７（ｃ）は、画面の画像の移動を数回行った後の画面を説明する図である。図７（ｄ）は、指の先端が曲がり、アイコンＩ３が選択されたことを説明する図である。図７（ｅ）は、アイコンに対応するアプリケーションが起動された後の画面を説明する図である。なお、図７（ｂ）〜図７（ｄ）では、表示部４０上に表示される画像全てを移動させる例を示したが、これに限られない。例えば、画面の上部に表示される電波状態を示すピクトグラム、時間、電池の残量等の画像は移動させないようにしてもよい。また、壁紙も移動させないようにしてもよい。すなわち、表示部４０上に表示されているアイコンの配列のまま、アイコンの表示を移動させるようにしてもよい。

図７（ａ）に示すように、表示部４０上の画像２０１には、アイコンＩ１〜Ｉ１４等が表示されている。利用者は、この画像２０１上で、指を伸ばしきる。指の角度は、表示部４０のｘ軸方向に対して、約６０度である。
形状特定部５１及び形状比較部５２は、指の形状を認識し、指が伸びきっていると判別する。そして、図７（ｂ）に示すように、画面制御部５３は、指の長手方向の接線（符号１１１）と指の先端位置とに基づいて、画像２０１を符号ｇ１が示す方向に一定量移動させる。すなわち、画面制御部５３によって画像２０２は、画像２０１に対してｘ軸の負方向にｘ１移動し、ｙ軸の負方向にｙ１移動されて表示部４０上に表示される。
制御部５０は、指の形状を認識させ、図７（ｃ）のように、符号ｇ１が示す方向に画像２０２を数回移動させる。この結果、画像２０３は、画像２０１に対してｘ軸の負方向にｘ２移動し、ｙ軸の負方向にｙ２移動されて表示部４０上に表示される。ここで、ｘ２はｘ１より大きく、ｙ２はｙ１より大きい。

画面制御部５３によって画像が数回移動された結果、図７（ｄ）に示すように、画像２０４は、画像２０１に対してｘ軸の負方向にｘ３移動し、ｙ軸の負方向にｙ３移動されて表示される。ここで、ｘ３はｘ２より大きく、ｙ３はｙ２より大きい。この状態のとき、利用者は、使用したいアプリケーションに対応するアイコン（符号Ｉ３）に指が届く。このため、利用者は、符号Ｉ３のアイコンを選択するために指を曲げ、アイコンＩ３をタッチする。この結果、符号ｆ１が示すように、指の先端が曲がる。形状特定部５１及び形状比較部５２は、指の形状を認識し、指の先端が曲がったか否かを判別する。または、制御部５０は、アイコンＩ１〜Ｉ１４のうちのいずれかのアイコンが選択されたことを検出する。図７（ｄ）において、制御部５０は、アイコンＩ３が選択されたことを検出する。

次に、図７（ｅ）に示すように、制御部５０は、アイコンＩ３に対応するカメラのアプリケーションを起動する。この結果、表示部４０上には、カメラのアプリケーションが起動されている画像２０５が表示される。符号ｂ１はシャッターボタンを示す画像、符号ｂ２は、静止画と動画との撮影モードを切り替えるボタンの画像である。

図７を用いて説明したように、利用者はタッチパネル１０上で指を伸ばしきることで、表示される画像を近づけたい方向を指示できる。そして、制御部５０は、指の先端位置を検出し、画像をアイコンの配列を崩さずに、徐々に指に近づけていくように表示部４０上に表示させる。この結果、利用者は、指が届く範囲に使用したいアプリケーションのアイコンを引き寄せることができるので、表示部４０のサイズが大きく指が届かなくても、片手で端末１を保持したまま保持した手の指で操作を行うことができる。

次に、画像を移動させる他の例を説明する。
図８は、本実施形態に係る画像の他の移動例を説明する図である。図８において、図５と同様に、紙面に向かって左右方向をｘ軸方向、上下方向をｙ軸方向とする。図８に示した例では、利用者の指の角度は、ｘ軸方向に対して約０度、すなわち紙面に向かって横に伸ばした状態である。図８（ａ）の画像２１１には、図７（ａ）の画像２０１と同様に、アイコンＩ１〜Ｉ１４等が表示される。図８（ａ）は、利用者がアイコンを選択する前の指の状態と画面を説明する図である。図８（ｂ）は、画像の移動を数回行った後の画面を説明する図である。図８（ｃ）は、指が完全に離れたため画像を元に戻した後を説明する図である。

図８（ａ）において、形状特定部５１及び形状比較部５２は、指の形状を認識し、指が伸びきっていると判別する。そして、図８（ｂ）に示すように、画面制御部５３は、指の長手方向の接線と指の先端位置とに基づいて、画像２１１を符号ｇ１１が示す方向に一定量移動させる。すなわち、画面制御部５３によって画像２１２は、画像２１２に対してｘ軸の負方向にｘ１１移動されて表示部４０上に表示される。

利用者が使用したいアプリケーションに対応するアイコンがＩ１４の場合、図８（ｂ）の画像２１２では、画像が移動しすぎていることになる。このため、利用者は、指を表示部４０上から完全に離す。画面制御部５３は、指が完全に離れたことを検出し、画像を図８（ｃ）に示すように、元の状態に戻す。そして、利用者が再び図８（ａ）と同じ位置に指を置いた場合、画面制御部５３は、画像を移動させる一定量を最初に用いた移動量より小さい量にするようにしてもよい。さらに、画面制御部５３は、利用者が指を完全に離したときの画像移動回数を記憶し、記憶させた移動回数の１回または数回前になってから画像を移動させる一定量を最初に用いた移動量より小さい量にするようにしてもよい。これにより、利用者は、使用したいアイコンを指が届く範囲に引き寄せて使用することができる。

図９は、本実施形態に係る画像の位置を戻す他の例を説明する図である。
図８では、画像２１１をｘ軸方向に移動させるときに、指が完全に表示部４０上から離れたときに画像戻す例を説明したが、これに限られない。例えば、図７（ｃ）のように画像２０３をｘ軸方向とｙ軸方向の両方向に移動させた後、図９のように画像２２１は、画像２０１（図７（ａ））に対してｙ軸の負方向にｙ４２移動されて表示部４０上に表示される。ｙ４２は、表示部４０の短辺から指の先端までの距離ｙ４１よりも長い。すなわち、画像２２１が移動しすぎている状態である。このような場合、利用者は、表示部４０上から指を完全に離すことによって、図９の状態から、図８（ｃ）の状態の表示に戻して、操作をやり直すことができる。
また、図９のように指の先端位置から所定の距離以上手前に画面２２１が移動した場合、画面制御部５３は、所定の距離の位置で画面２２１を自動停止させるか、または、画面２２１の移動を表示部４０上からアイコンを含む画像が消滅するまで移動させるようにしてもよい。この場合も、利用者は、表示部４０上から指を完全に離すことによって、図９の状態から、図８（ｃ）の状態の表示に戻して、操作をやり直すことができる。

以上のように、本実施形態の端末１は、表示部４０上にかざされる指の形状を認識する認識部（タッチパネル１０、入力部２０、検知部３０、形状特定部５１、形状比較部５２）と、認識部によって認識された認識結果に基づいて、表示部上に表示されている画像のうち指が指し示す方向の画像を含む１または複数の画像を指の先端位置に向けて移動させる画面制御部５３と、を備える。
また、本実施形態の端末１において、画像は、表示部４０上に表示される画像である。

この構成によって、本実施形態の端末１は、利用者が選択したいアイコン等に対して指を伸ばすだけで、指が届いてほしい箇所が自動で指の位置まで寄ってくるため複雑な操作が不要となる。この結果、本実施形態によれば、指の届く範囲における操作正を向上させることができる。

また、本実施形態の端末１において、画面制御部５３は、指の先端が折り曲げられた状態になったとき、画像の移動を停止する。
また、本実施形態の端末１において、画面制御部５３は、認識部（タッチパネル１０、入力部２０、検知部３０、形状特定部５１、形状比較部５２）が指の形状を認識した後、所定の時間内に前記指が認識できなくなったとき、移動させた画像を元の状態に戻すように表示させる。
この構成によって、本実施形態の端末１では、指を曲げたとき、画像の移動が完了するので、画像が移動されすぎることを防ぐことができる。また、本実施形態の端末１では、指を離せば元の画面表示に戻るため、レイアウトが崩れることがなくなる。

［第２実施形態］
第１実施形態では、利用者の指の先端位置に応じて、表示部４０上に表示される画像全体を移動させる例を説明した。本実施形態では、表示部４０上に表示される画像の一部を切り抜いて移動させる例を説明する。
図１０は、本実施形態に係る端末１Ａのハードウェア部材およびコンピュータ・プログラムの実行により実現される機能部材の主要なものの概略構成を説明するブロック図である。図１０に示すように、端末１Ａは、タッチパネル１０（認識部）、入力部２０（認識部）、検知部３０（認識部）、表示部４０、制御部５０Ａ、及び記憶部６０を備えている。また、制御部５０Ａは、形状特定部５１（認識部）、形状比較部５２（認識部）、画面制御部５３Ａ、及び切出決定部５４を備えている。なお、図１に示した端末１と同じ機能を有する機能部は、同じ符号を用いて説明を省略する。

切出決定部５４は、形状特定部５１が認識した結果に基づいて、指の長手方向の接線を検出する。検出する接線は、例えば図５の符号１１１に示す接線である。切出決定部５４は、指の先端位置を検出する。指の先端位置とは、例えば図５の符号１１２に示す指の先端を含む位置である。切出決定部５４は、検出した接線に囲まれた領域にあるアイコンを検出する。切出決定部５４は、検出したアイコンを含む画像を切り出す画像として決定する。
画面制御部５３Ａは、形状特定部５１及び形状比較部５２が認識した指の形状に応じて、切出決定部５４によって決定された画像を例えば、指の先端位置に表示させる。

次に、指の検出と画像の移動の処理手順を説明する。
図１１は、本実施形態に係る指の検出と画像の移動の処理手順のフローチャートである。
（ステップＳ２０１〜Ｓ２０２）検知部３０及び形状特定部５１は、ステップＳ２０１〜２０２を、ステップＳ１０１及びＳ１０２と同様に行う。
（ステップＳ２０３）指が伸びきっている場合、切出決定部５４は、形状特定部５１が認識した結果に基づいて、指の長手方向の接線を検出する。
（ステップＳ２０４）切出決定部５４は、指の先端位置を検出する。
（ステップＳ２０５）切出決定部５４は、検出した接線に囲まれた領域にあるアイコンを検出し、検出したアイコンを含む画像を切り出す画像として決定する。
（ステップＳ２０６）画面制御部５３Ａは、形状特定部５１及び形状比較部５２が認識した指の形状に応じて、切出決定部５４によって決定された画像を例えば、指の先端位置に表示させる。
以上で、指の検出と画像の移動の処理を終了する。

次に、利用者は、図７（ａ）のように、表示部４０上に指を伸ばしきった状態において、アイコンを含む画像を移動させて表示させる例を説明する。
図１２は、本実施形態に係るアイコンを含む画像を移動させて表示させる例を説明する図である。切出決定部５４は、指の形状が認識された結果に応じて、符号１１１が示す指の長手方向の接線及び指の先端位置を検出する。次に、画面制御部５３Ａは、画像２３１において、当該接線で囲まれた領域にあるアイコンを含む画像を、図１２の符号ｇ２１のように、指の先端位置に移動させて表示部４０上に表示させる。図１２に示す例では、アイコンＩ３が、他のアイコンＩ６の上のレイヤーに表示される。このため、アイコンＩ６が隠れて表示される。

切り出して表示するアイコンの画像は、例えば、認識された符号１１１が示す接線で囲まれた範囲にあるアイコンの画像である。
このように、切出決定部５４は、利用者が使用したいと想定されるアイコンを推定する。そして、画面制御部５３Ａは、推定されたアイコンを含む画像を切り抜いて指の先端位置に移動させて表示させる。この場合であっても、アイコンの配列を崩すことなく、指の届く範囲にアイコンを含む画像を移動させて表示させることができる。

次に、アイコンを含む画像を移動させて表示させる他の例を説明する。
図１３は、本実施形態に係るアイコンを含む画像を移動させて表示させる他の例を説明する図である。図１３（ａ）は、アイコンを含む画像２４１ａが表示された後の画像２４１であり、図１３（ｂ）は、移動させる画像２４１ｂを説明する図である。
図７（ａ）のように、表示部４０上に指を伸ばしきった状態において、切出決定部５４は、指の形状が認識された結果に応じて、指の長手方向の接線及び指の先端位置を検出する。次に、画面制御部５３Ａは、接線で囲まれた領域且つ指の先端位置より先にあるアイコンＩ３を含む画像２４１ａを決定する。図１３（ａ）に示した例では、画面制御部５３Ａは、画像２４１ｂとして、アイコンＩ３と、当該アイコンＩ３の右に隣接するアイコンＩ４を含む画像に決定する。そして、画面制御部５３Ａは、図１３（ａ）の符号ｇ３１のように、決定した画像２４１ａを指の先端位置に移動させて表示部４０上に表示させる。画像２４１ａを移動させた結果、図１３（ａ）のように、画像２４１ａは、他のアイコンＩ１〜Ｉ９の上のレイヤーに表示される。このため、アイコンＩ６が全て隠れ、アイコンＩ１、Ｉ２、Ｉ５、Ｉ７、Ｉ８、及びＩ９の一部が隠れて表示される。

切出決定部５４は、指の形状が認識された結果に応じて、図１３（ｂ）のように、検出される符号１１１が示す指の長手方向の接線及び指の先端位置を検出することによって、切り出して表示する画像を決定する。移動させる画像２４１ｂは、図１３（ｂ）のように、及び指の先端位置かつ符号１１１が示す指の長手方向の接線に囲まれたアイコンを含む領域の画像の領域であってもよい。このため、図１３（ｂ）に示した例では、複数のアイコンの画像を含んでいてもよい。例えば、画像２４１ｂには、アイコンＩ３の左方向に隣接するアイコンＩ２を含む画像であってもよい。または、移動させる画像２４１ｂは、指がかかってない部分全ての画像であってもよい。切り出して表示される画像の領域は、利用者が設定できるようにしてもよい。
また、本実施形態においても、指が表示部４０上から完全に離れたことを検出したとき、画面制御部５３Ａは、切り出して表示させた画像を元に戻して表示させる。なお、画面制御部５３Ａは、切り出して表示したり、切り出した画像を元に戻して表示したりするとき、単に画像を切り替えて表示してもよく、またはアニメーションによって、切り出されたた画像が移動して表示されるように表示してもよい。

以上のように、本実施形態の端末１Ａにおいて、画像は、表示部４０上に表示されている画像の一部である。
この構成によって、本実施形態の端末１Ａは、利用者が選択したいアイコン等に対して指を伸ばすだけで、指が届いてほしい箇所のみが自動で指の位置まで寄ってくるため複雑な操作が不要となる。本実施形態の端末１は、指を離せばもとの画面表示に戻るため、レイアウトが崩れることがなくなる。

なお、第１及び第２実施形態では、表示部４０上にアイコンが表示されている例を説明したが、これに限られない。例えば、ブラウザを閲覧するアプリケーションが起動されている画面において、画面制御部５３（または５３Ａ）は、指先の方向にあるボタンを含む画像を移動させるようにしてもよい。これにより、例えば、コメントをブラウザ上で入力した後、確認ボタンを引き寄せることができる。
なお、第１及び第２実施形態で説明した例は一例であり、これに限られない。例えば、第１実施形態と第２実施形態を組み合わせて、どちらの表示を用いるか利用者が設定するようにしてもよい。

なお、第１及び第２実施形態の図１の端末１（１Ａ）の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

１、１Ａ…端末、１０…タッチパネル、２０…入力部、３０…検知部、４０…表示部、５０、５０Ａ…制御部、５１…形状特定部、５２…形状比較部、５３、５３Ａ…画面制御部、５４…切出決定部、６０…記憶部

Claims (5)

1. 表示部上にかざされる指の形状を認識する認識部と、
   前記認識部によって認識された認識結果に基づいて、前記表示部上に表示されている画像のうち前記指が指し示す方向の画像を含む１または複数の画像を前記指の先端位置に向けて移動させる画像制御部と、
   を備えることを特徴とする端末。
2. 前記画像は、
   前記表示部上に表示される画像、または前記表示部上に表示されている画像の一部である
   ことを特徴とする請求項１に記載の端末。
3. 前記画像制御部は、
   前記指の先端が折り曲げられた状態になったとき、前記画像の移動を停止する
   ことを特徴とする請求項１または請求項２に記載の端末。
4. 前記画像制御部は、
   前記認識部が指の形状を認識した後、所定の時間内に前記指が認識できなくなったとき、前記移動させた前記画像を元の状態に戻すように表示させる
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の端末。
5. 認識部が、表示部上にかざされる指の形状を認識する認識手順と、
   画像制御部が、前記認識手順によって認識された認識結果に基づいて、前記表示部上に表示されている画像のうち前記指が指し示す方向の画像を含む１または複数の画像を前記指の先端位置に向けて移動させる画像制御手順と、
   を含むことを特徴とする端末制御方法。

Images