JP2015032101A - 情報端末装置 - Google Patents

Abstract

【課題】複雑な処理を必要としないで、より直感的な操作によりコマンドの指示が可能な情報端末装置を提供する。
【解決手段】実施形態の情報端末装置１は、タッチパネル１３付きの表示器３と、表示器３の表示面に対向する３次元空間内の物体の位置を検出する位置検出部と、タッチパネル１３へのタッチ操作によるタッチパネル１３のタッチ位置情報と、タッチパネル１３へのタッチがされた後に又はタッチパネル１３へのタッチがされている状態で位置検出部により検出された３次元空間内における物体の空間内位置情報とに基づいて、所定の処理を実行させる所定のコマンドを生成するコマンド生成部と、を有する。
【選択図】図１４

Description

本発明の実施形態は、情報端末装置に関する。

近年、スマートフォン、タブレット端末、デジタルサイネージなどの情報端末装置が広く普及している。これらの情報端末装置は、タッチパネル付きの表示器を有する。
タッチパネルは、ユーザが画面上に表示されているボタン、画像などをタッチすることにより、コマンドの指示、オブジェクトの選択などが直感的にできるため、スマートフォン、タブレット端末などに広く利用されている。

また、近年は、ゲーム機などにおいて、ジェスチャによりコマンドの指示を行うことができる技術も実用化されている。ジェスチャは３次元的な動作であるため、タッチパネルと比較して、より直感的な動作によりコマンドの指示が可能である。

しかし、ジェスチャだけによるコマンドの指示の場合、ジェスチャ動作の認識精度が悪いという問題がある。そのため、高精度なジェスチャの認識処理のためには、複雑な処理が必要となる。

また、タッチパネルも直感的な操作が可能であるが、オブジェクトの選択などのコマンドの指示しかできず、ジェスチャのような、より直感的な操作をすることはできない。

特開平０４−１２８８７７号公報 特開２００６−３１４９９号公報 国際公開第２０１０／０６４３８８号

そこで、実施形態は、複雑な処理を必要としないで、より直感的な操作によりコマンドの指示が可能な情報端末装置を提供することを目的とする。

実施形態の情報端末装置は、タッチパネル付きの表示器と、前記表示器の表示面に対向する３次元空間内の物体の位置を検出する位置検出部と、前記タッチパネルへのタッチ操作による前記タッチパネルのタッチ位置情報と、前記タッチパネルへのタッチがされた後に又は前記タッチパネルへのタッチがされている状態で前記位置検出部により検出された前記３次元空間内における前記物体の空間内位置情報とに基づいて、所定の処理を実行させる所定のコマンドを生成するコマンド生成部と、を有する。

第１の実施形態に係わる情報端末装置であるタブレット端末の概観図である。 第１の実施形態に係わるタブレット端末１の構成を示すブロック図である。 第１の実施形態に係わる動作判定空間FDAを説明するための図である。 第１の実施形態に係わる、各発光部６の発光タイミングと、受光部７の受光タイミングを説明するための図である。 第１の実施形態に係わる、タブレット端末１の表示領域３ａの上方からみた、発光部６から出射した光が受光部７において受光される光路を説明するための図である。 第１の実施形態に係わる、X方向における指Fの位置と、比率Rxとの関係を示すグラフである。 第１の実施形態に係わる、タブレット端末１の表示領域３ａの上方からみた、発光部６から出射した光が受光部７において受光される光路を説明するための図である。 第１の実施形態に係わる、Y方向における指Fの位置と、比率Ryとの関係を示すグラフである。 第１の実施形態に係わる、タブレット端末１の左側からみた、発光部６から出射した光が受光部７において受光される光路を説明するための図である。 第１の実施形態に係わる、タブレット端末１の上側からみた、発光部６から出射した光が受光部７において受光される光路を説明するための図である。 第１の実施形態に係わる、Z方向における指Fの位置と、３つの受光量の和SLとの関係を示すグラフである。 第１の実施形態に係わる、電子書籍の表示例を示す図である。 図１２の状態から、ユーザが、親指F1と人差し指F2を表示領域３ａから離して、２本の指F1,F2を左上方向に向かって移動させる動作、すなわちページをめくるようなジェスチャ、をしている状態を示す図である。 第１の実施形態に係わる、タッチパネル機能と３次元空間位置検出機能によるコマンド判定処理の流れの例を示すフローチャートである。 第１の実施形態に係わる、電子絵本の一場面が表示器３に表示されているタブレット端末１の斜視図である。 第１の実施形態に係わる、電子絵本の一場面が表示器３に表示されているタブレット端末１の斜視図である。 第２の実施形態に係わる、表示領域３ａに表示されているオブジェクトを拡大表示するコマンドの指示の方法を説明するための図である。 第２の実施形態に係わる、表示領域３ａに表示されているオブジェクトを拡大表示するコマンドの指示の方法を説明するための図である。 第２の実施形態に係わる、表示領域３ａに表示されているオブジェクトを縮小表示するコマンドの指示の方法を説明するための図である。 第２の実施形態に係わる、表示領域３ａに表示されているオブジェクトを縮小表示するコマンドの指示の方法を説明するための図である。 第２の実施形態に係わる、拡大及び縮小におけるズーム量を示す図である。 第２の実施形態に係わる、タッチパネル機能と３次元空間位置検出機能によるオブジェクトの拡大及び縮小の表示のためのコマンド判定処理の流れの例を示すフローチャートである。 第３の実施形態に係わる、スクロールのコマンドを指定する方法を説明するための図である。 第３の実施形態に係わる、色の濃淡を変更するコマンドを指定する方法を説明するための図である。 第３の実施形態に係わる、図形の回転を指定する方法を説明するための図である。 第３の実施形態に係わる、指定された位置の画像を除いて画面のスクロールを指定する方法を説明するための図である。 第３の実施形態に係わる、本実施形態に係るタッチパネル機能と３次元空間位置検出機能によるコマンド判定処理の流れの例を示すフローチャートである。 第１から第３の各実施形態に係わる、コマンド生成部を含む制御部の構成を示すブロック図である。

以下、図面を参照して実施形態を説明する。
（第１の実施形態）
（構成）
図１は、実施形態に係わる情報端末装置であるタブレット端末の概観図である。
なお、ここでは、情報端末装置として、タブレット端末を例に挙げて説明するが、情報端末装置は、タッチパネルを有するスマートフォン、デジタルサイネージなどであってもよい。

タブレット端末１は、薄い板形状の本体部２を有し、本体部２の上面にタッチパネル付きの表示器３の矩形の表示領域３ａが配置され、矩形の表示領域３ａに画像が表示されるように構成されている。タブレット端末１の上面には、スイッチ４とカメラ５も配置されて設けられている。ユーザは、タブレット端末１をインターネットに接続して各種サイトを閲覧したり、各種アプリケーションソフトウエアを実行させたりすることができる。表示領域３ａ上には、各種サイト画面が表示されたり、各種アプリケーションソフトウエアにより生成された各種画面が表示されたりする。

スイッチ４は、タブレット端末１のオン、オフ、所定の画面へのジャンプなどを、指示するためにユーザにより操作される操作部である。
カメラ５は、表示領域３ａの表示面に対向する方向を撮像するためのCCDなどの撮像素子を含む撮像装置である。

タブレット端末１の表示領域３ａの周囲には、３つの発光部６ａ、６ｂ、６ｃと、１つの受光部７が配置されている。
具体的には、３つの発光部６ａ、６ｂ、６ｃ（以下、３つの発光部を纏めて指すとき、あるいは任意の１つの発光部を指すときは、発光部６ともいう）は、それぞれ矩形の表示領域３ａの四隅のうちの３つの角部の近傍に設けられ、点線で示すように、表示領域３ａの表示面に直交する方向に所定の範囲に所定の波長の光を放射するように設けられている。

また、受光部７は、３つの発光部６が設けられていない、表示領域３ａの四隅の１つの角部の近傍に設けられ、点線に示すように所定の範囲内の光を受光するように設けられている。すなわち、３つの発光部６ａ、６ｂ、６ｃは、表示器３の表示面の周囲に配置され、受光部も、その表示面の周囲に配置されている。

各発光部６は、所定の波長の光、ここでは近赤外線の光、を出射する発光ダイオード（以下、LEDという）と、レンズなどの光学系とを有し、受光部７は、各発光部３が出射した、所定の波長の光を受光するフォトダイオード（PD）と、レンズなどの光学系とを有する。ここでは、可視光線の赤色の光よりも波長の長い近赤外線を利用しているので、ユーザには発光部６が発光していることは見えない。すなわち、各発光部６は、可視光の波長範囲外の波長の光として、近赤外線の光を出射する。

発光部６からの出射光の出射方向は、表示領域３ａの表面に直交する方向における所定の範囲であり、各発光部６からの出射光が受光部７に直接入力しないように、受光部７の向きは設定されている。

すなわち、各発光部６は、出射側に設けられた光学系のレンズの向きなどを調整することにより、表示領域３ａの上側の後述する動作判定空間FDAを含む空間に向けて光を出射するような出射範囲を有するように設けられている。同様に、受光部７も、入射側に設けられた光学系のレンズの向きなどを調整することにより、表示領域３ａの上側の後述する動作判定空間FDAを含む空間からの光を入射するような入射範囲を有するように設けられている。

図２は、タブレット端末１の構成を示すブロック図である。図２に示すように、タブレット端末１は、制御部１１、液晶表示装置（以下、LCDという）１２と、タッチパネル１３と、無線通信のための通信部１４と、記憶部１５と、スイッチ４と、カメラ５と、３つの発光部６と、受光部７とを有して構成されている。LCD１２、タッチパネル１３、通信部１４、記憶部１５、スイッチ４、カメラ５、３つの発光部６及び受光部７は、制御部１１と接続されている。

制御部１１は、中央処理装置（以下、CPUという）、ROM、RAM、バス、書き換え可能な不揮発性メモリ（例えばフラッシュメモリ）、各種インタフェース部を含む。ROM及び記憶部１５には、各種プログラムが格納され、ユーザにより指定されたプログラムは、CPUにより読み出されて実行される。

LCD１２とタッチパネル１３は、表示器３を構成する。すなわち、表示器３は、タッチパネル付きの表示器である。制御部１１は、タッチパネル１３からのタッチ位置信号を入力し、入力されたタッチ位置信号に基づく所定の処理を実行する。制御部１１は、接続されたLCD１２に対して、画面データを生成して出力することにより、表示領域３ａの画面上にグラフィカルユーザインターフェース（GUI）を提供する。

通信部１４は、インターネット、LANなどのネットワークと無線通信するための回路であり、制御部１１の制御下で、ネットワークとの通信を行う。
記憶部１５は、ハードディスクドライブ装置（HDD）、ソリッドステートドライブ装置（SSD）等の大容量の記憶装置である。各種プログラムだけでなく、各種データが記憶される。
スイッチ４は、ユーザにより操作され、その操作信号を制御部１１へ出力する。
カメラ５は、制御部１１の制御下で動作し、撮像信号を制御部１１へ出力する。

各発光部６は、後述するように、制御部１１により、所定の順番で駆動されて、所定の光（ここでは、近赤外線の光）を出射する。
受光部７は、所定の光（ここでは、各発光部６が出射した近赤外線の光）を受光し、受光量に応じた検出信号を制御部１１へ出力する。

制御部１１は、３つの発光部６の発光タイミングと、受光部７の受光タイミングを制御して受光部７の検出信号を用いて、後述する所定の演算及び判定処理を実行し、所定の条件に合致すると、通信部１４を介して所定のデータを送信する。

本実施形態では、表示領域３ａ上の３次元空間内の指の動きを検出する空間が設定され、その空間内におけるユーザの指の動きが検出される。

（表示領域上の３次元空間内の指の位置検出）
図３は、表示領域３ａから離れた上方の指の動きを検出する領域である動作判定空間FDAを説明するための図である。

図３に示すように、本実施形態の動作判定空間FDAは、表示領域３ａから離れた上方に設定された直方体空間である。ここでは、動作判定空間FDAにおいて、発光部６ａと６ｂとを結ぶ線方向をX方向とし、発光部６ｂと６ｃとを結ぶ線方向をY方向とし、表示領域３ａの表面に直交する方向をZ方向とするとき、動作判定空間FDAは、表示領域３ａからZ方向において所定の距離Znだけ離れた位置から、表示領域３ａの矩形枠に沿って、Z方向に伸びた直方体空間である。よって、動作判定空間FDAは、X方向にLxの長さを有し、Y方向にLyの長さを有し、Z方向にLzの長さを有する直方体である。Lzは、例えば１０ｃｍから２０ｃｍの範囲の長さである。

動作判定空間FDAは、表示領域３ａの表面から所定の距離Znだけ離れた位置に規定される。これは、受光部７が指Fからの反射光を受光できないZ方向における高さ範囲があるためである。よって、動作判定空間FDAは、その受光できない範囲を除いて設定される。ここでは、図３に示すように、動作判定空間FDAのX方向の左方端、Y方向の下方端、及びZ方向の下方端が、動作判定空間FDAの位置の基準点P0としている。

図４は、各発光部６の発光タイミングと、受光部７の受光タイミングを説明するための図である。図４において、縦軸は、発光量又は受光量を示し、横軸は、時間軸である。
制御部１１は、３つの発光部６ａ、６ｂ、６ｃを所定の順番で所定の光量ELで発光させる。図４に示すように、制御部１１は、３つの発光部６のうちの、最初に、発光部６ａを所定時間T1だけ発光させ、発光部６ａの発光後、所定時間T2をおいて、発光部６ｂを所定時間T1だけ発光させる。そして、発光部６ｂの発光後、制御部１１は、所定時間T2をおいて、発光部６ｃを所定時間T1だけ発光させる。その後は、発光部６ｃの発光後、制御部１１は、所定時間T2をおいて、発光部６ａを所定時間T1だけ発光させ、続いて、第２の発光部６ｂを発光させるように、以下、第１から第３の発光部６ａ、６ｂ、６ｃを、順番に発光させることを、繰り返す。

すなわち、３つの発光部６ａ、６ｂ、６ｃは、互いに異なるタイミングで発光し、受光部７は、その異なるタイミングに応じて、３つの発光部６ａ、６ｂ、６ｃのそれぞれから発光された光の反射光を検出する。

制御部１１は、以上のように、３つの発光部６を所定の発光タイミングで発光させると共に、各発光部６の発光時間である所定時間T1中の所定のタイミングで受光部７の検出信号を取得する。

図４では、受光量ALaは、発光部６ａが発光したときに受光部７が検出した光量であり、受光量ALbは、発光部６ｂが発光したときに受光部７が検出した光量であり、受光量ALcは、発光部６ｃが発光したときに受光部７が検出した光量であることを示している。制御部１１は、受光部７の検出信号を入力し、各発光部６に対応する受光量の情報を得ることができる。

図５は、タブレット端末１の表示領域３ａの上方からみた、発光部６から出射した光が受光部７において受光される光路を説明するための図である。図５は、X方向における指Fの位置の推定を説明するための図である。

図５において、位置P1は、タブレット端末１の表示領域３ａの上方からみたときに、X方向においてはやや左寄りで、Y方向においてはやや下寄りの位置である。位置P2は、X方向においてはやや左寄りで、Y方向においてはやや上寄りの位置である。但し、位置P1とP2は、X方向における位置X1は、同じである。

指Fが表示器３にタッチしないで（すなわちタッチパネル１３にタッチしないで）、表示領域３ａから離れた上方の位置P1にあるときに、発光部６ａから出射した光のうち、指Fに当たった光が反射して受光部７に入射する光は、図５に示す光路L11とL13を通り、発光部６ｂから出射した光のうち、指Fに当たった光が反射して受光部７に入射する光は、図５に示す光路L12とL13を通る。

指Fが表示器３にタッチしないで（すなわちタッチパネル１３にタッチしないで）、表示領域３ａから離れた上方の位置P2にあるときに、発光部６ａから出射した光のうち、指Fに当たった光が反射して受光部７に入射する光は、図５に示す光路L14とL16を通り、発光部６ｂから出射した光のうち、指Fに当たった光が反射して受光部７に入射する光は、図５に示す光路L14とL16を通る。

受光部７は、図４に示す発光タイミングに応じた光を受光し、検出信号を制御部１１へ出力するので、制御部１１は、受光部７から、各発光部６に対応する受光量信号を取得する。指Fの３次元空間内の位置は、次のようにして算出される。

発光部６ａからの光の反射光の受光量ALaと、発光部６ｂからの光の反射光の受光量ALbとから、次の式（１）で示される比率Rxを算出する。
Rx＝（（LAa−LAb）／（LAa＋LAb）） ・・・（１）
比率Rxは、光量ALaが光量ALbに比べて大きくなるにつれて、大きくなり、光量ALaが光量ALbに比べて小さくなるにつれて、小さくなる。

また、X方向における位置が位置P1とP2に示すように、同じ位置であるときは、比率Rxは同じになる。
図６は、X方向における指Fの位置と、比率Rxとの関係を示すグラフである。X方向において、指Fが発光部６ａの近くあると、比率Rxは大きくなり、指Fが発光部６ｂの近くあると、比率Rxは小さくなる。表示領域３ａのX方向の中央位置Xmでは、比率Rxは０（ゼロ）となる。
よって、X方向における指Fの位置は、発光部６ａと６ｂから出射した光の反射光の受光量に基づいて、式（１）により、推定することができる。

図７は、タブレット端末１の表示領域３ａの上方からみた、発光部６から出射した光が受光部７において受光される光路を説明するための図である。図７は、Y方向における指Fの位置の推定を説明するための図である。

図７において、位置P1は、タブレット端末１の表示領域３ａの上方からみたときに、X方向においてはやや左寄りで、Y方向においてはやや下寄りの位置である。位置P3は、X方向においてはやや右寄りで、Y方向においてはやや下寄りの位置である。但し、位置P1とP3は、Y方向における位置Y1は、同じである。

指Fが表示器３にタッチしないで（すなわちタッチパネル１３にタッチしないで）、表示領域３ａから離れた上方の位置P1にあるときに、発光部６ｂから出射した光のうち、指Fに当たった光が反射して受光部７に入射する光は、図５と同様に、光路L12とL13を通り、発光部６ｃから出射した光のうち、指Fに当たった光が反射して受光部７に入射する光は、図７に示す光路L17とL13を通る。

指Fが表示器３にタッチしないで（すなわちタッチパネル１３にタッチしないで）、表示領域３ａから離れた上方の位置P3にあるときに、発光部６ｂから出射した光のうち、指Fに当たった光が反射して受光部７に入射する光は、図７に示す光路L18とL19を通り、発光部６ｃから出射した光のうち、指Fに当たった光が反射して受光部７に入射する光は、図７に示す光路L20とL19を通る。

今、発光部６ｂからの光の反射光の受光量ALbと、発光部６ｃからの光の反射光の受光量ALcとから、次の式（２）で示される比率Ryを算出する。
Ry＝（（LAb−LAc）／（LAb＋LAc）） ・・・（２）
比率Ryは、光量ALbが光量ALcに比べて大きくなるにつれて、大きくなり、光量ALbが光量ALcに比べて小さくなるにつれて、小さくなる。

また、Y方向における位置が位置P1とP3に示すように、同じ位置であるときは、比率Ryは同じになる。
図８は、Y方向における指Fの位置と、比率Ryとの関係を示すグラフである。Y方向において、指Fが発光部６ｂの近くあると、比率Ryは大きくなり、指Fが発光部６ｃの近くあると、比率Ryは小さくなる。表示領域３ａのY方向の中央位置Ymでは、比率Ryは０（ゼロ）となる。
よって、Y方向における指Fの位置は、発光部６ｂと６ｃから出射した光の反射光の受光量に基づいて、式（２）により、推定することができる。

次に、Z方向における指Fの位置の推定について説明する。
図９は、タブレット端末１の左側からみた、発光部６から出射した光が受光部７において受光される光路を説明するための図である。図１０は、タブレット端末１の上側からみた、発光部６から出射した光が受光部７において受光される光路を説明するための図である。図９と図１０においてタブレット端末１の上面は、表示領域３ａの表面である。

各発光部６の発光タイミングにおいて所定の波長の光が出射され、表示領域３ａ上に物体、ここでは指Fがあると、その指Fで反射された反射光が、受光部７に入射する。受光部７に入射する反射光の光量は、物体までの距離の二乗に反比例する。

なお、図９と図１０では、表示領域３ａに最も近い、指Fの皮膚の表面上の位置を、指Ｆの位置として説明する。図９と図１０において、指Fの位置Pnは、動作判定空間FDAの下面からの距離Z1だけ離れた位置であり、指Fの位置Pfは、動作判定空間FDAの下面からの距離Z2だけ離れた位置であり、距離Z2は、距離Z1より長い。

指Fが位置Pnにある場合、各発光部６ａ、６ｂからの出射光は、図９では光路L31とL32を通って、図１０では光路L41とL42を通って、受光部７に入射する。指Fが位置Pfにある場合、各発光部６ａ、６ｂからの出射光は、図９では光路L33とL34を通って、図１０では光路L43とL44を通って、受光部７に入射する。また、指Fが位置Pnにある場合、発光部６ｃからの出射光は、図９では光路L32を通って、図１０では光路L41とL42を通って、受光部７に入射する。また、指Fが位置Pfにある場合、発光部６ｃからの出射光は、図９では光路L34を通って、図１０では光路L43とL44を通って、受光部７に入射する。

指Fが位置Pnにある場合と、位置Pnよりも表示領域３ａから遠い位置Pfに指Fがある場合とを比較すると、発光部６からの出射光が、光路L31,L32を通って受光部７に入射するときの光量AL1は、光路L33,L34を通って受光部７に入射するときの光量AL2よりも大きい。

そこで、受光部７が受光する、３つの発光部６からの光の受光量の和SLを、次の式（３）により求める。

SL＝（ALa＋ALb＋ALc） ・・・（３）
そして、３つの発光部６からの光が指Fで反射して受光部７に入射した各光の光量は、指Fの表示領域３ａ上の高さ方向（すなわち、Z方向）の距離の二乗に反比例する。

図１１は、Z方向における指Fの位置と、３つの受光量の和SLとの関係を示すグラフである。Z方向において、指Fが表示領域３ａの近くあると、３つの受光量の和SLは大きくなり、指Fが表示領域３ａから離れた位置にあると、３つの受光量の和SLは小さくなる。

よって、Z方向における指Fの位置は、発光部６ｂ、６ｂ及び６ｃから出射した光の反射光の受光量に基づいて、上記の式（３）により、推定することができる。
なお、上述した例では、３つの発光部６の発光量が同一の値ELであるが、３つの発光部６の発光量を異ならせてもよい。その場合は、上述した式も、発光量の差を考慮して、補正された受光量が用いられて、各比率及び受光量の和が算出される。

以上のように、３つの発光部６から発光された光の物体からのそれぞれの反射光を受光部７により検出して得られた３つの光量に基づいて、表示面に平行な２次元平面上の位置と、表示面に直交する方向における位置とを算出することにより、物体の位置が検出される。特に、表示面に平行な２次元平面上の位置は、２つの光量の差と和の値を用いて算出した２次元平面の第１の方向における位置と、２つの光量の差と和の値を用いて算出した２次元平面の第１の方向とは異なる第２の方向における位置とから決定される。
そして、表示面に直交する方向における位置は、３つの光量の和の値を用いて決定される。なお、Z方向の位置は、３つの光量を用いなくても、２つの光量から決定してもよい。

従って、３つの受光量ALa、ALb、ALcが得られる度に、上記の式（１）、（２）、（３）を用いて、指Fの３次元空間内の位置を算出することができる。図４に示すように、タイミングｔ１、ｔ２、・・・毎に、３次元空間内の指Fの位置情報が算出される。

本実施形態のタブレット端末１は、タッチパネル機能と、３次元空間内の指の位置検出機能とを有するので、ユーザの直感的な指の動作により、所望の操作指示を、タブレット端末１に与えることができる。

なお、本実施形態及び他の実施形態（第２と第３）では、動作判定空間FDAにおける指Fの位置Pf及び移動の軌跡が検出されるが、指Fの位置Pf及び移動の軌跡の検出は、上述したような動作判定空間FDA内に限られず、動作判定空間FDAを含むより広い空間において検出するようにしてもよい。すなわち、３つの発光部６と受光部７により検出可能な３次元空間における指Fの位置Pf及び移動の軌跡を、検出するようにしてもよい。

さらに、動作判定空間FDA及び動作判定空間FDAを含むより広い空間は、上述した直方体のような形状でなくてもよい。

（作用）
本実施形態は、指の摘まみ上げ動作に関する。指の摘まみ上げ動作の例として、ページめくり操作を説明する。

図１２は、電子書籍の表示例を示す図である。タブレット端末１の表示器３の表示領域３ａには、電子書籍のイメージ画面が表示されている。記憶部１５に、電子書籍アプリケーションソフトウエア（以下、電子書籍アプリケーションという）と書籍データが記憶されており、ユーザが電子書籍アプリを起動し、所望の書籍を指定すると、その書籍のページイメージが表示器３の表示領域３ａに表示される。ユーザは、ページをめくりながら、その書籍を読むことができる。

本実施形態では、ユーザがページの端を摘まんでページをめくるような動作を行うという、直感的な操作で、ページめくりの操作のコマンド指示を、このような電子書籍のアプリケーションに対して与える場合について説明する。

電子書籍アプリケーションは、書籍の画像イメージデータを読み出して、ページイメージを、表示器３に表示することによって、ユーザがその書籍をよむことができるようにするためのソフトウエアである。

図１２に示す電子書籍の画像イメージG1は、本を開いた右側のページを示し、ここでは、ユーザがそのページを読み終え、次のページを表示させる場合、指でページをめくるような動作あるいはジェスチャをすることによって、電子書籍アプリケーションに対してページめくりコマンドを与えることができる。

図１２は、ユーザの指Ｆが表示領域３ａに表示されたページの右下の部分に触れて摘まむ動作をした場合を示す図である。図１２は、ユーザが、親指F1と人差し指F2で、ページの右下の部分を摘まむ動作をしている状態を示している。図１３は、図１２の状態から、ユーザが、親指F1と人差し指F2を表示領域３ａから離して、２本の指F1,F2を左上方向に向かって移動させる動作、すなわちページをめくるようなジェスチャ、をしている状態を示す図である。

このような指の動作を行うことよって、ユーザは、タブレット端末１の電子書籍アプリケーションにして対して、ページめくりコマンドを与えることができる。電子書籍アプリケーションは、ページめくりコマンドを受信すると、現在表示されているページのオブジェクトを、次のページイメージのオブジェクトを表示器３の表示領域に表示する処理を実行する。

図１３では、２本の指F1,F2が、２点鎖線の矢印A1に沿って移動していることが示されている。電子書籍アプリケーションは、ページめくりコマンドを受信すると、例えば、２点鎖線で示すように、実際の書籍において、ページがめくれるようなアニメーション表示により、ページがめくれるようにして、次のページを表示する。

図１４は、タッチパネル機能と３次元空間位置検出機能によるコマンド判定処理の流れの例を示すフローチャートである。図１４のコマンド判定処理プログラムは、記憶部１５あるいはROMに記憶され、電子書籍アプリケーションが制御部１１のCPUにより実行されているときに、制御部１１のCPUにより読み出されて実行される。なお、コマンド判定処理プログラムは、電子書籍アプリケーションの一部であってもよいし、タブレット端末１の入力処理プログラムの一部であってもよい。

制御部１１は、タッチパネル１３から出力されるタッチ位置信号を監視することによって、タッチパネル１３へのタッチを検出したか否かを判定する（S1）。タッチパネル１３へのタッチが検出されなければ（S1:NO）、処理は、何もしない。

タッチパネル１３へのタッチが検出されると（S1:YES）、制御部１１は、互いに近づく２点の位置を検出したか否かを判定する（S2）。すなわち、タッチパネル１３において、２つの点がタッチされ、かつ２つの点が互いに近づくか否かが判定される。互いに近づく２つの点が検出されなければ（S2:NO）、処理は、何もしない。
以上のS1とS2の処理により、図１２の指F1,F2によるタッチパネル１３への摘まむようなタッチ動作があった場合の検出が行われる。

互いに近づく２点の位置が検出されると（S2:YES）、制御部１１は、タッチパネル１３へのタッチがなくなったか否かを判定する（S3）。タッチパネル１３へのタッチがなくならないとき（S3:NO）、処理は、何もしない。

タッチパネル１３へのタッチがなくなると（S3:YES）、制御部１１は、所定時間内における、タッチパネル１３から離れた指F1,F2の動きの軌跡を算出する（S4）。S4の処理が、表示器３の表示面に対向する３次元空間内の物体の位置を検出する位置検出部を構成する。

S4における指F1,F2の動きの検出は、上述した式（１）から（３）により求めることができる。すなわち、所定時間内、例えば１秒以内、における指F1,F2の、動作判定空間FDA内における位置の検出が、所定回数実行されることにより、指F1,F2の動きの軌跡が算出される。算出される軌跡は、２本の指F1,F2がタッチパネル１３から離れたときの２点を結ぶ線の中央の位置の近傍から、動作判定空間FDA内における検出された指F1,F2の複数の位置情報から構成される。
なお、２本の指F1,F2からの光の反射光なので、２本の指F1,F2を含む手を１つの物体として、その位置の軌跡が算出されることになる。

次に、算出された軌跡が、所定の軌跡と一致するか否かが判定される（S5）。所定の軌跡は、例えば、図１３に示すような、動作判定空間FDAにおける矢印A1で示すような軌跡に類似する軌跡である。所定の軌跡は、人が、図１２に示すような電子書籍のイメージ画像に対して、ページをめくるとしたときに、想定されるあるいは実験により求められた軌跡であり、コマンド判定処理プログラムの中に予め設定あるいは記述される。図１３では、２本の指F1,F2を含む左手が、矢印A1で示すように、表示領域３ａの右下をタッチしている状態から、あたかもページをめくるように左上方向へ移動している状況が示されている。よって、所定の軌跡は、表示領域３ａに表示されるページイメージの右下のページの端の下方の位置の近傍から、ページイメージの左端の上方に向かう３次元の動作判定空間FDA内の移動の軌跡に類似する軌跡である。

S5では、算出された軌跡が、所定の許容範囲内で所定の軌跡と一致するか否かが判定され、算出された軌跡が、所定の軌跡と一致したときは、制御部１１は、所定のコマンド、すなわち、ページめくりコマンドを生成して、電子書籍アプリケーションに与えるコマンド出力処理を実行する（S6）。

よって、S5とS6の処理が、タッチパネル１３へのタッチ操作によるタッチパネル１３のタッチ位置情報と、タッチパネル１３へのタッチがされた後に、S4の位置検出部により検出された３次元空間内における物体の空間内位置情報とに基づいて、所定の処理を実行させる所定のコマンドを生成するコマンド生成部を構成する。

そして、タッチ位置情報は、互いに近づく２本の指の２点についての位置情報であり、空間内位置情報は、近づいた２点の位置の中央（又は近傍）の位置から物体が移動する軌跡を示す情報であり、所定の処理は、表示器３に表示されている画像をめくるように動かす処理である。

その結果、電子書籍アプリケーションは、現在表示しているページの次のページのページイメージを読み出して、表示領域３ａに表示する。算出された軌跡が、所定の軌跡と一致しないときは（S5:NO）は、処理は何もしない。

従って、電子書籍において、ユーザは、タッチパネルへのタッチと３次元空間内におけるジェスチャにより、ページをめくるという、自然で直感的な指の動作により、ページめくりコマンドを指示することができる。

以上の例は、指の摘まみ動作と３次元空間内の指の移動によるページめくり操作であるが、絵本などにおいて、アニメーションの動きコマンドの出力にも、指の摘まみ動作と３次元空間内の指の移動は、利用することができる。
図１５と図１６は、電子絵本の一場面が表示器３に表示されているタブレット端末１の斜視図である。

電子絵本においては、コマンドに応じたアニメーション機能がある。アニメーション機能によれば、所定のコマンド入力に応じて、表示される画像が変化する。このようなアニメーション機能に対するコマンド入力の方法に、上述したタッチパネル機能と３次元空間位置検出機能によるコマンド入力を適用することができる。

図１５は、絵の中に、布Bにより覆われた物があって、ユーザが、例えば親指F1と人差し指F2の２本の指で、タッチパネル１３にタッチしながら、布Bの端部を摘まんでいる状態を示す。

その状態から、２本の指を、タッチパネル１３から離して、布Bをめくるような動作を行うと、布Bをめくるというコマンドが生成されて出力される。その結果、アニメーション機能により布Bがめくれて、覆われていた物が見えるように、画像が変化する。

図１６では、２点鎖線の矢印A2で示すように、２本の指F1,F2が移動すると、布Bがめくれて、覆われていた人Pが現れた状態が示されている。
図１５と図１６に示すようなアニメーション機能のためのコマンド指示入力も、図１４に示す処理により実現される。

S1とS2により、タッチパネル１３上における互いに近づく２つの点が検出され、S3からS5により、タッチパネル１３を離れた後の３次元空間内の指の動きの軌跡が、布Bをめくるというアニメーション機能のコマンドに対応する所定の軌跡と一致するか否かが判定される。

めくるに相当する所定の軌跡は、例えばタッチパネル１３にタッチされた位置から、斜め上方へ移動するという３次元空間内の物体の動きの軌跡であり、コマンド判定処理プログラムの中に予め設定あるいは記述される。

タッチパネル１３を離れた後の指の動きの軌跡が、そのような所定の軌跡と一致すると、布Bをめくるというアニメーション機能を実行させるコマンドであると判定され、制御部１１は、そのコマンドを電子絵本アプリケーションソフトウエアに対して指示する。その結果、電子絵本アプリケーションソフトウエアは、図１６のような画像の変化の画像を表示領域３ａに表示するアニメーション機能処理を実行する。

以上のように、本実施形態によれば、複雑な処理を必要としないで、より直感的な操作によりコマンドの指示、ここではめくり動作コマンドの指示、が可能な情報端末装置を提供することができる。

なお、以上の例は、電子書籍のページめくり機能及び電子絵本におけるアニケーション機能の例であるが、ゲーム画像においても、上述したような指で摘まんで指を移動するという動作によるコマンド指示の入力は適用可能である。

（第２の実施形態）
第１の実施形態において指示されるコマンドは、タッチパネル１３に指で摘まむようにタッチして、その後にタッチパネル１３から２本の指を離す動作によるオブジェクトをめくる動作のためのコマンドであるが、第２の実施形態において指示されるコマンドは、タッチパネル１３に２本の指をタッチした状態で指を移動させながら、タッチパネル１３から２本の指を離す動作により、オブジェクトの拡大と縮小のためのコマンドである。

本実施形態のタブレット端末の構成は、第１の実施形態で説明したタブレット端末１と同じであるので、同じ構成要素については同じ符号を用いて説明し、各構成の説明は省略し、異なる構成についてのみ説明する。すなわち、本実施形態のタブレット端末のハードウエア構成及び、タッチパネル１３にタッチ位置検出及び３つの発光部６と受光部７による３次元空間内における物体の位置検出の機能は、第１の実施形態のタブレット端末１と同じであり、コマンド判定機能は、第１の実施形態のコマンド判定機能とは異なっている。

図１７と図１８は、表示領域３ａに表示されているオブジェクトを拡大表示するコマンドの指示の方法を説明するための図である。
図１７等には、画像等のオブジェクトが表示領域３ａに表示されている。さらに、表示されているオブジェクトと共に、所定の釦３Aも併せて表示領域３ａに表示されている。釦３Aは、ズーム動作の停止を指示するための釦である。

まず、図１７に示すように、ユーザは、２本の指、ここでは、親指F1と人差し指F2、を、表示領域３ａ上の拡大したいオブジェクトの中心位置C1に位置させて、タッチパネル１３に触れた状態にする。

その状態から、ユーザは、２本の指F1とF2が互いに離れるように２本の指F1,F2を開くようにして、タッチパネル１３上を少し滑らせるというピンチアウト動作をした後に、２本の指F1,F2を表示器３から離す。図１７では、矢印A3で示す方向に、２本の指F1,F2をタッチパネル１３にタッチさせながら、タッチパネル１３上を移動させるという動作の後に、図１８に示すように、矢印A4で示す方向（すなわちZ方向）に、２本の指F1,F2がタッチパネル１３から離れる。すなわち、点線A5で示すように、２本の指F1,F2は、開きながら、Z方向に移動する。

図１９と図２０は、表示領域３ａに表示されているオブジェクトを縮小表示するコマンドの指示の方法を説明するための図である。
図１９に示すように、ユーザは、２本の指、ここでは、親指F1と人差し指F2を互いに離した状態で、親指F1と人差し指F2がタッチパネル１３にタッチした２点を結ぶ線の中央に、表示領域３ａ上の縮小したいオブジェクトの中心位置C2に位置させて、タッチパネル１３に触れた状態にする。

その状態から、ユーザは、２本の指F1とF2が互いに近づくように２本の指F1,F2を閉じるようにして、タッチパネル１３上を少し滑らせるというピンチイン動作をした後に、２本の指F1,F2を表示器３から離す。図１９では、矢印A6示す方向に、２本の指F1,F2をタッチパネル１３にタッチさせながら、タッチパネル１３上を移動した後に、図２０に示すように、矢印A7で示す方向（すなわちZ方向）に、２本の指F1,F2がタッチパネル１３から離れる。すなわち、点線A8で示すように、２本の指F1,F2は、閉じながら、Z方向に移動する。

以上のような２本の指の動作により、ユーザは、オブジェクトの拡大及び縮小の表示コマンドを、タブレット端末１へ指示することができる。
なお、上記の例では、図１７と図１８で示すような２本の指の動作が、表示されているオブジェクトを拡大する拡大コマンドの指示を示す動作で、図１９と図２０で示すような２本の指の動作が、表示されているオブジェクトを縮小する縮小コマンドの指示を示す動作であるが、図１７と図１８で示すような２本の指の動作が、表示されているオブジェクトを縮小する縮小コマンドの指示を示す動作で、図１９と図２０で示すような２本の指の動作が、表示されているオブジェクトを拡大する拡大コマンドの指示を示す動作でもよい。

図２１は、拡大及び縮小におけるズーム量を示す図である。図２１は、横軸がZ方向における指の位置を示し、縦軸が拡大及び縮小のズーム量を示し、線MLは、拡大率のズーム量を示し、線RLは、縮小率のズーム量を示す。算出されたZ方向における２本の指の位置が、動作判定空間FDAで表示領域３ａから離れるにつれて、拡大率は増加し、縮小率は減少する。

すなわち、拡大の場合、２本の指がZ方向において動作判定空間FDAに入ってから表示器３から離れるにつれて、拡大率であるズーム量MLは、徐々に増加し、２本の指がZ方向において動作判定空間FDAの範囲を超えると、ズーム量MLは、拡大率α１で固定され、変化しない。縮小の場合、２本の指がZ方向において動作判定空間FDAに入ってから表示器３から離れるにつれて、縮小率であるズーム量RLは、徐々に減少し、２本の指がZ方向において動作判定空間FDAの範囲を超えると、ズーム量RLは、縮小率α２で固定され、変化しない。

図２２は、タッチパネル機能と３次元空間位置検出機能によるオブジェクトの拡大及び縮小の表示のためのコマンド判定処理の流れの例を示すフローチャートである。図２２において、図１４と同じ処理については、同じステップ符号を付して、説明は簡略にする。

図２２のコマンド判定処理プログラムは、記憶部１５あるいはROMに記憶され、表示器３にオブジェクトが表示されているときに、制御部１１のCPUにより読み出されて実行される。

制御部１１は、タッチパネル１３から出力されるタッチ位置信号を監視することによって、タッチパネル１３へのタッチを検出したか否かを判定する（S1）。
タッチパネル１３へのタッチが検出されると（S1:YES）、制御部１１は、２点の位置を検出したか否かを判定する（S2）。

以上のS1とS2の処理により、図１２の指F1,F2によるタッチパネル１３へのタッチがあった場合の検出が行われる。
２つの点がタッチされると（S2:YES）、制御部１１は、検出されている２点の位置が、近づきながら、あるいは遠ざかりながらしながら、タッチパネル１３へのタッチがなくなったか否か、すなわち２本の指のタッチパネル１３へのタッチがなくなったか否かを判定する（S11）。２点の位置が、近づきながら、あるいは遠ざかりながらしながら、タッチパネル１３へのタッチがなくならないとき（S11:NO）、処理は、何もしない。

S11の判定は、図１７から図２０で説明した動作の判定である。図１７と図１８に示すように、２本の指F1,F2が開きながら、タッチパネル１３から離れたのか、あるいは図１９と図２０に示すように、２本の指F1,F2が閉じながら、タッチパネル１３から離れたのか、が判定される。

S11でYESの場合、制御部１１は、動作判定空間FDAを含む３次元空間内の２本の指のZ方向における位置を算出する（S12）。S12の処理が、表示器３の表示面に対向する３次元空間内の物体の位置を検出する位置検出部を構成する。
S12における２本の指のZ方向における位置は、上述したように、式（３）により求めることができる。

次に、２本の指が動作判定空間FDA外にあるか否かが判定される（S13）。
２本の指が動作判定空間FDA外にあるときは（S13:YES）、処理は終了する。すなわち、３次元空間内の物体の位置が所定の位置を超えると、ズーム量は、そのときズーム量の値に固定される。

２本の指が動作判定空間FDA外にないときは（S13:NO）、制御部１１は、算出されたZ方向における位置に応じて拡大又は縮小の倍率を決定する（S14）。例えば、図１７と図１８に示す拡大コマンドの場合、図２１のズーム量MLで示すように、動作判定空間FDA のZ方向における位置に応じて、２本の指の距離が表示器３から離れれば離れる程、拡大倍率が大きくなるように、コマンド判定処理プログラム中に記述されている。同様に、図１９と図２０に示す縮小コマンドの場合、図２１のズーム量RLで示すように、動作判定空間FDA のZ方向における位置に応じて、２本の指の距離が表示器３から離れれば離れる程、縮小倍率が大きくなるように、コマンド判定処理プログラム中に記述されている。

制御部１１は、S14で決定された倍率で、オブジェクトの拡大表示あるいは縮小表示コマンドを生成して実行する、拡大及び縮小処理を実行する（S15）。この拡大あるいは縮小処理のとき、制御部１１は、S2で検出された２点の位置から、上述した点C1あるいはC2を算出し、その算出された点C1あるいはC2を中心に、拡大あるいは縮小表示処理を実行する。

さらに、制御部１１は、表示領域３ａ上の釦３Aがタッチされたか否かを判定する（S16）。釦３Aがタッチされると（S16:YES）、処理は、終了する。すなわち、タッチパネル１３に対する所定のタッチ操作があると、ズーム処理の実行は終了される。その結果、表示器３の表示領域３ａ上に表示されているオブジェクトは、そのときのズーム量で固定された状態となる。すなわち、例えば、右手の２本の指が動作検出範囲FDA内にあっても、左手の指で釦３Aがタッチされると、オブジェクトは、そのときのサイズで固定される。

よって、S13からS16の処理が、タッチパネル１３へのタッチ操作によるタッチパネル１３のタッチ位置情報と、タッチパネル１３へのタッチがされた後に、S12の位置検出部により検出された３次元空間内における物体の空間内位置情報とに基づいて、所定の処理を実行させる所定のコマンドを生成するコマンド生成部を構成する。

そして、タッチ位置情報は、互いに近づくあるいは互いに離れる２本の指の２点についての位置情報であり、空間内位置情報は、表示器３の表示面に対して直行する方向における３次元空間内の物体の位置の情報であり、所定の処理は、空間内位置情報に基づいて決定されたズーム量で、表示器３に表示されている画像をズームするズーム処理である。
釦３Aがタッチされなければ（S16:NO）、処理は、S12に戻る。

従って、２本の指が動作判定空間FDA内に存在する限り、Z方向に動くと、Z方向における位置に応じて、オブジェクトの拡大あるいは縮小が連続的に行われる。そして、２本の指が動作判定空間FDA外になると、拡大あるいは縮小の処理は、実行されなくなる。

よって、図１７と図１８に示すような指の動きが検出されたときは、点C1を中心にオブジェクトを拡大表示するコマンドが実行され、図１９と図２０に示すような指の動きが検出されたときは、点C2を中心にオブジェクトを縮小表示するコマンドが実行される。
その結果、表示器３に表示されているオブジェクトは、拡大あるいは縮小表示される。

従来のタッチパネルによるズーム操作は、ズームのための操作は、ズーム量を変化させるために、頻繁なピンチ操作が必要であるが、本実施形態のズームのための操作は、動作判定空間FDA内における指の位置の変更によりズーム量を変化させることができ、従来のような頻繁なピンチ操作が必要ない。
従って、タブレット端末１において、ユーザは、２本の指の自然で直感的な指の動作により、画像等のオブジェクトの拡大と縮小のコマンドを指示することができる。

以上のように、本実施形態によれば、複雑な処理を必要としないで、より直感的な操作によりコマンド、ここでは拡大と縮小のコマンド、の指示が可能な情報端末装置を提供することができる。

（第３の実施形態）
第１と第２の実施形態において指示されるコマンドは、それぞれ、めくり動作コマンド及び拡大・縮小コマンドであるが、第３の実施形態において指示されるコマンドは、タッチパネル１３に片方の手の１つあるいは複数の指でタッチしながら、他方の手又は別の指の３次元空間内での動作させることによる所定の動作のためのコマンドである。
本実施形態のタブレット端末の構成は、第１の実施形態で説明したタブレット端末１と同じであるので、同じ構成要素については同じ符号を用いて説明し、各構成の説明は省略し、異なる構成についてのみ説明する。すなわち、本実施形態のタブレット端末のハードウエア構成及び、タッチパネル１３にタッチ位置検出及び３つの発光部６と受光部７による３次元空間内における物体の位置検出の機能は、第１の実施形態のタブレット端末１と同じであり、コマンド判定機能は、第１の実施形態のコマンド判定機能とは異なっている。

図２３から図２６は、第３の実施形態のコマンド指示の方法を説明するための図である。
図２３は、スクロールのコマンドを指定する方法を説明するための図である。図２３は、タブレット端末１の表示器３に表示される画像の表示例を示す図である。タブレット端末１の表示器３の表示領域３ａには、３つの写真アルバムPA1,PA2,PA3のそれぞれについての、複数の画像のサムネイル画像が表示されている。記憶部１５に、複数の写真アルバムの画像データが記憶されており、制御部１１は、所定の閲覧プログラムによって、３つの写真アルバムの画像を表示部３に表示する。各写真アルバム毎に、それぞれの画像表示領域PA1a,PA2a,PA3aに４つのサムネイル画像が横方向に並んで表示されているが、表示されていないその他のサムネイル画像を見るためには、表示されている４つのサムネイル画像を横方向にスクロールすることによって、ユーザは、他のサムネイル画像を見ることができる。

図２３において、表示領域３ａに表示されている３つの写真アルバム（以下、単にアルバムという）PA1,PA2,PA3の内、一番上に表示されているアルバムPA1のサムネイル画像をスクロールする場合を例に説明する。

ユーザは、片手（ここでは右手RH）で、スクロールを行うアルバムを選択する。その選択は、選択するアルバムの画像表示領域内のいずれかをタッチすることによって行われる。図２３では、右手RHが、一番上のアルバムPA1の画像表示領域PA1ａをタッチしていることが示されている。画像表示領域PA1ａのタッチは、タッチパネル１３により検出される。

そして、右手が画像表示領域PA1ａをタッチしている状態で、ユーザが、動作判定空間FDA内において左手LHを左から右へ移動させる動作を行うと、動作判定空間FDA内における指の動きが検出される。

制御部１１は、検出された指の動きが、所定の動き、例えば、左から右方向への移動あるいは右から左方向への移動、と一致するか否かを判定し、検出された指の動きが所定の動きと一致したときは、選択されているアルバムPA1のサムネイル画像を所定の方向へスクロールして、画像表示領域PA1ａに表示されるサムネイル画像を変更する。図２３は、２点鎖線の矢印A11で示すように、左手LHが左から右方向へ移動しているので、制御部１１は、画像表示領域PA1ａの表示画像の右へのスクロール動作処理を実行する。
よって、ユーザは、タブレット端末１において、スクロール操作を簡単に直感的に行うことができる。

図２４は、色の濃淡を変更するコマンドを指定する方法を説明するための図である。図２４は、タブレット端末１の表示器３に表示される画像の表示例を示す図である。タブレット端末１の表示器３の表示領域３ａには、絵DAが表示されている。ユーザは、描画ソフトウエアを利用して、タブレット端末１の表示領域３ａに絵を描くことができる。図２４に示す絵DAは、家の絵である。

ユーザは、描画ソフトウエアを利用して、絵DAに着色する場合、着色する領域を指定して、着色コマンドを指示すると、制御部１１は、指定された領域を、指定された色で着色することができ、さらに着色した色の濃淡も変更する変更処理を行うことができる。

図２４において、表示領域３ａに表示されている絵DAにおける家の屋根を示す三角形領域DPａの色の濃淡を変更する場合を例に説明する。
ユーザは、片手（ここでは右手RH）で、色の濃淡も変更する領域を指定する。図２４では、右手RHの人差し指が、家の屋根を示す三角形領域DPａをタッチしていることが示されている。三角形領域DPａのタッチは、タッチパネル１３により検出される。

そして、右手RHが三角形領域DPａをタッチしている状態で、ユーザが、動作判定空間FDA内において、例えば、左手LHを上から下方向へ、あるいは下から上方向へ、移動させる動作を行うと、タブレット端末１において、動作判定空間FDA内における指の動きが検出される。

制御部１１は、検出された指の動きが、所定の動き、例えば、色を薄くする指示となる上から下方向への移動、あるいは色を濃くする指示となる下から上方向への移動、と一致するか否かを判定し、検出された指の動きが所定の動きと一致したときは、選択されている三角形領域DPａ内の色の濃淡を変更する処理を行う。図２４は、２点鎖線の矢印A12で示すように、左手LHの人差し指が上から下方向へ移動しているので、制御部１１は、三角形領域DPａ内の色を薄くするように色の濃淡を変更する変更処理を実行する。

よって、ユーザは、タブレット端末１において、色の濃淡の変更処理を簡単に直感的に行うことができる。

図２５は、図形の回転を指定する方法を説明するための図である。図２５は、タブレット端末１の表示器３に表示される画像の表示例を示す。タブレット端末１の表示器３の表示領域３ａには、直方体の立体図形DMが表示されている。立体図形DMは、例えば、ユーザが３DのCADソフトウエアを用いて作成した画像である。

通常、ユーザは、CADソフトウエアを用いて作成して表示された立体図形DMを３次元空間内において回転させて、作成した立体図形DMの周囲から見て、立体図形DMの外観などを確認することができる。例えば、立体図形DM上の１つの点を指定して、所定の操作を行うと、制御部１１は、立体図形DMが回転する処理を実行する。

図２５において、表示領域３ａに表示されている立体図形DMの一点を指定して、立体図形DMを回転する場合を例に説明する。
ユーザは、片手（ここでは右手RH）で、回転の中心となる位置RPを指定する。図２５では、右手RHの人差し指が、立体図形DMの右端の点RPを指定している。点RPのタッチは、タッチパネル１３により検出される。

そして、右手RHが点RPをタッチしている状態で、ユーザが、動作判定空間FDA内において、例えば、左手LHを左から右方向、あるいは右から左方向へ移動させる動作を行うと、動作判定空間FDA内における指の動きが検出される。

制御部１１は、検出された指の動きが、所定の動き、例えば、左から右方向への移動、あるいは右から左方向への移動、と一致するか否かを判定し、検出された指の動きが所定の動きと一致したときは、選択すなわち指定されている位置RPを中心に立体図形DMを所定量だけ回転する回転処理を行う。図２５は、２点鎖線の矢印A13で示すように、左手LHの人差し指が左から右方向へ移動しているので、制御部１１は、立体図形DMを、位置RPを中心に左回りに所定量だけ回転させる回転処理を実行する。

よって、ユーザは、タブレット端末１において、図形の回転処理を簡単に直感的に行うことができる。

図２６は、指定された位置の画像を除いて画面のスクロールを指定する方法を説明するための図である。タブレット端末１の表示器３の表示領域３ａには、各種画面が表示される。各画面の全ての範囲が表示領域３ａ内に表示されていないときは、ユーザは、画面のスクロールを行うことによって、表示されていなかった画面の部分を、表示領域に移動させることができる。

図２６において、表示領域３ａに表示されている画面の一部を右手RHの人差し指F2でタッチした状態で、右手RHの中指F3を動かして、画面スクロールする場合を例に説明する。

ユーザは、片手（ここでは右手RH）の人差し指F2で、スクロールの対象から除きたい画像領域を指定する。図２６では、右手RHの人差し指F2が、表示領域３ａに表示された画面G2の一部領域GG（点線で示す）を指定している。一部領域GGのタッチは、タッチパネル１３により検出される。

そして、右手RHの一つの指（ここでは人差し指F2）が一部領域GGをタッチしている状態で、ユーザが、動作判定空間FDA内において、例えば、右手RHの他の指（ここでは中指F3の指先を、スクロールする方向に移動させる動作を行うと、タブレット端末１において、動作判定空間FDA内における指の動きが検出される。

制御部１１は、動作判定空間FDA内で検出された指（中指F3）の動きを判定し、領域GGを除いて、画面G2を判定された動きの方向へスクロールする処理を行う。図２６は、２点鎖線の矢印A14で示すように、右手RHの中指F3が、図２６の紙面に向かって下から上方向へ移動しているので、制御部１１は、画面G2（領域GGは除く）を、上方向にスクロールする処理を実行する。
よって、ユーザは、タブレット端末１において、スクロール処理を簡単に直感的に行うことができる。

図２７は、本実施形態に係るタッチパネル機能と３次元空間位置検出機能によるコマンド判定処理の流れの例を示すフローチャートである。図２７のコマンド判定処理プログラムは、記憶部１５あるいはROMに記憶され、各種アプリケーションが制御部１１のCPUにより実行されているときに、制御部１１のCPUにより読み出されて実行される。

制御部１１は、タッチパネル１３から出力されるタッチ位置信号を監視することによって、タッチパネル１３へのタッチを検出したか否かを判定する（S21）。タッチパネル１３へのタッチが検出されなければ（S21:NO）、処理は、何もしない。

タッチパネル１３へのタッチが検出されると（S21:YES）、制御部１１は、所定時間内における、タッチパネル１３から離れた動作判定空間FDA内における手若しくは指の動きの軌跡を算出する（S22）。S22の処理が、表示器３の表示面に対向する３次元空間内の物体の位置を検出する位置検出部を構成する。

S22における手又は指の動きの検出は、上述した式（１）から（３）により求めることができる。すなわち、所定時間内、例えば１秒以内、における手又は指の、動作判定空間FDA内における位置の検出が、所定回数実行されることにより、手又は指の動きの軌跡が算出される。
なお、手又は指の動きの検出は、反射光なので、指を含む手を１つの物体として、その位置の軌跡が算出されることになる。

次に、算出された軌跡が、所定の軌跡と一致するか否かが判定される（S23）。所定の軌跡は、例えば、図２３の場合は、矢印A11で示す左手LFの移動の軌跡であり、図２４の場合は、矢印A12で示す左手LHの指の動きの軌跡であり、図２５の場合は、矢印A13で示す左手LHの指の動きの軌跡であり、図２６の場合は、矢印A14で示す右手RHの指F3の動きの軌跡である。

S23では、算出された軌跡が、所定の許容範囲内で所定の軌跡と一致するか否かが判定され、算出された軌跡が、所定の軌跡と一致したときは、制御部１１は、所定のコマンドを生成して、出力する（S24）。出力されるコマンドは、図２３と２６の場合は、スクロールコマンドであり、図２４の場合は、色の濃淡変更コマンドであり、図２５の場合は、図形の回転コマンドである。算出された軌跡が、所定の軌跡と一致しないとき（S23:NO）、処理は、何もしない。

よって、S23とS24の処理が、タッチパネル１３へのタッチ操作によるタッチパネル１３のタッチ位置情報と、タッチパネル１３へのタッチがされている状態で、S22の位置検出部により検出された３次元空間内における物体の空間内位置情報とに基づいて、所定の処理を実行させる所定のコマンドを生成するコマンド生成部を構成する。

そして、空間内位置情報は、３次元空間内における所定の方向に向かって物体が移動する軌跡を示す情報である。そして、所定の処理は、所定の方向に沿って、表示器３に表示されている画像をスクロールする処理、空間内位置情報に基づいて、表示器３に表示されている画像の濃淡を変化させる処理、あるいは所定の方向に沿って、表示器３に表示されている図形を回転させる処理である。

その結果、本実施形態では、タッチパネルがタッチされている状態における、動作判定空間FDA内における物体の位置情報に基づいて、所定の処理を実行させる所定のコマンドを生成することができる。

従って、タブレット端末１において、ユーザは、２本の手、あるいは２本の指の自然で直感的な指の動作により、画像等のオブジェクトのスクロール、回転などのコマンドを指示することができる。

以上のように、上述した本実施形態の情報処理端末によれば、複雑な処理を必要としないで、直感的な操作によりコマンド、ここでは、スクロール、回転などのコマンド、の指示が可能な情報端末装置を提供することができる。

図２８は、第１から第３の実施形態のコマンド生成部を含む制御部の構成を示すブロック図である。コマンド生成部に関係する制御部１１は、指空間位置情報算出部２１、タッチパネル処理部２２、コマンド生成出力部２３及び画像処理部２４を含む。

指空間位置情報算出部２１は、発光部６への発光タイミング毎における、受光部７の受光量の情報に基づいて、上述した式（１）、（２）及び（３）を用いて、指の３次元空間上の位置を算出する処理部であり、図１４のS4、図２２のS12、図２７のS22の処理部に対応する。よって、指空間位置情報算出部２１は、表示器３の表示面に対向する３次元空間内の物体の位置を検出する位置検出部を構成する。

タッチパネル処理部２２は、タッチパネル１３からの出力信号を検出して、タッチパネル１３においてタッチされた位置の情報を検出する処理部であり、図１４と図２２のS1,S2、図２７のS21の処理に対応する。よって、S2の処理及びタッチパネル処理部２２は、表示器３のタッチパネル１３へのタッチがあったことを検出するタッチパネルタッチ検出部を構成する。

コマンド生成出力部２３は、所定の条件に合致する状態が検出されたときに、所定のコマンドの出力を行う処理部であり、図１４のS5,S6、図２２のS13〜S16、図２７のS23,S24の処理に対応する。よって、コマンド生成出力部２３は、タッチパネル１３へのタッチ操作によるタッチパネル１３のタッチ位置情報と、タッチパネル１３へのタッチがされた後に又はタッチパネル１３へのタッチがされている状態で位置検出部により検出された所定空間内における物体の空間内位置情報とに基づいて、所定の処理を実行させる所定のコマンドを生成するコマンド生成部を構成する。
画像処理部２４は、生成されたコマンドに基づいて、ズーム、スクロール、回転、濃淡変化などのための画像処理を行う処理部である。

なお、上述した例では、複数の発光部と、１つの受光部とを利用して、３次元空間の指の位置を検出しているが、デジタルサイネージなどのサイズが比較的大きい装置の場合は、２つのカメラ装置を用いて、画像処理により指の３次元空間内の位置を取得するようにしてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ タブレット端末、２ 本体部、３ 表示器、３ａ 表示領域、４ スイッチ、５ カメラ、６ａ、６ｂ、６ｃ 発光部、７ 受光部、１１ 制御部、１２ 液晶表示装置、１３ タッチパネル、１４ 通信部、１５ 記憶部、２１ 指空間位置情報算出部、２２ タッチパネル処理部、２３ コマンド生成出力部、２４ 画像処理部。

Claims (15)

1. タッチパネル付きの表示器と、
   前記表示器の前記表示面の周囲に配置された第１、第２及び第３の発光部と、
   前記表示面の周囲に配置された受光部と、
   前記表示器の前記タッチパネルへのタッチがあったことを検出するタッチパネルタッチ検出部と、
   前記第１、前記第２及び前記第３の発光部から発光された光の前記物体からのそれぞれの反射光を前記受光部により検出して得られた第１、第２及び第３の光量に基づいて、前記表示器の表示面から離れた、予め設定された３次元の所定空間を含む空間内の物体の位置を検出する位置検出部と、
   前記タッチパネルへのタッチ操作による前記タッチパネルのタッチ位置情報と、前記タッチパネルへのタッチがされた後に又は前記タッチパネルへのタッチがされている状態で前記位置検出部により検出された前記３次元空間内における前記物体の空間内位置情報とに基づいて、所定の処理を実行させる所定のコマンドを生成するコマンド生成部と、
   を有する情報端末装置。
2. タッチパネル付きの表示器と、
   前記表示器の表示面に対向する３次元空間内の物体の位置を検出する位置検出部と、
   前記タッチパネルへのタッチ操作による前記タッチパネルのタッチ位置情報と、前記タッチパネルへのタッチがされた後に又は前記タッチパネルへのタッチがされている状態で前記位置検出部により検出された前記３次元空間内における前記物体の空間内位置情報とに基づいて、所定の処理を実行させる所定のコマンドを生成するコマンド生成部と、
   を有する情報端末装置。
3. 前記タッチ位置情報は、互いに近づく２点についての位置情報であり、
   前記空間内位置情報は、近づいた前記２点の位置から前記物体が移動する軌跡を示す情報であり、
   前記所定の処理は、前記表示器に表示されている画像をめくるように動かす処理である請求項２に記載の情報端末装置。
4. 前記タッチ位置情報は、互いに近づくあるいは互いに離れる２点についての位置情報であり、
   前記空間内位置情報は、前記表示器の表示面に対して直行する方向における前記３次元空間内の前記物体の位置の情報であり、
   前記所定の処理は、前記空間内位置情報に基づいて決定されたズーム量で、前記表示器に表示されている画像をズームするズーム処理である請求項２に記載の情報端末装置。
5. 前記３次元空間内の前記物体の位置が所定の位置を超えると、前記ズーム量は、第１の値に固定される請求項４に記載の情報端末装置。
6. 前記タッチパネルに対する所定のタッチ操作があると、前記ズーム処理の実行は終了される請求項４に記載の情報端末装置。
7. 前記空間内位置情報は、前記３次元空間内における所定の方向に向かって前記物体が移動する軌跡を示す情報であり、
   前記所定の処理は、前記所定の方向に沿って、前記表示器に表示されている画像をスクロールする処理である請求項２に記載の情報端末装置。
8. 前記空間内位置情報は、前記３次元空間内における所定の方向に向かって前記物体が移動する軌跡を示す情報であり、
   前記所定の処理は、前記空間内位置情報に基づいて、前記表示器に表示されている画像の濃淡を変化させる処理である請求項２に記載の情報端末装置。
9. 前記空間内位置情報は、前記３次元空間内における所定の方向に向かって前記物体が移動する軌跡を示す情報であり、
   前記所定の処理は、前記所定の方向に沿って、前記表示器に表示されている図形を回転させる処理である請求項２に記載の情報端末装置。
10. 前記表示器の前記表示面の周囲に配置された第１、第２及び第３の発光部と、
    前記表示面の周囲に配置された受光部と、
    を有し、
    前記位置検出部は、前記第１、前記第２及び前記第３の発光部から発光された光の前記物体からのそれぞれの反射光を前記受光部により検出して得られた第１、第２及び第３の光量に基づいて、前記表示面に平行な２次元平面上の第１の位置と、前記表示面に直交する方向における第２の位置とを算出して検出する請求項２から９のいずれか１つに記載の情報端末装置。
11. 前記位置検出部は、前記第１と前記第２の光量の差と和の値を用いて算出した前記２次元平面の第１の方向における位置と、前記第２と前記第３の光量の差と和の値を用いて算出した前記２次元平面の前記第１の方向とは異なる第２の方向における位置とから、前記第１の位置を決定する請求項１０に記載の情報端末装置。
12. 前記位置検出部は、前記第１、前記第２及び前記第３の光量のうち少なくとも２つの光量の和の値を用いて前記表示面に直交する方向における前記第２の位置を決定する請求項１０又は１１に記載の情報端末装置。
13. 前記第１、前記第２及び前記第３の発光部は、互いに異なるタイミングで発光し、前記受光部は、前記異なるタイミングに応じて、前記第１、前記第２及び前記第３の発光部のそれぞれから発光された光の前記反射光を検出する請求項１０から１２のいずれか１つに記載の情報端末装置。
14. 前記第１、前記第２及び前記第３の発光部は、可視光の波長範囲外の波長の光を出射する請求項１０から１３のいずれ１つに記載の情報端末装置。
15. 前記可視光の波長範囲外の波長の光は、近赤外線の光である請求項１４に記載の情報端末装置。

Images