JP2015032100A - 情報端末装置 - Google Patents

Abstract

【課題】タッチ操作によるオブジェクトの決定前における、指などの物体の動きを取得し、取得した動き情報を送信する情報端末装置を提供する。
【解決手段】情報端末装置１は、タッチパネル付きの表示器３と、表示器３の表示面から離れた、予め設定された３次元の動作判定空間FDAを含む空間内の指の位置を検出する位置検出部と、タッチパネルへのタッチがされる前の、位置検出部により検出された動作判定空間FDA内における指の位置情報を含む履歴情報を記憶する履歴情報記憶部と、記憶した履歴情報を送信する位置情報送信部とを有する。
【選択図】図１

Description

本発明の実施形態は、情報端末装置に関する。

近年、スマートフォン、タブレット端末、デジタルサイネージなどの情報端末装置が広く普及している。これらの情報端末装置は、タッチパネル付きの表示器を有する。
ユーザは、タッチパネルが搭載された表示器上をタッチすることによって、商品等の表示されたオブジェクトを選択することができる。例えば、オブジェクトは、情報検索であれば、検索結果表示である。オブジェクトが選択されると、選択されたオブジェクトの情報がサーバなどに通知され、サーバは、選択されたオブジェクトの情報に応じて、関連するさらなる情報を生成して情報端末装置へ送信し、その情報が情報端末装置の表示器上に表示される。情報端末装置は、個人だけでなく、企業などにおいても、情報の検索等に、広く利用されている。

例えば、スマートフォンのユーザは、商品を販売する通販サイトにアクセスして、表示器の画面上に表示された商品群の中から商品を選択して商品を購入することができる。その場合、ユーザは、スマートフォンの画面上に表示される商品群の中から希望する商品の画像をタッチすることにより、商品の選択を行う。また、そのような通販サイトのサーバは、ユーザの選択した商品情報を分析し、ユーザの好みを分析して、ユーザのサイト画面上にユーザの好みにあった商品情報を表示する等の広告を行っている。

すなわち、タッチパネル付きの情報端末装置においては、タッチパネルへのタッチという選択動作に応じた処理が行われ、タッチにより選択されたオブジェクトの情報がサーバへ送信される。
しかし、従来のスマートフォン等の情報端末装置では、ユーザのオブジェクト選択までのプロセスの情報を取得することはできない。例えば、ユーザが、情報端末装置の表示器に表示されたオブジェクト群の中から１つあるいは２以上のオブジェクトを選択するまでに、どのようなオブジェクトに興味を持っていたのかという情報は、従来の情報端末装置あるいはサーバでは取得することができない。すなわち、ユーザが、最終的に選択されたオブジェクト以外のどのようなオブジェクトが、そのユーザにとって選択候補であったのか、等の情報を、従来の情報端末装置では、取得することができない。

特開平０４−１２８８７７号公報 特開２００６−３１４９９号公報 国際公開第２０１０／０６４３８８号

そこで、実施形態は、タッチ操作によるオブジェクトの決定前における、指などの物体の動きを取得し、取得した動き情報を送信する情報端末装置を提供することを目的とする。

実施形態の情報端末装置は、タッチパネル付きの表示器と、前記表示器の前記表示面の周囲に配置された第１、第２及び第３の発光部と、前記表示面の周囲に配置された受光部と、前記表示器の前記タッチパネルへのタッチがあったことを検出するタッチパネルタッチ検出部と、前記第１、前記第２及び前記第３の発光部から発光された光の前記物体からのそれぞれの反射光を前記受光部により検出して得られた第１、第２及び第３の光量に基づいて、前記表示器の表示面から離れた、予め設定された３次元の所定空間を含む空間内の物体の位置を検出する位置検出部と、前記物体が前記所定空間内に連続して存在する経過時間を検出する経過時間検出部と、前記所定空間内に存在する前記物体の前記位置情報に基づいて前記物体の速度を検出する速度検出部と、前記タッチパネルへのタッチがされる前までの前記物体の動きに対応する複数の位置についての位置情報を含む履歴情報を、記憶装置（ＲＡＭも含む）に記憶する記憶する履歴情報記憶部と、前記タッチパネルへのタッチがされる前の、前記位置検出部により検出された前記所定空間内における前記物体の前記位置情報、前記経過時間及び前記速度の情報を、前記履歴情報として、送信する位置情報送信部と、を有する。

実施形態に係わる情報端末装置であるタブレット端末の概観図である。 実施形態に係わるタブレット端末１の構成を示すブロック図である。 実施形態に係わる、表示領域３ａから離れた上方の指の動きを検出しイベントの発生を判定する領域である動作判定空間FDAを説明するための図である。 実施形態に係わる、各発光部６の発光タイミングと、受光部７の受光タイミングを説明するための図である。 実施形態に係わる、タブレット端末１の表示領域３ａの上方からみた、発光部６から出射した光が受光部７において受光される光路を説明するための図である。 実施形態に係わる、X方向における指Fの位置と、比率Rxとの関係を示すグラフである。 実施形態に係わる、タブレット端末１の表示領域３ａの上方からみた、発光部６から出射した光が受光部７において受光される光路を説明するための図である。 実施形態に係わる、Y方向における指Fの位置と、比率Ryとの関係を示すグラフである。 実施形態に係わる、タブレット端末１の左側からみた、発光部６から出射した光が受光部７において受光される光路を説明するための図である。 実施形態に係わる、タブレット端末１の上側からみた、発光部６から出射した光が受光部７において受光される光路を説明するための図である。 実施形態に係わる、Z方向における指Fの位置と、３つの受光量の和SLとの関係を示すグラフである。 実施形態に係わる指動作情報送信処理の流れの例を示すフローチャートである。 実施形態に係わる、位置情報などが記録されるテーブルTBLの例を示す図である。 図１２の指動作情報送信処理の構成を示すブロック図である。

以下、図面を参照して実施形態を説明する。
（構成）
図１は、実施形態に係わる情報端末装置であるタブレット端末の概観図である。
なお、ここでは、情報端末装置として、タブレット端末を例に挙げて説明するが、情報端末装置は、タッチパネルを有するスマートフォン、デジタルサイネージなどであってもよい。

タブレット端末１は、薄い板形状の本体部２を有し、本体部２の上面にタッチパネル付きの表示器３の矩形の表示領域３ａが配置され、矩形の表示領域３ａに画像が表示されるように構成されている。タブレット端末１の上面には、スイッチ４とカメラ５も配置されて設けられている。ユーザは、タブレット端末１をインターネットに接続して各種サイトを閲覧したり、各種アプリケーションソフトウエアを実行させたりすることができる。表示領域３ａ上には、各種サイト画面が表示されたり、各種アプリケーションソフトウエアにより生成された各種画面が表示されたりする。

スイッチ４は、タブレット端末１のオン、オフ、所定の画面へのジャンプなどを、指示するためにユーザにより操作される操作部である。
カメラ５は、表示領域３ａの表示面に対向する方向を撮像するためのCCDなどの撮像素子を含む撮像装置である。

タブレット端末１の表示領域３ａの周囲には、３つの発光部６ａ、６ｂ、６ｃと、１つの受光部７が配置されている。
具体的には、３つの発光部６ａ、６ｂ、６ｃ（以下、３つの発光部を纏めて指すとき、あるいは任意の１つの発光部を指すときは、発光部６ともいう）は、それぞれ矩形の表示領域３ａの四隅のうちの３つの角部の近傍に設けられ、点線で示すように、表示領域３ａの表示面に直交する方向に所定の範囲に所定の波長の光を放射するように設けられている。

また、受光部７は、３つの発光部６が設けられていない、表示領域３ａの四隅の１つの角部の近傍に設けられ、点線に示すように所定の範囲内の光を受光するように設けられている。すなわち、３つの発光部６ａ、６ｂ、６ｃは、表示器３の表示面の周囲に配置され、受光部も、その表示面の周囲に配置されている。

各発光部６は、所定の波長の光、ここでは近赤外線の光、を出射する発光ダイオード（以下、LEDという）と、レンズなどの光学系とを有し、受光部７は、各発光部６が出射した、所定の波長の光を受光するフォトダイオード（PD）と、レンズなどの光学系とを有する。ここでは、可視光線の赤色の光よりも波長の長い近赤外線を利用しているので、ユーザには発光部６が発光していることは見えない。すなわち、各発光部６は、可視光の波長範囲外の波長の光として、近赤外線の光を出射する。

発光部６からの出射光の出射方向は、表示領域３ａの表面に直交する方向における所定の範囲であり、各発光部６からの出射光が受光部７に直接入力しないように、受光部７の向きは設定されている。

すなわち、各発光部６は、出射側に設けられた光学系のレンズの向きなどを調整することにより、表示領域３ａの上側の後述する動作判定空間FDAを含む空間に向けて光を出射するような出射範囲を有するように設けられている。同様に、受光部７も、入射側に設けられた光学系のレンズの向きなどを調整することにより、表示領域３ａの上側の後述する動作判定空間FDAを含む空間からの光を入射するような入射範囲を有するように設けられている。

図２は、タブレット端末１の構成を示すブロック図である。図２に示すように、タブレット端末１は、制御部１１、液晶表示装置（以下、LCDという）１２と、タッチパネル１３と、無線通信のための通信部１４と、記憶部１５と、スイッチ４と、カメラ５と、３つの発光部６と、受光部７とを有して構成されている。LCD１２、タッチパネル１３、通信部１４、記憶部１５、スイッチ４、カメラ５、３つの発光部６及び受光部７は、制御部１１と接続されている。

制御部１１は、中央処理装置（以下、CPUという）、ROM、RAM、バス、書き換え可能な不揮発性メモリ（例えばフラッシュメモリ）、各種インタフェース部を含む。ROM及び記憶部１５には、各種プログラムが格納され、ユーザにより指定されたプログラムは、CPUにより読み出されて実行される。

LCD１２とタッチパネル１３は、表示器３を構成する。すなわち、表示器３は、タッチパネル付きの表示器である。制御部１１は、タッチパネル１３からのタッチ位置信号を入力し、入力されたタッチ位置信号に基づく所定の処理を実行する。制御部１１は、接続されたLCD１２に対して、画面データを生成して出力することにより、表示領域３ａの画面上にグラフィカルユーザインターフェース（GUI）を提供する。

通信部１４は、インターネット、LANなどのネットワークと無線通信するための回路であり、制御部１１の制御下で、ネットワークとの通信を行う。
記憶部１５は、ハードディスクドライブ装置（HDD）、ソリッドステートドライブ装置（SSD）等の大容量の記憶装置である。各種プログラムだけでなく、各種データが記憶される。
スイッチ４は、ユーザにより操作され、その操作信号を制御部１１へ出力する。
カメラ５は、制御部１１の制御下で動作し、撮像信号を制御部１１へ出力する。

各発光部６は、後述するように、制御部１１により、所定の順番で駆動されて、所定の光（ここでは、近赤外線の光）を出射する。
受光部７は、所定の光（ここでは、各発光部６が出射した近赤外線の光）を受光し、受光量に応じた検出信号を制御部１１へ出力する。

制御部１１は、３つの発光部６の発光タイミングと、受光部７の受光タイミングを制御して受光部７の検出信号を用いて、後述する所定の演算及び判定処理を実行し、所定の条件に合致すると、通信部１４を介して所定のデータを送信する。

本実施形態では、表示領域３ａ上の３次元空間内の指の動きを検出する空間が設定され、その空間内におけるユーザの指の動きが検出される。以下の説明では、指の位置情報を取得しているが、タッチパネル１３はペン先などでも操作可能であるので、位置情報は、指以外のペン先などの物体の位置情報でもよい。

（表示領域上の３次元空間内の指の位置検出）
図３は、表示領域３ａから離れた上方の指の動きを検出しイベントの発生を判定する領域である動作判定空間FDAを説明するための図である。

図３に示すように、本実施形態の動作判定空間FDAは、表示領域３ａから離れた上方に設定された直方体空間である。ここでは、動作判定空間FDAにおいて、発光部６ａと６ｂとを結ぶ線方向をX方向とし、発光部６ｂと６ｃとを結ぶ線方向をY方向とし、表示領域３ａの表面に直交する方向をZ方向とするとき、動作判定空間FDAは、表示領域３ａからZ方向において所定の距離Znだけ離れた位置から、表示領域３ａの矩形枠に沿って、Z方向に伸びた直方体空間である。よって、動作判定空間FDAは、X方向にLxの長さを有し、Y方向にLyの長さを有し、Z方向にLzの長さを有する直方体である。Lzは、例えば１０ｃｍから２０ｃｍの範囲の長さである。

動作判定空間FDAは、表示領域３ａの表面から所定の距離Znだけ離れた位置に規定される。これは、受光部７が指Fからの反射光を受光できないZ方向における高さ範囲があるためである。よって、動作判定空間FDAは、その受光できない範囲を除いて設定される。ここでは、図３に示すように、動作判定空間FDAのX方向の左方端、Y方向の下方端、及びZ方向の下方端が、動作判定空間FDAの位置の基準点P0としている。

図４は、各発光部６の発光タイミングと、受光部７の受光タイミングを説明するための図である。図４において、縦軸は、発光量又は受光量を示し、横軸は、時間軸である。
制御部１１は、３つの発光部６ａ、６ｂ、６ｃを所定の順番で所定の光量ELで発光させる。図４に示すように、制御部１１は、３つの発光部６のうちの、最初に、発光部６ａを所定時間T1だけ発光させ、発光部６ａの発光後、所定時間T2をおいて、発光部６ｂを所定時間T1だけ発光させる。そして、発光部６ｂの発光後、制御部１１は、所定時間T2をおいて、発光部６ｃを所定時間T1だけ発光させる。その後は、発光部６ｃの発光後、制御部１１は、所定時間T2をおいて、発光部６ａを所定時間T1だけ発光させ、続いて、第２の発光部６ｂを発光させるように、以下、第１から第３の発光部６ａ、６ｂ、６ｃを、順番に発光させることを、繰り返す。

すなわち、３つの発光部６ａ、６ｂ、６ｃは、互いに異なるタイミングで発光し、受光部７は、その異なるタイミングに応じて、３つの発光部６ａ、６ｂ、６ｃのそれぞれから発光された光の反射光を検出する。

制御部１１は、以上のように、３つの発光部６を所定の発光タイミングで発光させると共に、各発光部６の発光時間である所定時間T1中の所定のタイミングで受光部７の検出信号を取得する。

図４では、受光量ALaは、発光部６ａが発光したときに受光部７が検出した光量であり、受光量ALbは、発光部６ｂが発光したときに受光部７が検出した光量であり、受光量ALcは、発光部６ｃが発光したときに受光部７が検出した光量であることを示している。制御部１１は、受光部７の検出信号を入力し、各発光部６に対応する受光量の情報を得ることができる。

図５は、タブレット端末１の表示領域３ａの上方からみた、発光部６から出射した光が受光部７において受光される光路を説明するための図である。図５は、X方向における指Fの位置の推定を説明するための図である。

図５において、位置P1は、タブレット端末１の表示領域３ａの上方からみたときに、X方向においてはやや左寄りで、Y方向においてはやや下寄りの位置である。位置P2は、X方向においてはやや左寄りで、Y方向においてはやや上寄りの位置である。但し、位置P1とP2は、X方向における位置X1は、同じである。

指Fが表示器３にタッチしないで（すなわちタッチパネル１３にタッチしないで）、表示領域３ａから離れた上方の位置P1にあるときに、発光部６ａから出射した光のうち、指Fに当たった光が反射して受光部７に入射する光は、図５に示す光路L11とL13を通り、発光部６ｂから出射した光のうち、指Fに当たった光が反射して受光部７に入射する光は、図５に示す光路L12とL13を通る。

指Fが表示器３にタッチしないで（すなわちタッチパネル１３にタッチしないで）、表示領域３ａから離れた上方の位置P2にあるときに、発光部６ａから出射した光のうち、指Fに当たった光が反射して受光部７に入射する光は、図５に示す光路L14とL16を通り、発光部６ｂから出射した光のうち、指Fに当たった光が反射して受光部７に入射する光は、図５に示す光路L15とL16を通る。

受光部７は、図４に示す発光タイミングに応じた光を受光し、検出信号を制御部１１へ出力するので、制御部１１は、受光部７から、各発光部６に対応する受光量信号を取得する。指Fの３次元空間内の位置は、次のようにして算出される。

発光部６ａからの光の反射光の受光量ALaと、発光部６ｂからの光の反射光の受光量ALbとから、次の式（１）で示される比率Rxを算出する。
Rx＝（（LAa−LAb）／（LAa＋LAb）） ・・・（１）
比率Rxは、光量ALaが光量ALbに比べて大きくなるにつれて、大きくなり、光量ALaが光量ALbに比べて小さくなるにつれて、小さくなる。

また、X方向における位置が位置P1とP2に示すように、同じ位置であるときは、比率Rxは同じになる。
図６は、X方向における指Fの位置と、比率Rxとの関係を示すグラフである。X方向において、指Fが発光部６ａの近くあると、比率Rxは大きくなり、指Fが発光部６ｂの近くあると、比率Rxは小さくなる。表示領域３ａのX方向の中央位置Xmでは、比率Rxは０（ゼロ）となる。
よって、X方向における指Fの位置は、発光部６ａと６ｂから出射した光の反射光の受光量に基づいて、式（１）により、推定することができる。

図７は、タブレット端末１の表示領域３ａの上方からみた、発光部６から出射した光が受光部７において受光される光路を説明するための図である。図７は、Y方向における指Fの位置の推定を説明するための図である。

図７において、位置P1は、タブレット端末１の表示領域３ａの上方からみたときに、X方向においてはやや左寄りで、Y方向においてはやや下寄りの位置である。位置P3は、X方向においてはやや右寄りで、Y方向においてはやや下寄りの位置である。但し、位置P1とP3は、Y方向における位置Y1は、同じである。

指Fが表示器３にタッチしないで（すなわちタッチパネル１３にタッチしないで）、表示領域３ａから離れた上方の位置P1にあるときに、発光部６ｂから出射した光のうち、指Fに当たった光が反射して受光部７に入射する光は、図５と同様に、光路L12とL13を通り、発光部６ｃから出射した光のうち、指Fに当たった光が反射して受光部７に入射する光は、図７に示す光路L17とL13を通る。

指Fが表示器３にタッチしないで（すなわちタッチパネル１３にタッチしないで）、表示領域３ａから離れた上方の位置P3にあるときに、発光部６ｂから出射した光のうち、指Fに当たった光が反射して受光部７に入射する光は、図７に示す光路L18とL19を通り、発光部６ｃから出射した光のうち、指Fに当たった光が反射して受光部７に入射する光は、図７に示す光路L20とL19を通る。

今、発光部６ｂからの光の反射光の受光量ALbと、発光部６ｃからの光の反射光の受光量ALcとから、次の式（２）で示される比率Ryを算出する。
Ry＝（（LAb−LAc）／（LAb＋LAc）） ・・・（２）
比率Ryは、光量ALbが光量ALcに比べて大きくなるにつれて、大きくなり、光量ALbが光量ALcに比べて小さくなるにつれて、小さくなる。

また、Y方向における位置が位置P1とP3に示すように、同じ位置であるときは、比率Ryは同じになる。
図８は、Y方向における指Fの位置と、比率Ryとの関係を示すグラフである。Y方向において、指Fが発光部６ｂの近くあると、比率Ryは大きくなり、指Fが発光部６ｃの近くあると、比率Ryは小さくなる。表示領域３ａのY方向の中央位置Ymでは、比率Ryは０（ゼロ）となる。
よって、Y方向における指Fの位置は、発光部６ｂと６ｃから出射した光の反射光の受光量に基づいて、式（２）により、推定することができる。

次に、Z方向における指Fの位置の推定について説明する。
図９は、タブレット端末１の左側からみた、発光部６から出射した光が受光部７において受光される光路を説明するための図である。図１０は、タブレット端末１の上側からみた、発光部６から出射した光が受光部７において受光される光路を説明するための図である。図９と図１０においてタブレット端末１の上面は、表示領域３ａの表面である。

各発光部６の発光タイミングにおいて所定の波長の光が出射され、表示領域３ａ上に物体、ここでは指Fがあると、その指Fで反射された反射光が、受光部７に入射する。受光部７に入射する反射光の光量は、物体までの距離の二乗に反比例する。

なお、図９と図１０では、表示領域３ａに最も近い、指Fの皮膚の表面上の位置を、指Ｆの位置として説明する。図９と図１０において、指Fの位置Pnは、動作判定空間FDAの下面からの距離Z1だけ離れた位置であり、指Fの位置Pfは、動作判定空間FDAの下面からの距離Z2だけ離れた位置であり、距離Z2は、距離Z1より長い。

指Fが位置Pnにある場合、各発光部６ａ、６ｂからの出射光は、図９では光路L31とL32を通って、図１０では光路L41とL42を通って、受光部７に入射する。指Fが位置Pfにある場合、各発光部６ａ、６ｂからの出射光は、図９では光路L33とL34を通って、図１０では光路L43とL44を通って、受光部７に入射する。また、指Fが位置Pnにある場合、発光部６ｃからの出射光は、図９では光路L32を通って、図１０では光路L41とL42を通って、受光部７に入射する。また、指Fが位置Pfにある場合、発光部６ｃからの出射光は、図９では光路L34を通って、図１０では光路L43とL44を通って、受光部７に入射する。

指Fが位置Pnにある場合と、位置Pnよりも表示領域３ａから遠い位置Pfに指Fがある場合とを比較すると、発光部６からの出射光が、光路L31,L32を通って受光部７に入射するときの光量AL1は、光路L33,L34を通って受光部７に入射するときの光量AL2よりも大きい。

そこで、受光部７が受光する、３つの発光部６からの光の受光量の和SLを、次の式（３）により求める。

SL＝（ALa＋ALb＋ALc） ・・・（３）
そして、３つの発光部６からの光が指Fで反射して受光部７に入射した各光の光量は、指Fの表示領域３ａ上の高さ方向（すなわち、Z方向）の距離の二乗に反比例する。

図１１は、Z方向における指Fの位置と、３つの受光量の和SLとの関係を示すグラフである。Z方向において、指Fが表示領域３ａの近くあると、３つの受光量の和SLは大きくなり、指Fが表示領域３ａから離れた位置にあると、３つの受光量の和SLは小さくなる。

よって、Z方向における指Fの位置は、発光部６ｂ、６ｂ及び６ｃから出射した光の反射光の受光量に基づいて、上記の式（３）により、推定することができる。
なお、上述した例では、３つの発光部６の発光量が同一の値ELであるが、３つの発光部６の発光量を異ならせてもよい。その場合は、上述した式も、発光量の差を考慮して、補正された受光量が用いられて、各比率及び受光量の和が算出される。

以上のように、３つの発光部６から発光された光の物体からのそれぞれの反射光を受光部７により検出して得られた３つの光量に基づいて、表示面に平行な２次元平面上の位置と、表示面に直交する方向における位置とを算出することにより、物体の位置が検出される。特に、表示面に平行な２次元平面上の位置は、２つの光量の差と和の値を用いて算出した２次元平面の第１の方向における位置と、２つの光量の差と和の値を用いて算出した２次元平面の第１の方向とは異なる第２の方向における位置とから決定される。

そして、表示面に直交する方向における位置は、３つの光量の和の値を用いて決定される。なお、Z方向の位置は、３つの光量を用いなくても、２つの光量から決定してもよい。

従って、３つの受光量ALa、ALb、ALcが得られる度に、上記の式（１）、（２）、（３）を用いて、指Fの３次元空間内の位置を算出することができる。図４に示すように、タイミングｔ１、ｔ２、・・・毎に、３次元空間内の指Fの位置情報が算出される。

（作用）
次に、上述した情報端末装置であるタブレット端末１の動作について説明する。

ユーザは、タブレット端末１を利用して、インターネットなどのネットワークに接続して、各種情報検索やネットショッピングをしたり、記憶部１５に記憶された、文書作成、表計算などのためのアプリケーションソフトウエアの実行して文書作成などをしたりすることができる。その場合、ユーザは、表示領域３ａに表示されたグラフィカルユーザインターフェース（GUI）を利用して、これらの処理を指示することができる。

例えば、ユーザは、インターネットを利用した情報検索を行うときは、いわゆるウエブブラウザを実行させる。検索キーワードの入力は、ソフトウエアキーボード等を利用して行い、検索実行指示は、そのブラウザ上の所定のアイコンをタッチすることにより行う。GUI上に表示されたオブジェクト群の中から所望のオブジェクトを選択するときは、その所望のオブジェクトをタッチすることにより行われる。

ブラウザの実行指示、キーワードの入力、検索実行の指示、オブジェクトの選択、等々は、ユーザの指などの、表示領域３ａの画面上へのタッチ操作により行われる。しかし、タッチ操作前のユーザの指の動きなどは、従来の情報端末装置では、取得されていなかっったが、本実施形態の情報端末装置であるタブレット端末１は、タッチ操作前のユーザの指の動き情報を検出して、例えば、サーバへ送信する。

以下に説明する指動作情報送信処理は、そのようなタッチ操作前における、動作判定空間FDA内における指等の動きを検出して、所定の処理を行い、タッチ操作があると所定の情報を送信する処理である。

すなわち、本実施形態のタブレット端末１は、上述したタッチ操作でない、タッチ操作前の指などの動きを検出し、検出した位置などの情報に基づいて所定の処理を実行する。よって、以下に説明する処理は、ユーザが情報検索等を行っているときに、バックグラウンドで実行される。

図１２は、指動作情報送信処理の流れの例を示すフローチャートである。図１２の指動作情報送信処理プログラムは、制御部１１内のROM、又は記憶部１５に記憶され、制御部１１のCPUにより読み出されて実行される。
なお、図１２の処理は、ユーザによりその実行の指定がされている場合にのみ、実行されるようにしてもよい。

制御部１１は、動作判定空間FDAを含む空間内における指Fの位置情報（ｘｙｚ）である指空間位置情報を、取得する（S1）。制御部１１は、図４に示すように、３つの発光部６の発光と受光部７の受光とを制御し、受光した各発行部６からの光の受光量から、上述した式（１）、（２）及び（３）を用いて、指Fの位置を算出することにより、指Fの位置情報を得る。S1では、制御部１１が検出する指の３次元空間の位置は、動作判定空間FDAを含む空間内の位置である。

制御部１１は、受光部７の出力信号から、各発光部６に対応する受光量ALa,ALb,ALcの値を算出し、得られた各値から、上述した式（１）、（２）及び（３）を用いて、指空間位置情報を算出して求める。なお、S1の処理は、所定の周期で実行される。
S1の後、制御部１１は、表示領域３ａへの指のタッチがあるか否かを判定する（S2）。S2の判定は、タッチパネル１３の出力を監視することによって行われる。

指のタッチがなければ（S2:NO）、制御部１１は、取得した指空間位置情報を、テーブルTBLに記録する（S3）。テーブルTBLは、制御部１１内のRAM、あるいは記憶部１５に記憶される。
S3の後、制御部１１は、所定の演算と、所定の判定と、演算結果と判定結果の記録を実行する（S4）。

図１３は、位置情報などが記録されるテーブルTBLの例を示す図である。図１３のテーブルTBLは、記録項目として、指Fの位置情報（ｘｙｚ）と、指Fの移動速度、指Fが動作判定空間FDA内に存在するか否かを示すエリア内存在の有無、指Fの動作判定空間FDA内に継続して存在している経過時間、及び発生イベントを有する。

制御部１１は、位置情報が取得され、指Fによるタッチパネル１３へのタッチがなければ、取得した位置情報をテーブルTBLに記録し（S3）、かつその位置情報から、指Fが動作判定空間FDA内に存在するか否かの判定、指Fの移動速度の算出、指Fの動作判定空間FDA内に継続して存在している経過時間の算出を行う（S4）。S3では、制御部１１は、テーブルTBLの位置情報の欄に、指空間位置情報を書き込む。S4では、制御部１１は、テーブルTBLのエリア内存在、移動速度及び経過時間の３つの欄に、それぞれ指Fが動作判定空間FDA内に存在するか否かの判定結果、指Fの移動速度、指Fの動作判定空間FDA内に継続して存在している経過時間の情報を書き込む。

なお、テーブルTBLは、FIFOメモリである。後述するように、テーブルTBLには、位置情報などのデータが記録されていくが、最新のデータのみが記憶され、所定の容量を超えると、古いデータから消去されていく。
最初に位置情報を取得したときには、指の移動速度及び経過時間は算出できないため、指Fが動作判定空間FDA内に存在するか否かの処理のみが実行され、処理は、S5へ進む。

S4の後に、制御部１１は、所定のイベントの発生の有無を判定する（S5）。所定のイベントの発生の判定条件は、予め決められており、指動作情報送信処理プログラム中に記述されている。

例えば、指Fが動作判定空間FDA内に存在し、動作判定空間FDA内に所定の時間、例えば２秒、以上存在しており、かつ移動速度が所定の速度以下になったときという状態になったときに、ある所定のイベントE1が発生したと判定される。

S5において、所定のイベントが発生していないと判定されると（S5:NO）、処理は、S1に戻り、タッチパネル１３へのタッチがない限り、所定のイベントが発生するまで繰り返される。

よって、制御部１１は、指空間位置情報の記録（S3）と、所定の演算と判定と、その演算結果と判定結果の記録（S4）と、所定のイベントの発生の有無の判定（S5）とを、所定の周期で行う。

所定のイベントの発生があったときは（S5:YES）、制御部１１は、発生したイベントの情報をテーブルTBLに記録する（S6）。
S6では、制御部１１は、テーブルTBLの発生イベントの欄に、イベントの識別情報を書き込む。複数の所定のイベントが予め決められている場合、各イベントに対応する識別情報がテーブルTBLに書き込まれる。

そして、制御部１１は、そのテーブルTBLに書き込まれた発生イベントの識別情報に応じて、予め決められた処理を実行する（S7）。
例えば、上述した所定のイベントE1が発生した場合のイベント処理EP1として、通信部１４を介して、現在表示領域３ａに表示する画面を取得しているサーバに、テーブルTBLに記録された指Fの位置情報の履歴情報を送信するという処理が予め設定されていれば、そのイベント処理EP1が実行される。

ネットショッピングの場合、ユーザが、ネットショッピングの商品群が表示されているタブレット端末１の表示領域３ａの画面上で、指Fを所定時間以上ほとんど動かさないで、ある商品の近傍に位置している場合、ユーザはその商品に興味を持っていると推測することができる。

よって、イベントE1として、検出された指の位置が、動作判定空間FDA内に存在し（すなわち、テーブルTBL中のエリア内存在の欄に、存在することを示すフラグ、例えば「１」が記録されている）、動作判定空間FDA内で指の移動速度が所定の速度以下の状態が所定の時間以上続いた場合、イベントE1が発生したと判定される（S5）。そして、その場合は、制御部１１は、イベントE1に対応するイベント処理EP1として、テーブルTBLに記憶された全てのデータをサーバへ送信する処理を実行する。

なお、イベント処理として、テーブルTBLに記憶された全てのデータを送信するのではなく、予め決められたデータのみを送信するようにしてもよい。例えば、指Fの位置情報（ｘｙｚ）と、動作判定空間FDA内に継続して存在している経過時間のみ送信するようにしてもよい。

また、イベント処理としては、テーブルTBLに記憶された全てのデータを、サーバへ送信しているが、サーバに送信しないで、タブレット端末１内での所定の処理に利用するようにしてもよい。

そして、制御部１１は、表示処理を実行する（S8）。表示処理は、所定のイベント処理に応じた処理である。例えば、ネットショッピングのサイトのサーバがイベント処理により受信したデータに基づき、表示部３ａに表示する画像データを生成して、タブレット端末１１へ送信する。タブレット端末１１は、受信した画像データを表示部３ａに表示する処理を実行する。このような表示処理が、S8で実行される。

従って、指Fによるタッチパネル１３へのタッチがない場合、所定のイベントが発生する度に、イベント処理が実行されて、イベント処理により指Fの３次元位置データがサーバに送られる。よって、サーバは、ユーザがタッチパネル１３にタッチしていない、すなわちオブジェクトの選択をしていないときの、ユーザの興味を持ったオブジェクトの履歴情報を取得して、広告などの補助情報をそのタブレット端末１へ送信することができる。

また、S2でタッチパネル１３への指のタッチがあったとき（S2:YES）、制御部１１は、データを生成して（S9）、サーバへ送信する（S10）。サーバは、受信したデータに応じた画像データの生成処理等を行い、生成した画像データをタブレット端末１へ送信する。タブレット端末１の制御部１１は、受信した画像データに応じた表示処理を実行する（S11）。

S9とS10では、タッチパネル１３への指のタッチがあったときは、ユーザがいずれかのオブジェクトを選択したことになるので、制御部１１は、選択されたオブジェクトの情報をサーバへ送信すると共に、テーブルTBLに記憶されたデータをサーバへ送信する。

すなわち、S9では、選択されたオブジェクトの情報と、テーブルTBLに記憶されたデータの中から送信すべきデータ（全てあるいは一部）とを生成し、S10では、S9で生成したデータの送信が行われる。

S11の表示処理では、例えば、ネットショッピングのサイトのサーバが受信したデータに基づき、表示部３ａに表示する画像データを生成して、タブレット端末１１へ送信する。タブレット端末１１は、受信した画像データを表示部３ａに表示する処理を実行する。このような表示処理が、S11で実行される。

S8及びS11の後、処理は、S1に戻る。その結果、ユーザがタブレット端末１１を操作しているとき、指の３次元空間内の位置の検出、指の移動速度の算出、指の動作判定空間FDA内の有無の判定、動作判定空間FDA内の時間継続して存在しているのかの判定される。そして、これらの検出、算出及び判定に基づいて、所定のイベントの発生が判定され、イベントの発生が検出されると、発生したイベントに応じた処理が実行される。

具体的な例を挙げて説明する。
ユーザがネットショッピングをしているときに、指が表示部３ａ上で商品の選択に迷い場合がある。ユーザの指は、購入したいあるいは詳細を確認したい商品が決まると、その商品オブジェクトの選択が行われる、すなわちタッチパネル１３上のその商品の画像にタッチする。

しかし、商品が決まる前の段階では、ユーザが購入したい商品の選択に迷っている状態が存在する。
ユーザが商品の選択に迷わなければ、ユーザの指は、動作判定空間FDA内に入った後、直ぐにタッチパネル１３へのタッチがある。その場合、所定のイベントの発生がない情報（S5:NO）から、指のタッチがある状態（S2:YES）への変更が直ぐに発生する。よって、その場合、S9のデータの生成では、選択されたオブジェクトの情報が生成され、テーブルTBLに記憶された少ない位置情報だけが送られることになる（S10）。

これに対して、ユーザが商品の選択に迷って、ユーザの指が動作判定空間FDA内に入った後、直ぐにタッチパネル１３へのタッチがなく、指がゆっくりとした動きになったり、停止したりすると、予め設定された所定のイベントの発生が検出される（S5:YES）。

所定のイベントは、複数設定してもよく、指の動きに応じてイベントを発生させるようにすることができる。
指の動きがゆっくりになって、所定の時間が経過すると、ユーザが興味を持ったと思われるので、所定のイベントの発生となり、その発生したイベントに応じた処理として、例えば、ショッピングサイトのサーバへ指の動き情報を送信する処理が実行される（S7）。

また、イベントの発生がなくても、ユーザの指が動作判定空間FDA内に入った後の指の位置情報がテーブルTBLに記録されるので（S3）、指のタッチパネル１３へのタッチがあると（S2:YES）、テーブルTBLに記録されている３次元空間内の指の位置情報の履歴情報は、サーバへ送信される（S10）。

サーバは、タブレット端末１へ送信した画像情報は把握しているので、指の動き情報から、どの商品のオブジェクトの近傍を指が通ったかを分析することができる。すなわち、従来は、ユーザが最終的に選択したオブジェクトの情報しか、サーバは得ることができなかったが、上述したように、ユーザが興味を持ったと思われる、オブジェクトの情報も、サーバは得ることができる。ユーザが興味を持ったかもしれないオブジェクトは、選択候補ということができる。

結果として、サーバは、指が近傍をゆっくり通ったあるいは一時的に近傍に存在したオブジェクトの情報に基づいて、最適な広告情報、口コミ情報、評価情報などを生成して、補助情報としてタブレット端末１１へ送信することができる。すなわち、サーバの位置情報に基づいて、選択候補の商品オブジェクトのマーケティングを行うことができる。

タブレット端末１が、サーバから送信された広告情報を表示するための表示処理を、実行し（S8）、ユーザが商品オブジェクトを選択する前の、指が近傍をゆっくり通ったあるいは一時的に近傍に存在した商品オブジェクトについての広告が表示部３ａに表示される。その結果、ユーザの購買意欲を高めることができる。

以上の例は、ネットショッピングにおける広告表示への応用例であるが、情報の検索などにおいても、指が近傍をゆっくり通ったあるいは一時的に近傍に存在したオブジェクトについての関連情報をユーザに示すことができる。

受信した指Fの位置情報から、サーバは、その位置情報に対応するオブジェクトが特定可能であるので、サーバは、そのオブジェクトに関連する補助情報など、をそのタブレット端末１へ送信する。

図１４は、図１２の指動作情報送信処理の構成を示すブロック図である。指動作情報送信処理部としての制御部１１は、指空間位置情報算出部２１、タッチパネル処理部２２、指空間位置検出処理部２３、画像処理部２４、待ち時間検出部２５、移動速度検出部２６、エリア内判定部２７及び位置情報格納部２８を含む。

指空間位置情報算出部２１は、発光部６への発光タイミング毎における、受光部７の受光量の情報に基づいて、上述した式（１）、（２）及び（３）を用いて、指の３次元空間上の位置を算出する処理部であり、図１２のS1の処理部に対応する。よって、S1の処理及び指空間位置情報算出部２１は、表示器３の表示面から離れた、予め設定された３次元の所定空間（ｘｙｚ）を含む空間内の物体の位置を検出する位置検出部を構成する。

タッチパネル処理部２２は、タッチパネル１３からの出力信号を検出して、タッチパネル１３においてタッチされた位置の情報を検出する処理部であり、図１２のS2の処理部に対応する。よって、S2の処理及びタッチパネル処理部２２は、表示器３のタッチパネル１３へのタッチがあったことを検出するタッチパネルタッチ検出部を構成する。

指空間位置検出処理部２３は、所定のイベントの発生の判定、及び、発生したイベントに応じた処理の実行を、行う処理部であり、図１２のS5〜S7の処理部に対応する。よって、S5〜S7の処理と、指空間位置検出処理部２３は、タッチパネル１３へのタッチがされる前の、位置検出部により検出された所定空間である動作判定空間FDA内における物体の位置情報を送信する位置情報送信部を構成する。

特に、S5の処理は、物体の速度と所定空間内に連続して存在する経過時間とに基づいて予め規定されたイベントの発生を検出するイベント検出部を構成する。

画像処理部２４は、サーバから受信した画像データあるいはタブレット端末１内で生成された画像データに応じた表示処理を行う処理部であり、図１２のS8,S11の処理部に対応する。

待ち時間検出部２５は、ユーザの指が動作判定空間FDA内に継続して存在している経過時間を算出して検出する処理部であり、図１２のS4の処理部に対応する。よって、S4の処理と待ち時間検出部２５は、物体が所定空間である動作判定空間FDA内に連続して存在する経過時間を検出する経過時間検出部を構成する。

移動速度検出部２６は、ユーザの指の移動速度を検出する処理部であり、図１２のS4の処理部に対応する。よって、S4の処理と移動速度検出部２６は、所定空間である動作判定空間FDA内に存在する物体の位置情報に基づいて物体の速度を検出する速度検出部を構成する。

エリア内判定部２７は、指が動作判定空間FDA内に存在するか否かを判定する処理部であり、図１２のS4の処理部に対応する。よって、S4の処理とエリア内判定部２７は、物体が所定空間である動作判定空間FDA内に存在するか否かを判定する所定空間存在判定部を構成する。

位置情報格納部２８は、指の位置情報を記憶部であるテーブルTBLに格納する処理部であり、図１２のS3の処理部に対応する。よって、S3の処理及び位置情報格納部２８は、タッチパネル１３へのタッチがされる前までの物体の動きに対応する複数の位置についての位置情報を含む履歴情報を、記憶部１５等の記憶装置に記憶する記憶する履歴情報記憶部を構成する。

なお、上述した図１２の指動作情報送信処理は、図１４に示す複数の処理ブロックを有し、全ての処理ブロックをソフトウエアで実現してもよいし、一部あるいは全ての処理ブロックをハードウエアで実現してもよい。

以上のように、本実施形態の情報処理端末によれば、タッチ操作によるオブジェクトの決定前における、指などの物体の動きを取得し、取得した動き情報を送信する情報端末装置を提供することができる。

なお、上述した例では、複数の発光部と、１つの受光部とを利用して、３次元空間の指の位置を検出しているが、デジタルサイネージなどのサイズが比較的大きい装置の場合は、２つのカメラ装置を用いて、画像処理により指の３次元空間内の位置を取得するようにしてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ タブレット端末、２ 本体部、３ 表示器、３ａ 表示領域、４ スイッチ、５ カメラ、６ａ、６ｂ、６ｃ 発光部、７ 受光部、１１ 制御部、１２ 液晶表示装置、１３ タッチパネル、１４ 通信部、１５ 記憶部、２１ 指空間位置情報算出部、２２ タッチパネル処理部、２３ 指空間位置検出処理部、２４ 画像処理部、２５ 待ち時間検出部、２６ 移動速度検出部、２７ エリア内判定部、２８ 位置情報格納部。

Claims (15)

1. タッチパネル付きの表示器と、
   前記表示器の前記表示面の周囲に配置された第１、第２及び第３の発光部と、
   前記表示面の周囲に配置された受光部と、
   前記表示器の前記タッチパネルへのタッチがあったことを検出するタッチパネルタッチ検出部と、
   前記第１、前記第２及び前記第３の発光部から発光された光の前記物体からのそれぞれの反射光を前記受光部により検出して得られた第１、第２及び第３の光量に基づいて、前記表示器の表示面から離れた、予め設定された３次元の所定空間を含む空間内の物体の位置を検出する位置検出部と、
   前記物体が前記所定空間内に連続して存在する経過時間を検出する経過時間検出部と、
   前記所定空間内に存在する前記物体の前記位置情報に基づいて前記物体の速度を検出する速度検出部と、
   前記タッチパネルへのタッチがされる前までの前記物体の動きに対応する複数の位置についての位置情報を含む履歴情報を、記憶装置に記憶する記憶する履歴情報記憶部と、
   前記タッチパネルへのタッチがされる前の、前記位置検出部により検出された前記所定空間内における前記物体の前記位置情報、前記経過時間及び前記速度の情報を、前記履歴情報として、送信する位置情報送信部と、
   を有する情報端末装置。
2. タッチパネル付きの表示器と、
   前記表示器の表示面から離れた、予め設定された３次元の所定空間を含む空間内の物体の位置を検出する位置検出部と、
   前記タッチパネルへのタッチがされる前の、前記位置検出部により検出された前記所定空間内における前記物体の位置情報を送信する位置情報送信部と、
   を有する情報端末装置。
3. 前記タッチパネルへのタッチがされる前までの前記物体の動きに対応する複数の位置についての前記位置情報を含む履歴情報を、記憶装置に記憶する記憶する履歴情報記憶部を有し、
   前記位置情報送信部は、前記記憶装置に記憶された前記履歴情報を前記物体の位置情報として送信する請求項２に記載の情報端末装置。
4. 前記表示器の前記タッチパネルへのタッチがあったことを検出するタッチパネルタッチ検出部を有し、
   前記位置情報送信部は、前記タッチパネルタッチ検出部が前記タッチパネルへのタッチがあったことを検出すると、前記記憶装置に記憶された前記履歴情報を前記物体の位置情報として送信する請求項３に記載の情報端末装置。
5. 前記物体が前記所定空間内に連続して存在する経過時間を検出する経過時間検出部を有し、
   前記履歴情報は、前記経過時間検出部が検出した前記経過時間の情報を含む請求項２から４のいずれか１つに記載の情報端末装置。
6. 前記所定空間内に存在する前記物体の前記位置情報に基づいて前記物体の速度を検出する速度検出部を有し、
   前記履歴情報は、前記速度検出部が検出した前記速度の情報を含む請求項５に記載の情報端末装置。
7. 前記速度と前記経過時間とに基づいて予め規定されたイベントの発生を検出するイベント検出部を有し、
   前記位置情報送信部は、前記イベント検出部が前記イベントの発生を検出すると、前記履歴情報を送信する請求項６に記載の情報端末装置。
8. 前記履歴情報は、前記イベントの情報を含む請求項７に記載の情報端末装置。
9. 前記位置情報送信部は、前記表示器の表示面に表示している画像データを送信しているサーバへ送信する請求項２から８のいずれか１つに記載の情報端末装置。
10. 前記表示器の前記表示面の周囲に配置された第１、第２及び第３の発光部と、
    前記表示面の周囲に配置された受光部と、
    を有し、
    前記位置検出部は、前記第１、前記第２及び前記第３の発光部から発光された光の前記物体からのそれぞれの反射光を前記受光部により検出して得られた第１、第２及び第３の光量に基づいて、前記表示面に平行な２次元平面上の第１の位置と、前記表示面に直交する方向における第２の位置とを算出して検出する請求項２から９のいずれか１つに記載の情報端末装置。
11. 前記位置検出部は、前記第１と前記第２の光量の差と和の値を用いて算出した前記２次元平面の第１の方向における位置と、前記第２と前記第３の光量の差と和の値を用いて算出した前記２次元平面の前記第１の方向とは異なる第２の方向における位置とから、前記第１の位置を決定する請求項１０に記載の情報端末装置。
12. 前記位置検出部は、前記第１、前記第２及び前記第３の光量のうち少なくとも２つの光量の和の値を用いて前記表示面に直交する方向における前記第２の位置を決定する請求項１０又は１１に記載の情報端末装置。
13. 前記第１、前記第２及び前記第３の発光部は、互いに異なるタイミングで発光し、前記受光部は、前記異なるタイミングに応じて、前記第１、前記第２及び前記第３の発光部のそれぞれから発光された光の前記反射光を検出する請求項１０から１２のいずれか１つに記載の情報端末装置。
14. 前記第１、前記第２及び前記第３の発光部は、可視光の波長範囲外の波長の光を出射する請求項１０から１３のいずれ１つに記載の情報端末装置。
15. 前記可視光の波長範囲外の波長の光は、近赤外線の光である請求項１４に記載の情報端末装置。

Images