JP2013178678A - 操作情報入力システム及び操作情報入力システムによって実行されるコンテンツ検索方法 - Google Patents

Abstract

【課題】枠型デバイスを用いた情報処理端末の操作性を向上させること。
【解決手段】タッチスクリーン２１０に接触される下層デバイス１１０は、タッチスクリーンによってそれぞれ感知される複数の導電部１１１と、下層デバイスに積層される上層デバイス１２０が有する複数の導電部をタッチスクリーンに感知させる導電中継部１１２とを有する。情報処理装置において、デバイス情報蓄積部が、複数の導電部の配置パターンごとに所定の処理を対応付けたデバイス情報を記憶する。接地デバイス検出処理部が、下層デバイスにおける複数の導電部の配置パターンと、導電中継部を介して感知される上層デバイスにおける複数の導電部の配置パターンとをそれぞれ検出する。枠内画像拡大・縮小処理部が、検出された配置パターンに対応する処理を実行し、第１の配置パターン及び第２の配置パターンが検出された場合には、第２の配置パターンに対応する処理を実行する。
【選択図】図１

Description

この発明は、操作情報入力システム及び操作情報入力システムによって実行されるコンテンツ検索方法に関する。

従来、タッチスクリーンやタブレット型情報処理端末の普及により、情報処理端末の操作はマウスやキーボード操作からタッチ操作へと変化しつつある。それに従い、スクロールや拡大・縮小といった動作を、人間のより直感的な動作で実現しようとする試みが盛んになっている。また、大型のタッチスクリーンを複数人で共有して利用する機会も増えてきている。

近年、枠型の物理デバイスを用いて、タッチスクリーン上で注視したい箇所だけを切り出し、その枠型デバイスを回転させるという直感的な操作によって、映し出されるコンテンツに変化を与える技術「くるみる」が提案されている。なお、枠型デバイスは、枠型オブジェクトと呼ばれる場合もある。

青木良輔、宮下広夢、井原雅行、大野健彦、千明裕、小林稔、くるみる：複数導電部をもつ枠型物理オブジェクトを用いたタブレット操作方式、ＨＣＩ 研究会（第１４４ 回）、 ２０１１

しかしながら、上述した従来技術では、枠型デバイスを用いた情報処理端末の操作性が低下する場合があった。具体的には、上述した従来技術では、単一の枠型デバイスのみを利用して情報処理端末の操作を行うため、複数の入力を同時に行いたい場合に、操作性が低下する場合があった。例えば、上述した従来技術では、枠型デバイスのみを用いてタッチスクリーン上に投影された３Ｄ−ＣＡＤモデルを回転させたり、部分的に拡大したりすることが困難であり、枠型デバイスを用いた情報処理端末の操作性が低下する場合があった。すなわち、上述した従来技術では、例えば、切り出した箇所の拡大操作を行うために、タッチスクリーン上に別途投影されたスクロールバーなどで調整するといった動作が必要になり、枠型デバイスで切り出した箇所から視点を移動させての入力が求められ、入力が煩雑になってしまう。

そこで、本願に係る技術は、上述した従来技術の問題に鑑みてなされたものであって、枠型デバイスを用いた情報処理端末の操作性を向上させることを可能にする操作情報入力システム及び操作情報入力システムによって実行されるコンテンツ検索方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本願に係る操作情報入力システムは、タッチスクリーン上で物理デバイスが操作されることで、情報処理装置に対して入力操作が実行される操作情報入力システムであって、前記物理デバイスは、前記タッチスクリーンに接触される第１のデバイスと、前記第１のデバイスに積層される第２のデバイスとを有し、前記第１のデバイスは、前記タッチスクリーンによってそれぞれ感知される複数の被感知部と、前記第２のデバイスが積層された場合に、当該第２のデバイスが有する複数の被感知部を前記タッチスクリーンに感知させる中継部とを有し、前記情報処理装置は、前記複数の被感知部の配置パターンごとに所定の処理を対応付けたデバイス情報を記憶するデバイス情報蓄積部と、前記第１のデバイスにおける複数の被感知部の配置パターンである第１の配置パターンと、前記中継部を介して感知される前記第２のデバイスにおける複数の被感知部の配置パターンである第２の配置パターンとをそれぞれ検出する検出部と、前記デバイス情報を参照して、前記検出部によって検出された配置パターンに対応する処理を実行し、前記第１の配置パターン及び前記第２の配置パターンが検出された場合には、前記第２の配置パターンに対応する処理を実行する処理部とを備えたことを特徴とする。

本願に係る操作情報入力システムは、枠型デバイスを用いた情報処理端末の操作性を向上させることを可能にする。

図１は、実施例１に係る操作情報入力システムの構成の一例を示す図である。 図２は、実施例１に係る物理デバイスの構成の一例を示す図である。 図３は、実施例１に係る物理デバイスにおける通電例について説明するための図である。 図４は、実施例１に係る情報処理装置の構成の一例を示す図である。 図５は、実施例１に係るデバイス情報蓄積部によって記憶される情報の第１の例を示す図である。 図６は、実施例１に係るデバイス情報蓄積部によって記憶される情報の第２の例を示す図である。 図７は、実施例１に係る操作情報入力システムによる処理の手順を示すフローチャートである。 図８は、実施例１に係る接地デバイス検出処理部による処理の手順を示すフローチャートである。 図９は、実施例１に係る接地デバイス方向計算処理部による処理の手順を示すフローチャートである。 図１０は、実施例１に係る操作情報入力システムを利用したコンテンツ検索を説明するための図である。 図１１は、実施例１に係るコンテンツ検索の一例を示す図である。 図１２は、実施例２に係る物理デバイスの構成の一例を説明するための図である。

以下に添付図面を参照して、本願に係る操作情報入力システム及び操作情報入力システムによって実行されるコンテンツ検索方法の実施例を詳細に説明する。なお、本願に係る操作情報入力システム及び操作情報入力システムによって実行されるコンテンツ検索方法は、以下の実施例により限定されるものではない。

［実施例１に係る操作情報入力システムの構成］
まず、実施例に係る操作情報入力システムの構成について説明する。図１は、実施例１に係る操作情報入力システム３００の構成の一例を示す図である。図１に示すように、操作情報入力システム３００は、物理デバイス１００と、情報処理装置２００とを有する。情報処理装置２００は、図１に示すように、タッチスクリーン２１０を有し、物理デバイス１００による情報の入力操作を受け付ける。例えば、タッチスクリーン２１０は、静電容量型のタッチスクリーン２１０、或いは、感圧型のタッチスクリーン２１０などである。

ここで、静電容量型のタッチスクリーンは、微弱な電圧変化を検知して接触、非接触を判定することで情報の入力操作を受け付ける。一方、感圧型のタッチスクリーンは、圧力を検知することで情報の入力操作を受け付ける。なお、本実施例においては、静電容量型のタッチスクリーン２１０を有する情報処理装置を用いる場合を例に挙げて説明する。

物理デバイス１００は、図１に示すように、タッチスクリーン２１０に接する下層デバイス１１０と、下層デバイス１１０に積層される上層デバイス１２０とを有する。例えば、上層デバイス１２０は、図１に示すように、中空の円筒形状であり、側面に導電部（被感知部とも称する）１２１を有する。導電部１２１は、導体によって形成され、ユーザの手が接触されることで接地される。

下層デバイス１１０は、上層デバイス１２０と同様に、中空の円筒形状であり、側面に導電部１１１を有する。導電部１１１は、導体によって形成され、ユーザの手が接触されることで接地される。ここで、下層デバイス１１０は、上層デバイス１２０が積層された場合に、導電部１２１をタッチスクリーン２１０に検出させるための導電中継部（中継部とも称する）１１２を有する。具体的には、導電中継部１１２は、ユーザの手が接触された導電部１２１と接触することで、導電部１２１に帯電される静電気を導通させることにより、導電部１２１をタッチスクリーン２１０に検出させる。

ここで、物理デバイス１００の詳細について、図２及び図３を用いて説明する。図２は、実施例１に係る物理デバイス１００の構成の一例を示す図である。ここで、図２においては、上層デバイス１２０及び下層デバイス１１０について、表面（図１において上側から見た面）と、裏面（図１において下側から見た面）と、側面（図１において横方向から見た面）とをそれぞれ示す。図２に示すように、上層デバイス１２０は、例えば、リング状（中空の円筒形状）であり、導電部１２１が側面の周方向に設けられる。そして、上層デバイス１２０においては、側面から裏面へ３箇所の導電部１２１が形成される。

すなわち、仮に、ユーザの手が上層デバイス１２０の側面の導電部１２１に触れた状態で、上層デバイス１２０の裏面をタッチスクリーン２１０に接触させた場合、裏面の３箇所の導電部１２１が接地点となって、各導電部１２１がタッチスクリーン２１０に検出されることとなる。なお、上層デバイス１２０における導電部１２１以外の部分は、誘電体によって形成される。

下層デバイス１１０は、例えば、リング状であり、導電部１１１が側面の周方向に設けられる。そして、下層デバイス１１０においては、側面から裏面へ３箇所の導電部１１１が形成される。すなわち、下層デバイス１１０においても、上層デバイス１２０と同様に、各導電部１１１がタッチスクリーン２１０に検出される。また、下層デバイス１１０における導電部１１１以外の部分は、上層デバイス１２０と同様に、誘電体によって形成される。

ここで、下層デバイス１１０においては、図２に示すように、リング状の導電体の内部に表面から裏面へ貫通する導電中継部１１２が、リングに沿って環状に複数形成される。図３は、実施例１に係る物理デバイス１００における通電例について説明するための図、つまり、帯電するタッチスクリーン２１０の接地による電気の流れ道を説明する図である。図３においては、上層デバイス１２０の裏側が下層デバイス１１０の表側に接するように積層された場合について示す。

図３に示すように、上層デバイス１２０における導電部１２１ａ〜１２１ｃは、下層デバイス１１０に積層されることによって、下層デバイス１１０の表側に露出している導電中継部１１２ａ〜１１２ｃにそれぞれ接することとなる。ここで、ユーザが上層デバイス１２０の側面に設置された導電部１２１を把持した場合、導電部１２１ａ〜１２１ｃ及び導電中継部１１２ａ〜１１２ｃにより人の体を通じて接地する経路が確保されることになる。その結果、導電中継部１１２ａ〜１１２ｃにおいて、下層デバイス１１０の裏側に露出している部分がタッチスクリーン２１０によってそれぞれ検出される。すなわち、タッチスクリーン２１０によって検出された導電中継部１１２ａ〜１１２ｃの位置を、ユーザが指でタッチしている場合と同様の効果を奏する。

一方、ユーザが下層デバイス１１０の側面に設置された導電部１１１を把持した場合には、図３に示す導電部１１１ａ〜１１１ｃがタッチスクリーン２１０によってそれぞれ検出されることとなる。すなわち、タッチスクリーン２１０によって検出された導電部１１１ａ〜１１１ｃの位置を、ユーザが指でタッチしている場合と同様の効果を奏する。

ここで、図２及び３に示すように、下層デバイス１１０及び上層デバイス１２０においては、リングにおける導電部の配置パターンがそれぞれ異なる。すなわち、タッチスクリーン２１０は、図３の下段の図に示すように、楕円で示す配置パターンで下層デバイスの導電部１１１ａ〜１１１ｃを同時に検出するのに対し、円で示す配置パターンで上層デバイスの導電部１２１ａ〜１２１ｃを同時に検出する。

実施例１に係る物理デバイス１００は、電子回路を有さずに、上述した構成が形成される。一例を挙げると、物理デバイス１００は、導電部１１１、１２１及び導電中継部１１２がアルミホイル等の導体によって形成され、リング状の誘電体が木材や、発砲スチロール等によって形成される。

なお、図１〜図３に示す物理デバイス１００の構成は、あくまでも一例であり、実施例はこれに限定されるものではない。すなわち、物理デバイス１００の形状は、円筒形状である場合に限られず、例えば、中空の四角柱が積層される場合であってもよい。また、上層デバイス１２０及び下層デバイス１１０がそれぞれ有する中空の大きさ（半径）は、同一でなくてもよく、上層デバイス１２０と下層デバイス１１０とがそれぞれ異なる半径の中空を有する場合であってもよい。また、積層されるデバイスの数は２つに限られるものではなく、例えば、３つ以上のデバイスが積層される場合であってもよい。また、導電部及び導電中継部は、タッチスクリーン２１０が接触していることを識別することができる大きさであればどのような形状であってもよい。

上述したように、物理デバイス１００は、異なる配置パターンの導電部を有する上層デバイス１２０及び下層デバイス１１０を有する。そして、ユーザは、物理デバイス１００をタッチスクリーン上で操作することによって、情報処理装置２００に所望の処理を実行させる。実施例１に係る情報処理装置２００は、タッチスクリーン２１０によって検出された導電部の位置に応じた処理を実行する。以下、情報処理装置２００の詳細について説明する。図４は、実施例１に係る情報処理装置２００の構成の一例を示す図である。

図４に示すように、例えば、情報処理装置２００は、タッチスクリーン２１０（不図示）に加えて、データベース２２０と、接地点検知処理装置２３０と、リアルタイム処理発生装置２４０と、接地点情報処理装置２５０と、表示画面処理装置２６０とを有し、ネットワーク５００を介して、データベース４００と接続される。ネットワーク５００は、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などである。

データベース４００は、図４に示すように、情報蓄積部４１０を有する。情報蓄積部４１０は、後述する接地点情報処理装置２５０によって取得された各種情報を記憶する。例えば、情報蓄積部４１０は、接地点情報処理装置２５０によって取得され、ネットワーク５００を介して転送された画像データなどを記憶する。

データベース２２０は、図４に示すように、接地点情報蓄積部２２１と、デバイス情報蓄積部２２２と、画像情報蓄積部２２３と、接地デバイス中心座標及び方向蓄積部２２４とを有する。データベース２２０は、例えば、ハードディスク、光ディスクなどの記憶装置、または、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子であり、情報処理装置２００によって実行される各種プログラムなどを記憶する。

接地点情報蓄積部２２１は、接地点検知処理装置２３０によって取得された接地点の情報を記憶する。なお、接地点とは、物理デバイス１００の導電部がタッチスクリーン２１０に接地した地点を意味する。具体的には、接地点情報蓄積部２２１は、タッチスクリーン２１０の座標系における接地点の座標と、当該接地点の座標が取得された時刻とを対応付けて記憶する。

デバイス情報蓄積部２２２は、物理デバイス１００に関する情報を記憶する。具体的には、デバイス情報蓄積部２２２は、物理デバイス１００を構成する上層デバイス１２０及び下層デバイス１１０に形成されうる導電部の配置パターンごとに操作内容を記憶する。図５は、実施例１に係るデバイス情報蓄積部２２２によって記憶される情報の一例を示す図である。

例えば、デバイス情報蓄積部２２２は、図５に示すように、導電部の位置ごとに、導電部間の距離比、Ｏｒｉｇｉｎ Ｐｏｉｎｔに対する距離及び向きを対応付けたデバイス情報を記憶する。ここで、「導電部の位置」とは、導電部の配置パターンを示す。また、「導電部間の距離」とは、例えば、導電部の中心間の距離の比を示す。また、「Ｏｒｉｇｉｎ Ｐｏｉｎｔに対する距離及び向き」とは、複数の導電部のうち、導電部間の距離で最短の距離と最長の距離とを形成する導電部を「Ｏｒｉｇｉｎ Ｐｏｉｎｔ」とした場合に、当該「Ｏｒｉｇｉｎ Ｐｏｉｎｔ」から物理デバイスの中心までの距離と方向をベクトルで示した情報を意味する。

ここで、デバイス情報蓄積部２２２は、各導電部の位置（配置パターン）ごとに異なるアプリケーションや操作内容（例えば、拡大・縮小処理など）を対応付けて記憶する。すなわち、デバイス情報蓄積部２２２は、タッチスクリーン２１０によって検出された導電部がどのようなデバイスであるかを識別し、当該デバイスに応じた処理を実行するための情報を記憶する。

なお、デバイス情報蓄積部２２２によって記憶される情報は、図５に示す情報のみに限られない。図６は、実施例１に係るデバイス情報蓄積部２２２によって記憶される情報の第２の例を示す図である。例えば、デバイス情報蓄積部２２２は、図６に示すように、導電部の位置ごとに、導電部の角度、Ｏｒｉｇｉｎ Ｐｏｉｎｔに対する距離及び向きを対応付けたデバイス情報を記憶する。すなわち、導電部間の距離比に代えて導電部の角度を記憶する。ここで、「導電部の角度」とは、例えば、導電部間を結ぶ直線によって形成される三角形の各角度を示す。

図４に戻って、画像情報蓄積部２２３は、タッチスクリーン２１０にて表示させる画像を記憶する。接地デバイス中心座標及び方向蓄積部２２４は、接地点情報処理装置２５０による処理結果を記憶する。具体的には、接地デバイス中心座標及び方向蓄積部２２４は、接地点情報処理装置２５０によって取得された上層デバイス１２０或いは下層デバイス１１０の中心及び向きを記憶する。なお、これらの情報については、後に詳述する。

接地点検知処理装置２３０は、図４に示すように、接地点位置座標取得処理部２３１と、接地点数処理部２３２とを有する。接地点位置座標取得処理部２３１は、物理デバイス１００がタッチスクリーン２１０上に載せ置かれた場合に、接地点（座標）を検出して、検出時刻とともに接地点情報蓄積部２２１に格納する。接地点数処理部２３２は、接地点情報蓄積部２２１によって記憶された接地点の座標と取得時間とに基づいて、同一時刻における接地点の数を判定する。例えば、接地点数処理部２３２は、接地点の数が３点、６点、或いは、それ以外であるかを判定する。

リアルタイム処理発生装置２４０は、所定の時間間隔で情報処理装置２００による処理を実行させるイベントの発行を行う。例えば、リアルタイム処理発生装置２４０は、３３ｍｓごとに、タッチスクリーン２１０上の接地点の取得処理を実行させるイベントを発行する。

接地点情報処理装置２５０は、図４に示すように、接地デバイス検出処理部２５１と、接地デバイス方向計算処理部２５２と、接地デバイス位置座標計算処理部２５３と、枠座標計算処理部２５４と、接地デバイス情報付加処理部２５５と、接地デバイス情報送信処理部２５６とを有する。

接地デバイス検出処理部２５１は、タッチスクリーン２１０に接地した物理デバイスの導電体の配置パターンを検出する。具体的には、接地デバイス検出処理部２５１は、接地点位置座標取得処理部２３１によって検出された接地点の座標と、接地点数処理部２３２によって検出された接地点の数とから、ユーザがタッチスクリーン２１０上で操作しているデバイスを判定して、接地された導電体の配置パターンを検出する。

例えば、接地デバイス検出処理部２５１は、接地点数処理部２３２によって検出された接地点の数が３点である場合に、接地点位置座標取得処理部２３１によって検出された接地点の座標から下層デバイス１１０の導電部１１１の配置パターンを特定する。また、接地デバイス検出処理部２５１は、接地点数処理部２３２によって検出された接地点の数が６点である場合に、接地点位置座標取得処理部２３１によって検出された接地点の座標から上層デバイス１１０の導電部１１１の配置パターンを特定する。

ここで、接地デバイス検出処理部２５１による配置パターンの特定について説明する。接地デバイス検出処理部２５１は、デバイス情報蓄積部２２２によって記憶されるデバイス情報を参照して、導電部間の距離比、或いは、導電部の角度によって、配置パターンを特定する。例えば、導電部間の距離比によって配置パターンを特定する場合には、接地デバイス検出処理部２５１は、特定した同一層のデバイスにおける接地点の座標間の距離を算出して、最短の距離で正規化を行うことで距離比を算出する。そして、接地デバイス検出処理部２５１は、デバイス情報（図５）を参照して、算出した距離比に対応する配置パターンを特定する。

また、例えば、導電部の角度によって配置パターンを特定する場合には、接地デバイス検出処理部２５１は、特定した同一層のデバイスにおける接地点の座標間を結ぶ三角形を描き、当該三角形の各角度を算出する。そして、接地デバイス検出処理部２５１は、デバイス情報（図６）を参照して、算出した角度に対応する配置パターンを特定する。

接地デバイス方向計算処理部２５２は、ユーザによって操作されているデバイスの導電部の座標から当該デバイスの方向を算出する。具体的には、接地デバイス方向計算処理部２５２は、まず、接地デバイス検出処理部２５１によって配置パターンが検出されたデバイスの導電部において、導電部間の距離が最短の距離と最長の距離とを形成する１つの導電部を抽出し、抽出した導電部をＯｒｉｇｉｎ Ｐｏｉｎｔ（以下、ＯＰと記す）と決定する。そして、接地デバイス方向計算処理部２５２は、ＯＰと最短距離を形成する導電部をＳｅｃｏｎｄ Ｐｏｉｎｔ（以下、ＳＰと記す）と決定する。

その後、接地デバイス方向計算処理部２５２は、タッチスクリーン２１０の座標系におけるＯＰ及びＳＰによって形成される線分の傾きをデバイスの方向として算出する。なお、接地デバイス方向計算処理部２５２は、ＯＰ及びＳＰ以外の導電部をＴｈｉｒｄ Ｐｏｉｎｔ（以下、ＴＰと記す）と決定する。上述したように、デバイスの方向が算出されることにより、各層のデバイスが回転された際に、時計回り、或いは、反時計回りのどちらにどれだけ回転されたかを算出することができるようになる。

接地デバイス位置座標計算処理部２５３は、ユーザによって操作されている物理デバイス１００の位置を算出する。具体的には、接地デバイス位置座標計算処理部２５３は、デバイス情報の「Ｏｒｉｇｉｎ Ｐｏｉｎｔに対する距離及び向き」を参照して、接地デバイス方向計算処理部２５２によって決定されたＯＰから物理デバイス１００の位置を算出する。すなわち、接地デバイス位置座標計算処理部２５３は、接地デバイス方向計算処理部２５２によって決定されたＯＰの座標に対して、「Ｏｒｉｇｉｎ Ｐｏｉｎｔに対する距離及び向き」のベクトルを加えた座標を物理デバイス１００の位置と決定する。上述したように、タッチスクリーン２１０上における物理デバイスの位置を決定することにより、タッチスクリーン２１０に表示している画像に対して、物理デバイスがどの位置に置かれているのかを判定することができるようになる。

枠座標計算処理部２５４は、中空の物理デバイスが接地された場合に、中空部分の画像に対する処理を実行する際の枠の座標を算出する。具体的には、枠座標計算処理部２５４は、予めデータベースに格納されたデバイスの情報（中空部分の大きさ）を参照して、物理デバイス１００の位置から中空部分の座標を算出する。

接地デバイス情報付加処理部２５５は、接地デバイス検出処理部２５１によって検出された配置パターンに情報を付加（マッピング）して、情報蓄積部４１０に格納する。例えば、接地デバイス情報付加処理部２５５は、物理デバイス１００とは異なる物理デバイス（例えば、指など）が新たに接地された場合に、配置パターンに情報を付加する。接地デバイス情報送信処理部２５６は、接地デバイス情報付加処理部２５５によって付加された情報を出力して別のデバイスに送信する。

表示画面処理装置２６０は、図４に示すように、枠内画像拡大・縮小処理部２６１と、画像更新処理部２６２とを有する。枠内画像拡大・縮小処理部２６１は、接地点情報処理装置２５０によって算出された物理デバイス１００の位置、向き及び枠の座標に基づいて、枠内の画像を拡大したり、縮小したりする。また、枠内画像拡大・縮小処理部２６１は、その他コンテンツの選択処理などを実行する。

［実施例１に係る操作情報入力システムによる処理の手順］
次に、実施例１に係る操作情報入力システム３００による処理の手順について、図７を用いて説明する。図７は、実施例１に係る操作情報入力システム３００による処理の手順を示すフローチャートである。図７に示すように、実施例１に係る操作情報入力システム３００においては、まず、リアルタイム処理発生装置２４０が、所定の時間（例えば、３３ｍｓ）が経過したか否かを判定する（ステップＳ１０１）。

ここで、所定の時間が経過したと判定された場合には、接地点位置座標取得処理部２３１が、接地点の座標を取得する（ステップＳ１０２）。そして、接地デバイス検出処理部２５１は、接地点数処理部２３２によって決定された接地点の数が３点であるか否かを判定する（ステップＳ１０３）。ここで、接地点の数が３点である場合には（ステップＳ１０３肯定）、接地デバイス検出処理部２５１は、下層デバイス１１０の導電部１１１の配置パターンを特定する（ステップＳ１０４）。

そして、接地デバイス方向計算処理部２５２は、物理デバイス１００の位置及び方向を決定する（ステップＳ１０５）。その後、枠内画像拡大・縮小処理部２６１が特定されたデバイスに対応する処理を実行し（ステップＳ１０６）、画像更新処理部２６２が、表示画像を更新する（ステップＳ１０７）。

一方、ステップＳ１０３において、接地点の数が３点ではない場合には（ステップＳ１０３否定）、接地デバイス検出処理部２５１は、接地点数処理部２３２によって決定された接地点の数が６点であるか否かを判定する（ステップＳ１０９）。ここで、接地点の数が６点の場合には（ステップＳ１０９肯定）、接地デバイス検出処理部２５１は、上層デバイス１２０の導電部１２１の配置パターンを特定する（ステップＳ１１０）。その後、ステップＳ１０５〜ステップＳ１０７の処理が実行される。

一方、接地点の数が６点ではない場合には（ステップＳ１０９否定）、枠内画像拡大・縮小処理部２６１は、ユーザが指などで入力操作した処理を実行する（ステップＳ１１１）。いずれかの処理が実行され、表示画像が更新されると、リアルタイム処理発生装置２４０が、ユーザから終了コマンドを受け付けたか否かを判定する（ステップＳ１０８）。ここで、ユーザから終了コマンドを受け付けていない場合には（ステップＳ１０８否定）、リアルタイム処理発生装置２４０は、ステップＳ１０１に戻って、所定の時間が経過したか否かを判定する。一方、ユーザから終了コマンドを受け付けた場合には（ステップＳ１０８肯定）、操作情報入力システム３００は処理を終了する。

［実施例１に係る接地デバイス検出処理部による処理の手順］
次に、実施例１に係る接地デバイス検出処理部２５１による処理の手順を説明する。図８は、実施例１に係る接地デバイス検出処理部２５１による処理の手順を示すフローチャートである。ここで、図８に示すフローチャートは、図７のステップＳ１０４及びステップＳ１１０の処理に相当する。

接地点検知処理装置２３０によって接地点が検出されると、接地デバイス検出処理部２５１は、図８に示すように、接地点の座標に基づいて、導電部間の距離を算出する（ステップＳ２０１）。そして、接地デバイス検出処理部２５１は、算出した導電部間の距離を正規化することで、距離比を算出する（ステップＳ２０２）。

その後、接地デバイス検出処理部２５１は、デバイス情報蓄積部２２２を参照して、算出した距離比からデバイスにおける導電部の配置パターンを特定して（ステップＳ２０３）、処理を終了する。

［実施例１に係る接地デバイス検出処理部による処理の手順］
次に、実施例１に係る接地デバイス方向計算処理部２５２による処理の手順を説明する。図９は、実施例１に係る接地デバイス方向計算処理部２５２による処理の手順を示すフローチャートである。ここで、図９に示すフローチャートは、図７のステップＳ１０５の処理に相当する。

デバイスの配置パターンが特定されると、接地デバイス方向計算処理部２５２は、図９に示すように、導電部間の距離を参照して、最短の距離と最長の距離とを形成する導電部をＯＰとして決定する（ステップＳ３０１）。そして、接地デバイス方向計算処理部２５２は、最短の距離を形成する２つの導電部のうち、ＯＰではない導電部をＳＰと決定し（ステップＳ３０２）、残った導電部をＴＰと決定する（ステップＳ３０３）。

その後、接地デバイス位置座標計算処理部２５３は、ＯＰの座標からベクトルの中心座標を算出して、算出した座標をデバイスの位置として決定する（ステップＳ３０４）。さらに、接地デバイス方向計算処理部２５２は、タッチスクリーン２１０に対するＯＰとＳＰとで形成される線分の角度をデバイスの方向として決定して（ステップＳ３０５）、処理を終了する。

上述したように実施例１に係る操作情報入力システム３００は、物理デバイス１００をタッチスクリーン上で操作することで複数の処理を入力することが可能である。そこで、実施例１に係る操作情報入力システム３００の利用例として、コンテンツ検索の一例を説明する。図１０は、実施例１に係る操作情報入力システム３００を利用したコンテンツ検索を説明するための図である。

図１０においては、コンテンツ検索事例の概要図を示す。図１０に示すコンテンツ検索事例では、タブレットＰＣに映し出される地図上に、一般ユーザがアップロードした無数のコンテンツが貼付けられている状況を示し、例えば、位置情報をもつ動画コンテンツの検索アプリなどである。これは、近年、ＧＰＳ付カメラや、スマートフォンの普及により、動画や画像に位置情報のメタデータを付して記録する機会が増えたため、それに伴い、インターネット上には膨大な位置情報付コンテンツがあふれ、マップ上にそれらを配置して、ユーザが興味ある場所と、そこで撮影された動画をひもづけて閲覧することが可能になっている。

しかしながら、現状のアプリでは、サムネイル画像がマップに表示されているだけにすぎないため、タッチスクリーン上に多数のコンテンツが存在する場合には、より縮尺を大きくしないと個々の内容をサーベイすることができない。一方、縮尺が大きいと、マップ上でどんなコンテンツがあるのかわからない。そこで、本願のような物理デバイスを活用する。

例えば、図１０に示すタッチスクリーン上で、ユーザはマップ上で自分の興味がある地域に物理デバイス１００をもっていき、その位置で下層デバイス１１０を回転させ、その後、上層デバイス１２０を下層デバイス１１０に積層させて、回転させることでそれぞれ異なる処理を実行させることができる。図１１は、実施例１に係るコンテンツ検索の一例を示す図である。

例えば、下層デバイス１１０の導電部１１１の配置パターンに画像の拡大・縮小処理を対応づけておき、さらに、上層デバイス１２０の導電部１２１の配置パターンにコンテンツ選択を実行させる処理を対応づけておく。これにより、例えば、ユーザがマップ上で興味のある地域に物理デバイスをもっていき、下層デバイスを回転させると、図１１の（Ａ）に示すように、所望の地域に拡大されたマップが表示される。

そして、ユーザは、所望の地域が拡大された状態で、上層デバイス１２０を積層して、回転させることで、ズームアップされた領域内に存在するコンテンツを順次切り替え、それぞれのコンテンツを視聴することができる。

これまでは、コンテンツのサムネイル画像の視認性が確保できるところまでマップ全体を拡大し、さらにその中にあるコンテンツの視聴は一つ一つクリックで対応していたが、本実施例の物理デバイスを用いることにより、物理デバイスを移動させたり回転させたりといった簡単な動作でコンテンツの視聴ができる。このように、実施例１に係る操作情報入力システム３００は、ユーザの操作性を格別に向上させることを可能にする。

［実施例１の効果］
上述したように、実施例１によれば、物理デバイス１００は、タッチスクリーン２１０に接触される下層デバイス１１０と、下層デバイス１１０に積層される上層デバイス１２０とを有する。そして、下層デバイス１１０は、タッチスクリーン２１０によってそれぞれ感知される複数の導電部１１１と、上層デバイス１２０が積層された場合に、当該上層デバイス１２０が有する複数の導電部１２１をタッチスクリーン２１０に感知させる導電中継部１１２とを有する。そして、情報処理装置２００において、デバイス情報蓄積部２２２が、複数の導電部の配置パターンごとに所定の処理を対応付けたデバイス情報を記憶する。そして、接地デバイス検出処理部２５１が、下層デバイス１１０における複数の導電部１１１の配置パターンである第１の配置パターンと、導電中継部１１２を介して感知される上層デバイス１２０における複数の導電部１２１の配置パターンである第２の配置パターンとをそれぞれ検出する。さらに、枠内画像拡大・縮小処理部２６１が、デバイス情報を参照して、接地デバイス検出処理部２５１によって検出された配置パターンに対応する処理を実行し、第１の配置パターン及び第２の配置パターンが検出された場合には、第２の配置パターンに対応する処理を実行する。従って、実施例１に係る操作情報入力システム３００は、複数のデバイスを積層した一体型の物理デバイスを用いて、複数の処理の入力操作を実行することができ、物理デバイスを用いた情報処理端末の操作性を向上させることを可能にする。

これにより、ユーザは電力をもたない物理オブジェクトを重ね合わせて利用することで、タッチスクリーン２１０平面上の並進と、タッチスクリーン２１０平面に対して平行な平面内の複数自由度の回転入力が可能となる。さらに、従来と同じ枠型のオブジェクトであるため、大きなタッチスクリーン上で枠を自由に動かし、そのオブジェクトによって切り出された領域に注視しながら、左右の手で自由に回転入力をあたえることができる。その結果、ユーザは注目しているコンテンツから視点をそらすこと無く、回すという簡単な操作で多様な入力が可能となる。

また、実施例１によれば、接地デバイス検出処理部２５１は、タッチスクリーン２１０における複数の導電部の座標をそれぞれ検出し、最短の導電部間距離及び最長の導電部間距離を形成するＯＰと、最短の導電部間距離を形成する他の導電部であるＳＰとを抽出し、タッチスクリーン２１０の座標系におけるＯＰとＳＰとによって形成される直線の傾きを物理デバイスの方向として算出する。従って、実施例１に係る操作情報入力システム３００は、物理デバイスの向きを正確に検出することを可能にする。

また、実施例１によれば、デバイス情報蓄積部２２２は、デバイス情報に、ＯＰから物理デバイス１００の中心までの距離と向きとをさらに対応付けて記憶する。そして、接地デバイス検出処理部２５１は、デバイス情報を参照して、タッチスクリーン２１０によって検出された導電部に対して物理デバイス１００の中心までの距離と向きとを加えることで、物理デバイス１００のタッチスクリーン２１０に対する位置を決定する。従って、実施例１に係る操作情報入力システム３００は、物理デバイス１００の位置を正確に検出することを可能にする。

また、実施例１によれば、物理デバイス１００が中空である場合に、デバイス情報蓄積部２２２は、デバイス情報に物理デバイス１００の枠の形状をさらに記憶する。そして、接地デバイス検出処理部２５１は、デバイス情報を参照して、物理デバイス１００の方向及び位置から枠の位置及び方向を算出する。従って、実施例１に係る操作情報入力システム３００は、枠を用いた処理を実行することを可能にする。

また、実施例１によれば、導電部は導体であり、タッチスクリーン２１０は、静電容量型である。従って、実施例１に係る操作情報入力システム３００は、静電気による電圧の変化で接触を検出する情報処理装置に適用することを可能にする。

これまで実施例１を説明したが、本願に係る実施例は、実施例１に限定されるものではない。すなわち、これらの実施例は、その他の様々な形態で実施されることが可能であり、種々の省略、置き換え、変更を行うことができる。

上述した実施例１においては、静電容量型のタッチスクリーン２１０を用いる場合を例に挙げて説明した。しかしながら、実施例はこれに限定されるものではなく、例えば、感圧型のタッチスクリーン２１０を用いる場合であってもよい。図１２は、物理デバイス６００の構成の一例を説明するための図である。

図１２の（Ａ）に示すように、例えば、物理デバイス６００は、タッチスクリーン２１０に接する下層デバイス６１０と、下層デバイス６１０に積層される上層デバイス６２０とを有する。下層デバイス６１０は、タッチスクリーン２１０によって感知される突起部６１１と、上層デバイス６２０の突起部をタッチスクリーン２１０に感知させるための中継部６１２とを有する。上層デバイス６２０は、タッチスクリーン２１０に感知させるための突起部６２１を有する。

ここで、物理デバイス６００においては、物理デバイス１００の導電部と同様に、突起部が各層のデバイスごとに独自の配置パターンを有している。そして、下層デバイス６１０に上層デバイス６２０が積層されると、図１２の（Ｂ）に示すように、上層デバイス６２０の突起部６２１が、下層デバイス６１０の中継部６１２を表面から押下する。その結果、中継部６１２が下層デバイス６１０の裏面に突出することとなり、タッチスクリーン２１０に感知されるようになる。そこで、突起部の配置パターンごとに所定の処理を実行させるようにすることで、感圧型のタッチスクリーンにおいても実現可能である。

また、上述した実施例１においては、各層のデバイスにおける導電部が３つの場合について説明したが、実施例はこれに限定されるものではなく、例えば、２つ、或いは、４つ以上の場合であってもよい。

また、例えば、各装置の分散・統合の具体的形態（例えば、図４の形態）は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合することができる。一例を挙げると、接地点位置座標取得処理部２３１及び接地点数処理部２３２とを一つの接地点検知部として統合してもよく、枠内画像拡大・縮小処理部２６１を、各処理を実行する複数の処理部に分散してもよい。

また、接地点情報処理装置２５０を情報処理装置２００の外部装置としてネットワーク経由で接続するようにしてもよく、或いは、接地デバイス検出処理部２５１と接地デバイス方向計算処理部２５２とを別の装置がそれぞれ有し、ネットワークに接続されて協働することで、上述した情報処理装置２００の機能を実現するようにしてもよい。

これらの実施例やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１００ 物理デバイス
１１０ 下層デバイス
１１１、１２１ 導電部
１１２ 導電中継部
１２０ 上層デバイス
２００ 情報処理装置
２３０ 接地点検知処理装置
２４０ リアルタイム処理発生装置
２５０ 接地点情報処理装置
２６０ 表示画面処理装置

Claims (7)

1. タッチスクリーン上で物理デバイスが操作されることで、情報処理装置に対して入力操作が実行される操作情報入力システムであって、
   前記物理デバイスは、
   前記タッチスクリーンに接触される第１のデバイスと、前記第１のデバイスに積層される第２のデバイスとを有し、
   前記第１のデバイスは、前記タッチスクリーンによってそれぞれ感知される複数の被感知部と、前記第２のデバイスが積層された場合に、当該第２のデバイスが有する複数の被感知部を前記タッチスクリーンに感知させる中継部とを有し、
   前記情報処理装置は、
   前記複数の被感知部の配置パターンごとに所定の処理を対応付けたデバイス情報を記憶するデバイス情報蓄積部と、
   前記第１のデバイスにおける複数の被感知部の配置パターンである第１の配置パターンと、前記中継部を介して感知される前記第２のデバイスにおける複数の被感知部の配置パターンである第２の配置パターンとをそれぞれ検出する検出部と、
   前記デバイス情報を参照して、前記検出部によって検出された配置パターンに対応する処理を実行し、前記第１の配置パターン及び前記第２の配置パターンが検出された場合には、前記第２の配置パターンに対応する処理を実行する処理部と、
   を備えたことを特徴とする操作情報入力システム。
2. 前記検出部は、前記タッチスクリーンにおける前記複数の被感知部の座標をそれぞれ検出し、最短の被感知部間距離及び最長の被感知部間距離を形成する第１の被感知部と、前記最短の被感知部間距離を形成する他の被感知部である第２の被感知部とを抽出し、前記タッチスクリーンの座標系における前記第１の被感知部と前記第２の被感知部とによって形成される直線の傾きを前記物理デバイスの方向として算出することを特徴とする請求項１に記載の操作情報入力システム。
3. 前記デバイス情報蓄積部は、前記デバイス情報に、前記第１の被感知部から物理デバイスの中心までの距離と向きとをさらに対応付けて記憶し、
   前記検出部は、前記デバイス情報を参照して、前記タッチスクリーンによって検出された被感知部に対して前記物理デバイスの中心までの距離と向きとを加えることで、前記物理デバイスの前記タッチスクリーンに対する位置を決定することを特徴とする請求項２に記載の操作情報入力システム。
4. 前記物理デバイスが中空である場合に、前記デバイス情報蓄積部は、前記デバイス情報に前記物理デバイスの枠の形状をさらに記憶し、
   前記検出部は、前記デバイス情報を参照して、前記物理デバイスの方向及び位置から前記枠の位置及び方向を算出することを特徴とする請求項２に記載の操作情報入力システム。
5. 前記被感知部は導体であり、前記タッチスクリーンは、静電容量型であることを特徴とする請求項１〜４のいずれか一つに記載の操作情報入力システム。
6. 前記被感知部は前記タッチパネルとの接地方向に突起し、前記タッチスクリーンは、圧力を感知することを特徴とする請求項１〜４のいずれか一つに記載の操作情報入力システム。
7. 地図上に複数のコンテンツが紐付けられたコンテンツ検索画面を表示させたタッチスクリーン上で物理デバイスが操作されることで、情報処理装置に対してコンテンツを検索させる操作情報入力システムによって実行されるコンテンツ検索方法であって、
   前記物理デバイスが、
   前記タッチスクリーンに接触される第１のデバイスと、前記第１のデバイスに積層される第２のデバイスとを有し、
   前記第１のデバイスが、前記タッチスクリーンによってそれぞれ感知される複数の被感知部と、前記第２のデバイスが積層された場合に、当該第２のデバイスが有する複数の被感知部を前記タッチスクリーンに感知させる中継部とを有し、
   前記情報処理装置が、
   前記複数の被感知部の配置パターンごとにコンテンツ検索に係る処理を対応付けたデバイス情報を記憶するデバイス情報蓄積部を有し、
   前記第１のデバイスにおける複数の被感知部の配置パターンである第１の配置パターンと、前記中継部を介して感知される前記第２のデバイスにおける複数の被感知部の配置パターンである第２の配置パターンとをそれぞれ検出する検出工程と、
   前記デバイス情報を参照して、前記検出工程によって検出された配置パターンに対応する処理を実行し、前記第１の配置パターン及び前記第２の配置パターンが検出された場合には、前記第２の配置パターンに対応する処理を実行する処理工程と、
   を含んだことを特徴とするコンテンツ検索方法。

Images