JP2022142488A - ポインティング位置を推定する装置および方法、機器を制御する装置および方法、ならびにプログラム - Google Patents

Abstract

【課題】ポインティング操作の準備をさらに容易にする。【解決手段】ジャイロセンサ２３を備えるデバイス２の所定平面におけるポインティング位置を推定する情報処理装置３であって、前記所定平面上に存在する２つの基準点Ｐ１，Ｐ２の座標を示す基準点座標情報Ｄ２を登録する座標情報登録部３２と、デバイス２を同一位置から基準点Ｐ１，Ｐ２の各々に指向させた時の、デバイス２の上面に垂直な第１軸の周りのアルファ角、ならびに、前記第１軸およびデバイス２の指向方向に垂直な第２軸周りのベータ角の角度情報を取得する角度情報取得部３３と、前記角度情報と、基準点座標情報Ｄ２とに基づいて、前記ポインティング位置を算出する位置算出部３４と、を備える情報処理装置３。【選択図】図１

Description

特許法第３０条第２項適用申請有り （その１） ウェブサイトの掲載日 ２０２１年２月１５日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｉｐｓｊ．ｉｘｓｑ．ｎｉｉ．ａｃ．ｊｐ／ｅｊ／？ａｃｔｉｏｎ＝ｐａｇｅｓ＿ｖｉｅｗ＿ｍａｉｎ＆ａｃｔｉｖｅ＿ａｃｔｉｏｎ＝ｒｅｐｏｓｉｔｏｒｙ＿ｖｉｅｗ＿ｍａｉｎ＿ｉｔｅｍ＿ｄｅｔａｉｌ＆ｉｔｅｍ＿ｉｄ＝２０９４４２＆ｉｔｅｍ＿ｎｏ＝１＆ｐａｇｅ＿ｉｄ＝１３＆ｂｌｏｃｋ＿ｉｄ＝８ （その２） ウェブサイトの掲載日 ２０２１年２月１５日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｃｉ．ｎｉｉ．ａｃ．ｊｐ／ｎａｉｄ／１７００００１８４３５７

本発明は、デバイスのポインティング位置を推定する技術、および、デバイスを用いて機器を操作する技術に関する。

スクリーンを用いてプレゼンテーションをする場合、主にレーザポインタや指示棒が用いられる。また、スクリーンに投影されている情報がプレゼンテーションツールによるものであったり、計算機のミラーリング画面であったりする場合には、マウスやトラックパッドなどのポインティングデバイスがポインティング手段として用いられる。

大型スクリーンを用いた議論やプレゼンテーションの場面においては、単一のスクリーンを用いて、複数の人がポインティングをするという場合がある。しかし、従来のポインティング手段では、ポインティングデバイスが一つしかない場合が多く、ポインティングデバイスを把持しているユーザ以外は画面上の位置を指示しにくいという問題がある。そのため、同時に複数の箇所をポインティングするためには、複数のポインティングデバイスを事前に用意しておく必要がある。

また、正確なポインティングのために、マウスやジャイロマウスなどを用いた相対ポインティング位置ではなく、カメラなどを用いて絶対ポインティング位置を算出する手法も提案されているが、この方法ではカメラなどの専用機器が必要になるという問題がある。

これに対し、特許文献１には、スクリーンに画像を投写して投写像を表示するプロジェクタと、前記スクリーン上の箇所を指し示すためのポインティングデバイスとを有し、前記ポインティングデバイスの角度変化量に基づいて、前記ポインティングデバイスが指し示す位置にポインタを表示するプレゼンテーションシステムであって、前記スクリーン上に少なくとも３点を表示すると共に、前記ポインティングデバイスによって前記３点を撮像し、撮像された３点の各々の座標値に基づいて、前記ポインティングデバイスの角度変化量と前記ポインティングマークを表示する位置とのキャリブレーションを行う発明が開示されている。特許文献１に記載の発明において、ポインティングデバイスとして汎用の携帯端末を用いることにより、専用機器を用いることなく、複数の人がポインティングすることも可能となる。

特開２００８－１０７８８６号公報

しかしながら、特許文献１に記載の発明では、ポインティングデバイスによって少なくとも３点を撮像する必要があるため、ポインティング操作の準備に手間がかかる。

本発明は、上記問題を解決するためになされたものであって、ポインティング操作の準備をさらに容易にすることを課題とする。

上記課題を解決するために、本発明は以下の態様を含む。
項１．
ジャイロセンサを備えるデバイスの所定平面におけるポインティング位置を推定する装置であって、
前記所定平面上に存在する２つの基準点の座標を示す基準点座標情報を登録する基準点座標情報登録部と、
前記デバイスを同一位置から前記基準点の各々に指向させた時の、前記デバイスの上面に垂直な第１軸の周りのアルファ角、ならびに、前記第１軸および前記デバイスの指向方向に垂直な第２軸周りのベータ角の角度情報を取得する角度情報取得部と、
前記角度情報と、前記基準点座標情報登録部に登録された前記基準点座標情報とに基づいて、前記ポインティング位置を算出する位置算出部と、
を備える装置。
項２．
前記位置算出部は、下記式によって前記ポインティング位置を算出する、項１に記載の装置。

ｘ：前記ポインティング位置のｘ座標
ｙ：前記ポインティング位置のｙ座標
α：算出時点のアルファ角
β：算出時点のベータ角
ｗ_１：前記２つの基準点を対頂点とする長方形の前記基準点以外の頂点の一方のｘ座標
ｈ_１：前記２つの基準点を対頂点とする長方形の前記基準点以外の頂点の一方のｙ座標
ｗ_２：前記２つの基準点を対頂点とする長方形の前記基準点以外の頂点の他方のｘ座標
ｈ_２：前記２つの基準点を対頂点とする長方形の前記基準点以外の頂点の他方のｙ座標
α_１：前記デバイスを前記基準点の一方に指向させたときのアルファ角
α_２：前記デバイスを前記基準点の他方に指向させたときのアルファ角
β_１：前記デバイスを前記基準点の一方に指向させたときのベータ角
β_２：前記デバイスを前記基準点の他方に指向させたときのベータ角
項３．
前記所定平面上に存在する機器の座標を示す機器座標情報を登録する機器座標情報登録部と、
前記機器座標情報に基づき、前記位置算出部が算出したポインティング位置にある機器を特定する操作対象特定部と、
前記デバイスへの操作に応じて、前記特定された機器を制御する機器制御部と、
をさらに備える、項１または２に記載の装置。
項４．
前記デバイスへの操作は、前記デバイスの指向方向に沿った第３軸周りに前記デバイスを回転させる動作であり、
前記角度情報取得部は、前記デバイスの前記第３軸周りのガンマ角をさらに取得し、
前記機器制御部は、前記ガンマ角の変化に基づいて前記特定された機器を制御する、項３に記載の装置。
項５．
項１～４のいずれかに記載の装置と、
前記装置によって推定されたポインティング位置にポインタを表示する表示手段と、
を備えるシステム。
項６．
ジャイロセンサを備えるデバイスの所定平面におけるポインティング位置を推定する位置推定方法であって、
前記所定平面上に存在する２つの基準点の座標を示す基準点座標情報を登録する基準点座標情報登録ステップと、
前記デバイスを同一位置から前記基準点の各々に指向させた時の、前記デバイスの上面に垂直な第１軸の周りのアルファ角、ならびに、前記第１軸および前記デバイスの指向方向に垂直な第２軸周りのベータ角の角度情報を取得する角度情報取得ステップと、
前記角度情報と、前記基準点座標情報登録ステップにおいて登録された前記基準点座標情報とに基づいて、前記ポインティング位置を算出する位置算出ステップと、
を備える位置推定方法。
項７．
ジャイロセンサを備えるデバイスを用いて、所定平面上に存在する機器を制御する機器制御方法であって、
前記所定平面上に存在する２つの基準点の座標を示す基準点座標情報を登録する基準点座標情報登録ステップと、
前記デバイスを同一位置から前記基準点の各々に指向させた時の、前記デバイスの上面に垂直な第１軸の周りのアルファ角、ならびに、前記第１軸および前記デバイスの指向方向に垂直な第２軸周りのベータ角の角度情報を取得する角度情報取得ステップと、
前記角度情報と、前記基準点座標情報登録ステップにおいて登録された前記基準点座標情報とに基づいて、前記デバイスの前記所定平面におけるポインティング位置を算出する位置算出ステップと、
前記機器の座標を示す機器座標情報を登録する機器座標情報登録ステップと、
前記機器座標情報に基づき、前記位置算出ステップで算出したポインティング位置にある機器を特定する操作対象特定ステップと、
前記デバイスへの操作に応じて、前記特定された機器を制御する機器制御ステップと、
を備える機器制御方法。
項８．
前記デバイスへの操作は、前記デバイスの指向方向に沿った第３軸周りに前記デバイスを回転させる動作であり、
前記角度情報取得ステップでは、前記デバイスの前記第３軸周りのガンマ角をさらに取得し、
前記機器制御ステップでは、前記ガンマ角の変化に基づいて前記特定された機器を制御する、項７に記載の機器制御方法。
項９．
ジャイロセンサを備えるデバイスの所定平面におけるポインティング位置を推定するプログラムであって、
コンピュータを、
前記所定平面上に存在する２つの基準点の座標を示す基準点座標情報を登録する基準点座標情報登録部、
前記デバイスを同一位置から前記基準点の各々に指向させた時の、前記デバイスの上面に垂直な第１軸の周りのアルファ角、ならびに、前記第１軸および前記デバイスの指向方向に垂直な第２軸周りのベータ角の角度情報を取得する角度情報取得部、および
前記角度情報と、前記基準点座標情報登録部に登録された前記基準点座標情報とに基づいて、前記ポインティング位置を算出する位置算出部、
として機能させる、プログラム。
項１０．
ジャイロセンサを備えるデバイスを用いて、所定平面上に存在する機器を制御するプログラムであって、
コンピュータを、
前記所定平面上に存在する２つの基準点の座標を示す基準点座標情報を登録する基準点座標情報登録部、
前記デバイスを同一位置から前記基準点の各々に指向させた時の、前記デバイスの上面に垂直な第１軸の周りのアルファ角、ならびに、前記第１軸および前記デバイスの指向方向に垂直な第２軸周りのベータ角の角度情報を取得する角度情報取得部、
前記角度情報と、前記基準点座標情報登録部に登録された前記基準点座標情報とに基づいて、前記デバイスの前記所定平面におけるポインティング位置を算出する位置算出部、
前記機器の座標を示す機器座標情報を登録する機器座標情報登録部、
前記機器座標情報に基づき、前記位置算出部が算出したポインティング位置にある機器を特定する操作対象特定部、および
前記デバイスへの操作に応じて、前記特定された機器を制御する機器制御部、
として機能させる、プログラム。
項１１．
前記デバイスへの操作は、前記デバイスの指向方向に沿った第３軸周りに前記デバイスを回転させる動作であり、
前記角度情報取得部は、前記デバイスの前記第３軸周りのガンマ角をさらに取得し、
前記機器制御部は、前記ガンマ角の変化に基づいて前記特定された機器を制御する、項１０に記載のプログラム。

本発明によれば、ポインティング操作の準備をさらに容易にすることができる。

本発明の一実施形態に係るシステムのブロック図である。 デバイス、基準点表示部および機器が設けられている場所の概略図である。 デバイスの回転角の説明図である。 デバイスに表示される画面の一例である。 （ａ）は、基準点座標情報の一例であり、（ｂ）は、機器座標情報の一例である。 （ａ）～（ｅ）は、ガンマ角を利用した操作方法の一例である。 情報処理装置による演算処理の手順を示すフローチャートである。 デバイスに表示される画面の一例である。 ダミーカーソルを含む複数のポインタが表示された画面である。 リアルカーソルの発見にかかった時間とダミーカーソルの数との関係を示すグラフである。

以下、本発明の実施形態について添付図面を参照して説明する。なお、本発明は、下記の実施形態に限定されるものではない。

（システム構成）
図１は、本発明の一実施形態に係るシステム１のブロック図である。システム１は、デバイス２と、情報処理装置３（装置）と、基準点表示部４と、プロジェクタ５（表示手段）と、機器６とを備えている。本実施形態において、デバイス２、基準点表示部４、プロジェクタ５および機器６は、建物内の部屋にある。

デバイス２は、携帯電話、スマートフォン、タブレットなどの携帯端末でもよい。また、電話機能を有さない専用の機器でもよい。本実施形態では、デバイス２として携帯端末であるスマートフォンを用いて説明する。情報処理装置３は、デバイス２、プロジェクタ５および機器６とインターネット等のネットワークＮを介して通信可能である。情報処理装置３が設けられる場所は特に限定されないが、本実施形態では部屋の外（例えばクラウド上）に設けられる。ただし、デバイス２が情報処理装置３の機能を有していてもよい。システム１では、情報処理装置３によって、デバイス２を用いて指し示される所定平面上におけるポインティング位置を推定し、推定されたポインティング位置をプロジェクタ５によって表示する。さらに、システム１では、デバイス２を介して機器６を制御することができる。

図２は、デバイス２、基準点表示部４および機器６のある場所の概略図である。デバイス２は、部屋内のユーザによって保持されている。プロジェクタ５は図２では省略されているが、部屋の天井等に配置される。

基準点Ｐ１，Ｐ２は、空間内の２次元平面である壁Ｗ上に配置される。より具体的には、基準点Ｐ１、Ｐ２は、ユーザから向かって壁Ｗの右上隅および左下隅の近傍に配置されている。なお、壁Ｗは基準点表示部４として機能している。なお、基準点Ｐ１，Ｐ２の位置は、壁Ｗを含む平面（所定平面）上であれば特に限定されない。

なお、壁Ｗに平行な水平軸をｘ軸とし、ｘ軸に垂直な水平軸をｙ軸とし、上下方向の軸をｚ軸とする。また、基準点Ｐ１，Ｐ２を配置する態様は特に限定されず、紙を壁Ｗに貼付したり、プロジェクタ５によって壁Ｗに投影することにより、基準点Ｐ１，Ｐ２を表示することができる。また、壁Ｗの代わりに、ディスプレイ装置に基準点Ｐ１，Ｐ２を表示してもよい。基準点Ｐ１，Ｐ２の形状は特に限定されないが、本実施形態では円形である。

機器６は、ネットワークＮを介して情報処理装置３と接続されたＩｏＴ機器である。機器６の種類および個数は、特に限定されない。機器６は壁Ｗに設けられているが、ユーザが視認できる位置であれば、壁Ｗを含む平面上に設けられてもよい。本実施形態では、機器６は、エアコンおよび電灯であるが、テレビや扇風機などでもよい。

（デバイスの構成）
図１に示すように、デバイス２は、読取部２１と、入力部２２と、ジャイロセンサ２３と、角度情報生成部２４とを備えている。
読取部２１は、ＱＲコード（登録商標）を読み取るためのアプリケーションによって実現することができる。入力部２２は、タッチパネルによって構成することができる。

ジャイロセンサ２３は、デバイス２の回転角を検知するセンサであり、大部分の機種に搭載されている。具体的には、ジャイロセンサ２３は、アルファ（α）角、ベータ（β）角およびガンマ（γ）角を検知することができる。

図３（ａ）に示すように、アルファ角は、デバイス２の画面に垂直な軸周りの回転角度であり、０～３６０度の値で表現される。図３（ｂ）に示すように、ベータ角は、デバイス２の画面を横方向に貫く軸の周りの回転角度であり、－１８０～１８０度の値で表現される。図３（ｃ）に示すように、ガンマ角は、デバイス２の指向方向に沿った軸（第３軸）周りの回転角度であり、－９０～９０度の値で表現される。すなわち、図３（ａ）～（ｃ）に示すＸＹＺ座標において、アルファ角はＺ軸まわりの回転角（デバイス２の上面に垂直な第１軸の周りの角）であり、ベータ角はＸ軸まわりの回転角（第１軸およびデバイス２の指向方向に垂直な第２軸周りの角）であり、ガンマ角はＹ軸まわりの回転角（デバイス２の指向方向に沿った第３軸周りの角）である。

角度情報生成部２４は、ＨＴＭＬ５およびＪａｖａＳｃｒｉｐｔ（登録商標）を用いて実装されるＷｅｂアプリケーションであり、読取部２１が所定のＱＲコードを読み取ることにより起動する。角度情報生成部２４は、ＪａｖａＳｃｒｉｐｔのＤｅｖｉｃｅ Ｏｒｉｅｎｔａｔｉｏｎイベントを用いてジャイロセンサ２３のアルファ角、ベータ角およびガンマ角を検知して角度情報を生成する機能を有している。

具体的には、読取部２１が所定のＱＲコードを読み取ると、Ｗｅｂアプリケーションが起動し、図４に示す画面がデバイス２に表示される。このとき、Ｄｅｖｉｃｅ Ｏｒｉｅｎｔａｔｉｏｎイベントが初期化され、ジャイロセンサ２３のアルファ角、ベータ角およびガンマ角が０度に初期化される。なお、角度情報生成部２４がＷｅｂアプリケーション以外のアプリケーションとしてあらかじめデバイス２にインストールされている場合は、ＱＲコードの読み取りを省略してもよい。

続いて、ユーザは、デバイス２を基準点Ｐ１に指向させ、図４に示す「Ｐ１」のボタンをタップする。入力部２２がタップ操作を検知すると、角度情報生成部２４は、ジャイロセンサ２３からアルファ角およびベータ角を検知することにより角度情報を生成し、基準点の番号（Ｐ１）およびデバイスの端末ＩＤとともに、角度情報を情報処理装置３に送信する。

その後、ユーザは、デバイス２の中心位置を変えずに回転させることにより、デバイス２を基準点Ｐ２に指向させ、図４に示す「Ｐ２」のボタンをタップする。これに応じて、角度情報生成部２４は、ジャイロセンサ２３のアルファ角およびベータ角を検知することにより角度情報を生成し、基準点の番号（Ｐ２）およびデバイスの端末ＩＤとともに、角度情報を情報処理装置３に送信する。

（情報処理装置の構成）
図１に示す情報処理装置３は、例えば汎用のコンピュータで構成することができる。情報処理装置３は、ハードウェア構成として、ＣＰＵやＧＰＵなどのプロセッサ（図示省略）、ＳＲＡＭやＤＲＡＭなどの主記憶装置（メモリ、図示省略）、およびＨＤＤやＳＳＤなどの補助記憶装置３１を主に備えている。補助記憶装置３１には、プログラムＤ１、基準点座標情報Ｄ２、機器座標情報Ｄ３などの各種データが記憶されている。なお、情報処理装置３を複数のコンピュータで構成してもよい。

また、情報処理装置３は、機能ブロックとして、座標情報登録部３２（基準点座標情報登録部、機器座標情報登録部）と、角度情報取得部３３と、位置算出部３４と、操作対象特定部３５と、機器制御部３６とを備えている。これらの機能ブロックは、情報処理装置３のプロセッサが、プログラムＤ１をメモリに読み出して実行することによりソフトウェア的に実現することができる。すなわち、プログラムＤ１は、プロセッサによって実行されることにより、情報処理装置３の座標情報登録部３２、角度情報取得部３３、位置算出部３４、操作対象特定部３５および機器制御部３６としてコンピュータを動作させる。

プログラムＤ１は、通信ネットワークを介して情報処理装置３にダウンロードしてもよいし、プログラムＤ１を記録したＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体を介して、プログラムＤ１を情報処理装置３に供給してもよい。

座標情報登録部３２は、基準点Ｐ１，Ｐ２の座標を示す基準点座標情報Ｄ２および機器６の座標を示す機器座標情報Ｄ３を登録する機能を有している。基準点Ｐ１，Ｐ２および機器６の座標は、壁Ｗを含むｘｚ平面における２次元座標である。座標情報登録部３２は、基準点Ｐ１，Ｐ２および機器６が設置されたときに、システムの管理者等の操作によって、基準点Ｐ１，Ｐ２および機器６の座標を基準点座標情報Ｄ２および機器座標情報Ｄ３として補助記憶装置３１に記憶させる。なお、座標情報登録部３２は、特許請求の範囲に記載の基準点座標情報登録部および機器座標情報登録部の両方に対応する。

図５（ａ）は、基準点座標情報Ｄ２の一例であり、図５（ｂ）は、機器座標情報Ｄ３の一例である。座標の原点は、壁Ｗを含むｘｚ平面の任意の位置に設定することができ、例えばユーザから向かって壁Ｗの左上隅を原点として設定することができる。

図１に示す角度情報取得部３３は、デバイス２の角度情報生成部２４から、デバイス２の回転角を示す角度情報を取得する。角度情報には、デバイス２をユーザが保持している位置から基準点Ｐ１，Ｐ２の各々に指向させた時の、ジャイロセンサ２３のアルファ角およびベータ角が含まれている。

位置算出部３４は、角度情報取得部３３によって取得された角度情報と、座標情報登録部３２に登録された基準点座標情報Ｄ２とに基づいて、デバイス２の壁Ｗを含む平面におけるポインティング位置を算出する。以下、具体的な算出方法について説明する。

まず、デバイス２の回転角を基に座標を決定するため、ユーザの正面においてその値が連続する必要がある。角度情報取得部３３によって取得されるアルファ角αは初期化された時点の値が０であるが、デバイス２を第１軸周りに反時計回りに回転させると３６０となり不連続である。そこで、角度情報取得部３３は、ジャイロセンサ２３から取得されるアルファ角の値をα_ｒａｗとして下記の式（１）のように調整する。

続いて、位置算出部３４は、下記の式（２）によって線形補完を行うことでポインティング位置の座標（ｘ、ｙ）を算出する。

式（２）において、α、βは算出時点のアルファ角、ベータ角であり、ｗ_１、ｈ_１は壁Ｗの左上隅近傍（基準点Ｐ１、Ｐ２を対頂点とする長方形の基準点Ｐ１、Ｐ２以外の頂点の一方）のｘ座標、ｙ座標であり、ｗ_２、ｈ_２は壁Ｗの右下隅近傍（基準点Ｐ１、Ｐ２を対頂点とする長方形の基準点Ｐ１、Ｐ２以外の頂点の他方）のｘ座標、ｙ座標であり、α_１、α_２は、デバイス２を基準点Ｐ１、基準点Ｐ２に指向させたときのアルファ角であり、β_１、β_２は、デバイス２を基準点Ｐ１、基準点Ｐ２に指向させたときのベータ角である。

情報処理装置３は、位置算出部３４によって算出されたポインティング位置を、デバイス２のポインティング位置として推定する。さらに、プロジェクタ５が、情報処理装置３によって推定された壁Ｗ上のポインティング位置にポインタを表示する。

このように、ユーザは、２つの基準点Ｐ１，Ｐ２にデバイス２を指向させてアルファ角およびベータ角を取得するだけで、レーザポインタを使用せずにデバイス２のポインティング位置を認識できる。よって、ポインティング操作の準備を従来よりも容易にすることができる。

なお、ポインタの表示手段はプロジェクタ５に限定されず、ディスプレイ等であってもよい。また、複数のデバイス２を用いる場合、各デバイス２から受信したアルファ角およびベータ角の角度情報に基づいて、各デバイス２のポインティング位置を並行して算出することで、壁Ｗに複数のポインタを同時に表示することも可能となる。

図１に示す操作対象特定部３５は、機器座標情報Ｄ３に基づき、位置算出部３４が算出したポインティング位置にある機器６を特定する。具体的には、操作対象特定部３５は、位置算出部３４が算出したポインティング位置と、機器座標情報Ｄ３に登録されている各機器６の座標とを比較し、ポインティング位置に一致する、または所定距離以内に近接する機器６が存在する場合に、当該機器６を特定する。

機器制御部３６は、デバイス２への操作に応じて、操作対象特定部３５によって特定された機器６を制御する。本実施形態では、デバイス２への操作は、デバイス２の指向方向に沿った第３軸周りにデバイス２を回転させる動作である。デバイス２を第３軸周りに回転させると、角度情報取得部３３が取得するガンマ角が変化し、機器制御部３６は、ガンマ角の変化に基づいて機器６を制御する。

例えば、図６（ａ）に示すように、電源のＯＮ／ＯＦＦを、デバイス２を右回り（時計回り）／左回り（反時計回り）に所定角度以上回転させる動作に対応させてもよい。この動作は、コンピュータマウスのクリック操作に対応させることができる。具体的には、右回りの大きな回転を右クリック、左回りの大きな回転を左クリック、といったように右クリック／左クリック操作との対応付けを行えば、コンピュータマウスと同様の操作が実現できるため、コンピュータのＧＵＩ操作に適用できる。さらに、回転角度に複数の閾値を設定すれば、例えば、複数のラジオボタンから１つの選択肢を選ぶ操作にも適用できる。

また、図６（ｂ）に示すように、音響機器のボリュームなどの連続的な操作量を、ガンマ角の変化量に対応させることも可能である。これにより，例えばユーザが手首をひねってダイヤルを回す感覚で、操作量を調節することができる。

同様に、図６（ｃ）に示すように、ＧＵＩにおいて領域を選択する操作で、領域の大きさをガンマ角の変化量に対応させてもよい。例えば右周りの回転量が大きくなるほど、広い領域をまとめて選択するといった操作が実現する。これにより、選択したい領域の周囲を囲うことや、円形などの所定形状の図形のスケールを変化させることで、所望の大きさの領域を選択することができる。領域を囲うことによる選択操作では、ユーザの要求に応じて柔軟に範囲を選択できる利点があり、図形のスケールの変化による選択でも、選択操作が容易になる。こうした操作を三次元空間に適用してもよい。

さらに、図６（ｄ）に示すように、ガンマ角の変化量を画像の深度に対応させてもよい。例えば、ディスプレイやスクリーンに投影された風景画像の深度をガンマ角の変化量に対応させることにより、表示されている風景を深度方向に進めることなどが可能となる。

また、図６（ｅ）に示すように、ガンマ角の変化量をプロジェクタの投影画像の回転量に対応させてもよい。一般的にプロジェクタの投影は、投影範囲の上端および下端が地面と平行になるように行うことが多く、補正を要する角度の量は小さいため、ボタンの入力回数などで補正を行う一方で、近年はプロジェクションマッピングのように、様々な角度での投影を行う機会がある。この際に、デバイス２を用いて投影位置を選択し、ガンマ角の変化量に応じて投影画像を回転させることができる。

以上のように、機器制御部３６は、ガンマ角の変化に基づいて機器６を制御することができる。これにより、ユーザは、タップやフリック等の細かい操作を行うことなく、デバイス２を回転させるだけで直感的に機器６を操作することができる。

（処理手順）
図７は、情報処理装置３による演算処理の手順を示すフローチャートである。

座標情報登録ステップＳ１（基準点座標情報登録ステップ、機器座標情報登録ステップ）では、座標情報登録部３２が、基準点Ｐ１，Ｐ２の座標を示す基準点座標情報Ｄ２および機器６の座標を示す機器座標情報Ｄ３を登録する。

角度情報取得ステップＳ２では、角度情報取得部３３が、デバイス２をユーザが保持している位置から基準点Ｐ１，Ｐ２の各々に指向させた時の、ジャイロセンサ２３のアルファ角およびベータ角の角度情報を取得する。その後、図８に示す画面をデバイス２に表示して、ユーザにデバイス２を所望の機器６に指向させるよう指示してもよい。

位置算出ステップＳ３では、位置算出部３４が、角度情報取得ステップＳ２において取得された角度情報と、座標情報登録部３２が、座標情報登録ステップＳ１において登録した基準点座標情報Ｄ２とに基づいて、デバイス２の壁Ｗを含む平面におけるポインティング位置を算出する。

操作対象特定ステップＳ４では、操作対象特定部３５が、機器座標情報Ｄ３に基づき、位置算出ステップＳ３において算出されたポインティング位置にある機器６を特定する。

機器制御ステップＳ５では、機器制御部３６が、ユーザのデバイス２への操作に応じて、操作対象特定ステップＳ５において特定された機器６を制御する。

（付記事項）
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。

例えば、デバイスは携帯端末等に限定されず、ジャイロセンサや地磁気センサを備えるものであればよい。

以下、本発明の実施例について説明するが、本発明は下記実施例に限定されない。

本実施例では、上述のシステム１において、デバイス２のポインティング位置に表示されたポインタ（リアルカーソル）以外に多数のポインタ（ダミーカーソル）が存在する場合、ユーザが自身のデバイス２のポインタを認識することができるか実験を行った。すなわち、システム１を多数のユーザが同時に利用する場合を想定した。デバイスとしてスマートフォン（Ａｐｐｌｅ社ｉＰｈｏｎｅ７）を用いた。大型ディスプレイの右上隅および左下隅を２つの基準点とし、デバイスを各基準点に指向させたときのアルファ角およびベータ角に基づいてポインティング位置を推定し、ポインタを当該ディスプレイに表示した。被験者（実験参加者）は、１０代から５０代の男女１０名であった。

（実験環境）
本実施例では、デバイス２の動きと、それに伴うポインタの表示位置の動きとの間の通信に起因する遅延時間を最小化するため、情報処理装置３をローカルネットワーク上に設置した。情報処理装置３のＯＳはＷｉｎｄｏｗｓ７であった。実験環境における遅延時間を測定したところ１３ミリ秒程度であった。具体的には、ラウンドトリップタイム（スマートフォン側アプリケーションからデータを送信し、ディスプレイ側アプリケーションがそれを受信後直ちに送り返し、スマートフォン側アプリケーションにてそのデータが確認されるまでの所要時間）を１０００回測定し、その平均の半分の時間を通信による遅延時間とした。

（実験手続）
実験において実際に複数の被験者が同時にデバイスを操作した場合、同時に試行を行う被験者の組み合わせが実験結果に影響を与えることが想定され、再現性を損なうおそれがある。そこで、ディスプレイ上に複数のユーザが操作するポインタが多数存在する環境を、乱数を用いて擬似的に再現した。

具体的には、図９に示すように、ディスプレイ上に複数のポインタを表示した。そのうちの一つがユーザの操作によって移動するポインタ（リアルカーソル）であり、その他のポインタ（ダミーカーソル）はランダムに動く。またリアルカーソルが停止した場合、全てのダミーカーソルも同様に停止する。

被験者にはポインタを操作しながらリアルカーソルを探すタスクを課し、被験者がリアルカーソルを正しく発見できたかを評価し、発見できた場合は発見までにかかった時間を計測した。被験者は自身のポインタを発見した場合、スペースキーを入力し（同時に計測停止）、その後、実験者が被験者に、自身のものだと感じたポインタを尋ね、実験者がその正否を確認した。ダミーカーソルの数は各タスクで１０、２０、５０、１００個とし、それぞれのタスクで５回の計測を行った。また、ダミーカーソルの数が少ないタスクから多いタスクの順に、各タスクを連続して５回反復試行を行った。

（比較例）
比較例として、デバイス２の代わりに光学マウスおよびジャイロマウスを用いて、上記と同様に、ディスプレイ上にリアルカーソルとダミーカーソルを表示し、被験者がリアルカーソルを正しく発見できたかを評価し、発見できた場合の発見までにかかった時間を計測した。光学マウスはＥＬＥＣＯＭ社Ｍ－ＩＲ０１ＤＲを、ジャイロマウスはＬｏｇｉｃｏｏｌ社ＳｐｏｔｌｉｇｈｔＰｒｅｓｅｎｔａｔｉｏｎＲｅｍｏｔｅを使用した。光学マウスのオプションはデフォルト設定（ポインタの速度：中間値、ポインタの精度を高めるオプション：有効）とした。

以下、光学マウスを用いた実験を比較例１、ジャイロマウスを用いた実験を比較例２とする。

（結果）
表１に、合計６００回の試行における、リアルカーソルの正解回数および誤認識回数を示す。

正解および誤認識の確率について、多重比較（Ｂｏｎｆｅｒｒｏｎｉの手法）を行った結果、本実施例の方が比較例よりも若干よい結果が得られたが、大きな有意差は認められなかった。

図１０は、リアルカーソルの発見にかかった時間とダミーカーソルの数との関係を示すグラフである。なお、リアルカーソルを誤認識した場合は排除している。

ポインタ操作手法とダミーカーソル数について多重比較を行った結果、ダミーカーソル数５０のタスクで、本実施例と比較例１との間に有意差が認められた（ｐ＝．００５＜．０５）。ダミーカーソル数１００のタスクでは、本実施例と比較例１との有意差（ｐ＝５．５×１０^－４＜．０５）だけでなく、本実施例と比較例２との有意差（ｐ＝１．７×１０^－４＜．０５）も認められた。このことから、ダミーカーソル数が増加するほど、本実施例の手法は比較例１，２に比べ有意にリアルカーソルの発見にかかる時間を抑えていることが示された。

このように認識にかかる時間に有意差が生じた理由は、ユーザの動作とポインタとの関連性にあると考えられる。光学マウスやジャイロマウスの手法は、操作量に応じてポインタが移動する相対ポインティング手法である一方、本実施例の手法は、デバイスが指向する先にポインタが表示される絶対ポインティング手法であるため、身体動作と強く関連がありポインタの発見を容易にしたと考えられる。

１ システム
２ デバイス
２１ 読取部
２２ 入力部
２３ ジャイロセンサ
２４ 角度情報生成部
３ 情報処理装置
４ 基準点表示部
５ プロジェクタ（表示手段）
６ 機器
３１ 補助記憶装置
３２ 座標情報登録部（基準点座標情報登録部、機器座標情報登録部）
３３ 角度情報取得部
３４ 位置算出部
３５ 操作対象特定部
３６ 機器制御部
Ｄ１ プログラム
Ｄ２ 基準点座標情報
Ｄ３ 機器座標情報
Ｐ１ 基準点
Ｐ２ 基準点
Ｗ 壁

Claims (11)

1. ジャイロセンサを備えるデバイスの所定平面におけるポインティング位置を推定する装置であって、
   前記所定平面上に存在する２つの基準点の座標を示す基準点座標情報を登録する基準点座標情報登録部と、
   前記デバイスを同一位置から前記基準点の各々に指向させた時の、前記デバイスの上面に垂直な第１軸の周りのアルファ角、ならびに、前記第１軸および前記デバイスの指向方向に垂直な第２軸周りのベータ角の角度情報を取得する角度情報取得部と、
   前記角度情報と、前記基準点座標情報登録部に登録された前記基準点座標情報とに基づいて、前記ポインティング位置を算出する位置算出部と、
   を備える装置。
2. 前記位置算出部は、下記式によって前記ポインティング位置を算出する、請求項１に記載の装置。
   

   

   ｘ：前記ポインティング位置のｘ座標
   ｙ：前記ポインティング位置のｙ座標
   α：算出時点のアルファ角
   β：算出時点のベータ角
   ｗ_１：前記２つの基準点を対頂点とする長方形の前記基準点以外の頂点の一方のｘ座標
   ｈ_１：前記２つの基準点を対頂点とする長方形の前記基準点以外の頂点の一方のｙ座標
   ｗ_２：前記２つの基準点を対頂点とする長方形の前記基準点以外の頂点の他方のｘ座標
   ｈ_２：前記２つの基準点を対頂点とする長方形の前記基準点以外の頂点の他方のｙ座標
   α_１：前記デバイスを前記基準点の一方に指向させたときのアルファ角
   α_２：前記デバイスを前記基準点の他方に指向させたときのアルファ角
   β_１：前記デバイスを前記基準点の一方に指向させたときのベータ角
   β_２：前記デバイスを前記基準点の他方に指向させたときのベータ角
3. 前記所定平面上に存在する機器の座標を示す機器座標情報を登録する機器座標情報登録部と、
   前記機器座標情報に基づき、前記位置算出部が算出したポインティング位置にある機器を特定する操作対象特定部と、
   前記デバイスへの操作に応じて、前記特定された機器を制御する機器制御部と、
   をさらに備える、請求項１または２に記載の装置。
4. 前記デバイスへの操作は、前記デバイスの指向方向に沿った第３軸周りに前記デバイスを回転させる動作であり、
   前記角度情報取得部は、前記デバイスの前記第３軸周りのガンマ角をさらに取得し、
   前記機器制御部は、前記ガンマ角の変化に基づいて前記特定された機器を制御する、請求項３に記載の装置。
5. 請求項１～４のいずれかに記載の装置と、
   前記装置によって推定されたポインティング位置にポインタを表示する表示手段と、
   を備えるシステム。
6. ジャイロセンサを備えるデバイスの所定平面におけるポインティング位置を推定する位置推定方法であって、
   前記所定平面上に存在する２つの基準点の座標を示す基準点座標情報を登録する基準点座標情報登録ステップと、
   前記デバイスを同一位置から前記基準点の各々に指向させた時の、前記デバイスの上面に垂直な第１軸の周りのアルファ角、ならびに、前記第１軸および前記デバイスの指向方向に垂直な第２軸周りのベータ角の角度情報を取得する角度情報取得ステップと、
   前記角度情報と、前記基準点座標情報登録ステップにおいて登録された前記基準点座標情報とに基づいて、前記ポインティング位置を算出する位置算出ステップと、
   を備える位置推定方法。
7. ジャイロセンサを備えるデバイスを用いて、所定平面上に存在する機器を制御する機器制御方法であって、
   前記所定平面上に存在する２つの基準点の座標を示す基準点座標情報を登録する基準点座標情報登録ステップと、
   前記デバイスを同一位置から前記基準点の各々に指向させた時の、前記デバイスの上面に垂直な第１軸の周りのアルファ角、ならびに、前記第１軸および前記デバイスの指向方向に垂直な第２軸周りのベータ角の角度情報を取得する角度情報取得ステップと、
   前記角度情報と、前記基準点座標情報登録ステップにおいて登録された前記基準点座標情報とに基づいて、前記デバイスの前記所定平面におけるポインティング位置を算出する位置算出ステップと、
   前記機器の座標を示す機器座標情報を登録する機器座標情報登録ステップと、
   前記機器座標情報に基づき、前記位置算出ステップで算出したポインティング位置にある機器を特定する操作対象特定ステップと、
   前記デバイスへの操作に応じて、前記特定された機器を制御する機器制御ステップと、
   を備える機器制御方法。
8. 前記デバイスへの操作は、前記デバイスの指向方向に沿った第３軸周りに前記デバイスを回転させる動作であり、
   前記角度情報取得ステップでは、前記デバイスの前記第３軸周りのガンマ角をさらに取得し、
   前記機器制御ステップでは、前記ガンマ角の変化に基づいて前記特定された機器を制御する、請求項７に記載の機器制御方法。
9. ジャイロセンサを備えるデバイスの所定平面におけるポインティング位置を推定するプログラムであって、
   コンピュータを、
   前記所定平面上に存在する２つの基準点の座標を示す基準点座標情報を登録する基準点座標情報登録部、
   前記デバイスを同一位置から前記基準点の各々に指向させた時の、前記デバイスの上面に垂直な第１軸の周りのアルファ角、ならびに、前記第１軸および前記デバイスの指向方向に垂直な第２軸周りのベータ角の角度情報を取得する角度情報取得部、および
   前記角度情報と、前記基準点座標情報登録部に登録された前記基準点座標情報とに基づいて、前記ポインティング位置を算出する位置算出部、
   として機能させる、プログラム。
10. ジャイロセンサを備えるデバイスを用いて、所定平面上に存在する機器を制御するプログラムであって、
    コンピュータを、
    前記所定平面上に存在する２つの基準点の座標を示す基準点座標情報を登録する基準点座標情報登録部、
    前記デバイスを同一位置から前記基準点の各々に指向させた時の、前記デバイスの上面に垂直な第１軸の周りのアルファ角、ならびに、前記第１軸および前記デバイスの指向方向に垂直な第２軸周りのベータ角の角度情報を取得する角度情報取得部、
    前記角度情報と、前記基準点座標情報登録部に登録された前記基準点座標情報とに基づいて、前記デバイスの前記所定平面におけるポインティング位置を算出する位置算出部、
    前記機器の座標を示す機器座標情報を登録する機器座標情報登録部、
    前記機器座標情報に基づき、前記位置算出部が算出したポインティング位置にある機器を特定する操作対象特定部、および
    前記デバイスへの操作に応じて、前記特定された機器を制御する機器制御部、
    として機能させる、プログラム。
11. 前記デバイスへの操作は、前記デバイスの指向方向に沿った第３軸周りに前記デバイスを回転させる動作であり、
    前記角度情報取得部は、前記デバイスの前記第３軸周りのガンマ角をさらに取得し、
    前記機器制御部は、前記ガンマ角の変化に基づいて前記特定された機器を制御する、請求項１０に記載のプログラム。

Images