JP2015176451A - ポインティング制御装置およびポインティング制御プログラム - Google Patents

Abstract

【課題】ユーザーがユーザーの指し示す画面から離れても、体のぶれによるカーソル位置のふらつきを低減出来るポインティング制御装置およびポインティング制御プログラムを提供する。【解決手段】画像を表示する表示面とユーザーとの距離を測定する距離測定部と、ユーザーの動きを検出する動き検出部と、前記検出された動きから、前記表示面を指し示すユーザーの第１の動きを抽出し、抽出結果に基づいて前記表示面に表示されるカーソルを移動させるとき、前記移動の単位移動量を前記測定された距離に基づいて調整する制御部とを備える。【選択図】図３

Description

本発明は、画像表示面上でユーザーがポインティングした位置にカーソルを表示するポインティング制御装置およびポインティング制御プログラムに関する。

画像を用いたプレゼンテーションにおいて、画像表示面に表示されたカーソルをユーザーの指示（ポインティング）に従って移動させ、プレゼンテーションを聴衆に分かり易く説明する事が行われてきた。

画像表示面でカーソルを動かす方法としては、画像表示面へ画像を出力するＰＣ（Personal Computer）の入力デバイスであるマウスを操作することなどが主に用いられてきたが、マウスを用いる事が困難な状況では、カーソルの移動先を指示するユーザーの動きを検知するために、カメラ、加速度センサー、ジャイロセンサーなどのモーションセンサーを用いるなど、様々な方法が採られてきた。

例えば、特許文献１において開示された技術は、車両に搭載されたナビゲーション装置において、ディスプレイ画面上に表示されたカーソルを移動させる指示をユーザーが与えるために、ユーザーはカーソルを動かしたい方向に手に持ったカメラを振って指示を与えるものである。カメラに撮影されるディスプレイ画面と、カメラにより撮影される視野フレームの中心点との相対位置により、カーソルの移動方向を判断している。

特許文献１の技術では、ユーザーがカメラを手で持つために発生する手ぶれの問題に、視野フレームの中心点の周囲に、特定の大きさの不感帯領域を設けることで対処している。

また、画面からカメラまでの距離を、カメラで撮影される画面の大きさから判断し、距離に応じて不感帯領域の大きさを調整することにより、距離が離れる程大きくなる手ぶれに対応している。

また、例えば、特許文献２において開示された技術では、ＰＣから出力された画像をプロジェクターによりスクリーンに映し出し、ユーザーは手に持ったカメラで画像が映し出されたスクリーンを撮影することにより、ＰＣにカーソルを表示する位置を指示している。

特許文献２の技術では、ユーザーがカメラを振る速度により、カーソルの移動速度を調整して、ユーザーの意図した位置にカーソルを動かしやすくしている。
また、特許文献１と同じように、カメラで撮影された画像から、カメラとスクリーンの距離を検知し、カーソルの移動速度を調整している。

なお、Ｋｉｎｅｃｔなど、モーションキャプチャー用のセンサーを用いて、一般的なゲームコントローラーによる入力の代わりとする技術なども開発されてきている。

特開２００２−２２２０４３号公報 特開２００８−１７１３３７号公報

上記２つの特許文献に開示されている技術では、手ぶれの問題や、カメラとスクリーンとの距離に応じた感度の調整を行うことが出来るが、ユーザーは画面上のカーソルを移動させる指示を出すために、カメラを持たなければならなかった。

また、手に持ったカメラで撮影された画像は、僅かな手ぶれで撮影される画像が大きくずれてしまうので、実用的ではなかった。

また、モーションキャプチャー用センサーを用いた場合、カメラは持たなくてもよいが、画面上のカーソルを動かすためのユーザーの体の動きは、指し示す画面から離れると小さくなると共に誤差が大きくなる。そのため、ユーザーの指示によるカーソルの位置がふらつき易くなってしまっていた。

以上のような事情に鑑み、本発明の目的は、ユーザーがユーザーの指し示す画面から離れても、体のぶれによるカーソル位置のふらつきを低減出来るポインティング制御装置およびポインティング制御プログラムを提供することにある。

上記目的を達成するため、本発明の一形態に係るポインティング制御装置は、画像を表示する表示面とユーザーとの距離を測定する距離測定部と、ユーザーの動きを検出する動き検出部と、前記検出された動きから、前記表示面を指し示すユーザーの第１の動きを抽出し、抽出結果に基づいて前記表示面に表示されるカーソルを移動させるとき、前記移動の単位移動量を前記測定された距離に基づいて調整する制御部とを備える。

上記目的を達成するため、本発明の一形態に係るポインティング制御装置では、前記制御部は、前記画像上に、前記測定された距離に基づいた間隔の格子線で仮想的な格子を設定し、前記検出されたユーザーの動きに基づいた前記カーソルの移動先が前記格子線上に位置するように補正することにより、前記単位移動量を調整する構成でもよい。

上記目的を達成するため、本発明の一形態に係るポインティング制御装置では、前記制御部は、前記カーソルの移動先を補正するとき、補正前の移動先の点に最も近い前記格子線上に位置するように前記移動先の点を補正する構成でもよい。

上記目的を達成するため、本発明の一形態に係るポインティング制御装置では、前記制御部は、前記検出された動きから、前記表示面を指し示すユーザーの第１の動きと異なる、予め定められた第２の動きを検出し、前記単位移動量を、前記第２の動きに対応する単位移動量に設定する構成でもよい。

上記目的を達成するため、本発明の一形態に係るポインティング制御装置は、複数のユーザーを識別するユーザー識別部をさらに備え、前記距離測定部は、前記表示面と前記識別された各々のユーザーとの距離をそれぞれ測定し、前記動き検出部は、前記識別された各々のユーザーの動きをそれぞれ検出し、前記制御部は、前記検出された動きから、前記表示面を指し示すそれぞれのユーザーの第１の動きを抽出し、抽出結果に基づいて前記表示面に表示されるカーソルを移動させるとき、前記移動の単位移動量を前記測定されたそれぞれの距離に基づいて調整する構成でもよい。

上記目的を達成するため、本発明の一形態に係るポインティング制御プログラムは、動き検出部により検出されたユーザーの動きから、画像を表示する表示面を指し示す前記ユーザーの動きを抽出し、前記抽出結果に基づいて前記表示面に表示されるカーソルを移動させるとき、前記移動の単位移動量を、前記表示面とユーザーとの距離に基づいて調整する制御部としてコンピューターを機能させる。

以上のように、本発明によれば、ユーザーがユーザーの指し示す画像の表示面から離れても、体のぶれによるカーソル位置のふらつきを低減出来るという効果を奏する。

本発明の実施形態にかかるポインティング制御装置１の構成図である。 本発明の実施形態にかかるポインティング制御装置１が前提とする位置関係の具体例を示す図である。 本発明の実施形態にかかるポインティング制御装置１におけるカーソルの単位移動量の調整方法の具体例について説明するための図である。 本発明の実施形態にかかるポインティング制御装置１における処理の流れについて説明するためのフローチャートである。

以下、図面を参照しながら、本発明の実施形態を説明する。

［概要］
まず、本実施形態にかかるポインティング制御装置の概要について説明する。

本実施形態にかかるポインティング制御装置は、何もポインティング用の機器を持たないユーザーが、表示装置の画面に表示された画像を指さしてプレゼンテーションを行う際の手ぶれを、表示装置の画面とユーザーとの距離を認識することにより、画面上に表示されるカーソルの最小移動距離（感度）を調整するものである。

以上、本実施形態にかかるポインティング制御装置の概要について説明した。

［構成について］
次に、本実施形態にかかるポインティング制御装置の構成について説明する。図１は、本実施形態にかかるポインティング制御装置１の構成図である。

本実施形態にかかるポインティング制御装置１は、大きく分けて、モーションキャプチャー用センサー１０と制御部２０とから構成されている。
モーションキャプチャー用センサー１０は、カメラ１１、ユーザー検出部１２（ユーザー識別部）、動作検出部１３（動き検出部）、および距離検出部１４（距離測定部）を有している。

カメラ１１は、プレゼンテーションを行うユーザーを含めた周辺の画像を撮影する。

ユーザー検出部１２は、カメラ１１により撮影された画像から、プレゼンテーションを行うユーザーを識別する。

動作検出部１３は、ユーザー検出部１２により識別されたユーザーの特定の動きを検出（抽出）する。例えば、ユーザーが表示装置の画面に表示された画像を指で指し示して、指し示したまま手を動かすと、動作検出部１３はその指の動きを抽出して、表示装置３０の表示部３１の画面上に表示されるカーソルを動かす。

例えば、ユーザーが画面を指している手を右に動かせば、画面上のカーソルも右に移動する。このように、ユーザーは、何も持たず素手でカーソルの移動を指示することが出来る。動作検出部１３は、画面を指さしているユーザーの手の絶対位置を認識するのではなく、手が動かされる相対位置を認識して、画面上のカーソル移動を行う。

なお、動作検出部１３は、ユーザーが表示装置の画面に表示された画像を指で指し示す動作に限らず、予め定められた様々な特定の動きを認識することが出来る。

距離検出部１４は、ユーザー検出部１２により識別されたユーザーの位置と、表示装置３０の画像表示面である表示部３１との距離を検出する。なお、距離検出部１４は、３Ｄ距離画像センサーにより距離を測定するものでもよい。

なお、図１に示している、表示部３１を有する表示装置３０は、ポインティング制御装置１の一部として構成されてもよいし、一般的な表示装置を別途用意して用いてもよい。

例えば、一般的な表示装置としてディスプレイを用いる場合、ディスプレイの画面が画像表示面であり、距離検出部１４は、画面からユーザーまでの距離を測定することになる。

また、一般的な表示装置としてプロジェクターとスクリーンを用いる場合、プレゼンテーションの画像がプロジェクターにより投影されるスクリーン面が画像表示面となる。

なお、上記の説明では、モーションキャプチャー用センサー１０にカメラ１１等が含まれているものとしたが、この構成に限らず、カメラ１１、ユーザー検出部１２、動作検出部１３、および距離検出部１４がそれぞれ独立した構成でもよい。それぞれ独立した構成とすることにより、市販の一般的で安価なモーションキャプチャー用センサーを用いることも出来る。

以上、本実施形態にかかるポインティング制御装置の構成について説明した。

［前提とする配置について］
次に、本実施形態にかかるポインティング制御装置１が前提とする、モーションキャプチャー用センサー１０、表示装置３０、ユーザー、聴衆の位置関係について具体例を説明する。図２は、本実施形態にかかるポインティング制御装置１が前提とする位置関係の具体例を示す図である。なお、図２は、位置関係を上から見た図である。

聴衆の前に表示装置３０である大型液晶ディスプレイが配置され、大型液晶ディスプレイの表示部３１である画面が聴衆の側に向けられている。

モーションキャプチャー用センサー１０は、表示装置３０の直前に設置されている。なお、この例では、モーションキャプチャー用センサー１０を表示装置３０の直前に設置しているが、設置位置はこの位置に限らない。モーションキャプチャー用センサー１０を配置する位置は、ユーザーの動作を適切に検出することと、画像表示面とユーザーとの距離を適切に測定することが出来る位置であればどこであっても構わない。

プレゼンテーションを行い、表示部３１の画面上のカーソルを移動させるために画面を指し示す動作などを行うユーザー（発表者）の位置としては、表示部３１に近い位置（発表者位置Ａ）や、聴衆に近く表示部３１からは遠い位置（発表者位置Ｃ）、表示部３１と聴衆の中間の位置（発表者位置Ｂ）などが考えられる。

本実施形態では、このように表示部３１とユーザーとの距離が異なる場合に、距離に合わせてカーソルを移動させる感度（単位移動量）を調整することにより、体のぶれによるカーソルのぶれを低減し、聴衆に見やすいプレゼンテーションを実現するものである。

なお、ここで説明した配置は一例であり、その他の例として、表示装置３０として聴衆の前にスクリーンを設置し、聴衆の背後からプロジェクターにより画像を投影する構成でもよい。この場合、モーションキャプチャー用センサー１０はスクリーンの近傍に配置してもよいし、プロジェクターの近傍に配置してもよい。

なお、ユーザーは歩きながらプレゼンテーションを行ってもよい。モーションキャプチャー用センサー１０は、移動するユーザーと表示部３１との距離を逐次測定して感度を調整することが出来る。

以上、本実施形態にかかるポインティング制御装置１が前提とする、モーションキャプチャー用センサー１０、表示装置３０、ユーザー、聴衆の位置関係について具体例を説明した。

［カーソルの単位移動量の調整について］
次に、本実施形態にかかるポインティング制御装置１におけるカーソルの単位移動量の調整方法の具体例について説明する。図３は、本実施形態にかかるポインティング制御装置１におけるカーソルの単位移動量の調整方法の具体例について説明するための図である。

図３の上段の図は、ユーザーと表示部３１との距離が近い場合を示したものである。この場合、画面を指し示すユーザーの手の動きは、手ぶれによる動きよりも大きいので、手ぶれを気にする必要はない。そのため、モーションキャプチャー用センサー１０により読み取られた手の動きに基づいて、そのままカーソルの移動が行われる。

図３の中段の図は、ユーザーと表示部３１との距離が中程度である場合を示したものである。この場合、画面を指し示すユーザーの手の動きは、手ぶれによる動きと同程度になるので、画面上でカーソルがぶれないようにするためには、カーソルを画面上で移動させる際の単位移動量を調整しなければならない。

そのため、表示部３１に表示される画像上に仮想的な格子（グリッド）を設ける。ここではグリッドの間隔（格子線の間隔）を中程度として設けている。ユーザーの手の動きにより指示されたカーソルの移動先の位置は、指示された通りの位置に移動されるのではなく、指示された通りの位置に最も近い格子線上の位置に補正される。すなわち、ユーザーの指示によって移動するカーソルは必ず仮想的な格子上にスナップ（吸着）することになり、量子的な動きとなる。

図３の下段の図は、ユーザーと表示部３１との距離が長距離である場合を示したものである。この場合、画面を指し示すユーザーの手の動きは、手ぶれによる動きより小さくなるので、手ぶれの影響が大きくなってします。そのため、仮想的に設ける格子の格子線の間隔を、ユーザーと表示部３１の距離が中程度の場合の間隔よりも広げている。

こうすることにより、ユーザーが表示部３１から離れた位置から、表示部３１を指し示す動作によりカーソルを移動させる指示を与えた場合でも、手ぶれの影響によるカーソルのふらつきを最小限に抑えた見やすいプレゼンテーションを行うことが出来る。

以上、本実施形態にかかるポインティング制御装置１におけるカーソルの単位移動量の調整方法の具体例について説明した。

［処理の流れについて］
次に、本実施形態にかかるポインティング制御装置１における処理の流れについて説明する。図４は、本実施形態にかかるポインティング制御装置１における処理の流れについて説明するためのフローチャートである。

まず、ユーザー検出部１２が、カメラ１１により撮像された画像からユーザーを認識する（ステップＳ１）。

次に、距離検出部１４が、表示部３１からユーザーまでの距離を検知する（ステップＳ２）。

次に、グリッド制御部２１が、ステップＳ２において検出された距離の情報を基に、グリッド(格子)の格子線の間隔を計算する（ステップＳ３）。

次に、カーソル位置補正部２２が、計算されたグリッド間隔に基づいて、ユーザーによりポイントされた位置に最も近いグリッド上の位置を、移動先のカーソルの表示位置として計算する(ステップＳ４)。このステップによりカーソル位置が補正される。

最後に、制御部２０が、補正されたカーソル位置を表示部３０に伝達する（ステップＳ５）。

以上、本実施形態にかかるポインティング制御装置１における処理の流れについて説明した。

［変形例１（特定の動作によるグリッド間隔の設定）］
次に、ユーザーの行う特定の動作により、グリッドの線の間隔をユーザーが明示的に指定する変形例について説明する。

グリッド制御部２１により計算されたグリッドの間隔をユーザーが明示的に変更する場合は、ユーザーが予め定められた特定の動作を行う。そして、動作検出部１３がユーザーのその特定の動作を検知し、グリッド制御部２１が検知された動作に基づいてグリッドの間隔を調整する。動作の定め方により、グリッドの間隔を任意に調整することが出来る。

以上、ユーザーの行う特定の動作により、グリッドの線の間隔をユーザーが明示的に指定する変形例について説明した。

［変形例２（複数のユーザーによる利用）］
上記の構成では、１人のユーザーがポインティング制御装置１を利用することを前提とした。これに対し、変形例２では、複数のユーザーがポインティング制御装置１を利用することが出来る。

まず、ユーザー検出部１２は、複数のユーザーを識別する。なお、ここでいう識別とは、ユーザーのいる位置を区別する程度の識別でよい。

動作検出部１３は、ユーザー検出部１２により識別されたそれぞれのユーザーの動きを検出する。

距離検出部１４は、ユーザー検出部１２により識別されたそれぞれのユーザーの位置と表示部３１との距離をそれぞれ測定する。

グリッド制御部２１は、各ユーザーが表示部３１を指し示す動作を行うときに、表示部３１と識別されたそれぞれのユーザーとの距離に応じた間隔のグリッドを設定する。

以上、複数のユーザーがポインティング制御装置１を利用することが出来る構成について説明した。

［効果］
（１）ユーザーが表示装置に画像を表示させてプレゼンテーションを行う際、カーソルが手ぶれの影響を受けにくいので、プレゼンテーションの視認性を向上させることが出来る。

（２）一般的に普及しているモーションキャプチャー用センサーを用いる場合、低コスト化を実現することが出来る。

（３）複数のユーザーが同時に１台のポインティング制御装置１を利用する場合でも、個別にグリッドの間隔を調整する（感度を調整する）ことが出来る。

［補足事項］
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１０ … モーションキャプチャー用センサー
１１ … カメラ
１２ … ユーザー検出部
１３ … 動作検出部
１４ … 距離検出部
２０ … 制御部
２１ … グリッド制御部
２２ … カーソル位置補正部
３０ … 表示装置
３１ … 表示部

Claims (6)

1. 画像を表示する表示面とユーザーとの距離を測定する距離測定部と、
   ユーザーの動きを検出する動き検出部と、
   前記検出された動きから、前記表示面を指し示すユーザーの第１の動きを抽出し、
   抽出結果に基づいて前記表示面に表示されるカーソルを移動させるとき、前記移動の単位移動量を前記測定された距離に基づいて調整する制御部と
   を備えたポインティング制御装置。
2. 請求項１に記載のポインティング制御装置であって、
   前記制御部は、
   前記画像上に、前記測定された距離に基づいた間隔の格子線で仮想的な格子を設定し、
   前記検出されたユーザーの動きに基づいた前記カーソルの移動先が前記格子線上に位置するように補正することにより、前記単位移動量を調整する
   ポインティング制御装置。
3. 請求項２に記載のポインティング制御装置であって、
   前記制御部は、
   前記カーソルの移動先を補正するとき、補正前の移動先の点に最も近い前記格子線上に位置するように前記移動先の点を補正する
   ポインティング制御装置。
4. 請求項１から３のいずれか１つに記載のポインティング制御装置であって、
   前記制御部は、
   前記検出された動きから、前記表示面を指し示すユーザーの第１の動きと異なる、予め定められた第２の動きを検出し、
   前記単位移動量を、前記第２の動きに対応する単位移動量に設定する
   ポインティング制御装置。
5. 請求項１から４のいずれか１つに記載のポインティング制御装置であって、
   複数のユーザーを識別するユーザー識別部をさらに備え、
   前記距離測定部は、
   前記表示面と前記識別された各々のユーザーとの距離をそれぞれ測定し、
   前記動き検出部は、
   前記識別された各々のユーザーの動きをそれぞれ検出し、
   前記制御部は、
   前記検出された動きから、前記表示面を指し示すそれぞれのユーザーの第１の動きを抽出し、
   抽出結果に基づいて前記表示面に表示されるカーソルを移動させるとき、前記移動の単位移動量を前記測定されたそれぞれの距離に基づいて調整する
   ポインティング制御装置。
6. 動き検出部により検出されたユーザーの動きから、画像を表示する表示面を指し示す前記ユーザーの動きを抽出し、
   前記抽出結果に基づいて前記表示面に表示されるカーソルを移動させるとき、
   前記移動の単位移動量を、前記表示面とユーザーとの距離に基づいて調整する
   制御部としてコンピューターを機能させるポインティング制御プログラム。

Images