JP2009076026A - 手持ちカメラによるカーソル位置決定方法 - Google Patents

Abstract

【課題】手持ちのカーソル移動装置において、手の動きのカーソルの移動への正確な変換を可能とする方法を提供する。
【解決手段】連続画像を撮影する手持ちカメラによりコンピュータ上のカーソルの位置決定を行う。カメラはレーザーポインタのような手持ち装置に配置される。カメラは局部場面の一連の画像を撮影するとともに、瞬時にコンピュータに送る。コンピュータは第１画像内の特定の特徴点を選定し画像におけるこれらの位置を記録する。コンピュータは第１画像の次の第２画像における特徴点を検索する。特徴点が検索される場合は、手持ち装置の動きは２つの画像間の特徴点の相対位置変化の計算によって得られ、コンピュータは対応して動くようカーソルを駆動させることができる。特徴点が検索できない場合は、コンピュータは選定された特徴点を放棄してから第２画像における新たな特徴点を選定すると同時に第３画像における新たな特徴点を検索する。
【選択図】図３

Description

この発明はコンピュータのカーソル位置決定に関する。特に、本発明は手の動きを検知する２つの画像の対比によるカーソル位置決定方法に関する。

パーソナルコンピュータは長いことすっかりグラフィカルユーザーインターフェース（GUI）を伴ったオペレーティングシステムを採用してきた。GUIでは、主に様々な操作を実行するカーソルの移動に依存している。通常、カーソルの移動はマウスによって制御される。

正常なマウスは、通常、テーブル上面のような固定面上で使用されなくてはならない。しかしながら、従来のマウスはある一定の場合には使用されてはならない。例えば、マイクロソフトのパワーポイントのようなソフトウェアによるコンピュータプレゼンテーションの場合がそうであり、話し手はスライドショーを行うプレゼンソフトをラップトップコンピュータ上で通常通り操作すると同時に、ステージ上のスライド内容を指し示すレーザーポインタを持つ。話し手にとって、スライドショーを行うコンピュータを直接操作するのはつらい。多くの場合、話し手はコンピュータを操作する補助者の追加を必要とする。しかしながら、話し手はプレゼンテーション全体を通じてプレゼンソフトを操作するために補助者と手合図、身振り（合槌といった）、あるいは対話を通じて連絡する必要があるだけでなく、ページをめくるといった決まった操作を除き、話し手が補助者にカーソルのクリックを要する、例えば、ハイパーリンクをクリックするとかスライド中でハイライトさせるためにある一定の言葉を選定するといった操作を行うよう命令することは困難である。

現在、マーケットにはレーザーポイントとマウス揺動による制御の両方を組み合わせた市販製品がある。言い換えると、話し手により保持されるレーザーポインタにもカーソル位置決定の機能がある。これらの揺動制御機能付きの製品は操作用の固定面を必要としない。しかしながら、これらでは手の動きを感知する１個あるいは２個の加速度計が採用されるとともに、個別ユーザーの手の動き方が根本的に異なるので、加速度計の感度がすべてのユーザーの様々な動作形態の要件に合わせて設定されるのは極めて難しい。さらには、加速度計は速度ではなく加速度を感知するものであるので、加速度計付きのマウスは手の動きの正確な反映が不可能である。特に、手持ち装置（レーザポインタ）は３次元空間を自由に動くので、その３次元の動きが２次元平面（例えば、表示画面）上のカーソルの移動に正確に変換されるのは困難である。ということはカーソルの移動に関する正確な制御は骨が折れるという結果につながろう。従って、加速度検知技術が採用されるこれらのカーソル位置決定製品は、カーソル移動の正確な制御は極めて困難である。カーソルには移動過剰、移動不足、あるいは移動方向の不正確さが頻繁に起こる。従って、さらなる改善が必要とされる。

本発明の目的は手持ちカメラによるカーソル位置決定方法を提供することにあって、これによってユーザーの手の３次元の動きによりカーソルの移動をさらに正確に制御することが可能となる。従来の加速度検知方法を採用することなく、この発明によりカーソルの移動がさらに正確となる手の動きのカーソルの移動への正確な変換が可能となる。

上述の目的の達成のため、本発明のカメラはレーザーポインタといった手持ち装置に設置される。カメラは局部的場面の一連の連続画像を撮影すると同時に即時にコンピュータに送る。コンピュータは第１画像から特定の特徴点を選定するとともに、これらの画像位置を記録する。その後、コンピュータは第１画像の次の第２画像内の特徴点を検索する。特徴点の１つが検索可能であれば、手持ち装置の動きが２つの画像における特徴点の相対的位置変化の計算によって得られる。コンピュータが対応して動くようにカーソルを駆動させることが可能である。特徴点が検索できなければコンピュータは既選定特徴点を放棄してから第２画像の新たな特徴点を選定すると同時に、新たな第３画像の特徴点を検索する。この段階は連続２画像に見出し得る特徴点が検索されるまで同様に繰り返される。

図１は本発明による手持ちカメラの透視図である。手持ちカメラ１は手持ち利用に適切なケース１１内に配置されるデジタルカメラ１２である。ケース１１は細長い本体にできるのが好ましい。デジタルカメラ１２はケース１１内に配置されるレーザーポインタ１３と連動可能であると同時に、レーザーポインタ１３の発光要素とデジタルカメラ１２のレンズの両方がケース１１の同じ側に位置するのがさらに好ましい。これによって、手持ちカメラ１もまたレーザーポインティング機能を有することになる。これによりプレゼンテーションの話し手の操作はより便利となる。しかしながら、当技術の専門家であればデジタルカメラ１２とレーザーポインタ１３は同じケース１１内に接合されて配置されてもなお別々であってそれぞれの操作と制御が行われる点を分かっているはずである。ユーザーによる操作用にケース１１の表面には複数のキー１４がある。

図２を参照すると、手持ちカメラ１はその入力装置として利用されるコンピュータホスト２に電気接続される。コンピュータホスト２は出力装置として利用される表示装置３に電気接続される。手持ちカメラ１とコンピュータホスト２は無線あるいは有線通信接続のどちらかによって連結可能である。有線接続はこれに限定されるわけではないがUSBインターフェース（ユニバーサルシリアルバス）が採用可能であることが好ましい。無線接続はこれに限定されるわけではないがブルートゥースインターフェースが採用可能であるのが好ましい。当技術の専門家であればその他の入手可能な有線あるいは無線の通信インターフェースを代わりに選定しても良い。通信インターフェースによって、手持ちカメラ1は自身によって撮影されたデジタル画像データをコンピュータホスト２に送る。コンピュータホスト２により、相対変位に対応して表示画面３上にカーソルを発生させる、これら連続画像の検知による手持ちカメラ１の相対的動きが得られる。

図３を参照すると、本発明のカーソル位置決定方法を例示する流れ図が示される。段階S1の最初に、ユーザーは手持ちカメラ１をプレゼンテーション用の場所といった局所的場面の一連の連続画像を撮影するように保持する。該連続画像は方向あるいは対象物に関する一切の制約無しに無差別にユーザーによって写真撮影される。画像内容もまた、たとえば、人、机、いす、扉、窓、カーテン、ブラインド、隅、壁がけ絵画、盆栽等、無制限である。本方法は連続画像の第１静止画像内に１個以上の特徴点を選択するとともに、被選択特徴点のパターンや位置を記録する段階S2が次に続く。該特徴点は画像の中で一番高いコントラストあるいは輝度を有する単一画素あるいは一連の隣接画素であり得る。本方法にはさらに第１画像の次の第２画像からのS2段階で選定された同一特徴点の検索S3が含まれる。少なくとも一つの同一特徴点が第２画像内に現れる場合S4Yには、本方法はS5で第１と第２画像間のその特徴点の位置変化を計算する。該位置変化はこれによって２つの画像の中で特徴点が移動する手持ちカメラ１の動きを示す。最後に、段階S6では表示装置３の画面上のカーソルの位置が特徴点の位置変化に応じて移動する。カーソルの移動には方向と距離の基本的な２つの要因が含まれる。S4N段階にある間、ユーザーが手持ちカメラ１を不当に揺動させる場合かあるいは選定されたすべての特徴点が固定対象物要素でなく第１画像におけるすべての選定特徴点が第２画像中に検索しきれない場合、本方法では第１画像で選定されたすべての特徴が廃棄される段階S7が実行されると同時に、代わりに新たな参照画像として利用される第２画像から新たな特徴点が選定されるとともに、第２画像の次の第３画像における新たな特徴点の検索、すなわち、新たな特徴点が連続２画像中から検索されるまで段階S2から段階S4までの段階が繰り返される。その後、段階S5およびS7は段階S4に近づくように実行可能である。

図４は連続２画像から選定されるある特定の特徴点の相対位置変化を示す図解図である。図４では、実線枠ならびに点線枠で囲まれた２領域はそれぞれ第１画像４１および第２画像４２である。両方の画像４１および４２がそれぞれｘ−ｙ平面だとすると、点Aは第１画像４１からのある特定の特徴点である。（x1,y1）は第１画像４１中のA点の直交座標である。手持ちカメラ１の動きのため、第２画像４２の点Aの直交座標は（x2,y2）となる。こうして、点Aの移動量は（（x1-x2）,（y1-y2））である。図４に示す座標では、（x1-x2）のマイナス値が手持ちカメラの左方への動き（図に示されるように）を示し、プラス値が右方を示す。（y1-y2）のプラス値は上方への動き（図に示されるように）を示すとともに、マイナス値は下方を示す。図４に示される条件は手持ちカメラ１の左上方の動きを示す。

手持ちカメラ１の移動量が得られた後、表示装置３の画面上のカーソルにより対応する変位が作り出され得る。図５に示されるように、カーソル３１は当初位置、すなわち、図４における第１画像４１が生じる時点における位置にある。手持ちカメラ1から（（x1-x2）,（y1-y2））の距離の左上方の動きが検知されるので、カーソル３１は対応して位置３２に移動する。十分な理解のため、図５では表示装置３画面に対する撮影画像の４１、４２について１：１の比の対応相関関係が採用されている。しかしながら、表示装置３上のカーソルの移動量ではほかに別の比が採用されても良い。いいかえると、表示装置３画面上のカーソルの移動量は、aをゼロより大きい任意の数値である比例係数とすると（a(x1-x2）,a（y1-y2））であり得ると同時に、手持ちカメラ１と主画面あるいは背景との間の距離や個人的なやり方でのユーザーの手の動きに応じて変更可能である。

上述の通り、本発明はカーソルの変位を制御する自由なカメラによる固定対象物の写真撮影によってユーザーの手の動きを検知する。従来の加速度検知技術から生ずる方向が不正確となる欠点は完全に回避可能である。本発明はカーソル位置決定をさらに正確かつ精密にするために２次元スクリーン上のカーソル移動のベースとして２次元画像上の特徴点の移動を利用するものである。

本発明の実施例に関する前述の説明は例示と説明のために紹介された。正確な公開形態に対して強調したり、発明を限定したりする意図はない。多くの変更と変型が上記の教唆に照らして可能である。本発明の範囲はこの詳細説明よりむしろここに添付される請求項によって限定されるものと意図される。

本発明をこれらだけに限定する意図はない例を通じて与えられる以降の詳細説明は、付録の図面と関連して十分理解されよう。

本発明による手持ちカメラ透視図。 本発明による好ましい実施例の系統的な模式図。 本発明によるカーソル位置決定方法を示す流れ図。 本発明による連続２画像から選定される特徴点の相対位置変化を示す例示図。 表示画面のカーソルの変位を示す例示図。

Claims (5)

1. a) 連続画像を撮影する手持ちカメラの使用
   b) 該連続画像のN番目画像からの少なくとも１個の特徴点の選定
   c) N番目画像の次の（N+1）番目画像からのb 段階で選定された同一特徴点の検索
   d) （N+1）番目画像中に該同一特徴点が検索される場合にN番目と（N+1）番目の画像の検索特徴点間の位置変化の計算
   e) 特徴点の位置変化に応じた表示画面上のカーソルの移動
   f) 段階cで特徴点が検索しきれない場合に代わる（N+１）番目の画像からの別の特徴点の選定、ならびに
   g) ｆ段階以後のN=N+1毎のｃ〜ｆ段階の繰り返し
   が含まれるカーソルの位置決定方法。
2. 段階ｂあるいは段階ｆでの選定特徴点数が１個である、請求項１の方法。
3. 段階ｂあるいは段階ｆでの選定特徴点数が２個以上である、請求項１の方法。
4. 特徴点が画像内の最高のコントラストあるいは輝度を有する領域である、請求項１の方法。
5. 手持ちカメラが細長いケースに配置されるデジタルカメラである、請求項１の方法。