JP2011529222A - ユーザインターフェイスの操作を行うための、検出したコヒーレント光線の干渉縞の動きのカーソルの動きへのマッピング - Google Patents

ユーザインターフェイスの操作を行うための、検出したコヒーレント光線の干渉縞の動きのカーソルの動きへのマッピング Download PDF

Info

Publication number
JP2011529222A
JP2011529222A JP2011520078A JP2011520078A JP2011529222A JP 2011529222 A JP2011529222 A JP 2011529222A JP 2011520078 A JP2011520078 A JP 2011520078A JP 2011520078 A JP2011520078 A JP 2011520078A JP 2011529222 A JP2011529222 A JP 2011529222A
Authority
JP
Japan
Prior art keywords
remote control
control device
movement
interference fringes
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011520078A
Other languages
English (en)
Inventor
徹 堂向
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2011529222A publication Critical patent/JP2011529222A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/1141One-way transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0384Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Abstract

コヒーレント光線の干渉縞の動きをカーソルの動作にマップしてユーザインターフェイスの操作を行う方法、システム及び装置を提供する。コヒーレント光線を発する遠隔制御装置が、カーソルによって操作可能なユーザインターフェイスを表示するディスプレイ装置と協働的に構成される。遠隔制御装置の半導体レーザー要素及び結合されたディフューザ要素がコヒーレント光線を生成する。遠隔制御装置の動きが、コヒーレント光線の干渉縞がディスプレイ装置のセンサに衝突する動きを引き起こし、この干渉縞の動きがディスプレイ装置により検知されて、ユーザインターフェイス内のカーソルの対応する動きにマップされる。このようにして、遠隔制御装置を使用して、遠隔制御装置自体の動きにより画面上のユーザインターフェイスを操作することができる。
【選択図】図1

Description

〔著作権表示〕
本特許文書の開示部分は、著作権保護の対象内容を含み得る。著作権の権利所有者は、合衆国特許商標庁の特許ファイル又は記録内に表されるとおりに特許文書又は特許開示を複製することには異議を唱えないが、それ以外は全ての著作権を留保する。
様々な家庭用電子(CE)機器とともに利用できるアプリケーションがより豊富かつ複雑になるにつれ、このような機器のユーザと通信する、グラフィカルユーザインターフェイス(GUI)を含むユーザインターフェイス(UI)などの手段も複雑になってきた。例えば、最近のテレビには、通常のテレビ機能に加えて写真又はJPEG画像を表示するアプリケーションを有するものもある。通常は、テレビ画面上に写真のサムネイルを配列し、ユーザが遠隔制御装置(RC)を使用してこれらのうちの1つを選択し、これを全画面表示したり或いは修正したりできるようにする。この種のアプリケーションはPCではよく知られており、ユーザはマウスを操作してこれを容易に操作するが、同じ種類のアプリケーションを従来の赤外線リモートコマンダーを使用してCE機器上で使用することは課題であり、にわかに容易なことではない。例えば、写真のサムネイルが4×5の行列で配列されている場合、強調表示部分をマトリクスの左下から対角部へ移動させるにはRC上の方向ボタンを7回押す必要があり、使い勝手が良くない。パーソナルコンピュータの場合には、マウスを使用することにより同じ動作を一瞬で行うことができる。従って、CE機器のディスプレイ装置上に表示される、様々なアプリケーションのためのUI又はGUIの操作をサポートする必要がある。
CE機器とともに使用する遠隔制御装置は、GUI操作をより容易にサポートするように適合されてきた。例えば、Wiiゲーム機の遠隔制御装置は、ナビゲーションボタンによってGUIメニュー上の強調表示部分を単純に動かすというよりも、ユーザが遠隔制御装置自体を動かすことによって画面を指し示すことができる。しかしながら、これには動作検知装置及び/又はその他の高周波(RF)通信装置を動作させることが必要である。特にRF装置は非常に高価であり、バッテリ消費量が大きいという問題もある。
新規と思われる本発明の特徴は、添付の特許請求の範囲に詳細に示す。しかしながら、以下の本発明のいくつかの例示的な実施形態を示す発明の詳細な説明を添付図面と併せて参照することにより、本発明の目的及び利点とともに本発明自体を構成及び動作方法の両方に関して最も良く理解することができる。
様々な実施形態によるシステムのブロック図である。 様々な実施形態による遠隔制御装置のブロック図である。 様々な実施形態による方法を示すフロー図である。 様々な実施形態による機能ブロック図である。
当業者であれば、図中の要素は説明を単純かつ明快にするために示したものであり、必ずしも縮尺通りに描いたものであるとは限らないことを理解するであろう。例えば、図中の一部の要素の寸法には、本発明の様々な実施形態をより良く理解できるように他の要素に対して誇張したものもある。
本発明は、多くの異なる形の実施形態が可能であるが、本開示は発明の原理の一例であると見なすべきであり、図示及び説明する特定の実施形態に本発明を限定することを意図するものではないという理解の下、図面には特定の実施形態を示し本明細書で詳細に説明する。以下の説明では、図面のいくつかの図において同じ参照番号を使用して同様の、類似の又は一致する部分について説明する。
本明細書では、第1の(first)及び第2の(second)、上部の(top)及び下部の(bottom)などの関係語は、ある実体又は動作を別の実体又は動作と区別するためだけに使用することができ、このような実体又は動作間にこのような実際の関係又は順序が存在することを必ずしも必要とし、又は暗示するものではない。「含む(comprises)」、「含んでいる(comprising)」という用語、又はこれらの用語の他のあらゆる変化形は、要素の列挙を含むプロセス、方法、物品、又は装置が、これらの要素しか含んでいないのではなく、明確に列挙されていない、又はこのようなプロセス、方法、物品、又は装置に固有のその他の要素を含むことができるように非排他的な包含を含むことが意図されている。「〜を含む(comprises...a)」によって導かれる要素は、これ以上の制約が無い場合、その要素を含むプロセス、方法、物品、又は装置内にさらなる同一の要素が存在することを否定するものではない。
本明細書を通じて、「1つの実施形態」、「特定の実施形態」、「ある実施形態」、又は類似の用語についての言及は、実施形態に関連して説明する特定の特徴、構造又は特性が、本発明の少なくとも1つの実施形態に含まれることを意味する。従って、本明細書を通じて至るところに出現するこのような語句は、必ずしも全てが同じ実施形態について言及するものではない。さらに、上記の特定の特徴、構造又は特性を、本発明を限定することなく1又はそれ以上の実施形態にあらゆる好適な態様で組み込むことができる。
本明細書で使用する場合、「又は」という用語は包括的なものとして解釈すべきであり、すなわちいずれか1つ又はあらゆる組合せを意味する。従って、「A、B又はC」は、「A、B、C、AとB、AとC、BとC、AとBとC、のいずれか」を意味する。この定義に対する例外は、要素、機能、ステップ又は行為の組合せが何らかの点で本質的に相互に相容れない場合にのみ生じる。
本発明の実施形態によれば、検知したコヒーレント光線の干渉縞の動きをカーソルの動きにマップしてユーザインターフェイスの操作を行う。コヒーレント光線を発する遠隔制御装置が、カーソルによって操作可能なユーザインターフェイスを表示するディスプレイ装置と協働的に構成される。遠隔制御装置の半導体レーザー要素及び結合されたディフューザ要素がコヒーレント光線を生成する。コヒーレント光線がセンサなどの反射面に衝突することにより、散乱又は「スペックルパターン」などの干渉縞が形成される。遠隔制御装置の動きが干渉縞の動きを引き起こし、これがディスプレイ装置によって検知され、ユーザインターフェイス内のカーソルの対応する動きにマップされる。このようにして、遠隔制御装置を使用して、遠隔制御装置自体の動きにより画面上のユーザインターフェイスを操作することができる。
ここで図1を参照すると、システムのブロック図100を示している。このシステムは、遠隔制御装置110及びテレビなどのディスプレイ装置を有する。遠隔制御装置110は、リモコン又はリモートコマンダーなどの、コヒーレント光線を発する遠隔制御装置である。ディスプレイ装置上にはグラフィカルユーザインターフェイス(GUI)などのユーザインターフェイス(UI)130が表示され、UIのユーザがUI内に表示された選択肢を操作できるようにするグラフィカルツールを意味するカーソル135を使用してこのUIを操作することができ、カーソルを所望の選択肢に重ねて置くことにより、この選択肢に対応する動作又は情報を選択することができる。カーソルは、例えばワープロアプリケーションで使用するようなポインタカーソルタイプのものであってもよく、又はGUIが強調表示されたメニュー又は見出しを有している場合、このカーソルは動く強調表示部分であってもよい。ディスプレイ装置は、コヒーレント光線の干渉縞などのコヒーレント光情報を検出するのに適した画像又は撮像センサ要素125をさらに有する。
ディスプレイ装置120は、操作可能なグラフィカルユーザインターフェイス130を表示し、遠隔制御装置により生成されたコヒーレント光線がディスプレイ装置のセンサ要素などのセンサに反射すること又は衝突することによって生じる干渉縞115を検知し、この干渉縞の動きを検出する。上述したように、UI130は、UIのカーソル135の動きによって操作可能である。遠隔制御装置110の動きが干渉縞の動きをさらに引き起こし、これがディスプレイ装置の画像センサ125により検知され、干渉縞115の動きがグラフィカルユーザインターフェイス130内の対応するカーソル135の動きにマップされる。
後述するように、ある実施形態によれば、遠隔制御装置110は半導体レーザー技術を有しており、これをディフューザ及び1又はそれ以上のレンズなどのその他の光学系と組み合わせて、ディスプレイ装置120の画像センサにより検出されるコヒーレント光線を生成することができる。コヒーレント光線が反射面に反射又は衝突することにより生じる干渉縞を「スペックルパターン」と呼ぶことができ、これはコヒーレントLD光の干渉により生成されるランダムパターンのことである。
干渉縞の検出又は検知に関して、ディスプレイ装置120は撮像センサ125を有する。ユーザが遠隔制御装置110をテレビに向けると、コヒーレント光線の反射により生成された干渉縞のスペックルパターンの一部が撮像センサ125により検出される。ユーザが遠隔制御装置を(UI内のカーソルの動きを生じるように)動かすと、撮像センサ上のスペックルパターンも動く。従って、ディスプレイ装置は、画像センサ125に加え、干渉縞の動きを検知及び捕捉するモーションセンサ要素をさらに有する。なお、図面には、ディスプレイ装置の撮像センサ要素及びモーションセンサ要素を画像センサ125で示している。さらに、モーションセンサ要素と協働的に構成されるテレビの処理要素が、モーションセンサ要素が捕捉した干渉縞の動きを処理し、この干渉縞の動きをグラフィカルユーザインターフェイス内のカーソルの対応する動きにマップする。
図4の機能ブロック図400を参照すると、処理要素450の、ディスプレイ装置の入/出力要素410から受信した情報を受け取って処理するための機能を示しており、この処理要素は、遠隔制御装置から放たれたコヒーレント光線が遠隔制御装置のセンサと衝突することにより発生した干渉縞を受け取って、ディスプレイ装置が検出した干渉縞の動きを検知するようにディスプレイ装置に動作可能に結合される。遠隔制御装置の動きが干渉縞の動きを引き起こし、これがディスプレイ装置により検知され、処理要素によって干渉縞の動きがユーザインターフェイス内のカーソルの対応する動きにマップされる。ディスプレイ装置の画像センサ/モーションセンサ要素430において受け取られた干渉縞が画像処理ブロック470に提供され、この画像処理ブロック470が、処理した画像情報を(ここでは中央演算処理ユニットすなわちCPUとして示す)プロセッサに提供する。ブロック460において、CPU480がUI又はGUIの生成及び変化を制御し、干渉縞の動きとカーソルの動きとの間のマッピングがCPU480及びGUI生成部460において行われる。UI又はGUIは、ディスプレイ装置410のディスプレイ要素420へ送られてユーザに表示される。
また、処理要素450の機能をディスプレイ装置の内部で実行されるものとして説明しているが、プロセッサ450の機能の1又はそれ以上を、実際にはディスプレイ装置とともに存在しない装置、ハードウェア、又はソフトウェアの形で実現できることを理解されたい。このことを、ディスプレイ装置の入/出力機能420/430の機能と、プロセッサ要素450により実現される処理機能460、470、480との間の点線で示している。また、図示のように、画像センサ機能及びモーションセンサ機能を、画像センサ/モーションセンサ要素430という(同一の場所に位置する)1つの要素として統合することができ、或いはこれらを協働的に結合された分離要素とすることもできる。
ディスプレイ装置のプロセッサは、パターンの動きを処理することにより、遠隔制御装置の動きの方向を判断することができる。この情報が、TVディスプレイ装置の内部でUI内のカーソルの対応する動きにマップされる。例えば、GUIが(例えば、ワードプロアプリケーションに含まれるような)ポインタカーソルを有していれば、このポインタカーソルが、遠隔制御装置が動く方向と同じ方向に動くようになる。或いは、GUIが強調表示されたメニュー又は見出しを有していれば、強調表示されたカーソルが、遠隔制御装置の動きに反応して動くようになる。このようにして、ユーザは、カーソルを所望の位置へ動かすのに必要な方向に遠隔制御装置を単純に動かしてカーソルの動きを所望の場所へ制御することにより、UIの操作を行うことができる。所望の場所に制御したら、ユーザは、「選択」ボタンを選択することなどの遠隔制御装置の選択機構を使用して、ユーザに提示されたカーソル位置に関連する情報又は選択肢を選択することができる。従って、(例えば、チャンネル選択ガイドのような)ユーザインターフェイスグリッド内でカーソルを2行上及び1列右に動かしたいユーザは、遠隔制御装置を上へ動かした後に右へ、又は北東の方向に動かすことによりこれを遂行することができる。干渉縞の動きをユーザインターフェイス内のカーソルの動きにマップすることにより、ユーザがUIとのやりとりを容易かつ直感的に制御できるようになる。さらに、遠隔制御装置は単純な光源であるため、これを、RF通信又は動き検知技術を必要とせず、従ってコスト及び遠隔制御装置のバッテリ消費を大幅に削減するような方法で達成することができる。
ここで図2を参照すると、遠隔制御装置200のブロック図を示している。上述したように、この遠隔制御装置により、ユーザが遠隔制御装置自体を動かすことによって画面上のUIを操作できるようになる。遠隔制御装置は、ディフューザを備えた(単複の)半導体レーザーを有する。遠隔制御装置から放たれた光は、反射面から反射されると顆粒状の干渉縞、いわゆるスペックルパターンを生成し、テレビのようなホスト家庭用電子(CE)機器などのディスプレイ装置上に実装できる撮像センサを照明する。ユーザがRCを動かすと、撮像センサにより検出されるスペックルパターンも動く。画像の動きを処理することにより、RCの動きがディスプレイ装置により捕捉され、制御すべきGUIと連動される。このようにして、モーションセンサ又はRF通信を必要とせずにポインタ式遠隔制御装置が実現される。従って、バッテリ寿命の長い低コストな遠隔制御装置が実現される。
ある実施形態によれば、遠隔制御装置が、半導体レーザー210と、任意に1又はそれ以上のレンズ(220)と、ディフューザ230とを有し、図示のようにこれらの要素によって遠隔制御装置がコヒーレント光線115を生成するようになる。半導体レーザー210により、コヒーレント光線115が散乱したときに干渉縞と呼ばれるスペックルパターンの照明が生成され、これがディスプレイ装置の画像センサ125により検出される。ディスプレイ装置は、検出したスペックルパターンの動きを処理することによって遠隔制御装置の動きを判断することができ、これがマッピングによって画面上のUI上のポインタ又はカーソルの動きと連動される。
半導体レーザー要素210は、コヒーレント光、すなわち同相の光を発し、ディフューザ要素230と協働的な構成で結合され、このディフューザ要素230が半導体レーザーのコヒーレント光を受光して、遠隔制御装置200が出力するコヒーレント光線115を生成する。半導体レーザー要素210が発する光は、眼の安全性を考慮して赤外領域の光とすることができ、また半導体レーザーがパルス動作で駆動されることにより生成されるパルス駆動されたコヒーレント光が、LD光に対する眼の安全性をより高める。
図示のように、LD要素210及びディフューザ要素230を、(単複の)レンズ220などの光学要素とともに実装することができる。LDから放たれた光は、まずこれらのレンズ220によって平行にされた後にディフューザ要素230を通過し、従って1又はそれ以上の光学要素が、LDが発したコヒーレント光を受光して平行にするように結合されて、コヒーレント光から形成された光ビームを生成する。これにより、画像センサ125上などの照明領域上でいわゆる「スペックルパターン」が発生できるようになる。スペックルパターンとは、コヒーレントLD光の干渉により発生するランダムパターンのことである。任意の光学系を配置して、ある所望の角度に発散したビームを形成することもできる。
遠隔制御装置200がコヒーレント光線を発することをどのようにして決定するかについては、複数の方法で対処することができる。遠隔制御装置200は、遠隔制御装置がいつ使用中であるかを検出するモーションセンサ要素をさらに有する。従って、遠隔制御装置は遠隔制御装置自体が動いているとき、すなわちユーザが遠隔制御装置を持ち上げ又は使用しているときにしかコヒーレント光線115を生成しない。この結果、半導体レーザー要素がコヒーレント光を発するようになる。このモーション検出器は、複数軸のモーション検出を必要としなくてよいので比較的低技術のものであってもよい。或いは、遠隔制御装置のユーザがボタンを起動することによって半導体レーザー要素がコヒーレント光を発するようにしてもよく、例えばユーザは、「カーソル制御」などのラベルの付いた遠隔制御装置上のボタンを押すことができる。
ここで図3を参照すると、ある実施形態による、遠隔制御装置の動きをディスプレイ装置が表示するUI内のカーソルの動きと連動させるための方法をフロー図300によって示している。ブロック310において、遠隔制御装置のコヒーレント光線の散乱又は衝突によって生じた干渉縞がディスプレイ装置のセンサ要素により検知される。ブロック320において、ユーザインターフェイス内のカーソルの場所を既存の位置から動かすべきであることを示すのに十分な干渉縞の動きが検知される。説明したように、干渉縞の動きは、遠隔制御装置自体の動きにより生じ、ディスプレイ装置のモーションセンサ要素により検知される。干渉縞の変化を検出したことに応答して、検出した干渉縞の変化がユーザインターフェイス内の新たなカーソルの位置にマップされる。これは、ブロック330において、UI内のカーソルの動作を制御するディスプレイ装置の処理要素により遂行される。ブロック340において、カーソルがユーザインターフェイス内の既存の位置から新たな位置へ動かされる。
当然ながら、本明細書で説明した本発明の実施形態を、1又はそれ以上の従来型のプロセッサ、及びこれらの1又はそれ以上のプロセッサを、本明細書で説明した機能のいくつか、ほとんど、又は全てを特定の非プロセッサ回路とともに実現するように制御する固有の記憶されたプログラム命令で構成することもできる。非プロセッサ回路は、以下に限定されるわけではないが、受信機、無線機、信号ドライバ、クロック回路、電源回路、及びユーザ入力装置を含むことができる。従って、これらの機能は、本発明に従ういくつかの実施形態による機能を実行するための方法であると解釈することができる。或いは、一部又は全ての機能をプログラム命令を記憶していない状態機械により実現し、又は1又はそれ以上の特定用途向け集積回路(ASIC)の形で実装し、この中で個々の機能又は特定の機能のいくつかの組合せをカスタム論理として実現することができる。当然ながら、これらの2つの方法の組合せを使用することもできる。従って、本明細書ではこれらの機能のための方法及び手段について説明した。さらに、当業者であれば、例えば、使用可能時間、現行技術、及び経済上の考慮事項を動機として行われたと思われる多大な労力と多くの設計選択にもかかわらず、本明細書で開示した概念及び原理に導かれたときに、このようなソフトウェア命令及びプログラム並びにICを最小限の実験で容易に生成できることが予想される。
上述の明細書では、本発明の特定の実施形態について説明した。しかしながら、当業者であれば、特許請求の範囲に示す本発明の範囲から逸脱することなく様々な修正及び変更を行うことができると理解するであろう。従って、明細書及び図については、限定的な意味でなく例示的な意味で受け止めるべきであり、全てのこのような修正が本発明の範囲に含まれることが意図されている。利点、長所、問題の解決法、及びあらゆる利点、長所、問題の解決法を生じる又はより明確にするあらゆる(単複の)要素が、一部の又は全ての請求項の重要な、必要な、又は不可欠な特徴又は要素であると解釈すべきではない。本発明は、本出願の係属中に行われるあらゆる補正及び特許されるこれらの請求項の全ての同等物を含む添付の特許請求の範囲によってのみ定義される。
100 システムのブロック図
110 遠隔制御装置
115 コヒーレント光線
120 テレビ又はその他のディスプレイ装置
125 画像センサ
130 ユーザインターフェイス
135 カーソル

Claims (20)

  1. ディスプレイ装置が表示するユーザインターフェイス内のカーソルの動きを制御する方法であって、
    遠隔制御装置のコヒーレント光線が前記ディスプレイ装置のセンサ要素に衝突することによって生じる干渉縞を検知するステップと、
    前記ユーザインターフェイス内の前記カーソルの場所を既存の位置から動かすべきであることを示すのに十分な前記干渉縞の動きを検出するステップと、
    前記干渉縞の十分な動きを検出したことに応答して、該検出した干渉縞の動きを前記ユーザインターフェイス内の前記カーソルの新たな位置にマップするステップと、
    前記カーソルを前記ユーザインターフェイス内の前記既存の位置から前記新たな位置へ動かすステップと、
    を含むことを特徴とする方法。
  2. 前記干渉縞の動きを検出するステップが、前記ディスプレイ装置の前記センサ要素により行われる、
    ことを特徴とする請求項1に記載の方法。
  3. 前記干渉縞がスペックルパターンである、
    ことを特徴とるす請求項1に記載の方法。
  4. 前記干渉縞の前記動きが、前記遠隔制御装置の動きにより生じる、
    ことを特徴とする請求項1に記載の方法。
  5. ディスプレイ装置を備え、該ディスプレイ装置が、操作可能なユーザインターフェイスを表示し、前記ディスプレイ装置のセンサ要素にコヒーレント光線が衝突することによって発生する干渉縞を検知し、前記ディスプレイ装置の前記センサ要素上の前記干渉縞の動きを検出し、前記ユーザインターフェイスが該ユーザインターフェイスのカーソルの動きによって操作可能であり、
    前記ディスプレイ装置の前記センサ要素により検知された前記干渉縞と、前記ディスプレイ装置により検出された前記干渉縞の前記動きとを処理するように前記ディスプレイ装置に動作可能に結合された処理要素をさらに備え、
    前記遠隔制御装置の動きが前記干渉縞の動きを引き起こし、これが前記ディスプレイ装置により検知され、前記処理要素によって前記ユーザインターフェイス内の前記カーソルの対応する動きにマップされる、
    ことを特徴とするシステム。
  6. 前記処理要素が、前記ディスプレイ装置により検知された前記干渉縞の動きを処理し、該干渉縞の動きを前記ユーザインターフェイス内の前記カーソルの対応する動きにマップする、
    ことを特徴とする請求項5に記載のシステム。
  7. 前記遠隔制御装置が、
    コヒーレント光を発する半導体レーザー要素と、
    前記コヒーレント光を受光するように結合され、前記遠隔制御装置が出力する前記コヒーレント光線を生成するディフューザ要素と、
    をさらに備えることを特徴とする請求項5に記載のシステム。
  8. 前記コヒーレント光線を発する遠隔制御装置をさらに備える、
    ことを特徴とする請求項5に記載のシステム。
  9. コヒーレント光線を発する遠隔制御装置であって、
    レーザー光を発する半導体レーザー要素と、
    前記半導体レーザー要素からのレーザー光を受光するように結合され、前記遠隔制御装置が出力する前記コヒーレント光線を生成するディフューザ要素と、
    を備え、前記遠隔制御装置の動きが前記コヒーレント光線の動きを引き起こす、
    ことを特徴とする遠隔制御装置。
  10. 前記半導体レーザーが発する前記レーザー光が赤外領域の光である、
    ことを特徴とする請求項9に記載の遠隔制御装置。
  11. 前記半導体レーザーが発する前記光が、パルス駆動されたコヒーレント光である、
    こと特徴とする請求項10に記載の遠隔制御装置。
  12. 前記半導体レーザーが発する前記レーザー光を受光して平行にし、前記レーザー光から形成された光ビームを生成するように結合された光学要素をさらに備え、前記ディフューザ要素が前記光学要素からの前記光ビームを受光する、
    ことを特徴とする請求項9に記載の遠隔制御装置。
  13. 前記遠隔制御装置がいつ使用中であるかを検出するモーションセンサ要素をさらに備える、
    ことを特徴とする請求項9に記載の遠隔制御装置。
  14. 前記モーションセンサ要素が、前記遠隔制御装置が使用中であることを検出すると、前記半導体レーザーがレーザー光を発する、
    ことを特徴とする請求項13に記載の遠隔制御装置。
  15. 前記遠隔制御装置のユーザが該遠隔制御装置のボタンを起動して前記半導体レーザー要素を起動させると、前記遠隔制御装置の前記半導体レーザーがレーザー光を発する、
    ことを特徴とする請求項9に記載の遠隔制御装置。
  16. 前記遠隔制御装置がいつ使用中であるかを検出するモーションセンサ要素をさらに備える、
    ことを特徴とする請求項9に記載の遠隔制御装置。
  17. 前記モーションセンサ要素が、前記遠隔制御装置が使用中であることを検出すると、前記半導体レーザーがレーザー光を発する、
    ことを特徴とする請求項16に記載の遠隔制御装置。
  18. 前記遠隔制御装置のユーザが該遠隔制御装置のボタンを起動して前記半導体レーザー要素を起動させると、前記遠隔制御装置のがコヒーレント光線を発する、
    ことを特徴とする請求項9に記載の遠隔制御装置。
  19. 前記コヒーレント光線が反射媒体に衝突することによりランダムな干渉縞が発生する、
    ことを特徴とする請求項9に記載の遠隔制御装置。
  20. 前記干渉縞がスペックルパターンである、
    ことを特徴とする請求項19に記載の遠隔制御装置。
JP2011520078A 2008-07-23 2009-07-09 ユーザインターフェイスの操作を行うための、検出したコヒーレント光線の干渉縞の動きのカーソルの動きへのマッピング Pending JP2011529222A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/178,049 US8451224B2 (en) 2008-07-23 2008-07-23 Mapping detected movement of an interference pattern of a coherent light beam to cursor movement to effect navigation of a user interface
US12/178,049 2008-07-23
PCT/US2009/050052 WO2010011502A2 (en) 2008-07-23 2009-07-09 Mapping detected movement of an interference pattern of a coherent light beam to cursor movement to effect navigation of a user interface

Publications (1)

Publication Number Publication Date
JP2011529222A true JP2011529222A (ja) 2011-12-01

Family

ID=41568180

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011520078A Pending JP2011529222A (ja) 2008-07-23 2009-07-09 ユーザインターフェイスの操作を行うための、検出したコヒーレント光線の干渉縞の動きのカーソルの動きへのマッピング

Country Status (7)

Country Link
US (1) US8451224B2 (ja)
EP (1) EP2308228A4 (ja)
JP (1) JP2011529222A (ja)
KR (1) KR20110052583A (ja)
CN (1) CN102106099B (ja)
CA (1) CA2731428C (ja)
WO (1) WO2010011502A2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100025708A (ko) * 2008-08-28 2010-03-10 삼성전자주식회사 리모트컨트롤러 및 이를 이용한 피제어기기의 제어방법
KR101554958B1 (ko) * 2009-03-06 2015-09-22 삼성전자주식회사 비주얼 코드를 이용한 원격 조작 방법 및 그 방법을 수행하는 장치
US20120127012A1 (en) * 2010-11-24 2012-05-24 Samsung Electronics Co., Ltd. Determining user intent from position and orientation information
US10620447B2 (en) 2017-01-19 2020-04-14 Cognex Corporation System and method for reduced-speckle laser line generation
CA3059373A1 (en) * 2017-04-24 2018-11-01 Magic Leap, Inc. Tracking optical flow of backscattered laser speckle patterns
US11670161B2 (en) * 2021-05-27 2023-06-06 Roku, Inc. Remote control system for improving target specificity

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230897A (ja) * 1993-02-01 1994-08-19 Fuji Xerox Co Ltd 位置指示装置
JPH07322367A (ja) * 1994-05-20 1995-12-08 Wacom Co Ltd 情報入力装置
JP2004028977A (ja) * 2002-05-02 2004-01-29 Fuji Xerox Co Ltd 位置計測システム

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3027275B2 (ja) 1991-12-23 2000-03-27 ゼネラル・エレクトリック・カンパニイ モニタスクリーン上でカーソルを位置させる装置
JPH07284166A (ja) 1993-03-12 1995-10-27 Mitsubishi Electric Corp 遠隔操作装置
EP0727082A4 (en) * 1993-11-05 2000-11-15 Intertactile Tech Corp OPERATOR / CIRCUIT INTERFACE WITH INTEGRATED DISPLAY SCREEN
US5548434A (en) * 1993-12-01 1996-08-20 Sharp Kabushiki Kaisha Spatial light transmission apparatus
JP3473988B2 (ja) 1994-05-20 2003-12-08 株式会社ワコム 情報入力装置
US5704700A (en) * 1994-07-25 1998-01-06 Proxima Corporation Laser illuminated image projection system and method of using same
US6727887B1 (en) * 1995-01-05 2004-04-27 International Business Machines Corporation Wireless pointing device for remote cursor control
JP3814904B2 (ja) 1996-12-25 2006-08-30 ソニー株式会社 位置検出装置及び遠隔操作装置
JPH10240433A (ja) 1997-02-25 1998-09-11 Alps Electric Co Ltd 入力装置
US6341183B1 (en) * 1998-10-27 2002-01-22 The Regents Of The University Of California Graphical user interface for image acquisition and processing
US6431731B1 (en) * 1999-03-15 2002-08-13 Mark Howard Krietzman Laser device and method for producing diffuse illumination
EP1082696B1 (en) 1999-03-31 2009-12-02 Koninklijke Philips Electronics N.V. Remote control for display apparatus
DE20117645U1 (de) * 2001-10-31 2003-03-20 Siemens Ag Bedieneinrichtung
KR100449710B1 (ko) 2001-12-10 2004-09-22 삼성전자주식회사 원격 포인팅 방법 및 이에 적합한 장치
US6724368B2 (en) * 2001-12-14 2004-04-20 Koninklijke Philips Electronics N.V. Remote control system and method for a television receiver
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US20040095317A1 (en) 2002-11-20 2004-05-20 Jingxi Zhang Method and apparatus of universal remote pointing control for home entertainment system and computer
US7116427B2 (en) * 2003-10-30 2006-10-03 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Low power consumption, broad navigability optical mouse
JP2005331784A (ja) * 2004-05-20 2005-12-02 Fuji Xerox Co Ltd 光学レンズ系およびこれを用いた位置計測システム
US7285766B2 (en) * 2004-05-21 2007-10-23 Silicon Light Machines Corporation Optical positioning device having shaped illumination
US7042575B2 (en) * 2004-05-21 2006-05-09 Silicon Light Machines Corporation Speckle sizing and sensor dimensions in optical positioning device
US20050258346A1 (en) 2004-05-21 2005-11-24 Silicon Light Machines Corporation Optical positioning device resistant to speckle fading
US7138620B2 (en) * 2004-10-29 2006-11-21 Silicon Light Machines Corporation Two-dimensional motion sensor
US7248345B2 (en) * 2004-11-12 2007-07-24 Silicon Light Machines Corporation Signal processing method for use with an optical navigation system
US7119936B2 (en) * 2004-12-15 2006-10-10 Eastman Kodak Company Speckle reduction for display system with electromechanical grating
US7499027B2 (en) * 2005-04-29 2009-03-03 Microsoft Corporation Using a light pointer for input on an interactive display surface
US7548230B2 (en) 2005-05-27 2009-06-16 Sony Computer Entertainment Inc. Remote input device
US20070002020A1 (en) * 2005-06-29 2007-01-04 Microsoft Corporation Optical mouse
US7161136B1 (en) * 2005-07-06 2007-01-09 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Light modulating input device for capturing user control inputs
US20070080940A1 (en) 2005-10-07 2007-04-12 Sharp Kabushiki Kaisha Remote control system, and display device and electronic device using the remote control system
US7654459B2 (en) * 2005-11-14 2010-02-02 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Method of capturing user control inputs
US7298460B2 (en) * 2006-01-03 2007-11-20 Silicon Light Machines Corporation Method for determining motion using a velocity predictor
US7884801B1 (en) * 2006-02-16 2011-02-08 Cypress Semiconductor Corporation Circuit and method for determining motion with redundant comb-arrays
US7297912B1 (en) * 2006-03-27 2007-11-20 Silicon Light Machines Corporation Circuit and method for reducing power consumption in an optical navigation system having redundant arrays
US20070242277A1 (en) * 2006-04-13 2007-10-18 Dolfi David W Optical navigation in relation to transparent objects
US7675020B2 (en) * 2006-08-28 2010-03-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Input apparatus and methods having diffuse and specular tracking modes
US10437459B2 (en) * 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
US8169420B2 (en) * 2008-02-05 2012-05-01 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Reporting optical tracking data based on integrated resolution switching and surface detection
US7821649B2 (en) * 2008-03-05 2010-10-26 Ge Inspection Technologies, Lp Fringe projection system and method for a probe suitable for phase-shift analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230897A (ja) * 1993-02-01 1994-08-19 Fuji Xerox Co Ltd 位置指示装置
JPH07322367A (ja) * 1994-05-20 1995-12-08 Wacom Co Ltd 情報入力装置
JP2004028977A (ja) * 2002-05-02 2004-01-29 Fuji Xerox Co Ltd 位置計測システム

Also Published As

Publication number Publication date
CN102106099A (zh) 2011-06-22
US8451224B2 (en) 2013-05-28
US20100020011A1 (en) 2010-01-28
KR20110052583A (ko) 2011-05-18
CA2731428A1 (en) 2010-01-28
EP2308228A4 (en) 2012-01-18
CN102106099B (zh) 2014-05-21
WO2010011502A2 (en) 2010-01-28
WO2010011502A3 (en) 2010-04-22
EP2308228A2 (en) 2011-04-13
CA2731428C (en) 2014-06-10
WO2010011502A4 (en) 2010-06-10

Similar Documents

Publication Publication Date Title
US9569005B2 (en) Method and system implementing user-centric gesture control
US8690337B2 (en) Device and method for displaying an image on a VUI screen and also a main projection screen
EP1336172B1 (en) Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
JP2011529222A (ja) ユーザインターフェイスの操作を行うための、検出したコヒーレント光線の干渉縞の動きのカーソルの動きへのマッピング
US20020021287A1 (en) Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
US20100238137A1 (en) Multi-telepointer, virtual object display device, and virtual object control method
US10203781B2 (en) Integrated free space and surface input device
US11256413B2 (en) Non-contact gesture commands for touch screens
JP5382815B2 (ja) リモコンおよびリモコン用プログラム
TWI522853B (zh) 導航裝置及影像顯示系統
US8354996B2 (en) Electronic reading apparatus and input method thereof
TWI607343B (zh) 資訊科技裝置輸入系統及相關方法
WO2018109876A1 (ja) 表示装置、電子黒板システム及びユーザーインターフェース設定方法
JP2008282367A (ja) ポインティングシステム
JP4758667B2 (ja) ポインタ遠隔制御装置
JP2015138299A (ja) 指示具及び座標検出システム
KR20080017194A (ko) 무선 마우스 및 그의 구동 방법
KR20110009290A (ko) 원격 데이터 입력 시스템 및 그에 따른 데이터 입력 방법
JP2017059234A (ja) モーフィング・パッド、モーフィング・パッドを実装するためのシステム及び方法
JPH04237323A (ja) 指示座標検出機構付きディスプレイ装置
JP2011175561A (ja) 電子機器、その制御方法、プロジェクタ、携帯電話機及び遠隔操作装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121213

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130313

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130321

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131028

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140128

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140228

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140307

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140328

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140404

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140428

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141027