JP2007141199A - ハンドヘルド型のコンピュータカーソル制御装置、このハンドヘルド型のコンピュータカーソル制御装置を用いてカーソルを制御するコンピュータ装置、方法およびコンピュータ読取り可能媒体 - Google Patents

ハンドヘルド型のコンピュータカーソル制御装置、このハンドヘルド型のコンピュータカーソル制御装置を用いてカーソルを制御するコンピュータ装置、方法およびコンピュータ読取り可能媒体 Download PDF

Info

Publication number
JP2007141199A
JP2007141199A JP2006019554A JP2006019554A JP2007141199A JP 2007141199 A JP2007141199 A JP 2007141199A JP 2006019554 A JP2006019554 A JP 2006019554A JP 2006019554 A JP2006019554 A JP 2006019554A JP 2007141199 A JP2007141199 A JP 2007141199A
Authority
JP
Japan
Prior art keywords
cursor
computer
control device
screen
point coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006019554A
Other languages
English (en)
Inventor
Cheng-Han Wu
呉承翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute for Information Industry
Original Assignee
Institute for Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute for Information Industry filed Critical Institute for Information Industry
Publication of JP2007141199A publication Critical patent/JP2007141199A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542Light pens for emitting or receiving light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】プレゼンテーションシステムの操作が簡便で、スムースで、ユーザフレンドリーである長所を兼備するよう、コンピュータのマウスと光学ポインタとを効果的かつ正確に統合するシステムおよび方法を提供すること。
【解決手段】本発明はカーソルと光学ポインタとを同期して操作する装置、コンピュータ装置、方法およびコンピュータ読取り可能媒体であり、光学ポインタ手段手段で画面上に光学ポインタを発生させた後、撮像手段により画像上の画像を取得するとともに画像信号を生成し、カーソル位置演算手段を介して画像信号を分析した後に、コンピュータのディスプレイ上のカーソル位置を再設定するものである。
【選択図】図2

Description

本発明はハンドヘルド型のコンピュータカーソル制御装置、このハンドヘルド型のコンピュータカーソル制御装置を用いてカーソルを制御するコンピュータ装置、方法およびコンピュータ読取り可能媒体に関し、特にカーソルを光学ポインタに追随させるハンドヘルド型のコンピュータカーソル制御装置、コンピュータ装置、方法およびコンピュータ読取り可能媒体に関する。
コンピュータが画像タイプのプレゼンテーションシステムに普遍的に使用されるようになってから、通常、観衆が観るための必要なツールとしての大型の表示装置が必要となっており、例えば大型の投写スクリーンを備えた各種投写装置は大規模な会議のプレゼンテーションシステム中に広く使用され、異なる画像、文字または音声などのマルチメディアの音声・画像結合を実現している。これら技術の登場により、プレゼンテーションシステムとコンピュータ装置との間で良好な通信インターフェイスをその基礎として備える必要性以外にも、プレゼンテーションの過程において演説者と観衆との間の良好なインタラクティブな関係を促進するために、プレゼンテーションシステムは操作が簡単である特性も備えた上で、始めて演説者がその観衆との間の相互的なコミュニケーションを十分に掌握できる。
従来の場合、演説者は、投写スクリーン上に観衆を誘目させるコミュニケーションツールとして指示棒または光を射出可能なポインタペンを常用している。ポインタペンを例にとれば、プレゼンテーションシステムに応用される従来のポインタペンは光を射出可能な指示機器であって、例えばレーザ光を照射可能なポインタペンは、演説者がプレゼンテーションの内容に合わせて観衆を注目させたい焦点に誘目するのに便利となるよう、投写スクリーン上にレーザ光点を発生するものとして非常に普遍的に応用されている。ただし従来のポインタペンは単純に光学ポインタの機能しか持たず、演説者は、例えばコンピュータを操作してプレゼンテーション内容の切り換えを行うためにマウスを使用するという具合にコンピュータの周辺機器を常に使用しなければならず、演説者はプレゼンテーションの途中でコンピュータを操作しつつ、プレゼンテーションの内容を指示しなければならず、滞りのないプレゼンテーションの進行にとって不利となっていた。
これに鑑み、ポインタペンをマウスに統合させた新型のプレゼンテーション装置、つまり上記従来技術に対する改良がある。とりわけ、前記したポインタペンをワイヤレスマウス装置に統合させることで、このワイヤレスマウス装置にレーザポインタ(Laser Pointer)とコンピュータのマウスのカーソルとしての作用を兼備させている。しかしながら、図1に示すように、レーザポインタの光点A点とマウスのカーソルB点の両者は同調することができないため、演説者がコンピュータを操作するときには、通常コンピュータのマウス機能に戻った後、そしてマウスのカーソルを操作したい位置に移動させ、その後操作しなければならず、よって、この技術ではレーザポインタの光点が示す位置で直接操作することはできない。
米国特許第6,331,848号における技術はより新型の投写プレゼンテーションシステムであり、主に、独立した撮像装置により、投写スクリーン上における明るさが最高の光点をレーザ光点ポイントの画像信号として捕捉するとともに、コンピュータによる分析演算を経て、このレーザ光点が投写スクリーン上に位置する相関的な位置を算出し、そしてマウスのカーソルに反映することで、マウスによる後続のコンピュータ操作をしやすくしている。確かにこの特許に開示する技術内容は前記したレーザ光点ポイントとマウスのカーソルとが同期して操作できない不具合を解決できるが、しかし、この特許は光点位置を計算するための信号処理システムが煩雑となる以外にも、投写スクリーン上の最も明るい光点をこのレーザ光点ポイントの基準として判断していることから、プレゼンテーションする資料自体の明るさが変化することでレーザ光点ポイントの判断に影響を来たし、ひいては光点位置を誤認してしまい、その後のコンピュータ操作の正確性および進捗度に影響することがよくある。また、この特許ではレーザ光点ポイントを捕捉する撮像装置が独立した装置であることから、この設計では演説者は必ず所定の場所でプレゼンテーションを行うよう制限してしまい、使用上の利便性に欠けてしまう。
プレゼンテーションシステムの操作が簡便で、スムースで、ユーザフレンドリーである長所を兼備するよう、コンピュータのマウスと光学ポインタとを効果的かつ正確に統合するシステムおよび方法はかなり重要になってきている。
上記課題に基づいて、本発明の目的は、コンピュータ装置において画面上に表示されるカーソルを制御するためのハンドヘルド型のコンピュータカーソル制御装置を提供するところにある。前記ハンドヘルド型のコンピュータカーソル制御装置は光学ポインタ手段と、撮像手段と、信号送信手段とを備える。光学ポインタ手段は前記画面上に光学ポインタを発生させ、撮像手段は前記画面上の撮像領域内で画像を取得することで画像信号を生成し、信号送信手段は前記画像信号を前記コンピュータ装置に送信する。前記コンピュータ装置は前記画像信号に応じて、前記カーソルの位置を再設定する。
本発明の他の目的は、ハンドヘルド型のコンピュータカーソル制御装置により、画面上に表示されるカーソルを制御するコンピュータ装置を提供するところにあり、前記ハンドヘルド型コンピュータは前記画面上に光学ポインタを発生させるとともに、前記画面上の撮像領域内で画像を取得することで画像信号を生成する。前記コンピュータ装置は前記画像信号に応じて、前記カーソルの位置を再設定するカーソル位置演算部を備える。
本発明のさらに他の目的は、ハンドヘルド型のコンピュータカーソル制御装置により、コンピュータ装置において画面上に表示されるカーソルを制御する方法を提供するところにある。前記方法は、(a)前記ハンドヘルド型のコンピュータカーソル制御装置が前記画面上に光学ポインタを発生させるステップと、(b)前記ハンドヘルド型のコンピュータカーソル制御装置が前記画面上の撮像領域内で画像を取得するステップと、(c)前記ハンドヘルド型のコンピュータカーソル制御装置が前記画像に基づいて画像信号を生成するステップと、(d)前記コンピュータ装置が前記画像信号に応じて、前記カーソルの位置を再設定するステップと、を含む。
本発明のまたさらに他の目的は、ハンドヘルド型のコンピュータカーソル制御装置により、コンピュータ装置において画面上に表示されるカーソルを制御する方法を実行するためのコンピュータプログラムを格納するコンピュータ読取り可能媒体を提供するところにある。前記ハンドヘルド型のコンピュータカーソル制御装置は光学ポインタを発生させ、前記カーソルは画面上に表示される。前記方法は、(a)前記ハンドヘルド型のコンピュータカーソル制御装置が前記画面の撮像領域内で画像を取得するよう制御するステップと、(b)前記画像に基づいて画像信号を生成するステップと、(c)前記画像信号に応じて、前記カーソルの位置を再設定するステップと、を含む。
上記をまとめると、本発明はレーザポインタ装置と撮像装置とを結合したハンドヘルド型のコンピュータカーソル制御装置である。使用者がレーザ光点ポインタを用いる際には、光点が示す位置とマウスカーソルが示す位置の両者が重なり、使用者はコンピュータ上のデータを操作するだけで、マウスカーソルを移動させてカーソルで所望の位置を示す必要はなくなる。とりわけ、本発明はハンドヘルド型の操作装置であり、如何なる場所にも適し、使用者の操作および携帯に便利で、場所の制限もなく、実際の応用上でさらにアクティビティとスムース性とを兼備している。
当業者であれば理解できるように、上記は単に本発明の実施例に過ぎず、本発明の特許請求の範囲を限定するものではない。凡そ本発明に開示する技術思想を逸脱せずに完成された同等効果の改変または付加は、別紙の特許請求の範囲内に含まれるべきであろう。
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
図2を参照されたい。これは本発明をコンピュータ投写表示装置に応用したうちの一つの具体的な実施例である。コンピュータ投写表示装置全体はコンピュータ10と、投写装置20と、画面30と、ハンドヘルド型のコンピュータカーソル制御装置40とを備える。このうちコンピュータ10は演説者がプレゼンテーション内容を操作するために供され、プレゼンテーション内容は投写装置20により投写画像として生成され、画面30上に表示される。
具体的には、コンピュータ10はディスプレイ12をさらに備え、コンピュータ10内に格納されたプレゼンテーション内容はディスプレイ12上に表示される以外に、同時に投写装置20により投写画像として生成され、画面30の投写領域32内に表示される。尚、画像を表示可能ないずれの画面装置、例えば投写スクリーンまたはデジタルテレビジョンの画面なども本発明に応用可能であるが、以下では投写スクリーンを例として具体的に説明する。
次に、本発明にて開示する技術を応用したコンピュータカーソル制御装置40はハンドヘルド型の装置であり、これは演説者の携帯性と操作利便性についてのユーザフレンドリー設計を考慮したものである。ハンドヘルド型のコンピュータカーソル制御装置40内には主に光学ポインタ手段42と、撮像手段44と、カーソル制御手段46と、信号送信手段48と、カーソル位置演算手段50とが備えられている。
明確に言えば、光学ポインタ手段42は、演説者がプレゼンテーションを行っている途中にて、観衆の目線をプレゼンテーション内容中における演説者が強調したい重点に集中させるのに利するよう、投写スクリーン30上に光学ポインタ36を発生させる。光学ポインタ手段42はレーザ光点を投写スクリーン上に投写するレーザポインタ(Laser Pointer)である。従来技術と異なるのは、本発明に係るハンドヘルド型のコンピュータカーソル制御装置40は撮像手段44を備えている点であり、この撮像手段44は電荷結合素子(Charge Coupled Device、CCD)または相補型金属酸化物半導体(Complementary Metal−Oxide Semiconductor、CMOS)であって、主な機能は投写装置20により生成された投写画像を投写スクリーン30上で取得するとともに、これにより画像信号を生成するものである。詳細に言えば、撮像手段44は投写スクリーン30上で撮像領域34に形成された画像を取得することで、前記画像信号を生成するものである。本発明を応用して撮像した画像信号には少なくとも、一、撮像領域34の中心点位置座標(Xc、Yc)と、二、投写領域32における四隅の点の位置座標(X1、Y1)、(X2、Y2)、(X3、Y3)、(X4、Y4) と、の数種類の情報が含まれている。実際の応用では、四隅の点の明るさを向上させて、または特定識別の方法でこの四隅の点の識別率を向上させている。
好ましい実施例について言えば、光学ポインタ手段42と前記撮像手段44の両者の配置上における離間距離が大きすぎる、例えば10cmを超えるのは好ましくない。その主な考慮要因は二つある。その一として、もし両者の間が大きすぎると、本発明に係るコンピュータカーソル制御装置の体積が必然的に過大となり、演説者の使用に不便をきたす。その二として、演説者が光学ポインタ36とマウスのカーソルとを同時に操作するに便利となるよう、光学ポインタ手段42と前記撮像手段44の両者が配置において、光学ポインタ手段42が発生させるレーザポインタ光点の光路と撮像手段44の画像取得の光路とに、実質的に近くなり互いに平行となる効果を生じさせなければならない、というものである。敷衍的に言うと、光学ポインタ手段42が投写スクリーン30上で発生させたレーザポインタ光点と、撮像手段44が投写スクリーン30上で撮像すべき撮像領域34の中心点の両者が実質的に一点で重なる。
次に、カーソル制御手段46の機能は一般的なコンピュータ周辺機器であるマウスの機能と同じであり、ディスプレイ12上で一つのマウスカーソル(図示しない)が移動し、前記マウスカーソルに対応する機能を実行するために制御信号を前記コンピュータ10に生成可能であり、使用者が前記コンピュータ10を操作するために供される。尚、ディスプレイ12上に発生させたマウスカーソルは、投写装置20の作用により投写スクリーン30上の投写領域32内で対応するマウスカーソルの画像を生成できる。操作者は投写領域32内に表示されたマウスカーソルの画像を操作することにより、ディスプレイ12上でマウスカーソルを操作するのと同じ効果を奏することができる。
また、信号送信手段48の主な機能はコンピュータ10とハンドヘルド型のコンピュータカーソル制御装置40との間の信号の送信にある。本実施例で言えば、信号送信手段48は、演説者がコンピュータ10を操作することでプレゼンテーションを進行できるよう、カーソル制御手段46が生成したカーソル制御信号を前記コンピュータ10に送信する。具体的な実施例において、信号送信手段は無線信号送信装置、またはケーブルで信号送信する装置を使用することも可能である。また、カーソル位置演算手段50は前記撮像手段44が生成した画像信号を分析し、演算した後、マウスカーソルを光学ポインタ36に追従させて移動させることが可能であり、使用者が投写スクリーン30上のマウスカーソルと光学ポインタ36を同時に操作するか、または前記単一のコンピュータカーソルを直接操作するのに便利となる。
従来技術において、この投写領域32内のマウスカーソルと光学ポインタ手段42が発生させた光学ポインタの両者は独立して操作されるので、プレゼンテーション資料の指示とコンピュータの制御作業は演説者がそれぞれ分けて動作を行わなければならず、極めて不便である。しかしながら、本発明と従来技術との相違点は、本発明にて開示する技術を応用すると、光学ポインタ36とマウスカーソルとを同時に操作でき、プレゼンテーションとコンピュータ操作とを同時進行できる目的を達成することができる。その応用の原理を以下に詳述する。
撮像手段44で撮像する光路と投写スクリーン30との挟み角が略直角であるものを例として、図3を参照されたい。まず、演説者がプレゼンテーションシステムを起動した後、ディスプレイ12上にプレゼンテーションの資料の内容が表示され、投写装置20を介して投写スクリーン30上の投写領域32内に画像が表示される。次に、演説者がプレゼンテーションを進行中に、前記投写領域32内のある位置の資料に観衆を注目させたい場合には、本発明に係るハンドヘルド型のコンピュータカーソル制御装置40内の光学ポインタ手段42を用いて、レーザ光を射出してレーザ光点を前記位置上に形成する。そして、演説者が前記プレゼンテーション資料を制御、例えば、前記プレゼンテーション資料を上または下方向にスクロールしたい場合には、演説者はまずハンドヘルド型のコンピュータカーソル制御装置40を移動するとともに、光学ポインタ手段42が投写領域32内で形成したレーザ光点を投写領域32内におけるプレゼンテーション資料をスクロールするコントロールボタン位置A点上に移動させる必要がある。続いて、投写領域32内における四隅の位置座標(X1、Y1)、(X2、Y2)、(X3、Y3)、(X4、Y4)と撮像領域34の中心点位置座標(Xc、Yc)を取得するために、ハンドヘルド型のコンピュータカーソル制御装置40内の撮像手段44を起動する。具体的には、本発明の好ましい実施例において、撮像手段を起動するコントロールボタンと光学ポインタ手段を制御するものの両者が一つのコントロールボタンに統合されており、例えば前記コントロールボタンの第一段階の制御ストローク分だけ押下したときには光学ポインタ手段のみが起動してレーザ光点を発生させ、続いて前記コントロールボタンの第二段階の制御ストローク分押下したときには撮像手段が起動することで関連する画像情報を取得する、という具合に前記コントロールボタンに二段階の制御機能を持たせている。
次に強調したいことは、前述のように、この撮像手段44が投写スクリーン30上で形成した撮像領域34の中心点位置もまた前記A点上にちょうど重なり、つまりA点の座標が(Xc、Yc)となるということである。撮像手段44は実際には、四隅の位置座標と中心点位置座標などのデータを含む画像信号をカーソル位置演算手段50に送信することで、コンピュータのディスプレイ上におけるマウスカーソルの新たな座標値の如何を分析し算出する。したがって本発明に開示する技術は、従来技術のような投写スクリーン上の最も明るい光点を前記マウスカーソルの位置を再設定する基準として判断することを何ら必要とせず、撮像領域の中心点位置および投写領域の四隅の位置座標を直接判断の根拠とすることで、従来技術における光点位置に対する判断が困難でしかも誤認しやすい欠点を克服している。上記を踏まえると、このうちでカーソル位置演算手段50内に内蔵されている第1の計算関係式は次の通りとなっている。
Xmouse=Xscreen×(Xc−X1)/(X4−X1)
Ymouse=Yscreen×(Yc−Y1)/(Y4−Y1)
式中、Xmouseはディスプレイ上のマウスカーソルの新たな横座標値を、Ymouseはディスプレイ上のマウスカーソルの新たな縦座標値を表している。Xscreenはディスプレイの幅を、Yscreenはディスプレイの長さを表しており、かつXscreenのディスプレイ幅とYscreenのディスプレイ長さの両者は既知の値である。
尚、上記の関係式は、投写スクリーン上に表示された投写画像はディスプレイ上の画像が投写により生成されたものであるので、両者の間には比例関係が成り立つ。レーザ光点座標の投写領域の座標系上における対応関係を計算し、前記レーザ光点座標のディスプレイ上における対応する位置点の如何を推測し算出するとともに、この対応する位置点をもってディスプレイ上におけるマウスカーソルの新たな座標値として再設定する。
言い換えれば、撮像領域34の中心点位置(Xc、Yc)と投写領域32に対応する四隅の点位置との比例関係を、ディスプレイ上のマウスカーソルの新たな座標値とディスプレイの座標系との間の関係として設定する。前記のデータを応用し、カーソル位置演算手段50が座標点(Xmouse、Ymouse)をディスプレイ上におけるマウスカーソルの新たな座標値として算出し、さらにこの新たな座標点が信号送信手段48を介してコンピュータ10に送信され、コンピュータ10がディスプレイ上における元のマウスカーソル位置を、この座標点(Xmouse、Ymouse)に再設定する。このディスプレイ上におけるマウスカーソルを再設定することにより、マウスカーソルと光学ポインタの両者を同時に操作できる目的を達成し、ひいてはマウスカーソルと光学ポインタの両者をコンピュータのカーソルに統合することで、操作者は一つのカーソルを制御するのみで光学ポインタとマウスカーソルとを制御するという目的を同時に達成することができる。
簡単に説明するならば、操作者が光学ポインタとマウスカーソルとを同時に制御する必要があるたびに、本発明にて開示するハンドヘルド型のコンピュータカーソル制御装置を用いれば、前記したプロセスを繰り返すだけで、マウスカーソルの位置を容易に再設定し、この二つのカーソルを同調して動作させることができ、操作者の使用が便利となり、従来技術における煩雑となる欠点を克服することができる。
ところで、以上説明したものは撮像手段での撮像の光路と投写スクリーンの法線の両者が略平行である場合である。特別なことは、本発明に係るカーソル位置演算手段中には角度補正計算関係式(第2の計算関係式)、つまり撮像の光路と投写スクリーンの法線との間に挟み角がある場合には、上記の関係式に適切な補正を行うことで、図4および図5に示すように、本発明に係るハンドヘルド型のコンピュータカーソル制御装置を、一般的なプレゼンテーションの進行中において演説者が随時移動するような実情に符合させることができる。詳細は以下に述べる。
投写スクリーンがX軸を横軸とし、Y軸を縦軸とし、Z軸をX、Y軸の水平面に垂直となる垂直軸とする一つのスクリーンであると仮定すると、図4に示すようになり、図中には撮像の光路と投写面とでZ軸に沿ってθ角が生じ、つまり演説者と投写面であるZ軸との間にθとなる挟み角が存在する。ラグランジュ・ヘルムホルツの定理(Lagrange Helmholtz Theorem)で撮像時でのX軸とY軸のZ軸における角度とずれを算出し、そしてこれら角度のずれにより、ディスプレイ中における(Xc、Yc)の相対位置を求めることができる。
ラグランジュ・ヘルムホルツの定理によれば、ynu=y’n’u’ となり、
このうち、yは長さ、uは角度、nは屈折率(空気の屈折率は1)であるので、上記式はyu=y’u’と書き換えることができ、
u’=y/y’×u
回転角θ=u−u’=(1−y/y’)×u
近軸の角度u=1、と仮定すると、
θ=1−y/y’、が得られる。
尚、図4に示すように、Y軸は演説者の立ち位置の違いにより角度回転の変化が起こり、平面では遠い場所ほど縮小する。次に、下記関係式によりマウスカーソルの新たな座標値を求める。
Y5=Y2−(Y2−Y3)×(X2−Xc)/(X2−X3)
Y6=Y1+(Y4−Y1)×(X1−Xc)/(X1−X4)
Ymouse=Yscreen×(Yc−Y6)/(Y5−Y6)
Y5、Y6を上記式に代入してYmouseを算出し、
次に、
X7=Xc/Cosθ
X8=X4/Cosθ
上記式のラグランジュ・ヘルムホルツの定理で得られた近似θを代入してX7、X8を算出した後、さらに下記式に代入してXmouseを算出する。
Xmouse=Xscreen×(X7−X1)/(X8−X1)
以上の角度補正関係式により、カーソル位置演算手段50は角度補正後のマウスカーソルの新たな座標値(Xmouse、Ymouse)を算出することができる。
上記は本発明の一実施例に過ぎず、当業者であれば本発明にて開示する技術に基づいて異なる変更、例えば、本発明に係るハンドヘルド型のコンピュータカーソル制御装置中におけるカーソル位置演算手段をコンピュータシステムに設け、ハンドヘルド型のコンピュータカーソル制御装置には光学ポインタ手段と、撮像手段と、カーソル制御手段と、信号送信手段などの手段のみを持たせるなどが可能であるが、これもまた本発明を応用したうちの一実施例である。尚、この場合の信号送信手段がコンピュータに送信する信号は前記実施例とは異なっており、このときに送信される信号はカーソル位置演算手段で処理済みのカーソル制御信号ではなく、撮像手段により取得された、撮像領域の中心点位置座標(Xc、Yc)および投写領域の四隅の位置座標(X1、Y1)、(X2、Y2)、(X3、Y3)、(X4、Y4)などを含む初期的な画像信号である。
実際には、本発明には、例えば、前記したように、画像を表示する画面装置をデジタル家電のテレビジョンとすることができるという具合にその他実施例がある。具体的には、本発明に係るハンドヘルド型のコンピュータカーソル制御装置をテレビのリモコンに統合して、操作者はリモコンが射出した光学ポインタを直接用いて、前記デジタル家電のテレビジョン中に備えられたコンピュータ装置を直接制御し、ひいては前記デジタル家電のテレビジョンを制御する機能を実現する一方で、それぞれテレビのリモコンを操作およびコンピュータのマウス装置を制御する必要がなくなる。
以上を踏まえて、図6に示すように、本発明は、ハンドヘルド型のコンピュータカーソル制御装置により、コンピュータ装置において画面上に表示されるカーソルを制御する方法を提供するものであり、以下のステップを含む。
(a)前記ハンドヘルド型のコンピュータカーソル制御装置を用いて前記画面上に光学ポインタを発生させるステップ。
(b)前記ハンドヘルド型のコンピュータカーソル制御装置を用いて前記画面上の撮像領域内で画像を取得するステップ。
(c)前記ハンドヘルド型のコンピュータカーソル制御装置を用いて前記画像に基づいて画像信号を生成するステップ。
(d)前記コンピュータ装置が前記画像信号に応じて、前記カーソルの位置を再設定するステップ。
このうち、前記画像信号は、前記撮像領域内における第1の点座標と、前記画像の四隅の点座標とを含み、そして前記第1の点座標は前記撮像領域の中心点座標とすることができる。そして、ステップ(d)はさらに以下のステップを含む。
(e)前記四隅の点座標と前記第1の点座標との間の第1の関係式を計算するステップ。
(f)前記第1の関係式に基づいて、前記画面上の第2の点座標を計算するステップ。
(g)前記第2の点座標に基づいて、前記カーソルの位置を再設定するステップ。
前記方法は、ハンドヘルド型のコンピュータカーソル制御装置により、コンピュータ装置において画面上に表示されるカーソルを制御する方法を実行するためのコンピュータプログラムを格納するコンピュータ読取り可能媒体を用いることが可能である。このコンピュータ読取り可能媒体はフロッピーディスク(登録商標)、ハードディスク、光ディスク、携帯型メモリ、磁気テープ、ネットワークでアクセス可能なデータベースまたは当業者が容易に想到し得る同機能を備えた記憶媒体とすることができる。
従来のプレゼンテーション投写表示システムの概略図である。 本発明をコンピュータ投写表示システムに応用したうちの一つの実施例に係る概略図である。 本発明をコンピュータ投写表示システムに応用したうちの一つの実施例に係る概略図である。 本発明を演説者と投写面との間で挟み角を有する場合に応用した概略図である。 図4に示す状況下で本発明をコンピュータ投写表示システムに応用したうちの一つの実施例の概略図である。 本発明をコンピュータ装置を制御するマウスカーソルに応用したフローチャートである。
符号の説明
10 コンピュータ
12 ディスプレイ
20 投写装置
30 画面(投写スクリーン)
32 投写領域
34 撮像領域
36 光学ポインタ
40 ハンドヘルド型のコンピュータカーソル制御装置
42 光学ポインタ手段
44 撮像手段
46 カーソル制御手段
48 信号送信手段
50 カーソル位置演算手段

Claims (21)

  1. コンピュータ装置において画面上に表示されるカーソルを制御するためのハンドヘルド型のコンピュータカーソル制御装置であって、
    前記画面上に光学ポインタを発生させる光学ポインタ手段と、
    前記画面上の撮像領域内で画像を取得することで画像信号を生成する撮像手段と、
    前記画像信号を前記コンピュータ装置に送信する信号送信手段と、を備え、
    前記コンピュータ装置は前記画像信号に応じて、前記カーソルの位置を再設定することを特徴とするハンドヘルド型のコンピュータカーソル制御装置。
  2. 前記光学ポインタ手段と前記撮像手段との間の距離が10cm以下であることを特徴とする請求項1記載のハンドヘルド型のコンピュータカーソル制御装置。
  3. 前記光学ポインタ手段がレーザポインタ(Laser Pointer)であることを特徴とする請求項1記載のハンドヘルド型のコンピュータカーソル制御装置。
  4. 前記撮像手段が電荷結合素子(Charge Coupled Device、CCD)であることを特徴とする請求項1記載のハンドヘルド型のコンピュータカーソル制御装置。
  5. 前記信号送信手段が無線信号送信手段であることを特徴とする請求項1記載のハンドヘルド型のコンピュータカーソル制御装置。
  6. 前記画像信号が前記撮像領域内の第1の点座標を含むことを特徴とする請求項1記載のハンドヘルド型のコンピュータカーソル制御装置。
  7. 前記画像信号が前記画像の四隅の点座標を含むことを特徴とする請求項1記載のハンドヘルド型のコンピュータカーソル制御装置。
  8. 前記カーソルにより前記コンピュータ装置を操作するためのカーソル制御手段をさらに備えたことを特徴とする請求項1記載のハンドヘルド型のコンピュータカーソル制御装置。
  9. ハンドヘルド型のコンピュータカーソル制御装置により、画面上に表示されるカーソルを制御するコンピュータ装置であって、前記ハンドヘルド型のコンピュータカーソル制御装置は前記画面上に光学ポインタを発生させるとともに、前記画面上の撮像領域内で画像を取得することで、前記撮像領域内の第1の点座標および前記画像の四隅の点座標を含む画像信号を生成し、前記コンピュータ装置は前記画像信号に応じて、前記カーソルの位置を再設定するカーソル位置演算部を備えたことを特徴とするコンピュータ装置。
  10. 前記第1の点座標が前記撮像領域の中心点座標であることを特徴とする請求項9記載のコンピュータ装置。
  11. 前記カーソル位置演算部が、
    前記四隅の点座標と前記第1の点座標との間の第1の関係式を計算するステップと、
    前記第1の関係式に基づいて、前記画面上の第2の点座標を計算するステップと、
    前記第2の点座標に基づいて、前記カーソルの位置を再設定するステップと、に基づいて、前記カーソルを前記光学ポインタに追従させることを特徴とする請求項9記載のコンピュータ装置。
  12. 前記ハンドヘルド型のコンピュータカーソル制御装置により、コンピュータ装置において画面上に表示されるカーソルを制御する方法であって、
    (a)前記ハンドヘルド型のコンピュータカーソル制御装置が前記画面上に光学ポインタを発生させるステップと、
    (b)前記ハンドヘルド型のコンピュータカーソル制御装置が前記画面上の撮像領域内で画像を取得するステップと、
    (c)前記ハンドヘルド型のコンピュータカーソル制御装置が前記画像に基づいて画像信号を生成するステップと、
    (d)前記コンピュータ装置が前記画像信号に応じて、前記カーソルの位置を再設定するステップと、を含むことを特徴とするカーソルを制御する方法。
  13. 前記画像信号が前記撮像領域内の第1の点座標を含むことを特徴とする請求項12記載の方法。
  14. 前記第1の点座標が前記撮像領域の中心点座標であることを特徴とする請求項13記載の方法。
  15. 前記画像信号が前記画像の四隅の点座標をさらに含むことを特徴とする請求項13記載の方法。
  16. 前記ステップ(d)が、
    (e)前記四隅の点座標と前記第1の点座標との間の第1の関係式を計算するステップと、
    (f)前記第1の関係式に基づいて、前記画面上の第2の点座標を計算するステップと、
    (g)前記第2の点座標に基づいて、前記カーソルの位置を再設定するステップと、を含むことを特徴とする請求項15記載の方法。
  17. ハンドヘルド型のコンピュータカーソル制御装置により、コンピュータ装置において画面上に表示されるカーソルを制御する方法を実行するためのコンピュータプログラムを格納するコンピュータ読取り可能媒体であって、前記ハンドヘルド型のコンピュータカーソル制御装置は光学ポインタを発生させ、前記カーソルは画面上に表示され、前記方法は、
    (a)前記ハンドヘルド型のコンピュータカーソル制御装置が前記画面の撮像領域内で画像を取得するよう制御するステップと、
    (b)前記画像に基づいて画像信号を生成するステップと、
    (c)前記画像信号に応じて、前記カーソルの位置を再設定するステップと、を含むことを特徴とするコンピュータ読取り可能媒体。
  18. 前記画像信号が前記撮像領域内の第1の点座標を含むことを特徴とする請求項17記載のコンピュータ読取り可能媒体。
  19. 前記第1の点座標が前記撮像領域の中心点座標であることを特徴とする請求項18記載のコンピュータ読取り可能媒体。
  20. 前記画像信号が前記画像の四隅の点座標をさらに含むことを特徴とする請求項18記載のコンピュータ読取り可能媒体。
  21. 前記ステップ(c)が、
    (d)前記四隅の点座標と前記第1の点座標との間の第1の関係式を計算するステップと、
    (e)前記第1の関係式に基づいて、前記画面上の第2の点座標を計算するステップと、
    (f)前記第2の点座標に基づいて、前記カーソルの位置を再設定するステップと、を含むことを特徴とする請求項20記載のコンピュータ読取り可能媒体。

JP2006019554A 2005-11-23 2006-01-27 ハンドヘルド型のコンピュータカーソル制御装置、このハンドヘルド型のコンピュータカーソル制御装置を用いてカーソルを制御するコンピュータ装置、方法およびコンピュータ読取り可能媒体 Pending JP2007141199A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW094141146A TWI305892B (en) 2005-11-23 2005-11-23 Apparatus, computer equipment, method and computer readable media for simultaneously controlling a cursor and an optical pointer

Publications (1)

Publication Number Publication Date
JP2007141199A true JP2007141199A (ja) 2007-06-07

Family

ID=38053004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006019554A Pending JP2007141199A (ja) 2005-11-23 2006-01-27 ハンドヘルド型のコンピュータカーソル制御装置、このハンドヘルド型のコンピュータカーソル制御装置を用いてカーソルを制御するコンピュータ装置、方法およびコンピュータ読取り可能媒体

Country Status (3)

Country Link
US (1) US20070115254A1 (ja)
JP (1) JP2007141199A (ja)
TW (1) TWI305892B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012523630A (ja) * 2009-04-08 2012-10-04 クゥアルコム・インコーポレイテッド 改良されたハンドヘルド画面検知ポインタ
KR101614880B1 (ko) 2015-02-25 2016-04-22 한국과학기술연구원 시선유지형 발표를 위한 커서 제어 시스템 및 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8089455B1 (en) 2006-11-28 2012-01-03 Wieder James W Remote control with a single control button
TWI345720B (en) * 2007-04-24 2011-07-21 Pixart Imaging Inc Cursor controlling device and method for image apparatus and image system
TW200915136A (en) * 2007-09-21 2009-04-01 Topseed Technology Corp Cursor-positioning method for handheld camera
WO2009061619A2 (en) * 2007-11-07 2009-05-14 Omnivision Technologies, Inc. Apparatus and method for tracking a light pointer
AU2009101382A4 (en) * 2008-04-10 2013-09-12 Karl Christopher Hansen Simple-to-use optical wireless remote control
CN102577368B (zh) * 2009-04-16 2016-01-06 惠普开发有限公司 在虚拟协同系统中传送视觉表示
DE102009024174A1 (de) * 2009-06-08 2010-12-09 Volkswagen Ag Verfahren und Vorrichtung zum Steuern eines Cursors auf einer Anzeigefläche
TWI408488B (zh) * 2010-05-19 2013-09-11 Himax Display Inc 互動式投影系統及其系統控制方法
CN102446031A (zh) * 2010-10-09 2012-05-09 财团法人资讯工业策进会 激光光点轨迹追踪事件触发方法、系统及其电脑程序产品
CN102955577A (zh) * 2011-08-26 2013-03-06 奇高电子股份有限公司 光学式指针控制系统及方法
US20130082923A1 (en) * 2011-10-03 2013-04-04 Chip Goal Electronics Corporation, R.O.C. Optical pointer control system and method therefor
CN103677259B (zh) * 2012-09-18 2018-05-29 三星电子株式会社 用于引导控制器的方法、多媒体装置及其目标跟踪装置
CN103425409B (zh) * 2013-07-30 2017-12-15 华为终端(东莞)有限公司 投影显示的控制方法和装置
CN104932757A (zh) * 2014-03-21 2015-09-23 中兴通讯股份有限公司 一种激光虚拟触控方法及系统
CN115729399A (zh) * 2021-08-30 2023-03-03 荣耀终端有限公司 窗口内指针的显示控制方法及装置、设备、存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5193897A (en) * 1992-01-07 1993-03-16 Halsey Keith D Combined pen and light pointer apparatus
US6275214B1 (en) * 1999-07-06 2001-08-14 Karl C. Hansen Computer presentation system and method with optical tracking of wireless pointer
US6704000B2 (en) * 2000-11-15 2004-03-09 Blue Iris Technologies Method for remote computer operation via a wireless optical device
US7420540B2 (en) * 2003-12-01 2008-09-02 Olbrich Craig A Determining positioning and/or relative movement of graphical-user interface element based on display images

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012523630A (ja) * 2009-04-08 2012-10-04 クゥアルコム・インコーポレイテッド 改良されたハンドヘルド画面検知ポインタ
US9189082B2 (en) 2009-04-08 2015-11-17 Qualcomm Incorporated Enhanced handheld screen-sensing pointer
US10146298B2 (en) 2009-04-08 2018-12-04 Qualcomm Incorporated Enhanced handheld screen-sensing pointer
KR101614880B1 (ko) 2015-02-25 2016-04-22 한국과학기술연구원 시선유지형 발표를 위한 커서 제어 시스템 및 방법

Also Published As

Publication number Publication date
US20070115254A1 (en) 2007-05-24
TW200720979A (en) 2007-06-01
TWI305892B (en) 2009-02-01

Similar Documents

Publication Publication Date Title
JP2007141199A (ja) ハンドヘルド型のコンピュータカーソル制御装置、このハンドヘルド型のコンピュータカーソル制御装置を用いてカーソルを制御するコンピュータ装置、方法およびコンピュータ読取り可能媒体
TWI423096B (zh) 具可觸控投影畫面之投影系統
JP3128532U (ja) 画像を捕獲するプロジェクターと、プロジェクターを持つプレゼンテーションシステム
US20150338998A1 (en) System and methods for providing a three-dimensional touch screen
US9939943B2 (en) Display apparatus, display system, and display method
US20110148824A1 (en) Optical pen
EP3037936B1 (en) Image projection apparatus, and system employing interactive input-output capability
CN100504576C (zh) 光标与光学投影同步操作的装置、方法
TW578031B (en) Projection system with an image capturing device
TW201337639A (zh) 指向性影像操控裝置及其方法
US9946333B2 (en) Interactive image projection
JP2010272078A (ja) 電子情報ボードシステム、電子情報ボード制御装置およびカーソル制御方法
JP2013218423A (ja) 指向性映像コントロール装置及びその方法
TWI518553B (zh) 具多模式之互動投影系統及其指示裝置與控制方法
TWI402720B (zh) 用以將光點軌跡轉換成所對應之預設動作的媒體播放系統、轉換模組及轉換方法
JP2007279869A (ja) プロジェクター、プロジェクター用リモコンおよびポインターシステム
WO2018133183A1 (zh) 一体式触控投影系统
TW201546655A (zh) 映射投影之控制系統及其控制方法
JP7331578B2 (ja) 表示装置、画像表示方法、プログラム
US20160320897A1 (en) Interactive display system, image capturing apparatus, interactive display method, and image capturing method
TWI499955B (zh) A method of generating a multi-touch screen function using light patterns
TW201944211A (zh) 虛擬投影筆
TWM603139U (zh) 虛擬投影筆
TWI531933B (zh) 簡報系統
TWI464632B (zh) 應用雷射導引技術之類觸控簡報系統

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080304

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080404

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080422