JP2001125738A - プレゼンテーション制御システム及びその制御方法 - Google Patents

プレゼンテーション制御システム及びその制御方法

Info

Publication number
JP2001125738A
JP2001125738A JP2000287540A JP2000287540A JP2001125738A JP 2001125738 A JP2001125738 A JP 2001125738A JP 2000287540 A JP2000287540 A JP 2000287540A JP 2000287540 A JP2000287540 A JP 2000287540A JP 2001125738 A JP2001125738 A JP 2001125738A
Authority
JP
Japan
Prior art keywords
image
presentation
control system
display
laser spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000287540A
Other languages
English (en)
Other versions
JP3909554B2 (ja
JP2001125738A5 (ja
Inventor
Shang-Hung Lin
ハング リン シャング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of JP2001125738A publication Critical patent/JP2001125738A/ja
Publication of JP2001125738A5 publication Critical patent/JP2001125738A5/ja
Application granted granted Critical
Publication of JP3909554B2 publication Critical patent/JP3909554B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Projection Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 （修正有） 【課題】 インタラクティブプレゼンテーション制御シ
ステムを提供する。 【解決手段】 インタラクティブプレゼンテーション制
御システムは、ディスプレイ・コンピュータ、コンピュ
ータ制御の画像プロジェクタ、レーザーポインタ、投写
スクリーンの他に、デジタルカメラおよび制御モジュー
ルを備え、ディスプレイ・コンピュータは電子画像を生
成し、その画像はプレゼンテーション画像として投写ス
クリーン上に投写される。講演者はレーザーポインタを
用い所定のジェスチャ空間パターンをプレゼンテーショ
ン画像上に描き、デジタルカメラはこれらのプレゼンテ
ーション画像を獲得し、制御モジュール内の処理部はそ
れらの画像を解析し、ジェスチャ空間パターンを特定す
る。所定のジェスチャ空間パターンの集合と比較され、
マッチするものが見つけられ、続いてそれに関係したデ
ィスプレイ・コマンドが選択される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ディスプレイ・コ
ンピュータ、コンピュータ制御の画像プロジェクタ、お
よび投写スクリーンを用いたプレゼンテーション制御シ
ステム、及びその制御方法に関するものである。特に、
投写スクリーン上でレーザーポインタのビームを所定の
空間パターン状に動かすことにより制御を行うインタラ
クティブプレゼンテーション制御システム及びその制御
方法に関する。
【０００２】
【従来の技術】会議や学校の授業において、図表、文
章、その他種々のグラフィック画像を投写スクリーンや
壁に光学的に投写することがしばしば行われる。画像ソ
ースとしてはLCD (液晶ディスプレイ) プロジェクタや
ＤＭＤを利用したプロジェクタが通常使用され、図表、
文章、その他種々のグラフィック画像は、例えばMicros
oft PowerPoint（登録商標）のようなプレゼンテーショ
ン作成ソフトウエアを実行可能なパーソナル・コンピュ
ータ (PC) またはラップトップ・コンピュータのような
ディスプレイ・コンピュータを用いて電子的に作成され
る。このような表示システムでは、PCは標準VGA、スー
パーVGA、XGAのようなビデオ信号を出力する。このよう
なLCD/PC投写ディスプレイ・システムは、従来のオーバ
ーヘッド・プロジェクタとトランスペアレンシを用いる
システムを置き換え、より多く使用されるようになって
きている。
【０００３】講演者（オペレータ）は書見台のある場所
に立っていたり聴衆の前で動いていたりするが、どちら
の場合も、LCD/PC投写ディスプレイ・システムを使用し
ている場合には、投写スクリーン上に表示されている画
像に対し講演者が直接に制御することは少ない。通常の
システムでは、講演者がディスプレイ・コンピュータの
場所に戻るか、あるいは、その場所にアシスタントに座
ってもらうかし、プレゼンテーションの制御を行う。講
演者またはアシスタントは、ディスプレイ・コンピュー
タのキーボードまたはマウスを用いてカーソルをコンピ
ュータ・モニタ画像スクリーンの適当な場所に動かすこ
とによって、表示画像を制御する。講演者がディスプレ
イ・コンピュータの場所へ戻ったり、アシスタントに指
示を出したりすると、プレゼンテーションの自然な進行
や流れが阻害される。講演者が、ディスプレイ・コンピ
ュータに戻ったり、スクリーンからアシスタントへ繰り
返し注意を向けたりせず、ディスプレイを対話的に制御
したり、投写スクリーン上の画像を変更したりすること
ができれば、聴衆とより密接な関係を持つことができる
ことは明らかであろう。
【０００４】例えば、Miyashitaに付与された米国特許N
o. 5,782,548に開示された制御システムでは、講演者は
リモコン装置を用い、制御信号をプロジェクタのセンサ
ーに無線で送信する。このシステムを用いると、講演者
がスクリーン上のプレゼンテーション画像を変更するに
は、聴衆や投写スクリーンから目をそらし、リモコン装
置を介してプロジェクタに注意を向ける必要がある。さ
らに、講演者はリモートコントロールを使用することに
よりある程度の可動性が得られるが、プロジェクタのセ
ンサーの感度の範囲内にいる必要があるため、その可動
性も限られたものになる。
【０００５】この分野では、プレゼンテーション画像上
のある場所にレーザー光を投射するレーザーポインター
が使われることは公知である。このようなシステムで
は、通常、プレゼンテーション画像の制御は複数個のス
テップ、すなわち複数回の動作で行う必要があるが、こ
れはプレゼンテーションの自然な進行と流れを妨げるこ
とになる。例として、Nguyen等に付与された米国特許N
o. 5,682,181では、描画モード、ページアップといった
1つの機能を選択する前に、ドロップダウンメニュを呼
び出すシステムが開示されている。Marshall等に付与さ
れた米国特許No.5,502,459では、実質的にマウスのダブ
ルクリックと同様の効果を持たせる方法を開示してい
る。その方法では、ユーザは、プレゼンテーション画像
上の想像上の矩形領域内に投射レーザースポットを当て
ながら、レーザーポインタをまずオンにし、続いてオフ
にし、再びオン、オフしなければならない。他のシステ
ムでは、通常のLCD/PC投写ディスプレイ・システムに加
えて追加の装置を必要とする。例えば、米国特許5,504,
501ではレーザーポインタを用いたリモコンを使用する
が、プレゼンテーション画像からの光とレーザースポッ
トを分離するため光学フィルタが必要である。
【０００６】
【発明が解決しようとする課題】従来の技術は、講演者
が聴衆と高度に対話的でありながら、一方でマウス・コ
マンドを与えるようにプレゼンテーションの制御が可能
な、インタラクティブなディスプレイ・プレゼンテーシ
ョンを提供しているようではない。したがって、本発明
の目的は、従来のディスプレイ・プレゼンテーション制
御システムが持つ上述した制限や他の制限を取り除くよ
うなプレゼンテーション制御システムを提供することで
ある。
【０００７】本発明の他の目的は、次の画像に進む、ア
ンダーラインを引く、ズーミングする、ハイライトする
といったようなマウス・コマンドや他のプレゼンテーシ
ョン機能がレーザーポインタで単に描画することによっ
て実行可能なシステムを提供することである。以下の詳
細な説明を読むことにより本発明の他の目的は明らかに
なるであろう。
【０００８】
【課題を解決するための手段】本発明のプレゼンテーシ
ョン制御システムは、第１の電子画像およびそれに続く
第２の電子画像を作成するディスプレイ・コンピュータ
と、コンピュータ制御の画像プロジェクタと、投写スク
リーンと、レーザーポインタと、を含む投写ディスプレ
イ装置に制御を与えるプレゼンテーション制御システム
であって、前記画像プロジェクタは、前記第１の電子画
像を入力し，それを第１のプレゼンテーション画像上に
空間パターンを投射することにより前記制御を与え、該
プレゼンテーション制御システムは、前記第１のプレゼ
ンテーション画像に向けられ、そのプレゼンテーション
画像から画像要素を有する一連の獲得画像を生成する電
子カメラと、前記獲得画像に応答する制御モジュール
と、を備えており、前記制御モジュールは、前記獲得画
像内のレーザースポットの位置を検出する手段と、位置
が検出された前記レーザースポットのそれぞれに対し位
置座標を割当て、前記第１のプレゼンテーション画像内
の前記レーザースポットの一連の位置のそれぞれに対応
して、一連の位置座標（Ｘｉ，Ｙｉ）を形成する手段
と、一連の前記位置座標を解析して、一連の前記位置座
標が形成するジェスチャ空間パターンを捕捉する手段
と、捕捉した前記ジェスチャ空間パターンを、所定のジ
ェスチャ空間パターンの集合内の１つのパターンにマッ
チさせる手段と、前記マッチした所定のジェスチャ空間
パターンに相関付けられたディスプレイコマンドを選択
する手段と、前記選択されたディスプレイコマンドに応
答して、引き続く第２の電子画像を生成して、該電子画
像を前記画像プロジェクタに転送して、引き続くプレゼ
ンテーション画像として前記投写スクリーンに投写する
手段と、を備えていて、そのことによって上記目的を達
成する。好ましくは、前記レーザースポットの位置を検
出する手段は、輝度の高い画像要素を特定する手段を有
し、該輝度の高い画像要素は、予め決められたしきい値
以上の輝度を有する獲得画像要素を含む。
【０００９】さらに好ましくは、前記レーザースポット
の位置を検出する手段は、前記輝度の高い画像要素のク
ラスターを特定する手段を有し、該クラスターは、予め
決められた値以上の直線距離を持つ隣接した画像要素の
集合を含む。
【００１０】好ましくは、前記位置座標を割り当てる手
段は、低い分解能モードで前記獲得画像を解析する手段
を備える。
【００１１】さらに好ましくは、前記位置座標を解析す
る手段は、変位ベクトルの列
【００１２】
【数４】
【００１３】を導出する手段を有し、該変位ベクトルの
列は、連続した前記位置座標における差に対応する。
【００１４】さらに好ましくは、前記位置座標を解析す
る手段は、前記変位ベクトル列をフリーマン・チェイン
・コード列により記述する手段を有する。
【００１５】ある態様では、予め決められた時間間隔の
パルスモードでレーザーポインタを操作して得られるレ
ーザースポットパルスを検出する手段をさらに有する。
【００１６】他の態様では、予め決められた前記時間間
隔は、約3秒である。
【００１７】他の態様では、前記ディスプレイコマンド
は、前記位置座標を解析する手段が、実質的に定常なレ
ーザースポットを前記第１のプレゼンテーション画像の
予め決められた領域内で検出した場合には第１のマウス
クリックを含み、前記第１のマウスクリックは前記ディ
スプレイ・コンピュータに転送される。
【００１８】好ましくは前記予め決められた領域は、ア
イコンを有する。
【００１９】好ましくは、前記第１のマウスクリック
は、前記引き続く第２のプレゼンテーション画像おいて
ドロップダウン・メニューを表示する。
【００２０】他の態様では、前記ディスプレイコマンド
は、前記レーザースポットパルスが検出された場合には
第２のマウスクリックを含み、前記第２のマウスクリッ
クはディスプレイ・コンピュータに転送される、請求項
９に記載のプレゼンテーション制御システム。
【００２１】好ましくは、前記第２のマウスクリック
は、前記引き続くプレゼンテーション画像において、前
記第１のプレゼンテーション画像の前記予め決められた
領域の選択を開始する。
【００２２】他の態様では、前記選択されたディスプレ
イコマンドは、3つの前記レーザースポットパルスの入
力に相関したオーバーレイ・コマンドを含み、前記オー
バーレイ・コマンドは前記第１の電子画像に重ね合わさ
れるオーバーレイ画像を含んだ引き続く第２の電子画像
を生じる。
【００２３】好ましくは、前記オーバーレイ画像は、前
記第１のプレゼンテーション画像上でのレーザースポッ
トの移動に対応した1つ以上の曲線を含む。
【００２４】好ましくは、前記オーバーレイ画像は、前
記第１のプレゼンテーション画像上でのレーザースポッ
トの移動に対応したハイライトされた領域を含む。
【００２５】他の態様では、前記選択されたディスプレ
イコマンドは、前記1つ以上の曲線が前記第１のプレゼ
ンテーション画像中で閉じた部分を規定する場合にはズ
ームイン・コマンドを含み、前記ズームイン・コマンド
は、前記第１のプレゼンテーション画像内の前記閉じた
部分に対応した前記第１の電子画像の拡大部を含んだ引
き続く第２の電子画像を生じる。
【００２６】他の態様では、前記引き続く第２の電子画
像を生成する手段は、マウスコマンドを前記ディスプレ
イ・コンピュータに転送する手段を有し、前記引き続く
第２の電子画像は前記ディスプレイ・コンピュータによ
り前記画像プロジェクタに転送される。
【００２７】他の態様では、前記マウスコマンドは、前
記マッチした所定のジェスチャ空間パターンが右矢印を
含む場合には、次の引き続く第２の電子画像に進むコマ
ンドを含む。
【００２８】好ましくは、前記位置座標を保存するため
のメモリ手段をさらに有する。
【００２９】好ましくは、前記メモリ手段は、前記ディ
スプレイ・コマンドおよび前記所定の画像を保存する参
照部を有する。本発明のプレゼンテーション制御システ
ムは、第１の電子画像およびそれに続く第２の電子画像
を作成するディスプレイ・コンピュータと、コンピュー
タ制御の画像プロジェクタと、投写スクリーンと、およ
びレーザーポインタとを含む投写ディスプレイ装置に制
御を与えるプレゼンテーション制御システムであって、
前記画像プロジェクタは、前記第１の電子画像を入力
し、それを第１のプレゼンテーション画像として前記投
写スクリーンに投写し、前記レーザーポインタは、講演
者がそれを用いて前記投写スクリーンにレーザースポッ
トを射出するとともに、前記第１のプレゼンテーション
画像上に空間パターンを投射することにより前記制御を
与え、該プレゼンテーション制御システムは、前記第１
のプレゼンテーション画像に向けられ、そのプレゼンテ
ーション画像から画像要素を有する一連の獲得画像を生
成する電子カメラと、前記獲得画像に応答する制御モジ
ュールと、を備えており、前記制御モジュールは、所定
のジェスチャ空間パターンの集合およびディスプレイコ
マンドの集合を含むメモリ部であって、前記ディスプレ
イコマンドのそれぞれは、前記所定のジェスチャ空間パ
ターンの一つに対応している、メモリ部と、前記獲得画
像における前記レーザースポットの位置を検出する位置
検出回路と、前記獲得画像における前記レーザースポッ
トの位置検出に応答する画像処理回路であって、前記位
置検出されたレーザースポットのそれぞれに対して位置
座標を割当て、前記第１のプレゼンテーション画像にお
ける前記レーザースポットの位置列に対応して位置座標
列（Ｘｉ，Ｙｉ）を生成し、前記位置座標列を解析して
前記位置座標列が形成したジェスチャ空間パターンを捕
捉する画像処理回路と、前記捕捉したジェスチャ空間パ
ターンに応答し、前記捕捉したジェスチャ空間パターン
を前記所定のジェスチャ空間パターンの一つとマッチさ
せ、前記マッチしたジェスチャ空間パターンに対応した
前記ディスプレイコマンドの一つを選択し、前記選択さ
れたディスプレイコマンドに対応してマウスコマンドを
生成するコマンド回路と、を備えており、前記マウスコ
マンドは、前記ディスプレイ・コンピュータに転送さ
れ、引き続く第２のプレゼンテーション画像が前記投写
スクリーンに投写され、そのことによって上記目的を達
成する。
【００３０】好ましくは、前記位置検出回路は輝度の高
い画像要素を特定する輝度検出回路を有し、前記輝度の
高い画像要素は、予め決められたしきい値以上の輝度を
持つ獲得画像要素を含む。
【００３１】好ましくは、前記位置検出回路は、前記輝
度の高い画像要素のクラスターを特定するクラスター検
出回路をさらに備え、該クラスターは、予め決められた
値以上の直線距離を有する隣接した画像要素を含む。
【００３２】好ましくは、前記画像処理回路は、変位ベ
クトルの列
【００３３】
【数５】
【００３４】を導出する計算回路を有し、それぞれの変
位ベクトルの列は、連続した前記位置座標における差に
対応する。
【００３５】好ましくは、前記計算回路は、前記変位ベ
クトル列をフリーマン・チェイン・コード列に変換する
変換回路を有する。本発明のコンピュータ読取り可能な
記録媒体は、コンピュータが複数の画像の連続したサン
プリングを受取る動作であって、該複数の画像のそれぞ
れは複数の画像要素を含む、動作と、一連の前記画像の
それぞれにおいて輝度の高い画像要素の隣接した集合を
検出する動作と、連続した前記検出した輝度の高い画像
要素に対し、連続した位置座標（Ｘｉ，Ｙｉ）を割当て
る動作と、前記一連の位置座標を解析し、ジェスチャ空
間パターンを特定する動作と、前記ジェスチャ空間パタ
ーンを特定に応じてプレゼンテーションコマンドを生成
する動作と、のための制御システムとして機能すること
を指示する命令を有し、そのことによって上記目的を達
成する。
【００３６】好ましくは、前記位置座標列を解析するた
めの動作は、変位ベクトルの列
【００３７】
【数６】
【００３８】を導出するための動作をさらに有し、該変
位ベクトルは、引き続く前記位置座標における差に対応
する。
【００３９】好ましくは、変位ベクトル列を導出するた
めの動作は、前記変位ベクトル列をフリーマン・チェイ
ン・コード列により記述するための動作をさらに有す
る、請求項２８に記載の記録媒体。
【００４０】好ましくは、前記プレゼンテーションコマ
ンドはマウスコマンドを含む。
【００４１】本発明の表示プレゼンテーション装置の制
御方法は、プレゼンテーション画像列を投写スクリーン
に投写するコンピュータ制御の画像プロジェクタを備え
た表示プレゼンテーション装置を制御する方法におい
て、制御は講演者がレーザーポインタを用いレーザース
ポットを前記投写スクリーンに投写することにより行わ
れ、該レーザースポットは前記プレゼンテーション画像
上を所定のジェスチャ空間パターンにおいて動き、前記
表示プレゼンテーション装置を制御する方法は、投写さ
れた前記プレゼンテーション画像および前記レーザース
ポットに対応した画像列を獲得するステップであって、
前記獲得された画像のそれぞれは複数の画像要素を含
む、ステップと、獲得された画像のそれぞれにおいて位
置座標列を前記レーザースポットの位置に割当てるステ
ップと、前記位置座標列を解析して、前記レーザースポ
ットにより生成された前記ジェスチャ空間パターンを特
定するステップと、前記ジェスチャ空間パターンの特定
に応じて前記プレゼンテーションコマンドを生成するス
テップと、を含み、そのことによって上記目的を達成す
る。
【００４２】好ましくは、前記特定されたジェスチャ空
間パターンを、前記所定のジェスチャ空間パターンにマ
ッチさせるステップをさらに含む。
【００４３】好ましくは、前記位置座標列を解析するス
テップは、輝度の高い獲得画像要素を検出するステップ
をさらに含み、該輝度の高い獲得画像要素のそれぞれ
は、予め決められたしきい値以上の輝度を有する。
【００４４】好ましくは、輝度の高い獲得画像要素のク
ラスターを前記レーザースポットとして特定するステッ
プをさらに含み、前記クラスターは、予め決められた値
以上の直線距離を有する隣接した獲得画像要素の集合を
含む。
【００４５】他の態様では、実質的に定常状態にあるレ
ーザースポットを検出するステップをさらに含む。
【００４６】他の態様では、前記実質的に定常状態にあ
るレーザースポットを検出するステップに応じて前記第
１のプレゼンテーション画像の一部を選択するステップ
をさらに含む。
【００４７】他の態様では、パルス動作のレーザースポ
ットを検出するステップをさらに含む。
【００４８】他の態様では、前記パルス動作のレーザー
スポットの検出に応じて前記引き続くプレゼンテーショ
ン画像内に前記レーザースポットの動きに応じた曲線を
描画するステップをさらに含む。
【００４９】他の態様では、前記引き続くプレゼンテー
ション画像の一部であって、前記描画した曲線に対応す
る部分をハイライトするステップをさらに含む。
【００５０】好ましくは、前記位置座標列を解析するス
テップは、前記特定されたジェスチャ空間パターンをフ
リーマン・チェイン・コードを用いて記述するステップ
を含む。
【００５１】他の態様では、前記特定されたジェスチャ
空間パターンが矢印の形状を有する場合には、引き続く
プレゼンテーション画像を生じさせるステップを有す
る。
【００５２】本発明は、講演者（プレゼンタ）が、レー
ザーポインタから射出するレーザースポットを用いて所
定の空間パターンを投写スクリーン上に投射することに
よりプレゼンテーションを制御するインタラクティブプ
レゼンテーション制御システムを提供する。所定の空間
パターンは制御システムで獲得され翻訳され、続いてデ
ィスプレイ・コマンドがプロジェクタに発せられる。プ
レゼンテーション中には、ディスプレイ・コンピュータ
はそのローカルなディスプレイ上にプレゼンテーション
に対応するビットマップを生成する。このビットマップ
は、続いてLCDプロジェクタに転送され、次にスクリー
ンに投写される。プレゼンテーションの表示はスクリー
ンに投射されたレーザースポットをモニターすることに
より行われる。レーザースポットを用いた制御は制御シ
ステムにより行われる。制御システムにはレーザースポ
ットの連続した画像を獲得するデジタルカメラおよび制
御モジュールが備えられ、制御モジュールにはプレゼン
テーション画像上のレーザースポットの位置を解析する
処理部が設けられている。処理部が、連続したレーザー
スポットの位置と所定の空間パターンとをマッチさせた
とき、それに対応するディスプレイ・コマンドが発せら
れる。ディスプレイ・コマンドがディスプレイ・コンピ
ュータに転送され、ディスプレイ・コンピュータが電子
画像を一つ進めるような動作を行う場合もあるし、ある
いは、ディスプレイ・コマンドが制御モジュール内に留
まりプレゼンテーション画像の一部をズームインしたり
テキストをハイライトするような機能を行う場合もあ
る。
【００５３】
【発明の実施の形態】図1は、本発明の第１の実施の形
態であるインタラクティブ・ディスプレイ・プレゼンテ
ーション制御システム10を示す。インタラクティブ・デ
ィスプレイ・プレゼンテーション制御システム10は、デ
ィスプレイ・コンピュータ21、コンピュータで制御され
るＬＣＤタイプまたはＤＭＤタイプ等の画像プロジェク
タ23、投写スクリーン12、レーザーポインタ11、および
プレゼンテーション制御システム30を備える。画像プロ
ジェクタ23は、通常、照明光源25と、照明光源25と投写
スクリーン12との間に置かれた画像パネル27を備える。
プレゼンテーション制御システム30には、デジタルカメ
ラ31、または同種の画像装置、および制御モジュール33
が含まれる。インタラクティブ・ディスプレイ・プレゼ
ンテーション制御システム10の動作中は、ディスプレイ
・コンピュータ21は、ディスプレイ・コンピュータ21に
搭載されたプレゼンテーション作成ソフトウエアが実行
するプレゼンテーションに基づき最初の電子画像22aを
作成する。プレゼンテーション・プログラムにはディス
プレイ・プレゼンテーション中に投写しようとする電子
画像のセット22a, 22b,・ ・ ・,22kが含まれている。
最初の電子画像22aはディスプレイ・コンピュータ21に
より、好ましくはビットマップ画像として、制御モジュ
ール33に転送され、引き続き、投写画像29として画像パ
ネル27に転送される。引き続いて、プロジェクション画
像29は対応する最初のプレゼンテーション画像13として
投写スクリーン12に投写される。
【００５４】講演者（プレゼンタ、またはオペレータ）
37は、レーザーポインタ11を用いレーザービーム15をレ
ーザースポット16としてプレゼンテーション画像13に投
射することにより、インタラクティブ・ディスプレイ・
プレゼンテーション制御システム10を対話的に制御す
る。レーザーポインタ11は購買可能な装置で、連続動作
およびパルス動作の両方が可能で、その波長は630ｎｍ
と670ｎｍの間にあることが好ましい。講演者37はレー
ザースポット16を投写スクリーン12上で動かし、予め決
められたジェスチャ空間パターンを描画し、それによっ
てインタラクティブ・ディスプレイ・プレゼンテーショ
ン制御システム10に制御を与える。ジェスチャ空間パタ
ーンは水平な下線、矢印、ある画像部分を囲むボック
ス、あるいは他の予め決められた幾何学的形状であって
よいが、このパターンはその後、制御モジュール33によ
り特定され、それに対応する予め決められたディスプレ
イ・コマンドが選択される。このディスプレイ・コマン
ドは、以下で詳細に説明するように、制御モジュール33
内で機能を行ってもよいし、あるいはディスプレイ・コ
ンピュータ21に転送されてもよい。例えば、1つの動作
モードでは、ディスプレイ・コンピュータ21はディスプ
レイ・コマンドを受け取り、次ぎのスライド22bを呼び
出し制御モジュール33を経由して画像プロジェクタ23に
転送する。
【００５５】本発明のシステムの特徴を図2および3を参
照して説明する。図2に示す従来のプレゼンテーション
では、講演者17は、実線の矢印41で示すように、主にデ
ィスプレイ・コンピュータ21、あるいはディスプレイ・
コンピュータ21の場所に座っているアシスタントと対話
し、投写スクリーン12上のプレゼンテーションを制御す
る。したがって鎖線の矢印46で示すように、講演者と投
写スクリーン12上のプレゼンテーションとの対話は限ら
れたものになっている。プレゼンテーションを見ている
聴衆19の注意は実線の矢印43で示されるように主にプレ
ゼンテーションに向けられ、講演者には鎖線の矢印45で
示されるように少しの注意しか払われない。これと対比
して、ここで開示されるようなインタラクティブ・ディ
スプレイ・プレゼンテーション制御システム10では、講
演者37はディスプレイ・コンピュータ21またはプレゼン
テーション制御システム30のどちらとも対話をする必要
がほとんど無いかあるいはまったく必要ではない。した
がって、講演者は、実線の矢印47で示されるように聴衆
19と、さらに実線の矢印48で示されるようにレーザーポ
インタ11を介して投写スクリーン12上のプレゼンテーシ
ョンと対話をすることが可能になる。
【００５６】図1におけるプレゼンテーション制御シス
テム30の動作中は、デジタルカメラ31は投写スクリーン
12に向けられ、現在表示されているプレゼンテーション
画像13を連続的にサンプリングする。このサンプリング
は1秒間に約10フレームのサンプリング速度で行うのが
好ましい。制御モジュール33はこれらのサンプルした画
像を一連の獲得（撮像）した画像63a, 63b,・ ・ ・,63
nとして入力する。獲得された画像63a, 63b,・ ・ ・,6
3nは、プレゼンテーション画像13が投写スクリーン12上
にある間は、獲得された連続した画像間でレーザースポ
ット16の位置が変化していることを除き実質的に互いに
同等であることは当業者にはよく理解できる 。レーザ
ースポット16のこれらの連続した位置は分離され、メモ
リ34に保存され、解析され、講演者37が投写スクリーン
12上に投射したジェスチャ空間パターンが特定される。
【００５７】制御モジュール33は、連続した獲得画像63
a, 63b,・ ・ ・,63n内のレーザースポット16を検出す
る処理部35を備える。レーザースポット16はプレゼンテ
ーション画像13を構成するいずれの画像要素の輝度より
も輝度の大きな画像要素を有するため、処理部35は予め
設定されたしきい値より大きな輝度を持つ画像要素を検
出することによりレーザースポット16の位置を決定する
ことが可能である。ここで、しきい値はプレゼンテーシ
ョン画像内にある最大輝度よりも大きい。処理部35はそ
のような輝度の高い画像要素の隣接した集合体を求めて
プレゼンテーション画像13を解析する。ここでこの集合
体はレーザースポットの大きさにほぼ近い高さまたは巾
を有する。レーザースポット16の検出は最初、低分解能
モード (例えば、獲得された画像63a, 63b,・ ・ ・,63
nを80 × 60のピクセル画像として見る) で行い、レー
ザースポット16のプレゼンテーション画像13内での大ま
かな位置を見つけるのが好ましい。例えば、図4では、
投写スクリーン12上に表示されたプレゼンテーション画
像13を形成する流れ図内にレーザースポット16がある様
子を示す。レーザースポット16のおよその位置が分かっ
たら、図5に示すように、プレゼンテーション画像13は1
60 × 120ピクセルの高分解能で解析され、レーザース
ポット16の位置がその精度に対応して正確に決定され
る。この例では、位置座標は (128, 114) と決定されて
いる。
【００５８】図1の処理部35は、レーザースポット16が
検出された獲得画像63a, 63b,・ ・・,63nのそれぞれに
ついて、レーザースポット16の位置に位置座標を順次割
当てる。これら一連の位置座標がメモリ34に取込まれ、
すなわち保存され、空間パターンが存在するかどうかが
解析される。制御モジュール33はさらに参照部36を備え
るが、それには予め決定された（所定の）ジェスチャ空
間パターンのセットおよび予め割当てられたディスプレ
イ・コマンドのセットが保存されている。 ここで、デ
ィスプレイ・コマンドのそれぞれは所定のジェスチャ空
間パターンの一つに割当てられている、すなわち、相関
付けられている。空間パターンが特定されると、処理部
35は、この特定された空間パターンと所定のジェスチャ
空間パターンのセットとを比較する。マッチしたパター
ンがあると、処理部35は、マッチした所定のジェスチャ
空間パターンに割当てられたディスプレイ・コマンドを
選択し、その選択したコマンドを実行する。
【００５９】選択されたディスプレイ・コマンドは入力
ポート65を介してディスプレイ・コンピュータ21に転送
される。好ましい実施例では、入力ポート65はシリアル
ポートを備え、ディスプレイ・コマンドはシリアルケー
ブルまたはUSBケーブルを介して転送される。この技術
分野の当業者には明らかなように、処理部35は図に示す
ように制御モジュール33内にあってもよいし、デジタル
カメラ31またはディスプレイ・コンピュータ21のいずれ
かに含まれていてもよいし、あるいは、コンピュータが
読み込み可能な命令として記憶媒体67から取出し可能な
ものでもよいし、さらに、デジタルカメラ31、制御モジ
ュール33およびディスプレイ・コンピュータ21に分散し
て存在してもよい。
【００６０】レーザースポット16が獲得画像63a, 63b,
・ ・ ・,63nのそれぞれにおいて検出されると、処理部
35は、レーザースポット16の動きに関する連続した位置
に位置座標(例えば、xi, yi)を割当て、レーザースポッ
ト16が動いているかどうかを判定する。そして、動いて
いる場合には、その動きが無作為なものか、またはその
動きが所定の多くの形状やパターンの1つと相関がある
かどうかを判定する。動きの大きさと方向とは対応する
変位ベクトル
【００６１】
【数７】
【００６２】の列を解析することにより決定することが
できる。好ましくは、関連する技術分野でフリーマン・
チェイン・コードと知られる空間パターン認識ツールが
用いられ、レーザースポット16の動きを判定し、矢印、
ボックス、または他の幾何学的形状が形成されるのを検
出する。フリーマン・チェイン・コードはレーザースポ
ット16の並進ベクトル、すなわち、1つの獲得画像63iか
ら次ぎの獲得画像63i+1への動きを表すベクトルに対し1
つの数を割当てる。例えば、図6に示すように、π/2の
角度を持ち方向ベクトル71で表される垂直方向の動きに
は「コード1」が割当てられ、5π/4の角度を持ち方向ベク
トル73で表される第3象限の対角線方向の動きには「コー
ド6」が割当てられる、等々である。処理部35は、レーザ
ースポット16の無作為な動きと講演者が意図的に行うジ
ェスチャとをフリーマン・チェイン・コードの順序
（列）を解析することにより区別する。
【００６３】例として、図7は、捕捉されたジェスチャ
空間パターンがフリーマン・チェイン・コードによりど
のように記述されるかを示している。制御モジュール33
は最初の5つの引き続いた画像からレーザースポット16
の位置座標を捕捉する。4つの連続した画像対で表され
るレーザースポットの動きは、方向ベクトル75a、75b、
75c、および75dで表される一連の「コード4」で示されて
いる。それに続く5つの画像 (すなわち、63fから63jの
捕捉された画像、図示なし)中のレーザースポット16の
動きは、方向ベクトル77a、77b、77c、77dおよび77eで
表されている5つの「コード6」で示されている。
【００６４】処理部35は、4つの引き続いた「コード4」と
それに続く5つの「コード6」のジェスチャ空間パターン列
を参照部36から処理部35に入力された所定のジェスチャ
空間パターンの一つ一つと比較する。この参照部はラン
ダムアクセスメモリでも、ファームウエアでも、ルック
アップテーブルであってもよい。この場合、捕捉された
ジェスチャ空間パターンは右向き矢印51とマッチする。
捕捉されたジェスチャ空間パターンが異なった無作為な
フリーマン・チェイン・コードの列からなる場合は、処
理部35は、レーザースポットは無作為に動いていると判
断し、ディスプレイ・コマンドを発しない。
【００６５】インタラクティブ・ディスプレイ・プレゼ
ンテーション制御システム10を「マウスモード」で用い、
連続するPowerPoint(登録商標)のスライドをプレゼンテ
ーション画像13として投写することが可能である。例と
して、講演者が右向き矢印51を有するジェスチャ空間パ
ターンを描いた場合、ディスプレイ・コンピュータはそ
れに対応して次のプレゼンテーション・スライドを呼び
出し、画像プロジェクタ23に転送してもよい。すなわ
ち、「次のスライドに進め」というディスプレイ・コマ
ンドが右向き矢印51に関連付けられ、すなわち、割当て
られているのである。同様に、ジェスチャ空間パターン
が左向き矢印を含んでいる場合、1つ前の画像がプロジ
ェクション画像29として呼び出されて表示されてもよ
い。あるいは、矢印のインジケータをオーディオのボリ
ュームを変えるように割当ててもよいし、または所定の
ディスプレイ・コマンドを介してプレゼンテーションの
他のスライド特性を変えるように割当てることもでき
る。
【００６６】講演者37はレーザースポット16を、アイコ
ンやメニューエントリのようなプレゼンテーション画像
13の特定の領域上に位置させることもできる。処理部35
はこの状態を、取り囲むアイコンやメニューエントリを
選択したものとして解釈する。この状態は、マウスを最
初にクリックしたのと等価である。選択に続く2回目の
マウスクリックは、レーザースポット16をアイコンやメ
ニューエントリの場所に保持しながら、予め設定された
時間間隔の間 (3秒が好ましい) レーザーポインタ16を
パルス化することによって達成される。あるいは、レー
ザースポット16をプレゼンテーション画像13の境に位置
させることで、次の選択と動作に関するドロップダウン
メニューを出現させてもよい。それに引き続いて、選択
された領域上でレーザースポット16を一度パルスする
と、処理部35はそのパルスを2回目のマウスクリックと
して解釈する。
【００６７】このようにして、レーザービーム15をプレ
ゼンテーション画像13に投射することにより、会場の実
際上どの場所からも、例えば新しいファイルを開いた
り、切り取ったり、貼り付けたりして、ディスプレイ・
プレゼンテーションを制御することができる。したがっ
て、ディスプレイ・コンピュータ21に直接入力して投写
画像29を制御するためにマウス、キーボード、または他
の周辺装置が用いられるのと同様の方法で、レーザーポ
インタ１１がプレゼンテーション制御システム30と共に
用いられる。この制御法は、講演者３７が話を続け動き
回りながら、インターネットのウェブリンクにアクセス
しそれをナビゲートする必要がある場合には特に有用で
ある。
【００６８】あるいは、3回の引き続いたマウスクリッ
クを生成するようにレーザーポインタ11がパルス化され
る場合には、「描画モード」にアクセスすることが可能で
ある。描画モードでは、レーザースポット16を用いてプ
レゼンテーション画像13上に直線や曲線を描くことが可
能である。描画モードを終了できるよう、レーザーポイ
ンタ11は、パルス化され、4つのマウスクリックを生成
する。曲線を描くことにより、プレゼンテーション中に
他の機能を実行することができる。好ましい実施例で
は、講演者37がプレゼンテーション画像13のテキスト部
またはグラフィックス部に、例えば水平線を描くと、処
理部35は、元の電子画像22aにオーバーレイを重ね合わ
せ新しい電子画像24を作成する。ここで、オーバーレイ
はレーザースポット16で描かれた水平線に対応しハイラ
イトや下線を与える。
【００６９】新しい電子画像24は次にプロジェクタ23に
転送され、対応したテキスト部またはグラフィックス部
に下線やハイライトが施されたプレゼンテーション画像
13として投写される。さらに、講演者37がプレゼンテー
ション画像13の一部を取り囲むように矩形を描くと、元
のスライド22の対応する部分が拡大され、新しい電子画
像24として転送され、ズームイン操作になる。
【００７０】図8に示す他の実施例では、画像プロジェ
クタ23はディスプレイ・コンピュータ21に直接接続され
ている。この構成は、制御システム30がディスプレイ・
コンピュータ21に対しマウスコマンドのみを出力する場
合に使用される。操作は上述した実施例と類似してお
り、レーザースポット16が制御しようとするプレゼンテ
ーション画像13上に投射される。デジタルカメラ31はプ
レゼンテーション画像13のサンプリングを行い、獲得さ
れた画像63a, 63b,・ ・ ・,63nは制御モジュール33内
の処理部35により解析される。特定されたジェスチャ空
間パターンと参照部36から得られる所定のジェスチャ空
間パターンとが一致した場合は、それに対応するマウス
コマンドがシリアルケーブル39を介してディスプレイ・
コンピュータ21に転送される。先の実施例と同様、処理
部35の命令および参照部36のデータは記憶媒体67から取
出されてもよい。
【００７１】インタラクティブ・ディスプレイ・プレゼ
ンテーション制御システム10を使用する前に、プレゼン
テーション画像13の画像要素および位置座標と、ディス
プレイ・コンピュータ21に入っている元の電子画像22a
の対応する要素および座標との間の相関を取るため、処
理部35を用い制御システム30を補正する場合もある。こ
れは、例えば、以下のステップで行なってもよい。i)埋
め込まれた予め決められたパターン (図示なし) を投写
画像29内に作成する、ii)電子カメラ31を用い埋め込ま
れたパターンを含むプレゼンテーション画像13を獲得す
る、iii)予め決められたパターンを検出し電子カメラ31
で獲得した画像内の関連した位置座標を確定する、iv)
パターンの座標を解析しプレゼンテーション画像13の座
標と元の電子画像22aの座標との間の相関を数学的に得
る。このような補正処理は、1999年3月31日付け、出願
番号09/283,093の「コンピュータ作成投写画像を補正す
る方法および装置」と題する、本願と同一人に譲渡され
た同時係属中の特許出願において説明されている。この
出願全体を参照文献としてここに含むことにする。
【００７２】処理部35は、電子カメラ31を用い、講演会
場の室内光強度を決定し、プレゼンテーション画像13の
明るさとコントラストの設定を最適にする機能を持つ場
合もある。プレゼンテーション画像13のカラーバランス
は、画像プロジェクタ23で標準カラー補正チャート（図
示なし）を投写スクリーン12に投写し、投写したカラー
についての電子カメラ31を用いて求めた値をチャートの
カラーの既知の値と比較することにより最適化される。
この比較で得た結果から、処理部35はカラー補正が必要
かどうかを判断し、プレゼンテーション画像13を必要に
応じて調整する。
【００７３】本発明は特定の実施例を参照して説明され
たが、本発明は、ここで開示されたり図面に示された特
定の構造や方法に限定されるものではない。さらに、本
発明は特許請求範囲内の変更や等価なものをも含んでい
る。
【図面の簡単な説明】
【図１】本発明の第1の実施例におけるインタラクティ
ブ・ディスプレイ・プレゼンテーション制御システムの
模式図。
【図２】従来のディスプレイ・プレゼンテーション制御
システムの平面模式図。
【図３】図1のインタラクティブ・ディスプレイ・プレ
ゼンテーション制御システムの平面模式図。
【図４】図1のシステムの投写スクリーン上に表示され
たプレゼンテーション画像の模式図。
【図５】図4におけるレーザースポットの位置座標が決
定される方法を示す図。
【図６】図4のプレゼンテーション画像上をレーザース
ポットが動く状態を記述するため本発明で用いるフリー
マン・チェイン・コード規則を示す図。
【図７】講演者が投写スクリーンに投射した所定の空間
パターンの模式図。
【図８】本発明の第2の実施例におけるインタラクティ
ブ・ディスプレイ・プレゼンテーション制御システムの
模式図。

Claims (41)

    【特許請求の範囲】
  1. 【請求項１】 第１の電子画像およびそれに続く第２の
    電子画像を作成するディスプレイ・コンピュータと、コ
    ンピュータ制御の画像プロジェクタと、投写スクリーン
    と、レーザーポインタと、を含む投写ディスプレイ装置
    に制御を与えるプレゼンテーション制御システムであっ
    て、 前記画像プロジェクタは、前記第１の電子画像を入力
    し、それを第１のプレゼンテーション画像として前記投
    写スクリーンに投写し、前記レーザーポインタは、講演
    者がそれを用いて前記投写スクリーンにレーザースポッ
    トを射出するとともに、前記第１のプレゼンテーション
    画像上に空間パターンを投射することにより前記制御を
    与え、 該プレゼンテーション制御システムは、 前記第１のプレゼンテーション画像に向けられ、そのプ
    レゼンテーション画像から画像要素を有する一連の獲得
    画像を生成する電子カメラと、 前記獲得画像に応答する制御モジュールと、を備えてお
    り、 前記制御モジュールは、 前記獲得画像内のレーザースポットの位置を検出する手
    段と、 位置が検出された前記レーザースポットのそれぞれに対
    し位置座標の割当て、前記第１のプレゼンテーション画
    像内の前記レーザースポットの一連の位置のそれぞれに
    対応して、一連の位置座標（Ｘｉ，Ｙｉ）を形成する手
    段と、 一連の前記位置座標を解析して、一連の前記位置座標が
    形成するジェスチャ空間パターンを捕捉する手段と、 捕捉した前記ジェスチャ空間パターンを、所定のジェス
    チャ空間パターンの集合内の1つのパターンにマッチさ
    せる手段と、 前記マッチした所定のジェスチャ空間パターンに相関付
    けれらたディスプレイコマンドを選択する手段と、 前記選択されたディスプレイコマンドに応答して、引き
    続く第２の電子画像を生成して、該電子画像を前記画像
    プロジェクタに転送して、引き続くプレゼンテーション
    画像として前記投写スクリーンに投写する手段と、を備
    えた、プレゼンテーション制御システム。
  2. 【請求項２】 前記レーザースポットの位置を検出する
    手段は、輝度の高い画像要素を特定する手段を有し、該
    輝度の高い画像要素は、予め決められたしきい値以上の
    輝度を有する獲得画像要素を含む、請求項１に記載のプ
    レゼンテーション制御システム。
  3. 【請求項３】 前記レーザースポットの位置を検出する
    手段は、前記輝度の高い画像要素のクラスターを特定す
    る手段を有し、該クラスターは、予め決められた値以上
    の直線距離を持つ隣接した画像要素の集合を含む、請求
    項２に記載のプレゼンテーション制御システム。
  4. 【請求項４】 前記位置座標を割り当てる手段は、低い
    分解能モードで前記獲得画像を解析する手段を備える、
    請求項１に記載のプレゼンテーション制御システム。
  5. 【請求項５】 前記位置座標を解析する手段は、変位ベ
    クトルの列 【数１】 を導出する手段を有し、該変位ベクトルの列は、連続し
    た前記位置座標における差に対応する、請求項１に記載
    のプレゼンテーション制御システム。
  6. 【請求項６】 前記位置座標を解析する手段は、前記変
    位ベクトル列をフリーマン・チェイン・コード列により
    記述する手段を有する、請求項５に記載のプレゼンテー
    ション制御システム。
  7. 【請求項７】 予め決められた時間間隔のパルスモード
    でレーザーポインタを操作して得られるレーザースポッ
    トパルスを検出する手段をさらに有する、請求項１に記
    載のプレゼンテーション制御システム。
  8. 【請求項８】 予め決められた前記時間間隔は、約3秒
    である、請求項７に記載のプレゼンテーション制御シス
    テム。
  9. 【請求項９】 前記ディスプレイコマンドは、前記位置
    座標を解析する手段が、実質的に定常なレーザースポッ
    トを前記第１のプレゼンテーション画像の予め決められ
    た領域内で検出した場合には第１のマウスクリックを含
    み、前記第１のマウスクリックは前記ディスプレイ・コ
    ンピュータに転送される、請求項７に記載のプレゼンテ
    ーション制御システム。
  10. 【請求項１０】 前記予め決められた領域は、アイコン
    を有することを特徴とする請求項９に記載のプレゼンテ
    ーション制御システム。
  11. 【請求項１１】 前記第１のマウスクリックは、前記引
    き続く第２のプレゼンテーション画像おいてドロップダ
    ウン・メニューを表示する、請求項９に記載のプレゼン
    テーション制御システム。
  12. 【請求項１２】 前記ディスプレイコマンドは、前記レ
    ーザースポットパルスが検出された場合には第２のマウ
    スクリックを含み、前記第２のマウスクリックはディス
    プレイ・コンピュータに転送される、請求項９に記載の
    プレゼンテーション制御システム。
  13. 【請求項１３】 前記第２のマウスクリックは、前記引
    き続くプレゼンテーション画像において、前記第１のプ
    レゼンテーション画像の前記予め決められた領域の選択
    を開始する、請求項１２に記載のプレゼンテーション制
    御システム。
  14. 【請求項１４】 前記選択されたディスプレイコマンド
    は、3つの前記レーザースポットパルスの入力に相関し
    たオーバーレイ・コマンドを含み、前記オーバーレイ・
    コマンドは前記第１の電子画像に重ね合わされるオーバ
    ーレイ画像を含んだ引き続く第２の電子画像を生じる、
    請求項７に記載のプレゼンテーション制御システム。
  15. 【請求項１５】 前記オーバーレイ画像は、前記第１の
    プレゼンテーション画像上でのレーザースポットの移動
    に対応した1つ以上の曲線を含む、請求項１４に記載の
    プレゼンテーション制御システム。
  16. 【請求項１６】 前記オーバーレイ画像は、前記第１の
    プレゼンテーション画像上でのレーザースポットの移動
    に対応したハイライトされた領域を含む、請求項１４に
    記載のプレゼンテーション制御システム。
  17. 【請求項１７】 前記選択されたディスプレイコマンド
    は、前記1つ以上の曲線が前記第１のプレゼンテーショ
    ン画像中で閉じた部分を規定する場合にはズームイン・
    コマンドを含み、前記ズームイン・コマンドは、前記第
    １のプレゼンテーション画像内の前記閉じた部分に対応
    した前記第１の電子画像の拡大部を含んだ引き続く第２
    の電子画像を生じる、請求項１５に記載のプレゼンテー
    ション制御システム。
  18. 【請求項１８】 前記引き続く第２の電子画像を生成す
    る手段は、マウスコマンドを前記ディスプレイ・コンピ
    ュータに転送する手段を有し、前記引き続く第２の電子
    画像は前記ディスプレイ・コンピュータにより前記画像
    プロジェクタに転送される、請求項１に記載のプレゼン
    テーション制御システム。
  19. 【請求項１９】 前記マウスコマンドは、前記マッチし
    た所定のジェスチャ空間パターンが右矢印を含む場合に
    は、次の引き続く第２の電子画像に進むコマンドを含
    む、請求項１８に記載のプレゼンテーション制御システ
    ム。
  20. 【請求項２０】 前記位置座標を保存するためのメモリ
    手段をさらに有する、請求項１に記載のプレゼンテーシ
    ョン制御システム。
  21. 【請求項２１】 前記メモリ手段は、前記ディスプレイ
    ・コマンドおよび前記所定の画像を保存する参照部を有
    する、請求項２０に記載のプレゼンテーション制御シス
    テム。
  22. 【請求項２２】 第１の電子画像およびそれに続く第２
    の電子画像を作成するディスプレイ・コンピュータと、
    コンピュータ制御の画像プロジェクタと、投写スクリー
    ンと、およびレーザーポインタとを含む投写ディスプレ
    イ装置に制御を与えるプレゼンテーション制御システム
    であって、 前記画像プロジェクタは、前記第１の電子画像を入力
    し、それを第１のプレゼンテーション画像として前記投
    写スクリーンに投写し、前記レーザーポインタは、講演
    者がそれを用いて前記投写スクリーンにレーザースポッ
    トを射出するとともに、前記第１のプレゼンテーション
    画像上に空間パターンを投射することにより前記制御を
    与え、 該プレゼンテーション制御システムは、 前記第１のプレゼンテーション画像に向けられ、そのプ
    レゼンテーション画像から画像要素を有する一連の獲得
    画像を生成する電子カメラと、前記獲得画像に応答する
    制御モジュールと、を備えており、 前記制御モジュールは、 所定のジェスチャ空間パターンの集合およびディスプレ
    イコマンドの集合を含むメモリ部であって、前記ディス
    プレイコマンドのそれぞれは、前記所定のジェスチャ空
    間パターンの一つに対応している、メモリ部と、 前記獲得画像における前記レーザースポットの位置を検
    出する位置検出回路と、 前記獲得画像における前記レーザースポットの位置検出
    に応答する画像処理回路であって、前記位置検出された
    レーザースポットのそれぞれに対して位置座標を割当
    て、前記第１のプレゼンテーション画像における前記レ
    ーザースポットの位置列に対応して位置座標列（Ｘｉ，
    Ｙｉ）を生成し、前記位置座標列を解析して前記位置座
    標列が形成したジェスチャ空間パターンを捕捉する画像
    処理回路と、 前記捕捉したジェスチャ空間パターンに応答し、前記捕
    捉したジェスチャ空間パターンを前記所定のジェスチャ
    空間パターンの一つとマッチさせ、前記マッチしたジェ
    スチャ空間パターンに対応した前記ディスプレイコマン
    ドの一つを選択し、前記選択されたディスプレイコマン
    ドに対応してマウスコマンドを生成するコマンド回路
    と、を備えており、 前記マウスコマンドは、前記ディスプレイ・コンピュー
    タに転送され、引き続く第２のプレゼンテーション画像
    が前記投写スクリーンに投写される、プレゼンテーショ
    ン制御システム。
  23. 【請求項２３】 前記位置検出回路は輝度の高い画像要
    素を特定する輝度検出回路を有し、前記輝度の高い画像
    要素は、予め決められたしきい値以上の輝度を持つ獲得
    画像要素を含む、請求項２２に記載のプレゼンテーショ
    ン制御システム。
  24. 【請求項２４】 前記位置検出回路は、前記輝度の高い
    画像要素のクラスターを特定するクラスター検出回路を
    さらに備え、該クラスターは、予め決められた値以上の
    直線距離を有する隣接した画像要素を含む、請求項２３
    に記載のプレゼンテーション制御システム。
  25. 【請求項２５】 前記画像処理回路は、変位ベクトルの
    列 【数２】 を導出する計算回路を有し、それぞれの変位ベクトルの
    列は、引き続く前記位置座標における差に対応する、請
    求項２３に記載のプレゼンテーション制御システム。
  26. 【請求項２６】 前記計算回路は、前記変位ベクトル列
    をフリーマン・チェイン・コード列に変換する変換回路
    を有する、請求項２５に記載のプレゼンテーション制御
    システム。
  27. 【請求項２７】 コンピュータ読取り可能な記録媒体で
    あって、コンピュータが複数の画像の連続したサンプリ
    ングを受取る動作であって、該複数の画像のそれぞれは
    複数の画像要素を含む、動作と、 一連の前記画像のそれぞれにおいて輝度の高い画像要素
    の隣接した集合を検出する動作と、 連続した前記検出した輝度の高い画像要素に対し、連続
    した位置座標（Ｘｉ，Ｙｉ）を割当てる動作と、 前記一連の位置座標を解析し、ジェスチャ空間パターン
    を特定する動作と、 前記ジェスチャ空間パターンを特定に応じてプレゼンテ
    ーションコマンドを生成する動作と、 のための制御システムとして機能することを指示する命
    令を有した、記録媒体。
  28. 【請求項２８】 前記位置座標列を解析するための動作
    は、変位ベクトルの列 【数３】 を導出するための動作をさらに有し、該変位ベクトル
    は、連続した前記位置座標における差に対応する、請求
    項２７に記載の記録媒体。
  29. 【請求項２９】 変位ベクトル列を導出するための動作
    は、前記変位ベクトル列をフリーマン・チェイン・コー
    ド列により記述するための動作をさらに有する、請求項
    ２８に記載の記録媒体。
  30. 【請求項３０】 前記プレゼンテーションコマンドはマ
    ウスコマンドを含む、請求項２７に記載の記録媒体。
  31. 【請求項３１】プレゼンテーション画像列を投写スクリ
    ーンに投写するコンピュータ制御の画像プロジェクタを
    備えた表示プレゼンテーション装置を制御する方法にお
    いて、 制御は講演者がレーザーポインタを用いレーザースポッ
    トを前記投写スクリーンに投射することにより行われ、
    該レーザースポットは前記プレゼンテーション画像上を
    所定のジェスチャ空間パターンにおいて動き、 前記表示プレゼンテーション装置を制御する方法は、 投写された前記プレゼンテーション画像および前記レー
    ザースポットに対応した画像列を獲得するステップであ
    って、前記獲得された画像のそれぞれは複数の画像要素
    を含む、ステップと、 獲得された画像のそれぞれにおいて位置座標列を前記レ
    ーザースポットの位置に割当てるステップと、 前記位置座標列を解析して、前記レーザースポットによ
    り生成された前記ジェスチャ空間パターンを特定するス
    テップと、 前記ジェスチャ空間パターンの特定に応じて前記プレゼ
    ンテーションコマンドを生成するステップと、を含む、
    表示プレゼンテーション装置の制御方法。
  32. 【請求項３２】 前記特定されたジェスチャ空間パター
    ンを、前記所定のジェスチャ空間パターンにマッチさせ
    るステップをさらに含んだ、請求項３１に記載の表示プ
    レゼンテーション装置の制御方法。
  33. 【請求項３３】 前記位置座標列を解析するステップ
    は、輝度の高い獲得画像要素を検出するステップをさら
    に含み、該輝度の高い獲得画像要素のそれぞれは、予め
    決められたしきい値以上の輝度を有する、請求項３１に
    記載の表示プレゼンテーション装置の制御方法。
  34. 【請求項３４】 輝度の高い獲得画像要素のクラスター
    を前記レーザースポットとして特定するステップをさら
    に含み、前記クラスターは、予め決められた値以上の直
    線距離を有する隣接した獲得画像要素の集合を含む、請
    求項３３に記載の表示プレゼンテーション装置の制御方
    法。
  35. 【請求項３５】 実質的に定常状態にあるレーザースポ
    ットを検出するステップをさらに含んだ、請求項３３に
    記載の表示プレゼンテーション装置の制御方法。
  36. 【請求項３６】 前記実質的に定常状態にあるレーザー
    スポットを検出するステップに応じて前記第１のプレゼ
    ンテーション画像の一部を選択するステップをさらに含
    んだ、請求項３３に記載の表示プレゼンテーション装置
    の制御方法。
  37. 【請求項３７】 パルス動作のレーザースポットを検出
    するステップをさらに含んだ、請求項３５に記載の表示
    プレゼンテーション装置の制御方法。
  38. 【請求項３８】 前記パルス動作のレーザースポットの
    検出に応じて前記引き続くプレゼンテーション画像内に
    前記レーザースポットの動きに応じた曲線を描画するス
    テップをさらに含んだ、請求項３７に記載の表示プレゼ
    ンテーション装置の制御方法。
  39. 【請求項３９】 前記引き続くプレゼンテーション画像
    の一部であって、前記描画した曲線に対応する部分をハ
    イライトするステップをさらに含んだ、請求項３８に記
    載の表示プレゼンテーション装置の制御方法。
  40. 【請求項４０】 前記位置座標列を解析するステップ
    は、前記特定されたジェスチャ空間パターンをフリーマ
    ン・チェイン・コードを用いて記述するステップを含
    む、請求項３１に記載の表示プレゼンテーション装置の
    制御方法。
  41. 【請求項４１】 前記特定されたジェスチャ空間パター
    ンが矢印の形状を有する場合には、引き続くプレゼンテ
    ーション画像を生じさせるステップを有することを特徴
    とする請求項４０に記載の表示プレゼンテーション装置
    の制御方法。
JP2000287540A 1999-09-21 2000-09-21 プレゼンテーション制御システム及びその制御方法 Expired - Fee Related JP3909554B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/399,933 US6346933B1 (en) 1999-09-21 1999-09-21 Interactive display presentation system
US09/399933 1999-09-21

Publications (3)

Publication Number Publication Date
JP2001125738A true JP2001125738A (ja) 2001-05-11
JP2001125738A5 JP2001125738A5 (ja) 2005-03-03
JP3909554B2 JP3909554B2 (ja) 2007-04-25

Family

ID=23581532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000287540A Expired - Fee Related JP3909554B2 (ja) 1999-09-21 2000-09-21 プレゼンテーション制御システム及びその制御方法

Country Status (7)

Country Link
US (1) US6346933B1 (ja)
EP (1) EP1087327B1 (ja)
JP (1) JP3909554B2 (ja)
KR (1) KR100456999B1 (ja)
CN (1) CN1143205C (ja)
DE (1) DE60028894T2 (ja)
HK (1) HK1035790A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108305A (ja) * 2001-09-28 2003-04-11 Fuji Photo Optical Co Ltd プレゼンテーションシステム
JP2006127519A (ja) * 2004-10-26 2006-05-18 Fuji Xerox Co Ltd ビデオストリームにおけるユーザー・アクションを検出するためのシステムおよび方法
JP2009115985A (ja) * 2007-11-05 2009-05-28 Casio Comput Co Ltd 投影装置、投影方法及びプログラム
JP2010506229A (ja) * 2006-10-12 2010-02-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 光制御のためのシステム及び方法
CN102207667A (zh) * 2010-03-31 2011-10-05 香港应用科技研究院有限公司 交互式投影装置
US8330714B2 (en) 2004-10-05 2012-12-11 Nikon Corporation Electronic device
JP2013025488A (ja) * 2011-07-19 2013-02-04 Ricoh Co Ltd 情報処理装置および情報処理方法
JP2013037420A (ja) * 2011-08-04 2013-02-21 Dainippon Printing Co Ltd コンテンツ表示システム、コンテンツ表示制御方法、コンテンツ表示制御装置、プログラム
KR101255977B1 (ko) 2011-08-18 2013-04-23 연세대학교 산학협력단 제스처 기반 건설현장 협업 시스템
US8682920B2 (en) 2009-03-17 2014-03-25 Konica Minolta Business Technologies, Inc. Information providing apparatus, information providing method, and information providing program embodied on computer readable medium
JP2014134803A (ja) * 2014-02-05 2014-07-24 Seiko Epson Corp プロジェクター
WO2014208168A1 (ja) 2013-06-26 2014-12-31 ソニー株式会社 情報処理装置、制御方法、プログラム、および記憶媒体
JP2015052874A (ja) * 2013-09-06 2015-03-19 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法

Families Citing this family (193)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US6927756B1 (en) * 1999-11-05 2005-08-09 Cypress Semiconductor Corp. Apparatus and method for controlling an electronic presentation
US6597410B1 (en) * 1999-11-10 2003-07-22 International Business Machines Corporation System for the automatic adaptation of projector images and a method for the implementation thereof
US6618076B1 (en) * 1999-12-23 2003-09-09 Justsystem Corporation Method and apparatus for calibrating projector-camera system
JP3842515B2 (ja) * 2000-03-24 2006-11-08 セイコーエプソン株式会社 多重解像度画像解析による指示位置検出
JP4018326B2 (ja) * 2000-08-07 2007-12-05 キヤノン株式会社 座標入力装置及びその制御方法、コンピュータ可読メモリ
JP3497805B2 (ja) * 2000-08-29 2004-02-16 オリンパス株式会社 画像投影表示装置
TR200002943A2 (tr) * 2000-10-10 2002-05-21 Ahmet Eni̇s Çeti̇n Video sinyalinden karakter tanımaya dayalı veri giriş cihazı
US20020080999A1 (en) * 2000-11-03 2002-06-27 Ali Bani-Hashemi System and method for highlighting a scene under vision guidance
US6704000B2 (en) * 2000-11-15 2004-03-09 Blue Iris Technologies Method for remote computer operation via a wireless optical device
US6731330B2 (en) * 2001-01-30 2004-05-04 Hewlett-Packard Development Company, L.P. Method for robust determination of visible points of a controllable display within a camera view
GB2374663A (en) * 2001-04-18 2002-10-23 Nokia Corp Presentation of images
US6729731B2 (en) * 2001-06-11 2004-05-04 Info Valley Corporation Untethered laser pointer for use with computer display
US7830362B2 (en) * 2001-07-05 2010-11-09 Michael Cain Finley Laser and digital camera computer pointer device system
US7113169B2 (en) * 2002-03-18 2006-09-26 The United States Of America As Represented By The Secretary Of The Air Force Apparatus and method for a multiple-user interface to interactive information displays
US7176881B2 (en) * 2002-05-08 2007-02-13 Fujinon Corporation Presentation system, material presenting device, and photographing device for presentation
US20040001082A1 (en) * 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source
WO2004006221A1 (fr) * 2002-07-05 2004-01-15 Lixin Ran Pointeur laser a panneau tactile, et recepteur radio
JP3867205B2 (ja) * 2002-08-30 2007-01-10 カシオ計算機株式会社 指示位置検出装置、及び指示位置検出システム、並びに指示位置検出方法
US20040135974A1 (en) * 2002-10-18 2004-07-15 Favalora Gregg E. System and architecture for displaying three dimensional data
US6802611B2 (en) * 2002-10-22 2004-10-12 International Business Machines Corporation System and method for presenting, capturing, and modifying images on a presentation board
US6979087B2 (en) * 2002-10-31 2005-12-27 Hewlett-Packard Development Company, L.P. Display system with interpretable pattern detection
CN101101520B (zh) * 2002-11-20 2012-11-14 皇家飞利浦电子股份有限公司 基于指示设备的用户接口系统
US20040095312A1 (en) * 2002-11-20 2004-05-20 Sean Chen Infrared remote-control laser pointer
US6840627B2 (en) * 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
EP1443777A1 (de) * 2003-01-28 2004-08-04 Gretag-Macbeth AG Profilierungsvorrichtung, damit ausgestatteter elektronischer Projektor und Verfahren zur Profilierung einer elektronischen Anzeigevorrichtung
US20060176274A1 (en) * 2003-02-25 2006-08-10 Chiu-Hao Cheng Photographic type pointer positioning device
US7559656B2 (en) * 2003-03-03 2009-07-14 Panasonic Corporation Projector system
JP2004265329A (ja) * 2003-03-04 2004-09-24 Toshiba Corp 情報処理装置およびプログラム
US20040196400A1 (en) * 2003-04-07 2004-10-07 Stavely Donald J. Digital camera user interface using hand gestures
CA2429880C (en) * 2003-05-27 2009-07-07 York University Collaborative pointing devices
JP4175234B2 (ja) * 2003-10-07 2008-11-05 セイコーエプソン株式会社 表示制御装置、携帯型情報端末及び表示制御方法
TWI226784B (en) * 2003-10-20 2005-01-11 Ind Tech Res Inst Multi-trails spot click-event detection method
US7221374B2 (en) * 2003-10-21 2007-05-22 Hewlett-Packard Development Company, L.P. Adjustment of color in displayed images based on identification of ambient light sources
US7420540B2 (en) * 2003-12-01 2008-09-02 Olbrich Craig A Determining positioning and/or relative movement of graphical-user interface element based on display images
US7221407B2 (en) * 2004-01-06 2007-05-22 Sharp Laboratories Of America, Inc. Television having a java engine and a removable device port
US7746357B2 (en) * 2004-01-06 2010-06-29 Sharp Laboratories Of America, Inc. Dual-plane graphics
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US20050174337A1 (en) * 2004-02-11 2005-08-11 Nielsen Paul S. Electronic handheld drawing and gaming system using television monitor
US7812860B2 (en) * 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US20060122983A1 (en) * 2004-12-03 2006-06-08 King Martin T Locating electronic instances of documents based on rendered instances, document fragment digest generation, and digest based document fragment determination
US20060041605A1 (en) * 2004-04-01 2006-02-23 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US20060053097A1 (en) * 2004-04-01 2006-03-09 King Martin T Searching and accessing documents on private networks for use with captures from rendered documents
US20060041484A1 (en) * 2004-04-01 2006-02-23 King Martin T Methods and systems for initiating application processes by data capture from rendered documents
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US8081849B2 (en) * 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US7990556B2 (en) * 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US20080313172A1 (en) * 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
WO2008028674A2 (en) 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20060081714A1 (en) * 2004-08-23 2006-04-20 King Martin T Portable scanning device
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20060098900A1 (en) * 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US20050239037A1 (en) * 2004-04-06 2005-10-27 Surapong Lertsithichai Convertible podium system
US8713418B2 (en) * 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
JP2005311598A (ja) * 2004-04-20 2005-11-04 Elmo Co Ltd 資料提示装置
US7707399B2 (en) * 2004-04-23 2010-04-27 Intel Corporation Adjusting depiction of user interface based upon state
JP2005318177A (ja) * 2004-04-28 2005-11-10 Elmo Co Ltd 資料提示装置
US7683881B2 (en) * 2004-05-24 2010-03-23 Keytec, Inc. Visual input pointing device for interactive display system
WO2005119356A2 (en) 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method
US8346620B2 (en) * 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
WO2006018775A2 (en) * 2004-08-12 2006-02-23 Philips Intellectual Property & Standards Gmbh Method and system for controlling a display
US7657117B2 (en) * 2004-12-20 2010-02-02 Palo Alto Research Center Incorporated Method and apparatus for calibrating a camera-based whiteboard scanner
EP1681619A1 (en) * 2005-01-18 2006-07-19 Topseed Technology Corp. System for real-time identifying and recording laser manuscript
US20060228018A1 (en) * 2005-04-12 2006-10-12 Gil Abramovich Reconfigurable machine vision system
US8427426B2 (en) * 2005-05-27 2013-04-23 Sony Computer Entertainment Inc. Remote input device
US7548230B2 (en) * 2005-05-27 2009-06-16 Sony Computer Entertainment Inc. Remote input device
JP4991154B2 (ja) * 2005-06-03 2012-08-01 株式会社リコー 画像表示装置、画像表示方法及びコマンド入力方法
JP4626416B2 (ja) * 2005-06-20 2011-02-09 セイコーエプソン株式会社 プロジェクタ
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
WO2007020549A2 (en) * 2005-08-12 2007-02-22 Koninklijke Philips Electronics N.V. Method of calibrating a control system for controlling a device
CN100462937C (zh) * 2005-10-09 2009-02-18 深圳市巨龙科教高技术股份有限公司 计算机投影辅助定位方法及使用该方法的交互演示系统
KR100740660B1 (ko) * 2005-11-16 2007-07-19 한양대학교 산학협력단 레이저 포인터를 갖는 이동통신 단말기와 그를 이용한프리젠테이션 제공 시스템
KR100800998B1 (ko) 2005-12-24 2008-02-11 삼성전자주식회사 홈 네트워크 기기 제어 장치 및 방법
US7996776B2 (en) * 2006-02-27 2011-08-09 Microsoft Corporation Shared telepointer
US8736547B2 (en) * 2006-04-20 2014-05-27 Hewlett-Packard Development Company, L.P. Method and system for interfacing a digital device with an interactive display surface
JP2008009572A (ja) * 2006-06-27 2008-01-17 Fuji Xerox Co Ltd ドキュメント処理システム、ドキュメント処理方法及びプログラム
US8035630B2 (en) 2006-10-13 2011-10-11 Seiko Epson Corporation USB image transmission system and device
US8356254B2 (en) * 2006-10-25 2013-01-15 International Business Machines Corporation System and method for interacting with a display
US8089455B1 (en) 2006-11-28 2012-01-03 Wieder James W Remote control with a single control button
KR100820573B1 (ko) * 2006-12-18 2008-04-07 옥은호 카메라를 이용하여 레이저 포인팅된 이미지와 컴퓨터이미지를 비교하여 위치와 깜박임을 인식하는 컴퓨터입력장치
US8451215B2 (en) * 2007-01-12 2013-05-28 Capsom Co., Ltd. Display control device, program for implementing the display control device, and recording medium containing the program
JP2009043139A (ja) 2007-08-10 2009-02-26 Mitsubishi Electric Corp 位置検出装置
US9418538B2 (en) * 2007-08-14 2016-08-16 Jeffrey D. Antos Self-contained, pocket-sized presentation apparatus
US20090058805A1 (en) * 2007-08-25 2009-03-05 Regina Eunice Groves Presentation system and method for making a presentation
JP4829855B2 (ja) * 2007-09-04 2011-12-07 キヤノン株式会社 画像投影装置及びその制御方法
JP5430572B2 (ja) 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US7874681B2 (en) * 2007-10-05 2011-01-25 Huebner Kenneth J Interactive projector system and method
US9292092B2 (en) * 2007-10-30 2016-03-22 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
US20090132926A1 (en) * 2007-11-21 2009-05-21 Samsung Electronics Co., Ltd. Interactive presentation system and authorization method for voice command controlling interactive presentation process
AT506618B1 (de) * 2008-01-25 2013-02-15 Stumpfl Reinhold Interaktive multimedia-präsentationsvorrichtung
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8055003B2 (en) 2008-04-01 2011-11-08 Apple Inc. Acoustic systems for electronic devices
JP2011523728A (ja) * 2008-04-09 2011-08-18 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 遠隔制御式ポインティング
US9082117B2 (en) * 2008-05-17 2015-07-14 David H. Chin Gesture based authentication for wireless payment by a mobile electronic device
JPWO2009150786A1 (ja) * 2008-06-09 2011-11-10 株式会社村田製作所 弾性表面波装置及びその製造方法
US20090309834A1 (en) * 2008-06-16 2009-12-17 Upmc Laser Pointer Mouse
JP5317630B2 (ja) * 2008-11-07 2013-10-16 キヤノン株式会社 画像配信装置、方法及びプログラム
US8887052B1 (en) 2009-01-09 2014-11-11 Google Inc. Presentation remote control
WO2010096193A2 (en) 2009-02-18 2010-08-26 Exbiblio B.V. Identifying a document by performing spectral analysis on the contents of the document
US20100218100A1 (en) * 2009-02-25 2010-08-26 HNTB Holdings, Ltd. Presentation system
WO2010105246A2 (en) 2009-03-12 2010-09-16 Exbiblio B.V. Accessing resources based on capturing information from a rendered document
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
ITRM20090153A1 (it) * 2009-04-01 2010-10-02 Stark Srl Modulo integrato di proiettore interattivo
CN102577368B (zh) * 2009-04-16 2016-01-06 惠普开发有限公司 在虚拟协同系统中传送视觉表示
JP2010278509A (ja) * 2009-05-26 2010-12-09 Elmo Co Ltd 資料提示装置
US8054290B2 (en) * 2009-05-27 2011-11-08 Microsoft Corporation Image contrast enhancement in depth sensor
US20100318916A1 (en) * 2009-06-11 2010-12-16 David Wilkins System and method for generating multimedia presentations
US8538367B2 (en) * 2009-06-29 2013-09-17 Qualcomm Incorporated Buffer circuit with integrated loss canceling
JP2011053468A (ja) * 2009-09-02 2011-03-17 Sony Corp 映像／文字同時表示装置及び頭部装着型ディスプレイ
JP5209795B2 (ja) * 2009-09-09 2013-06-12 シャープ株式会社 ジェスチャー判定装置およびその方法
KR20110028927A (ko) 2009-09-14 2011-03-22 삼성전자주식회사 영상처리장치 및 영상처리장치의 제어 방법
CN101661329B (zh) * 2009-09-22 2015-06-03 北京中星微电子有限公司 智能终端的操作控制方法及装置
US20110099476A1 (en) * 2009-10-23 2011-04-28 Microsoft Corporation Decorating a display environment
US20110119638A1 (en) * 2009-11-17 2011-05-19 Babak Forutanpour User interface methods and systems for providing gesturing on projected images
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US9373265B2 (en) * 2009-12-31 2016-06-21 Richard M. Jeffrey Conditioning apparatus and related method
JP5560721B2 (ja) * 2010-01-12 2014-07-30 セイコーエプソン株式会社 画像処理装置、画像表示システム、及び画像処理方法
US20110207504A1 (en) * 2010-02-24 2011-08-25 Anderson Glen J Interactive Projected Displays
JP5693022B2 (ja) * 2010-03-04 2015-04-01 キヤノン株式会社 表示制御装置および表示制御システム、並びにそれらの制御方法、プログラム、記憶媒体
US8217997B2 (en) * 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
US20110230238A1 (en) * 2010-03-17 2011-09-22 Sony Ericsson Mobile Communications Ab Pointer device to navigate a projected user interface
DE102010013719A1 (de) 2010-03-31 2011-10-06 Mikko Mannila Präsentationssystem
KR20110121125A (ko) * 2010-04-30 2011-11-07 삼성전자주식회사 인터랙티브 디스플레이 장치 및 이의 동작 방법
CN102262733B (zh) * 2010-05-28 2014-03-19 株式会社理光 激光点检测方法及装置
JP5685837B2 (ja) * 2010-06-15 2015-03-18 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
CN102402368B (zh) * 2010-09-10 2017-05-24 联想(北京)有限公司 一种显示控制方法及显示控制装置
CN102419658A (zh) * 2010-09-27 2012-04-18 南京芒冠光电科技股份有限公司 一种交互式投影机系统
CN101943947A (zh) * 2010-09-27 2011-01-12 鸿富锦精密工业（深圳）有限公司 交互显示系统
JP2012108479A (ja) * 2010-10-28 2012-06-07 Seiko Epson Corp 投射型表示装置及びその制御方法
US9189072B2 (en) 2011-02-08 2015-11-17 Lg Electronics Inc. Display device and control method thereof
US9179182B2 (en) 2011-04-12 2015-11-03 Kenneth J. Huebner Interactive multi-display control systems
EP2699972B1 (en) * 2011-04-19 2015-01-28 ABB Research Ltd. Method and system for controlling an industrial system
CN102156859B (zh) * 2011-04-21 2012-10-03 刘津甦 手部姿态与空间位置的感知方法
CN102760011B (zh) * 2011-04-28 2016-06-29 东友科技股份有限公司 互动投影系统及投影系统的互动方法
JP5482740B2 (ja) * 2011-07-11 2014-05-07 コニカミノルタ株式会社 プレゼンテーションシステム、プレゼンテーション装置およびプログラム
TWI446255B (zh) * 2011-07-28 2014-07-21 Wistron Corp 具有螢幕顯示選單功能之顯示裝置
TWI452509B (zh) * 2011-08-25 2014-09-11 3D sensing method and system of touch panel
JP6088127B2 (ja) * 2011-10-13 2017-03-01 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
CN102361495B (zh) * 2011-10-21 2014-06-18 青岛海信信芯科技有限公司 投影控制方法及投影设备
US8866828B2 (en) * 2011-11-01 2014-10-21 Apple Inc. Enabling display commands from an electronic device to an integrated display on a computer system
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
JP5929387B2 (ja) 2012-03-22 2016-06-08 株式会社リコー 情報処理装置、履歴データ生成プログラム及び投影システム
CN102724464B (zh) * 2012-05-23 2014-12-17 海信集团有限公司 投影显示装置、投影显示系统及投影显示控制方法
DE102012210065A1 (de) 2012-06-14 2013-12-19 Robert Bosch Gmbh Vorrichtung und Verfahren zum Identifizieren eines Laserzeigers
US8973095B2 (en) * 2012-06-25 2015-03-03 Intel Corporation Authenticating a user of a system via an authentication image mechanism
CN103543820B (zh) * 2012-07-09 2017-04-12 宏碁股份有限公司 无线互动式投影方法以及系统
CN102779014B (zh) * 2012-07-17 2017-02-15 海信集团有限公司 交互式投影系统以及投影仪调整控制方法
JP2014021933A (ja) * 2012-07-23 2014-02-03 Ricoh Co Ltd 投影装置、投影方法
TWI537775B (zh) * 2012-07-26 2016-06-11 群邁通訊股份有限公司 滑鼠圖示控制方法及系統
KR20140024769A (ko) * 2012-08-21 2014-03-03 삼성전자주식회사 지시 포인터를 이용한 프로젝터의 이벤트 처리를 위한 방법 및 그 전자 장치
WO2014034049A1 (ja) * 2012-08-30 2014-03-06 パナソニック株式会社 スタイラス検出装置およびスタイラス検出方法
CN102968178B (zh) * 2012-11-07 2015-08-26 电子科技大学 一种基于手势的ppt控制系统
US9733713B2 (en) * 2012-12-26 2017-08-15 Futurewei Technologies, Inc. Laser beam based gesture control interface for mobile devices
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
CN104166509B (zh) * 2013-05-20 2017-08-25 华为技术有限公司 一种非接触式屏幕交互方法及系统
CN104217415B (zh) * 2013-05-30 2018-03-09 台达电子工业股份有限公司 互动式投影系统及互动式影像检测方法
TW201445433A (zh) * 2013-05-30 2014-12-01 Univ Nat Taiwan Normal 互動式顯示系統
DE102013211904A1 (de) * 2013-06-24 2014-12-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von Gesten im Strahlbereich eines Projektors
EP3014869B1 (en) 2013-06-28 2019-08-21 InterDigital CE Patent Holdings Highlighting an object displayed by a pico projector
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
TWI506483B (zh) 2013-12-13 2015-11-01 Ind Tech Res Inst 可調適色彩萃取之互動式書寫裝置及其操作方法
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
EP3461451B1 (en) 2015-01-28 2020-03-04 Brainlab AG Laser pointer system for radiotherapy
CN105138131B (zh) * 2015-09-01 2017-03-08 冯仕昌 一种通用的手势命令发射和操作方法
CN105573563B (zh) * 2016-01-29 2020-11-13 南京投知科技有限公司 移动终端和在移动终端上实现触控操作的方法
KR101911676B1 (ko) * 2016-12-23 2018-10-26 (주)넥스젠 지시체의 움직임을 고려한 프리젠테이션 영상 처리장치 및 방법
CN107239248B (zh) * 2017-06-05 2020-06-19 京东方科技集团股份有限公司 显示装置和方法
AT520234B1 (de) * 2017-07-27 2019-05-15 Ulrich Emanuel Andel Mag Vorrichtung zur interaktiven Präsentation von visuellen Inhalten
US11368212B2 (en) * 2018-09-14 2022-06-21 Arizona Board Of Regents On Behalf Of The University Of Arizona Laser beam for external position control and traffic management of on-orbit satellites
CN111757074A (zh) * 2019-03-29 2020-10-09 福建天泉教育科技有限公司 一种影像共享标注系统
CN112822468B (zh) * 2020-12-31 2023-02-17 成都极米科技股份有限公司 一种投影控制方法、装置、投影设备及激光控制器

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4280135A (en) 1979-06-01 1981-07-21 Schlossberg Howard R Remote pointing system
US5181015A (en) 1989-11-07 1993-01-19 Proxima Corporation Method and apparatus for calibrating an optical computer input system
US5594468A (en) 1989-11-07 1997-01-14 Proxima Corporation Optical system auxiliary input calibration arrangement and method of using same
US5489923A (en) 1989-11-07 1996-02-06 Proxima Corporation Method and apparatus for calibrating an optical computer input system
JP2622620B2 (ja) 1989-11-07 1997-06-18 プロクシマ コーポレイション コンピュータにより発生されたデイスプレイ可視像を変更するためのコンピュータ入力システム
US5502459A (en) 1989-11-07 1996-03-26 Proxima Corporation Optical auxiliary input arrangement and method of using same
US5504501A (en) 1989-11-07 1996-04-02 Proxima Corporation Optical input arrangement and method of using same
US5235363A (en) 1991-05-10 1993-08-10 Nview Corporation Method and apparatus for interacting with a computer generated projected image
US5982352A (en) * 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
US5434595A (en) 1993-05-24 1995-07-18 Hughes Aircraft Company System and method for automatically correcting x-y image distortion in a display
US5682181A (en) 1994-04-29 1997-10-28 Proxima Corporation Method and display control system for accentuating
US5712658A (en) 1993-12-28 1998-01-27 Hitachi, Ltd. Information presentation apparatus and information display apparatus
US5661667A (en) 1994-03-14 1997-08-26 Virtek Vision Corp. 3D imaging using a laser projector
KR0142783B1 (ko) 1994-03-19 1998-07-15 구자홍 프로젝터의 경사면 투사시 화상보정장치 및 방법
EP1168232B1 (en) * 1994-06-09 2004-03-03 Corporation for National Research Initiatives Pointing interface
US5528263A (en) 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
JPH0876082A (ja) * 1994-06-28 1996-03-22 Sharp Corp 投影表示装置
US5796386A (en) 1995-01-23 1998-08-18 International Business Machines Corporation Precise calibration procedure for sensor-based view point control system
JPH08334832A (ja) * 1995-04-07 1996-12-17 Seiko Epson Corp 映像投射システム及びその位置マーク表示制御方法
US5663795A (en) 1995-09-07 1997-09-02 Virtek Vision Corp. Method of calibrating laser positions relative to workpieces
GB9608770D0 (en) * 1996-04-27 1996-07-03 Philips Electronics Nv Projection display system
US5859623A (en) * 1996-05-14 1999-01-12 Proxima Corporation Intelligent display system presentation projection arrangement and method of using same
US5803570A (en) 1996-12-10 1998-09-08 Raytheon Company Calibration system and method for display optical systems
US5914783A (en) * 1997-03-24 1999-06-22 Mistubishi Electric Information Technology Center America, Inc. Method and apparatus for detecting the location of a light source
US6050690A (en) * 1998-01-08 2000-04-18 Siemens Information And Communication Networks, Inc. Apparatus and method for focusing a projected image
DE19880483C1 (de) * 1998-10-21 2000-03-30 Vlg Virtual Laser Systems Gmbh Eingabevorrichtung für einen Computer
KR100325805B1 (ko) * 1998-12-29 2002-06-28 윤종용 디스플레이시스템
US6292171B1 (en) * 1999-03-31 2001-09-18 Seiko Epson Corporation Method and apparatus for calibrating a computer-generated projected image

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108305A (ja) * 2001-09-28 2003-04-11 Fuji Photo Optical Co Ltd プレゼンテーションシステム
US8330714B2 (en) 2004-10-05 2012-12-11 Nikon Corporation Electronic device
JP2006127519A (ja) * 2004-10-26 2006-05-18 Fuji Xerox Co Ltd ビデオストリームにおけるユーザー・アクションを検出するためのシステムおよび方法
JP4730059B2 (ja) * 2004-10-26 2011-07-20 富士ゼロックス株式会社 ビデオストリームにおけるユーザー・アクションを検出するためのシステムおよびコンピュータ・プログラム
US8117544B2 (en) 2004-10-26 2012-02-14 Fuji Xerox Co., Ltd. System and method for detecting user actions in a video stream
JP2010506229A (ja) * 2006-10-12 2010-02-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 光制御のためのシステム及び方法
JP2009115985A (ja) * 2007-11-05 2009-05-28 Casio Comput Co Ltd 投影装置、投影方法及びプログラム
US8682920B2 (en) 2009-03-17 2014-03-25 Konica Minolta Business Technologies, Inc. Information providing apparatus, information providing method, and information providing program embodied on computer readable medium
CN103324012A (zh) * 2010-03-31 2013-09-25 香港应用科技研究院有限公司 交互式投影装置
CN102207667B (zh) * 2010-03-31 2013-08-14 香港应用科技研究院有限公司 交互式投影装置
CN102207667A (zh) * 2010-03-31 2011-10-05 香港应用科技研究院有限公司 交互式投影装置
CN103324012B (zh) * 2010-03-31 2015-04-29 香港应用科技研究院有限公司 交互式投影装置
JP2013025488A (ja) * 2011-07-19 2013-02-04 Ricoh Co Ltd 情報処理装置および情報処理方法
JP2013037420A (ja) * 2011-08-04 2013-02-21 Dainippon Printing Co Ltd コンテンツ表示システム、コンテンツ表示制御方法、コンテンツ表示制御装置、プログラム
KR101255977B1 (ko) 2011-08-18 2013-04-23 연세대학교 산학협력단 제스처 기반 건설현장 협업 시스템
WO2014208168A1 (ja) 2013-06-26 2014-12-31 ソニー株式会社 情報処理装置、制御方法、プログラム、および記憶媒体
JP2015052874A (ja) * 2013-09-06 2015-03-19 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP2014134803A (ja) * 2014-02-05 2014-07-24 Seiko Epson Corp プロジェクター

Also Published As

Publication number Publication date
JP3909554B2 (ja) 2007-04-25
DE60028894T2 (de) 2006-11-09
EP1087327A2 (en) 2001-03-28
CN1289086A (zh) 2001-03-28
DE60028894D1 (de) 2006-08-03
CN1143205C (zh) 2004-03-24
KR20010050407A (ko) 2001-06-15
EP1087327A3 (en) 2002-01-23
KR100456999B1 (ko) 2004-11-10
US6346933B1 (en) 2002-02-12
HK1035790A1 (en) 2001-12-07
EP1087327B1 (en) 2006-06-21

Similar Documents

Publication Publication Date Title
JP3909554B2 (ja) プレゼンテーション制御システム及びその制御方法
KR100452413B1 (ko) 컴퓨터-생성 투사 영상의 캘리브레이션을 위한 방법 및 장치
US6840627B2 (en) Interactive display device
US10373356B2 (en) Presentation system and display apparatus for use in the presentation system
JP3419050B2 (ja) 入力装置
JP3277658B2 (ja) 情報表示装置
US20130135199A1 (en) System and method for user interaction with projected content
JP6372487B2 (ja) 情報処理装置、制御方法、プログラム、および記憶媒体
US20140247216A1 (en) Trigger and control method and system of human-computer interaction operation command and laser emission device
US7830362B2 (en) Laser and digital camera computer pointer device system
US20040246229A1 (en) Information display system, information processing apparatus, pointing apparatus, and pointer cursor display method in information display system
US20050162384A1 (en) Pointing device, method for displaying point image, and program therefor
US20050168448A1 (en) Interactive touch-screen using infrared illuminators
JP2000105671A (ja) 座標入力／検出装置および電子黒板システム
US20020136455A1 (en) System and method for robust foreground and background image data separation for location of objects in front of a controllable display within a camera view
JP2008225556A (ja) プロジェクタシステム
US6542087B2 (en) System and method for extracting a point of interest of an object in front of a computer controllable display captured by an imaging device
US20130162518A1 (en) Interactive Video System
JP2017182109A (ja) 表示システム、情報処理装置、プロジェクター及び情報処理方法
JP5279482B2 (ja) 画像処理装置、方法及びプログラム
US10410323B2 (en) Display apparatus, information processing apparatus, and information processing method for displaying a second image that includes options for manipulating a first image
JP3198783B2 (ja) 情報表示装置
JPH07160412A (ja) 指示位置検出方法
KR20080073181A (ko) 원격 포인팅 장치를 이용한 제어 시스템
KR20070120922A (ko) 레이저 포인터의 궤적을 카메라로 영상 처리하여디스플레이 화면을 제어하는 새로운 명령 처리 방식에 대한방법

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040401

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060808

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060912

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070117

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3909554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110202

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110202

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120202

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130202

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130202

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees