JP2008225556A - プロジェクタシステム - Google Patents

プロジェクタシステム Download PDF

Info

Publication number
JP2008225556A
JP2008225556A JP2007058728A JP2007058728A JP2008225556A JP 2008225556 A JP2008225556 A JP 2008225556A JP 2007058728 A JP2007058728 A JP 2007058728A JP 2007058728 A JP2007058728 A JP 2007058728A JP 2008225556 A JP2008225556 A JP 2008225556A
Authority
JP
Japan
Prior art keywords
light
projector
designated position
screen
laser pen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007058728A
Other languages
English (en)
Other versions
JP4283317B2 (ja
Inventor
Hidekazu Kondo
秀和 近藤
Kinya Tagawa
欣哉 田川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lunascape
TAKRAM DESIGN ENGINEERING KK
LUNASCAPE Co Ltd
Original Assignee
Lunascape
TAKRAM DESIGN ENGINEERING KK
LUNASCAPE Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lunascape, TAKRAM DESIGN ENGINEERING KK, LUNASCAPE Co Ltd filed Critical Lunascape
Priority to JP2007058728A priority Critical patent/JP4283317B2/ja
Priority to US12/530,329 priority patent/US20100013801A1/en
Priority to CN2008800075335A priority patent/CN101627354B/zh
Priority to PCT/JP2008/054193 priority patent/WO2008108467A1/ja
Priority to EP08721611A priority patent/EP2133775A1/en
Priority to KR1020097020991A priority patent/KR20090125165A/ko
Publication of JP2008225556A publication Critical patent/JP2008225556A/ja
Application granted granted Critical
Publication of JP4283317B2 publication Critical patent/JP4283317B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/26Projecting separately subsidiary matter simultaneously with main image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08Cursor circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/04Partial updating of the display screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Position Input By Displaying (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ライトペンにマウスのクリックボタンの機能を持たせる。
【解決手段】ライトペン30によりプロジェクタスクリーン60上の任意の位置をレーザ光の照射により指定する。同一位置での指定が一定時間以上続くことを受光器40の撮影イメージに基づいてパソコン10で検出する。一定時間以上経過後、パソコン10では、マウスのクリックボタン操作に相当するオンのフラグ信号を発生する。
【選択図】図1

Description

本発明は、イメージを投影するプロジェクタシステム、特にコンピュータの表示器に表示されたイメージと同じイメージをプロジェクタにより物体の表面(以下、プロジェクタスクリーンと称する)に投影するプロジェクタシステムに関する。
従来この種のプロジェクタシステムは、パソコンなどのコンピュータで作成した図、文書などをプロジェクタスクリーンに投影することができるので、講演会など広い場所でプレゼンテーションに用いられてきた。
このようなプロジェクタシステムでは、説明者が投影イメージを指し示す場合には、長い棒を使用してプロジェクタスクリーン上の特定の位置を指し示さなければならない。このため、投影するイメージのページめくりなどのためにパソコンを操作する者と、説明を行う者の2人がプレゼンテーションに必要であった。
このような不具合を解消するために、レーザペンと呼ばれる携帯型の赤外線発光装置を使用して遠隔で、プロジェクタスクリーン上にレーザ光を発射し、特定色のスポット(丸い点)の形態で投影することで、プロジェクタスクリーン上の任意の位置を閲覧者に知らせるプロジェクタシステムが提案されている(特許文献1)。
このような従来例のシステム構成を図1に示す。図1において、10は統制するイメージを発生するパーソナルコンピュータ(以下、パソコンと略記する)である。パソコン10は表示器に表示する1画面分のイメージの画像データを格納するメモリ(RAM)を有している。この画像データは1画面を構成する画素、それぞれについての輝度データと色成分データ(RGBデータ)である。
パソコン10にはイメージ表示用ソフトウェアプログラム(ワープロソフト、作画ソフトなど、以下表示用ソフトと略記する)と共に、プロジェクタ20を制御するためのプロジェクタ用ソフトウェア(以下、プロジェクタ用ソフトと略記する)が搭載されている。プロジェクタソフトをパソコン内のCPUが実行することによりメモリに格納された画像データ(一般に画像信号と呼ばれる)の形態の投影用イメージがパソコン10からプロジェクタ20に送られる。
20はプロジェクタであり、液晶表示器(LCD)および光源を有する。液晶表示器の裏から3原色(RGB)の光源の光を照射すると、液晶表示器の画素の中で開となっている画素は光を通過させて、その後、3原色の透過光は、合成光学系を経てプロジェクタスクリーン60に透過光50が投影される。液晶表示器の各画素(1画素についてRGB3つの画素)を上述の画像データにより開閉すると共に、3原色の光源の輝度を画像データに基づいて調整することでパソコンから送られた画像データ形態のイメージがプロジェクタスクリーン60上に可視のイメージとして投影される。
30はレーザ光60を発射する光学手段であり、一般的にはレーザペンという名称がいきわたっているので、本願明細書では以下、レーザペン30と呼ぶことにする。40は受光器であり、1画面分の光センサを有する受光器、たとえば、CCDと呼ばれる受光器を使用することができる。受光器40はレーザペン30からの反射光70のみを透過させ、プロジェクタ20から投影される光の反射光を遮断するフィルタを有する。受光器40のCCDの受光画面の中の特定画素に反射光70が入射すると、CCDは各画素の光センサへの入射光を電気信号(光電変換信号)に変換して出力する。
各画素から出力される光電変換信号の電圧が、その画素入射光の輝度を表す。各画素の光電変換信号はアナログ信号であるので、受光器40内のA/D変換器により電圧を数値で表すデジタル信号に変換する。このようにして受光器40が発生した1画面分のデジタル信号(以下撮影イメージと称する)はパソコン10に送られる。パソコン10のプロジェクタソフトは、受信した撮影イメージの中の各画素の画像データの示す輝度値を、予め定めた閾値と比較し、閾値より大きい輝度値を有する画素位置を検出する。
検出された画素位置と対応する、投影用イメージを記憶するメモリ上の画素位置周辺に特定図形、たとえば、青の丸や矢印図形などカーソル用図形イメージを、記憶されている投影用イメージと、メモリ上でプロジェクタソフトにより合成する。
この合成処理により、カーソル用図形イメージもプロジェクタ20によりプロジェクタスクリーン60上に投影される。
以上の処理を繰り返すと、説明者がレーザペン30を操作して、プロジェクタスクリーン60上の指定位置Pを動かすと、その移動に応じて、プロジェクタスクリーン60上に表示されるカーソル用図形イメージも移動する。
また、説明者がレーザペンの電源オフによりレーザ光の照射を中止するとプロジェクタスクリーン60上からカーソル図形用イメージも消失する。
特開平11−85395号公報
上述したプロジェクタシステムにより、説明者はパソコン10を操作しながら、レーザペン30を操作して、プロジェクタスクリーン60上に投影された任意位置を指定することができるようになってきた。しかしながら説明者は、パソコン10の操作とレーザペン30の操作をしなければならなかった。このため、一般ユーザから、プロジェクタスクリーン60をパソコンの表示器、また、レーザペン30をマウスのように利用して、たとえば、線を引いたり消したりできないかとの要望が強く求められている。
ユーザの要望に応えるプロジェクタシステムを考える場合、従来技術のレーザペン30には、マウスのクリックボタンに相当する機能を有していない。レーザペン30にクリックボタンを設置すると、クリックボタンが発生するオン/オフの電気信号を無線の形態でパソコン10に送信しなければならない。このため、レーザペン30はクリックボタンおよびクリックボタンにより発生したオン・オフ信号を送信する無線通信装置が必要であり、パソコン10には上記オン/オフ信号を受信するための無線通信装置が必要となる。したがって、プロジェクタシステムがとても高価になってしまうという解決すべき問題が生じる。
そこで、本発明の目的は、クリックボタンのようなハードウェア部品と無線通信装置を使用なくても、レーザペン30にマウスと同様の(仮想の)クリックボタン機能を持たせることが可能なプロジェクタシステムを提供することにある。
このような目的を達成するために、本発明は、イメージをプロジェクタスクリーン上に投影すると共に、レーザペンにより前記プロジェクタスクリーン上に照射されたレーザ光の反射光を受光器により受光し、該受光器で検出した受光画面上の前記反射光の受光位置を前記プロジェクタスクリーン上の前記レーザ光による指定位置に変換することにより前記前記プロジェクタスクリーン上の前記レーザ光による指定位置を検出するプロジェクタシステムにおいて、
検出された前記指定位置を繰り返し記憶する記憶手段と、
前記記憶手段に今回、検出された指定位置を記憶する前に、今回、検出された指定位置と、前記記憶手段に記憶されている前回の指定位置とが一致するか否かを前記指定位置が検出されるごとに繰り返し判定する判定手段と、
前記判定手段により一致の判定が連続的に得られる時間を計時する計時手段と、
前記判定手段により不一致の判定が得られた場合には、前記計時手段の計時結果を数値ゼロにリセットする制御手段と、
前記計時手段の計時結果と予め定めた閾値との大小を繰り返し比較する比較する比較手段と、
該比較手段により前記計時手段の計時結果が前記閾値より大の比較結果が得られる場合には、オンのフラグ信号を発生および保持し、前記判定手段により不一致の判定が得られた場合、または、前記比較手段により前記計時手段の計時結果が前記閾値より小の比較結果が得られた場合にはオフのフラグ信号を発生および保持するフラグ信号発生・保持手段と
を備えたことを特徴とする。
また、本発明の他の形態は、イメージをプロジェクタスクリーン上に投影すると共に、レーザペンにより前記プロジェクタスクリーン上に照射されたレーザ光の反射光を受光器により受光し、該受光器で検出した受光画面上の前記反射光の受光位置を前記プロジェクタスクリーン上の前記レーザ光による指定位置に変換することによりを前記前記プロジェクタスクリーン上の前記レーザ光による指定位置を検出するプロジェクタシステムにおいて、
前記プロジェクタスクリーン上の特定領域内で前記レーザ光が反射している状態でのレーザペンの消灯を、前記受光器で検出した受光画面上の前記反射光の受光位置および該反射光の輝度の変化に基づいて検出する消灯検出手段と、
前記プロジェクタスクリーン上の特定領域内で前記レーザ光が反射している状態でのレーザペンの点灯を、前記受光器で検出した受光画面上の前記反射光の受光位置および該反射光の輝度の変化に基づいて検出する点灯検出手段と、
前記消灯検出手段により前記レーザペンの消灯が検出されてから前記点灯検出手段により前記レーザペンの点灯が検出されるまでの間オンのフラグ信号を発生する信号発生手段と
を備えたことを特徴とする。
以下、図面を参照して本発明の実施形態を詳細に説明する。
(第1の実施形態)
本発明第1の実施形態のハードウェアに関するプロジェクタシステムの構成は図1の従来技術とほぼ同様とすることでき、本願明細書の背景技術で説明しているので、ここでは詳細な説明を省略する。
本発明を説明するために、図1のパソコン10の内部構成を簡単に説明する。パソコン10に限らず、CPUを使用した情報処理機器、あるいは論理演算回路を組み合わせた電子回路などもパソコン10として使用することができる。
1000はパソコン10のハードディスク1030に搭載されたプログラムを実行するCPUである。
1010はシステムメモリであり、ROMやRAMで構成される。システムメモリ1010内には、CPU1000が実行するプログラムをロードするための記憶領域、ディスプレイ1020に表示するイメージを記憶するための記憶領域、CPU1000が情報処理を実行するときに使用する種々の情報を記憶する記憶領域が設けられている。
1020はディスプレイであり、プロジェクタ20により投影する投影用イメージと同じイメージを表示する。
1030は後述(図3)のプログラムを保存するためのハードディスクである。CPU1000が実行するプログラムはハードディスク1030からシステムメモリ1010にロードされた後CPU1000により実行される。
1040は入出力インターフェースであり、受光器10からの撮影イメージを入力する。また、入出力インターフェース1040から投影用イメージをプロジェクタ20に送信する。入出力インターフェース1040にはマウスやキーボードなど従来周知の入出力デバイスも接続可能である。
図3は本発明第1の実施形態において、パソコン10に搭載するソフトウェアの構成を示す。図2において、2000はプロジェクタ用プログラムであり、投影用イメージ発生プログラム(後述)2010により作成した投影用イメージをプロジェクタ20へ送信するためのプログラムである。このための機能は従来と同様である。本発明第1の実施形態では、従来のプロジェクタ用プログラムの機能に加えて、レーザペン30の操作による、マウスのクリックボタンに相当する操作(以下、クリックボタン操作と総称する)を検知し、クリックボタン操作を表すオン/オフのフラグ信号を発生する。また、プロジェクタ用プログラム2000はレーザペン30のレーザ光により指定したプロジェクタスクリーン上の指定位置を従来と同様にして検知し、上記フラグ信号と共に検知した指定位置を種々の情報処理プログラム2030に引き渡す。
この実施形態では、指定位置に割り当てられたプログラム命令(いわゆるプログラム)を実行する例を説明する。情報処理プログラム2030はプロジェクタ用プログラム2000内に組み込んでもよいことはもちろんである。
2010は投影用イメージ発生プログラムであり、投影すべきイメージを作成する周知のプログラムである。たとえば、ワープロソフト、帳票処理ソフト、作画ソフト、プレゼンテーション用コンテンツ作成ソフトなどがよく知られている。これらソフトにより作成された投影用イメージは、パソコン10の表示器に表示するために使用される内部メモリに格納されるので、この内部メモリを介して投影用イメージがプロジェクタ用プログラム2000に引き渡される(プロジェクタ用プログラム2000が内部メモリから読み出す)。
2030はレーザペン30の操作によりパソコン10に入力した位置情報(プロジェクタスクリーン60のレーザ光の反射位置)およびクリックボタン操作によりプロジェクタ用プログラム2000で発生されるにオン/オフのフラグ信号に基づいて、情報処理を行う情報処理プログラムである。
本実施形態では、予め定められた領域内でレーザペン30によりクリックボタン操作が行われた場合には、その領域に割り当てられたプログラム命令を実行する例を説明する。
2020は、たとえば、マイクロソフト社のウィンドウズ(登録商標)などのオペレーティングシステム2020であり、オペレーティングシステム上で上述のプログラムが稼動する。
次に本発明に係るレーザペン30によるクリックボタン操作をパソコン10でどのように検出するかを説明する。
図7(A)に示すようにプロジェクタスクリーン3000(図1の符号60)上の左上に領域3010がレーザペン30のクリックボタン操作を実行するための領域として予め割り当てられている。領域3010は9つの小領域に分割されている。各小領域30に対して異なるプログラム命令が予め対応付けられている。1つの例としては、9つの小領域に、投影用イメージでアイコンなどの識別用イメージを表示するとよい。説明者がレーザペン30で小領域のいずれかを指定するときに小領域および対応付けられたプログラム命令をアイコン表示により識別することができる。
説明者はレーザペン30のレーザ光を小領域の1つ(図7の黒丸3020)に一定時間照射すると、その照射位置が受光器40の撮影イメージを介してパソコン10により伝えられ、パソコン10では領域3010内で一定時間レーザペン30による位置指定が行われたことを検出して、マウスのクリックボタン操作信号に相当するオンのフラグ信号を発生し、保持する。
クリックボタン操作を解除(フラグ信号をオフ)したい場合には、説明者はレーザ光の反射位置を領域3010の外に移動する。レーザ光の反射位置が領域3010の外に移動したことを、受光器の撮影イメージに基づいてパソコン10が検出すると、パソコン10はオフのフラグ信号を発生し、保持する。
このために、パソコン10内のCPU1000で実行するための処理手順を図4に示す。図4に示す処理手順はCPU1000が実行可能なプログラムの形態で、図3のプロジェクタ用プログラム2000の中に予め組み込まれている。
図4の処理手順が開始されると、CPU1000は最初に、使用する変数を初期値化する(S10)。フラグ信号を記憶(保持)するための変数(以下、フラグ)はオフに初期設定される。
次にCPU1000は、システムメモリ1010内に格納されている投影用イメージを読み出して入出力用インターフェース1040を介してプロジェクタ20に送信する(S20)。これにより、プロジェクタスクリーン60に投影用イメージが投影される。
CPU1000は入出力インターフェース1040を介して受光器40の撮影イメージを受信し、システムメモリ1010に一時記憶する(S30)。
CPUはシステムメモリ1010に記憶された撮影イメージを走査(スキャン)する。従来と同様にしてCPU1000は閾値以上の輝度を有し、かつ所定数以上の個数を有する閉画領域を検出することによりその閉区画領域の位置をレーザ光の反射位置(連座―光による指定位置)として検出する(S40)。この検出位置は変数の形態でシステムメモリ1010に記憶される。
CPU1000は前回、検出された指定位置と今回検出された指定位置とを比較し、一致していること、さらに今回の指定位置が特定領域(図7(A)の領域3010内にあること)の中にあることを判定すると(S50の判定がYES)、手順をS560に進める。
S60ではCPU1000は一致回数を1だけインクリメントする。この回数が、説明者がプロジェクタスクリーンの領域3010内の同一位置を指定している時間の計時値を示す。
一方、S50で、指定位置が領域3010内にないこと、あるいは、同一位置にないことを、今回、検出した指定位置と前回検出した指定位置の比較および指定位置と領域3010の一との比較により判定すると(S50の判定がNO)、
一致回数をゼロにリセットし、フラグをオフに設定して、手順をS20に戻す(S55→S20)。このフラグの値はシステムメモリ1010に記憶されるので、フラグ信号がオフとして保持される。
S60によるレーザペン30による同一位置の指定時間の計時処理を終えると、CPU1000は次に、計数した一致回数が予め定めた閾値より大きいか否かの判定を行う(S70)。閾値よりも一致回数が大きい場合には、ユーザペン30による領域1030内での同一位置の指定時間が所定時間以上、すなわち、説明者のクリックボタン操作と判定し、クリックボタンの発生信号に相当するフラグをオンに設定する(S80)。このフラグの値はシステムメモリ1010に記憶されるので、フラグ信号がオンとして保持される。この手順はS20に戻る。
S70の判定処理で一致回数が閾値よりも小さいと判定された場合には、手順はS75へと進み、フラグはオフに設定される。この後手順はS20に戻る。
以上の処理手順をCPU1000が実行すると、レーザペン30によるプロジェクタスクリーン上の指定位置が図7(A)の領域3010外にあるときは、手順はS20〜S50→S55→S20の手順が繰り返し実行されるので、フラグはオフ(クリックボタン操作無し)のまま保持される。レーザペン30によるプロジェクタスクリーン上の指定位置が図7(A)の領域3010内に移動し、同一位置での指定が所定時間に到達しない間は、手順はS20〜S50→S60→S70→S75→S20の手順が繰り返し実行される。これにより指定位置が同一位置に留まる時間が計時される。
指定位置が領域3010内の同一位置に所定時間以上留まっていることをS70の判定処理で検出すると(判定結果が大)、CPU1000は初めてフラグをオフからオンに設定する。以後、同一位置にレーザペン30による指定位置が留まっている間はフラグはオンのまま保持される。
この形態ではS80において、図5の処理手順により、指定位置に対応付けられたプログラム命令(図3の情報処理プログラム2030の中のプログラム命令)がCPU1000により実行される。この処理手順は後述するが、この処理手順により、あたかもマウスのクリックボタン操作で、表示画面上のアイコンを操作した場合と同様のプログラム命令実行機能を、プロジェクタスクリーン上の、ライトペン30の位置指定の操作で実現できる。
フラグをオフにしたい場合、説明者は、レーザペン30の指定位置をこれまで継続していたい指定位置と異なる位置に移動させればよい。この操作により、手順はS20〜S50→S55→S20と進み、フラグがオフに設定される。
次に、図7(A)の領域3010内の小領域内で説明者がレーザペン30により、同一位置を所定時間以上指定した場合に、その小領域に割り当てたプログラム命令を実行するための処理手順を図5を使用して説明する。図7(A)の領域3010内の小領域の位置と、実行すべきプログラム命令(プログラムや関数)のハードディスク1030上の記憶アドレスの双方を記載したテーブル、より具体的には、この例では9つの小領域の位置(たとえば、左上の座標位置と右下の座標位置)と、ハードディスク1030上の記憶アドレスを1対とした9つのデータを記載したテーブルがハードディスク1030上に予め記憶してある。
図5において、CPU1000は上述のフラグがオンであることをS200の判定処理で確認する。次に、一定時間指定位置が継続したプロジェクタスクリーン上の指定位置がシステムメモリに記憶されているので、この位置が含まれるテーブル上のデータを検索する(S210)。クリックボタン操作のために同一位置でレーザペン30により指定されたその位置と対応するテーブル上の1対のデータをCPU1000が検索により見つけると、CPU1000は検索の結果得られたデータオ中の記憶アドレスを使用して、ハードディスク1030から読み出して、システムメモリ1010にロードした後、実行する(S230)。
(第1の実施形態の第1の改良形態)
(1)上述の実施形態では図7(A)の領域3010内にレーザペン30による指定位置が所定時間以上同一位置で留まることがフラグをオンすることの条件であった。しかしながら、領域3010内での位置指定という条件を外し、図7のプロジェクタスクリーン3000上のいずれの位置でもフラグをオンにしたい場合には、S50ではレーザペン30による指定位置が所定時間以上同一位置で留まることのみを判定すればよい。
この改良形態では、レーザペン30のクリックボタン操作をどの位置でも実行できると言う利点があるが、説明のために、レーザペン30の指定位置を同一位置にとどめることができないという欠点を有する。
(第2の改良形態)
上述の実施形態では、プロジェクトスクリーン上に複数のアイコンイメージを投影して、レーザペン30によりクリックボタン操作(一定時間に上の同一位置に留めること)でアイコンを指定する場合に好適なのであるが、モードの切り替えに好適な例を説明する。この形態では、プロジェクタスクリーンの4隅に特定領域が設けてある。説明者が、左上隅の領域をレーザペン30により位置指定し後、右上隅の領域までレーザペン30による指定位置を移動する。説明者は右上隅の領域内の同一位置で所定時間、レーザペン30による指定位置をとどめる。
このような操作を受光器40の撮影イメージからCPU1000により検出して、モードの切り替えを行うことができる。モードの切り替えの一例としては、レーザペン30の指定でプロジェクタスクリーン上に描画するモードと描画モードの解除があげられる。描画モード解除するには、たとえば、左下隅の領域をレーザペン30により指定した後、右下隅の領域を指定し、同一位置の指定位置が所定時間経過することを検出する。この形態の場合も図S50の判定条件を変更すればよく、当業者であれば、明細書の説明で、用意に実施することができよう。
(第3の改良形態)
上述の実施形態では図7(A)の領域3010内の小領域の同一位置をレーザペン30により一定時間指定することで、マウスボタン操作と同じ機能を実現すると共に、小領域に対応付けられたプログラム命令を実行した。このために、プログラム命令の記憶アドレスと、上記小領域の位置を記載したテーブルを設けている。プログラム命令を多数有するプログラムの場合には、そのプログラムに対する識別名が与えられる。そこで、記憶アドレスに代わり、プログラム識別名を上記テーブルに記載してもよい。この場合にはオペレーティングシステムがファイル識別名に対応するプログラムの記憶アドレスを提供することになる。
(第3の改良形態)
レーザペン30は人間が操作するので、手ぶれが生じ、レーザペン30によるレーザ光の照射位置(指定位置)を同一位置に留めておくことは難しい場合がある。このため、指定位置に多少の許容誤差を持たせるとよい。このための処理手順を図6に示す。
図6の処理手順は図4の判定処理S50内で実行される。図6において、
CPU1000は前回、検出したレーザペン30による指定位置をシステムメモリ1010から読み出し、今回、検出された指定位置と前回の指定位置との間の距離を計算する(S300)。計算により得られる距離が予め定めた許容値にあるかを比較判定する(S310)。距離が許容範囲にある場合には、指定位置は前回と今回は一致、すなわち、レーザペン30による指定位置は同一位置と判定する(S320)。距離が許容範囲にない場合には、指定位置は前回と今回は不一致、すなわち、レーザペン30による指定位置は不一致(指定位置の移動)と判定する(S330)。この処理手順を実行することにより、レーザペン30が手ぶれにおり指定位置のずれが多少生じても、レーザペン30によるクリックボタン操作に不都合が生じることはない。
(第2の実施形態)
上述の第1の実施形態では、説明者がレーザペン30でプロジェクタスクリーン60上の同一位置を一定時間以上指定することでクリックボタン操作をパソコン10に指示する例であった。次に、レーザペン30の消灯/点灯によりクリックボタンのオン/オフ操作をパソコン10に指示する例を説明する。
この例では、プロジェクタスクリーンの任意の位置に図7(B)の特定領域3030が予め設けられている。説明者は、レーザペン30を点灯した状態で領域3030内にレーザ光の照射位置(指定位置)を移動させた後、レーザペン30の電源スイッチを操作してレーザペン30を消灯する。次に説明者は電源スイッチを操作してレーザペン30を点灯する。この操作により、パソコン10はクリックボタンがオン/オフの操作があったと判定する。また、パソコンはレーザペン30の消灯を検出した時点で、この領域3030に割り当てられたプログラム命令を実行する。
このためのCPU1000の処理手順(プログラム)を図8に示す。図8の処理手順は一定周期で繰り返し実行される。図8において、S400でレーザ光の上記照射位置(プロジェクタスクリーン上の反射位置)が特定領域内であるかを判定する。具体的には受光器40の撮影イメージに基づいて、レーザ光の反射位置を検出し、検出した位置が特定領域3030内にあるか否かを判定する(S400)。NO判定の場合には、CPU1000はフラグをオフに設定し、リターンに移行して、次回の図6の処理手順の実行を待つ(S400→S415→リターン)。検出した位置が特定領域内にあることを確認した場合はレーザペン30が消灯しているか否かを撮影イメージにより判定する(S400→S410)。
レーザペン30が消灯している場合、受光器40の撮影イメージ中には、レーザ反射光の特徴、すなわち、所定値以上の輝度値を有する閉区画領域がないので、このことを条件にして、消灯(レーザ光の消失)を検出することができる(S410)。
消灯を検出した場合はCPU1000はフラグがオンであるか否かを判定する(S415)。YES判定の場合は、消灯状態が以前から続いていることをフラグのオンが示しているので、CPU1000は手順をリターンに移行して次回の図6の処理手順の実行を待つ(S415→リターン)。一方、S410の判定処理でYES判定が得られた場合、すなわち、レーザペン30が点灯していることが検出された場合には、次の処理手順S420でCPU1000はフラグがオンであるか否かを判定する。
フラグがオフの場合には、クリックボタンのオンの操作が解除の続行を示しているので、リターンに移行する(S420→リターン)。一方、フラグがオンの場合にはレーザペン30の点灯の初めての検出なので、操作クリックボタン操作状態を示すフラグをオフに設定してリターンに行こうする(S420→S430→リターン)。
以上の処理手順をCPU1000が実行すると、レーザペン30が点灯状態でその指定位置が特定領域30の外にあるときは、S400→リターンの処理が繰り返し実行される。説明者がレーザペン30を点灯したままその指定位置を特定領域30内に移動すると、この状態ではフラグはオフなので、手順はS400→S410→S420→リターンの手順が繰り返される。
説明者がレーザペン30を消灯すると(この時点でフラグはオフ)、フラグのオフおよびレーザペン30の消灯がS410およびS415で検出される。この後、フラグはオンに変更される(S416)。
説明者がオンのクリックボタン操作状態をオフに解除したい場合には、特定領域330内でレーザペン30を点灯する(この時点ではフラグはオン)。この操作がS400→S410→S420→S425の手順で検出されてフラグがオフに設定される。
(第2の実施形態の改良形態)
この形態ではレーザペン30の点灯/消灯を検出する領域は1つであったが、図7(A)に示すように領域3010内の複数の小領域ごとに上記処理手順を実行してもよい。この場合には、小領域ごとに割り当てられたプログラム命令を実行することになる。プログラム命令を実行するための処理手順は第1の実施形態と同様に小領域の位置と、プログラム命令の記憶アドレスを記載したテーブルを用意し、レーザペン30の消灯により指定された小領域の位置に対応する記憶アドレスを読み出しプログラム命令をCPU1000に実行させればよい。
従来例のハードウェア構成を示すブロック図である。 本発明第1の実施形態のパソコン10のハードウェアの概略の構成を示すブロック図である。 本発明第1の実施形態のソフトウェアの構成を示すブロック図である。 本発明第1の実施形態の処理手順を示すフローチャートである。 プログラム命令を実行するための処理手順を示すフローチャートである。 第1の実施形態の改良形態の処理手順を示すフローチャートである。 図7(A)および図7(B)はレーザペン30により位置指定操作を説明するための説明図である。 第2の実施形態の処理手順を示すフローチャートである。
符号の説明
1000 CPU
1010 システムメモリ
1020 ディスプレイ
1030 ハードディスク
1040 入出力インターフェース

Claims (5)

  1. イメージをプロジェクタスクリーン上に投影すると共に、レーザペンにより前記プロジェクタスクリーン上に照射されたレーザ光の反射光を受光器により受光し、該受光器で検出した受光画面上の前記反射光の受光位置を前記プロジェクタスクリーン上の前記レーザ光による指定位置に変換することにより前記プロジェクタスクリーン上の前記レーザ光による指定位置を検出するプロジェクタシステムにおいて、
    検出された前記指定位置を繰り返し記憶する記憶手段と、
    前記記憶手段に今回、検出された指定位置を記憶する前に、今回、検出された指定位置と、前記記憶手段に記憶されている前回の指定位置とが一致するか否かを前記指定位置が検出されるごとに繰り返し判定する判定手段と、
    前記判定手段により一致の判定が連続的に得られる時間を計時する計時手段と、
    前記判定手段により不一致の判定が得られた場合には、前記計時手段の計時結果を数値ゼロにリセットする制御手段と、
    前記計時手段の計時結果と予め定めた閾値との大小を繰り返し比較する比較する比較手段と、
    該比較手段により前記計時手段の計時結果が前記閾値より大の比較結果が得られる場合には、オンのフラグ信号を発生および保持し、前記判定手段により不一致の判定が得られた場合、または、前記比較手段により前記計時手段の計時結果が前記閾値より小の比較結果が得られた場合にはオフのフラグ信号を発生および保持するフラグ信号発生・保持手段と
    を備えたことを特徴とするプロジェクタシステム。
  2. 前記判定手段は前記記憶手段に記憶された前回の指定位置と今回検出された指定位置の間の距離を計算する計算手段と、該計算手段により計算された距離と予め定められた許容値との大小を比較する許容値比較手段と、当該比較の結果、前記距離が前記許容値よりも小の判定された場合には、前記判定手段は判定結果として一致と判定し、前記比較の結果、前記距離が前記許容値よりも大の判定された場合には、前記判定手段は判定結果として不一致と判定することを特徴とする請求項1に記載のプロジェクタシステム。
  3. 前記プロジェクタスクリーン上の予め定められた領域の位置および該位置に関連付けてプログラム命令の記憶位置および識別名のいずれかを記載したテーブルを記憶するテーブル記憶手段と、
    前記プログラム命令を記憶するプログラム命令記憶手段と、
    前記フラグ信号がオンを示している場合に、前記指定位置について前記テーブルを検索する検索手段と
    該検索の結果、前記指定位置と同じ位置のプログラム命令の記憶位置および識別名のいずれかを前記テーブルから読み出す読み出し手段と、
    当該読み出された記憶位置および識別名のいずれかに基づいてプログラム命令を前記プログラム命令記憶手段から読み出して実行する情報処理手段と
    をさらに備えたことを特徴とする請求項1に記載のプロジェクタシステム。
  4. イメージをプロジェクタスクリーン上に投影すると共に、レーザペンにより前記プロジェクタスクリーン上に照射されたレーザ光の反射光を受光器により受光し、該受光器で検出した受光画面上の前記反射光の受光位置を前記プロジェクタスクリーン上の前記レーザ光による指定位置に変換することによりを前記前記プロジェクタスクリーン上の前記レーザ光による指定位置を検出するプロジェクタシステムにおいて、
    前記プロジェクタスクリーン上の特定領域内で前記レーザ光が反射している状態でのレーザペンの消灯を、前記受光器で検出した受光画面上の前記反射光の受光位置および該反射光の輝度の変化に基づいて検出する消灯検出手段と、
    前記プロジェクタスクリーン上の特定領域内で前記レーザ光が反射している状態でのレーザペンの点灯を、前記受光器で検出した受光画面上の前記反射光の受光位置および該反射光の輝度の変化に基づいて検出する点灯検出手段と、
    前記消灯検出手段により前記レーザペンの消灯が検出されてから前記点灯検出手段により前記レーザペンの点灯が検出されるまでの間オンのフラグ信号を発生する信号発生手段と
    を備えたことを特徴とするプロジェクタシステム。
  5. 前記プロジェクタスクリーン上の予め定められた領域の位置および該位置に関連付けてプログラム命令の記憶位置および識別名のいずれかを記載したテーブルを記憶するテーブル記憶手段と、
    前記プログラム命令を記憶するプログラム命令記憶手段と、
    前記フラグ信号がオンを示している場合に、前記指定位置について前記テーブルを検索する検索手段と
    該検索の結果、前記指定位置と同じ位置のプログラム命令の記憶位置および識別名のいずれかを前記テーブルから読み出す読み出し手段と、
    当該読み出された記憶位置および識別名のいずれかに基づいてプログラム命令を前記プログラム命令記憶手段から読み出して実行する情報処理手段と
    をさらに備えたことを特徴とする請求項4に記載のプロジェクタシステム。
JP2007058728A 2007-03-08 2007-03-08 プロジェクタシステム Expired - Fee Related JP4283317B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007058728A JP4283317B2 (ja) 2007-03-08 2007-03-08 プロジェクタシステム
US12/530,329 US20100013801A1 (en) 2007-03-08 2008-03-07 Projector system
CN2008800075335A CN101627354B (zh) 2007-03-08 2008-03-07 投影系统
PCT/JP2008/054193 WO2008108467A1 (ja) 2007-03-08 2008-03-07 プロジェクタシステム
EP08721611A EP2133775A1 (en) 2007-03-08 2008-03-07 Projector system
KR1020097020991A KR20090125165A (ko) 2007-03-08 2008-03-07 프로젝터 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007058728A JP4283317B2 (ja) 2007-03-08 2007-03-08 プロジェクタシステム

Publications (2)

Publication Number Publication Date
JP2008225556A true JP2008225556A (ja) 2008-09-25
JP4283317B2 JP4283317B2 (ja) 2009-06-24

Family

ID=39738332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007058728A Expired - Fee Related JP4283317B2 (ja) 2007-03-08 2007-03-08 プロジェクタシステム

Country Status (6)

Country Link
US (1) US20100013801A1 (ja)
EP (1) EP2133775A1 (ja)
JP (1) JP4283317B2 (ja)
KR (1) KR20090125165A (ja)
CN (1) CN101627354B (ja)
WO (1) WO2008108467A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014182814A (ja) * 2013-03-18 2014-09-29 Sharp Corp 描画装置、描画方法および描画プログラム
JP2015037250A (ja) * 2013-08-14 2015-02-23 株式会社リコー 画像投影装置及びプレゼンテーションシステム
KR20170027149A (ko) * 2015-09-01 2017-03-09 삼성중공업 주식회사 도면 영상 투사 장치

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5317630B2 (ja) * 2008-11-07 2013-10-16 キヤノン株式会社 画像配信装置、方法及びプログラム
TWI447508B (zh) 2010-04-01 2014-08-01 Delta Electronics Inc 投影裝置以及用於判斷一光點於投影畫面之位置之定位方法
CN102214016B (zh) * 2010-04-12 2013-08-21 台达电子工业股份有限公司 投影装置以及用于判断一光点于投影画面的位置的定位方法
TWI518574B (zh) * 2013-12-25 2016-01-21 光峰科技股份有限公司 互動式顯示系統及其輸入裝置
CN103956085A (zh) * 2014-04-04 2014-07-30 深圳市福田区青少年科技教育协会 遥控定位教鞭
CN104133565B (zh) * 2014-07-24 2017-05-24 四川大学 利用结构光技术实现的实时激光点追踪人机交互系统
CN107065729B (zh) * 2017-05-23 2019-04-30 歌尔股份有限公司 一种激光笔的安全防护方法及安全防护系统
CN110162235B (zh) * 2019-04-28 2021-07-23 深圳市格上格创新科技有限公司 一种无线演示设备及其细节放大控制方法和装置
CN110297556B (zh) * 2019-07-02 2023-03-31 沈阳理工大学 一种基于图像识别技术的电子投影画板系统及其处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200160A (ja) * 1993-12-28 1995-08-04 Hitachi Ltd 情報提供装置及び情報表示装置
JP2001236178A (ja) * 2000-02-22 2001-08-31 Seiko Epson Corp 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
JP2004145888A (ja) * 2002-10-26 2004-05-20 Samsung Electronics Co Ltd ポインティング装置を利用した文字入力方法及び文字入力装置
JP2005092644A (ja) * 2003-09-18 2005-04-07 Ricoh Co Ltd タッチパネル付きディスプレイ装置の表示制御方法およびその方法をコンピュータに実行させるためのプログラム、タッチパネル付きディスプレイ装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5712658A (en) * 1993-12-28 1998-01-27 Hitachi, Ltd. Information presentation apparatus and information display apparatus
US6292171B1 (en) * 1999-03-31 2001-09-18 Seiko Epson Corporation Method and apparatus for calibrating a computer-generated projected image
CN1281209A (zh) * 1999-07-20 2001-01-24 浙江大学 基于大屏幕显示的“光电虚拟黑板”系统
CN1299987A (zh) * 2001-01-17 2001-06-20 上海交通大学 带有激光遥控装置的交互式投影显示系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200160A (ja) * 1993-12-28 1995-08-04 Hitachi Ltd 情報提供装置及び情報表示装置
JP2001236178A (ja) * 2000-02-22 2001-08-31 Seiko Epson Corp 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
JP2004145888A (ja) * 2002-10-26 2004-05-20 Samsung Electronics Co Ltd ポインティング装置を利用した文字入力方法及び文字入力装置
JP2005092644A (ja) * 2003-09-18 2005-04-07 Ricoh Co Ltd タッチパネル付きディスプレイ装置の表示制御方法およびその方法をコンピュータに実行させるためのプログラム、タッチパネル付きディスプレイ装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014182814A (ja) * 2013-03-18 2014-09-29 Sharp Corp 描画装置、描画方法および描画プログラム
JP2015037250A (ja) * 2013-08-14 2015-02-23 株式会社リコー 画像投影装置及びプレゼンテーションシステム
KR20170027149A (ko) * 2015-09-01 2017-03-09 삼성중공업 주식회사 도면 영상 투사 장치
KR101724441B1 (ko) * 2015-09-01 2017-04-07 삼성중공업(주) 도면 영상 투사 장치

Also Published As

Publication number Publication date
CN101627354A (zh) 2010-01-13
KR20090125165A (ko) 2009-12-03
JP4283317B2 (ja) 2009-06-24
US20100013801A1 (en) 2010-01-21
CN101627354B (zh) 2012-02-08
EP2133775A1 (en) 2009-12-16
WO2008108467A1 (ja) 2008-09-12

Similar Documents

Publication Publication Date Title
JP4283317B2 (ja) プロジェクタシステム
KR101046283B1 (ko) 프로젝터 시스템
JP4770197B2 (ja) プレゼンテーション制御装置およびプログラム
JP6307852B2 (ja) 画像表示装置、及び、画像表示装置の制御方法
JP2010244484A (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP2001125738A (ja) プレゼンテーション制御システム及びその制御方法
US20050219269A1 (en) Display apparatus, control method therefor, and control program for implementing the control method
JP2012053584A (ja) 情報表示システムおよびプログラム
JP2008233462A (ja) プロジェクタおよびプロジェクタの投写方法
JP2005354171A (ja) 画像表示装置
JP2009063685A (ja) 表示方法とプロジェクタ
JP4661499B2 (ja) プレゼンテーション制御装置およびプレゼンテーションシステム
JP2017169086A (ja) 表示装置、表示装置の制御方法及びプログラム
JP5152317B2 (ja) プレゼンテーション制御装置及びプログラム
JP7195816B2 (ja) 投影装置、投影装置の制御方法、プログラム、および記憶媒体
JPS60138628A (ja) 画面指示入力装置
KR20140024769A (ko) 지시 포인터를 이용한 프로젝터의 이벤트 처리를 위한 방법 및 그 전자 장치
JP2011209531A (ja) プロジェクター
JP6750268B2 (ja) 表示装置及び表示装置の制御方法
JP2018132769A (ja) 画像表示装置、及び、画像表示装置の制御方法
JP2009200846A (ja) 指示システム、指示プログラム及び指示装置
JP2018054880A (ja) 表示装置、情報処理装置および情報処理方法
JP2017173675A (ja) 表示装置及び表示装置の制御方法
JP2005339269A (ja) 画像表示装置
KR100820839B1 (ko) 영상 처리 장치와 이를 이용한 영상 디스플레이 시스템 및그 방법

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20080715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080924

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081017

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20081120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081217

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090220

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090318

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140327

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees