JP2000259338A - 入力システム、表示システム、プレゼンテーションシステム及び情報記憶媒体 - Google Patents

入力システム、表示システム、プレゼンテーションシステム及び情報記憶媒体

Info

Publication number
JP2000259338A
JP2000259338A JP6521999A JP6521999A JP2000259338A JP 2000259338 A JP2000259338 A JP 2000259338A JP 6521999 A JP6521999 A JP 6521999A JP 6521999 A JP6521999 A JP 6521999A JP 2000259338 A JP2000259338 A JP 2000259338A
Authority
JP
Japan
Prior art keywords
image
information
display
imaging
input system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6521999A
Other languages
English (en)
Other versions
JP3832132B2 (ja
JP2000259338A5 (ja
Inventor
Takeshi Kohata
武志 降幡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP06521999A priority Critical patent/JP3832132B2/ja
Publication of JP2000259338A publication Critical patent/JP2000259338A/ja
Publication of JP2000259338A5 publication Critical patent/JP2000259338A5/ja
Application granted granted Critical
Publication of JP3832132B2 publication Critical patent/JP3832132B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

(57)【要約】 【課題】 近接撮影用の撮像手段を用いて、指示部材の
指示位置やそれに関連する表示情報を入力して、遠隔指
示や情報の撮り込みができ、マウス以上に使い勝手や操
作性がよい入力システムを提供する。 【解決手段】 入力装置10と、画像処理を行う画像処
理装置20と、画像処理装置20からの画像処理信号に
基づく画像を表示する表示装置30とを備える。入力装
置10は、撮像エリアEを規定するステージ11と,撮
像エリアEを撮像するCCDカメラ13等とを備え、指
示具51などを用いて、ステージ11上の撮像エリアE
の任意の位置を指示することで、デジタイザ及びポイン
ティングデバイスとしての役割を果たすと共に、従来の
原稿画像を撮り込む書画カメラの役割も併用して、プレ
ゼンテーションを行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、撮像装置によって
指示位置や情報を入力する入力システム、その入力シス
テムを用いた表示システム及びプレゼンテーションシス
テム、さらにはそれらの処理命令を記憶した情報記憶媒
体に関するものである。
【0002】
【従来の技術】プロジェクタ(以下、PJという)は、
高輝度・高精細化が実現されており、プレゼンテーショ
ンやミーティング時に使用される機会が増加してきた。
従来のプレゼンテーションシステムは、例えば、(1)
プロジェクタとパソコンを使ったもの、(2)オーバー
ヘッドプロジェクタ(OHP)を使ったもの、(3)、
ホワイトボード又は電子黒板を使ったもの、(4)リア
型の画像表示装置とセンサ付きボードを併用した専用装
置を使ったものなどがある。一方、ミーティングツール
は、現在でもホワイトボードやフリップチャート等の手
書きツールが主流である。
【0003】
【発明が解決しようとする課題】しかし、従来のプレゼ
ンテーションシステムは、PJの使われ方がパソコン
(PC)のモニタを大画面に置き換えたにすぎず、人間
の自然な欲求や感覚と合わない場合があった。例えば、
追加の急な資料(ペーパー原稿)に対応できないだけで
なく、スクリーンに表示されている内容に対して、その
場での加筆、修正、記録等もできない。
【0004】一方、従来のプレゼンテーションシステム
は、説明者が準備した発表内容・方法により、複数の装
置(OHPやPJ、ダイレクトPJ等)を準備する必要
があり、各々の装置に応じて照明環境の調整を行った
り、機器の交換や環境セッティングの変更が面倒であっ
た。しかも、専用の大型装置を使う事が多く、価格も高
く、可搬性に欠ける等々のハード面での問題点があっ
た。また、これらのプレゼンテーションシステムは、ハ
ード面ばかりを重視するあまり、それを使う側の事、つ
まりヒューマンインターフェースを無視したシステムが
多いために、使い勝手が悪く、プレゼンテーション効果
が低かった。例えば、発表者からの一方的な説明に限定
され、聞き手からのリアクションに対応がでいない。さ
らに、メモ取りが忙しく、内容の理解度が低い等々の問
題点があった。
【0005】特開平7−298225号「映像通信装
置」は、書画カメラ装置に関するものであり、原稿台に
セットされた原稿をカメラで撮り込むときに、カメラの
位置調整や画像処理を施す手段と、映像信号を通信によ
り転送・復元する装置において、複数画像を合成するた
めの制御手段とを備えている。しかし、画像を撮り込む
ための書画カメラ機能しか持っておらず、単なる撮り込
み装置としてしか使えない。また、画像を4分割して撮
り込み、離れた場所にあるホストPCに画像データを通
信で転送した後に1枚の画像に合成するため、処理時間
とコストが掛かる。更に、通信転送の際のノイズによる
画質の劣化が大きくなるため、高精細な画像は転送でき
ない。
【0006】特開平9−294236号「液晶プロジェ
クタ装置」は、液晶プロジェクタの一部に撮影用カメラ
と、支持アームと、照明とを設け、書類やサンプル等の
被写体データをプロジェクタから拡大投射するものであ
る。しかし、本装置にPJを加えてセットにした具体例
で、書画カメラとして撮り込んだ画像を直接表示するだ
けであり、スクリーンの画像を撮り込み座標検出するた
めの機能を備えていない。
【0007】特開平3−167621号は、OHP上に
置かれたLCDディスプレイのデータをスクリーンに表
示し、光発生装置から投射されたスクリーン上のスポッ
ト光源を検出し、各種入力操作をすることができる。し
かし、光を検出する手段により、スクリーン上の座標を
検出するだけのシステムであり、スクリーンの画像を撮
り込むことや、書画カメラ機能を持たない。
【0008】以上の従来技術は、いずれも一つの機能の
みを搭載した装置でしかなく、他の機能を使用するため
には、別装置を併用するしかなかった。
【0009】本発明の目的は、近接撮影用の撮像手段を
用いて、指示部材の指示位置やそれに関連する表示情報
を入力して、遠隔指示や情報の取り込みができ、マウス
以上に使い勝手や操作性がよい入力システムおよび表示
システムを提供することである。
【0010】また、本発明の他の目的は、プレゼンテー
ションにおける複数種類の装置を統合することにより、
例えば、プレゼンテーション中に急に必要になったデー
タ(情報)を直ちに電子化して、その場で編集・保存が
でき、又は、追加のコメントが手書きで入力でき、操作
性や利便性に優れ、スムーズでかつ効果的なプレゼンテ
ーションを実行することができるプレゼンテーションシ
ステムと、それを制御する情報記憶媒体を提供すること
である。
【0011】
【課題を解決するための手段】前記課題を解決するため
に、本発明の入力システムは、ステージ上の撮像領域を
撮像する撮像手段と、前記撮像手段により撮像された画
像情報から、前記撮像領域内において指示された指示位
置を検出する画像処理手段と、を有することを特徴とす
る。これにより、撮像領域内の任意位置を指示部材等で
直接指示する事で、該指示位置情報を容易に入力するこ
とができる。
【0012】さらに、上記本発明の入力システムにおい
ては、前記ステージ上に光照射して、当該ステージ上に
前記撮像領域の範囲を規定する発光部を有することが好
ましい。これにより、簡単な構成で、撮像領域の範囲を
容易に視認することが可能となる。
【0013】さらに、上記本発明の入力システムにおい
ては、前記撮像領域に画像を投射表示する投射型表示手
段を備えることが好ましい。これにより、撮像領域に画
像を投射して、入力したい位置を直接視覚的に見分ける
事ができるため、高速でかつ簡単に入力するための補助
となることができる。
【0014】さらに、上記本発明の入力システムにおい
ては、前記投射型表示手段は、前記ステージ上にメニュ
ー画面を有する画像を投射表示してなり、前記ステージ
上の前記メニュー画面の項目の表示位置を所定期間指示
した状態を検出したときに、前記メニュー画面の項目の
選択を確定する判別手段を備えることが好ましい。これ
により、投射表示したメニューを指示するだけで、他の
判別手段を用いることなく、選択したメニューを認識し
て実行することができる。
【0015】さらに、上記本発明の入力システムにおい
ては、前記撮像領域にて指示位置に載置される指示部材
を、情報が表示された情報表示媒体とし、前記撮像手段
は、前記情報表示媒体を撮像してなり、前記画像処理手
段は、前記撮像手段が撮像した画像情報から、前記情報
表示媒体の位置を指示位置として検出すると共に、前記
情報表示媒体に表示された情報を認識することが好まし
い。これにより、情報表示媒体を撮像領域の任意の場所
に置くだけで、そこに表示された情報に対応する画像情
報を表示することができると共に、情報表示媒体が置か
れた位置の座標情報も合わせて入力することができる。
【0016】さらに、上記本発明の入力システムにおい
ては、前記情報表示媒体は、ファイル名、画像情報或い
は機能情報を示す情報が表示されていることが好まし
い。これにより、ファイル名、画像情報又は機能情報等
をキーボードやマウス等による特別な入力操作をする事
なしに、入力することができる。特に、前記情報表示媒
体は、2次元コードが情報として表示されていることが
好ましく、そうすることにより、情報量が多く、安価
で、かつ小型な媒体で実施することができる。
【0017】さらに、上記本発明の入力システムにおい
ては、前記情報表示媒体は、実行ファイルのファイル名
又はその実行命令が情報として表示され、前記画像処理
手段は、前記ファイル名又はその実行命令を認識する
と、認識した前記実行ファイルを処理することが好まし
い。それにより、情報表示媒体を撮像領域に置くだけ
で、関連するファイルを読み出したり、検索したりする
ことができ、情報処理の命令入力が簡易となる。
【0018】さらに、上記本発明の入力システムにおい
ては、前記ステージ上には、指示操作によって発光する
複数の発光部を備え、前記撮像手段によって前記発光部
の発光を撮像し、前記画像処理手段は、前記撮像手段に
より撮像された画像情報から前記発光部の発光位置を指
示位置として検出することが好ましい。これにより、画
像処理装置とは別の指示部材によって、容易に指示位置
を入力することができるため、安価で、かつ指示部材の
検出速度を高速にすることができる。
【0019】さらに、上記本発明の入力システムにおい
ては、前記撮像領域には、消去可能な情報が指示具等に
よって記述され、所定期間後或いは任意に、前記情報が
消去されるように構成することが好ましい。これによ
り、記録した表示情報を消去する手間が省け、また、誤
入力をすることもない。
【0020】さらに、上記本発明の入力システムにおい
ては、前記撮像手段と前記ステージの距離を調整するこ
とにより、前記撮像領域の大きさを可変する手段を備え
ることが好ましい。これにより、撮像領域が容易に拡大
/縮小でき、撮像領域内を指示する際の入力操作を行い
やすくできる。入力したい情報に応じて撮像領域を容易
に可変することができるため、細かな情報を提示したい
時にも適している。
【0021】さらに、上記本発明の入力システムにおい
ては、前記画像処理手段は、前記撮像領域に対して前記
投射表示手段により表示された画像領域の位置関係か
ら、当該画像領域を前記撮像領域の座標軸において規定
することが好ましい。
【0022】これにより、撮像領域とそこに投射する画
像領域のエリアサイズが異なる場合でも、容易に座標軸
の整合をとることができるため、マウスのような相対座
標として検出するのではなく、指し示された場所がその
まま指示座標として検出でき、スムーズな入力が可能と
なる。
【0023】また、本発明の表示システムは、上記の入
力システムと、表示装置とを備えた表示システムであっ
て、前記画像処理手段は、前記撮像手段によって撮像さ
れた画像情報から検出した前記指示位置に基づき、当該
指示位置に対応する表示画面の位置に画像表示できるよ
うに画像信号を生成し、前記表示装置は、前記表示画面
の位置に前記画像信号に基づく画像表示を行うことを特
徴とする。これにより、撮像領域にて指示部材等で指示
した位置に対応する表示画面の位置に、画像を表示する
ことができる。
【0024】さらに、上記本発明の表示システムにおい
て、前記指示位置に対応する表示画面の位置に表示する
画像は、カーソル画像とすることが好ましい。また、前
記指示位置に対応する表示画面の位置に表示する画像
は、前記撮像領域内の前記指示位置に載置された情報表
示媒体が表示する情報に対応する画像とすることが好ま
しい。これにより、カーソル画像やカーソル画像以外の
画像を、撮像領域にて指示した位置に対応させた表示画
面位置に、表示することができる。
【0025】また、本発明の表示システムは、ステージ
上の撮像領域を撮像する撮像手段と、前記撮像手段によ
り撮像された画像情報から、前記撮像領域内において表
示された情報を認識し、その情報に対応する情報処理を
行い、その結果としての画像情報を生成する画像処理手
段と、前記画像処理手段によって生成された画像情報に
応じた画像を表示する表示装置とを備えることを特徴と
する。これにより、撮像領域に情報表示する簡単な操作
で、それに対応した画像を表示画面中に表示することが
できる。
【0026】また、本発明のプレゼンテーションシステ
ムは、上記表示システムを用いたプレゼンテーションシ
ステムであって、前記画像処理手段は、前記撮像領域内
において説明者が指示した位置を、前記撮像手段が撮像
した画像情報から判別し、前記表示装置に対して表示画
面中の前記指示位置に対応する所定位置に指示に応じた
画像を表示させることを特徴とする。これにより、撮像
領域にて指示部材等で指示した位置に対応する表示画面
の位置に、画像を表示することができるので、プレゼン
テーションが行い易くなる。
【0027】また、本発明のプレゼンテーションシステ
ムは、上記表示システムを用いたプレゼンテーションシ
ステムであって、前記画像処理手段は、前記撮像領域内
に載置または記述した情報を、前記撮像手段が撮像した
画像情報から判別し、判別した情報に応じた情報処理を
実行させることを特徴とする。これにより、プレゼンテ
ーション中に、撮像領域に載置または記述した情報に応
じた情報処理を行わせることができるので、情報処理の
命令入力が簡単となる。
【0028】さらに、上記本発明のプレゼンテーション
システムにおいて、前記画像処理手段は、前記撮像領域
内に載置または記述した情報に基づき情報処理した結果
の画像を前記表示装置に表示させることが好ましい。こ
れにより、情報処理させた結果の画像を表示装置に表示
させることができるため、種々の画像を用いたプレゼン
テーションを行うことができる。
【0029】また、本発明の情報記憶媒体は、コンピュ
ータで処理可能な情報を記憶する情報記憶媒体であっ
て、撮像領域を撮像して得られた画像情報に基づいて、
前記撮像領域内における指示位置を検出する処理情報
と、前記指示位置に対応する表示装置の画面の位置に所
定の画像を表示せしめる処理情報とを記憶することを特
徴とする。これにより、情報記憶媒体を装着することに
より、撮像領域内の指示位置を検出して、それを表示画
面中に画像として展開させることができるようになる。
【0030】また、本発明の情報記憶媒体は、コンピュ
ータで処理可能な情報を記憶する情報記憶媒体であっ
て、撮像領域を撮像して得られた画像情報に基づいて、
前記撮像領域内に載置または記述された情報を認識する
処理情報と、認識した情報に対応する情報処理を選択し
て実行させ、実行した情報処理の結果の画像を表示装置
の画面に表示せしめる処理情報とを記憶することを特徴
とする。これにより、情報記憶媒体を装着することによ
り、撮像領域内に示された情報を認識して、それを表示
画面中に画像として展開させることができるようにな
る。
【0031】
【発明の実施の形態】以下、図面等を参照して、本発明
の実施の形態について、さらに詳しくに説明する。
【0032】(第1実施形態)図1は、本発明によるプ
レゼンテーションシステムの第1実施形態を示す外観斜
視図である。このプレゼンテーションシステムは、入力
装置10と、画像処理装置20と、表示装置30等とを
含むものである。また、入力システムは、入力装置10
と、画像処理装置20と、入力手段となる指示具51等
を含むものである。プレゼンター(使用者)50は、指
示具51などを用いて、ステージ11上の撮像エリアE
を指示しながら、プレゼンテーションを行う。表示装置
30はプロジェクタであって、画像処理装置20から供
給された画像情報に基づき、スクリーン40上に画像を
投射表示させるものである。
【0033】入力装置10は、原稿を画像入力する書画
カメラの役割を果たす装置であって撮像エリアEを規定
するためのステージ11と,このステージ11の端部に
略垂直に設けられ、上下に伸縮する支持アーム12と,
この支持アーム12の上端に設けられ、撮像エリアEを
撮像する撮像手段となるCCDカメラ13等とを備えて
いる。
【0034】図2は、第1実施形態に係るプレゼンテー
ションシステムの入力装置を示す斜視図である。この入
力装置10は、図2(a)に示すように、支持アーム1
2を上下にスライドして(矢印C)、伸縮することによ
って、CCDカメラ13の位置を変化(矢印D)させる
ことができる。CCDカメラ13は、その下面(ステー
ジ11と対向する面)に、半導体レーザー(又はLED
等)を用いた3個の発光部13a〜13cを備えてお
り、図2(b)に示すように、ステージ11上に各発光
部の発光によって指示マークM1,M2,M3を照射し
て、撮像エリアAを明確にするようにしている。このと
きに、ステージ11上での発光部13a〜13cの照射
位置は、支持アーム12を伸縮させることによって変化
するので、支持アーム12を伸ばして撮像エリアAを大
きくしたり(E1→E2)、支持アーム12を縮めて撮
像エリアAを小さくしたり(E1→E3)する調整を行
うことができる。
【0035】図3は、第1実施形態に係るプレゼンテー
ションシステムの画像処理装置を示すブロック図であ
る。画像処理装置20は、CPUとメモリを含み、画像
処理を中心とした制御を行う装置であって、指示画像抽
出手段21は、図2に示す撮像部10のCCDカメラ1
3からの撮像画像から指示画像を抽出し、先端位置検出
手段22において、指示画像抽出手段21によって抽出
された指示画像に基づいて、指示具や指先の先端位置を
検出する。先端位置検出手段22によって検出された先
端位置に基づいて、指示座標決定手段23は、指示具や
指により指し示した指示座標を決定する。また、CCD
カメラの解像度とPJの表示解像度とが異なる場合に、
CCDカメラの解像度を示すCCD情報とPJの表示解
像度を示す情報に基づいて、撮像エリアで定義される座
標からPJの表示画面での表示座標に変換を行う倍率を
決定する座標変換倍率決定手段24を備え、指示座標決
定手段23からの指示座標と座標変換倍率決定手段24
からの倍率とに基づいて、表示座標決定手段25が指示
座標に倍率を掛けて表示座標を決定する。
【0036】カーソル位置制御手段26は、表示するカ
ーソル画像のキャラクタデータを記憶するメモリを有
し、表示座標決定手段25によって決定された表示座標
に上記カーソル画像が表示されるように、カーソル画像
のキャラクタデータの色や形状とそれが表示される表示
画面上の画素位置の対応を付ける制御を行う。また、画
像信号生成手段27においては、画像処理装置の内部や
外部に配置されたコンピュータや画像出力源等の画像ソ
ースから供給された画像信号を、表示装置に適した画像
信号に変換して生成する。
【0037】カーソル位置制御手段26からのカーソル
画像及びそれを表示する画素位置の情報と、画像信号生
成手段27からの画像信号とに基づき、カーソル情報合
成手段28において、表示画面に表示される画像信号の
うちの、カーソルを表示する画素位置の画像信号に対し
てカーソル画像信号を重畳することにより合成し、表示
装置30に出力する。
【0038】なお、画像処理装置20では、上記各回路
は、専用の回路で構成してもよいし、プログラムで制御
されるCPU及びメモリを用いてソフトウェア処理によ
り上述の機能をもたせてもよい。また、画像処理装置2
0の機能をブロック化して示した処理命令は、画像処理
装置20に内蔵する或いは外部から挿入されるメモリ等
の情報記憶媒体に、処理情報プログラムとして記憶され
る。この情報記憶媒体は、媒体自体の交換や記憶内容の
書き換えによって、種々の処理を行うことができるよう
になる。以下の各実施形態においても、それぞれの処理
を行う処理情報は、これらの情報記憶媒体に記憶され、
そこから読み出された命令に応じてCPU等のコンピュ
ータによって処理が行われるものである。
【0039】図1に戻って、表示装置30は、画像処理
装置20からの画像情報に基づいて画像を表示する装置
である。この画像情報とは画像信号生成手段27からの
画像信号と必要に応じてそれに重畳されたカーソル画像
信号とからなる信号である。画像信号にカーソル画像信
号が重畳された場合、表示装置30は画像信号による画
像の上にカーソルが位置するように表示する。
【0040】なお、表示装置30によりスクリーン40
上に画像を拡大投写する場合には、フロント型又はリア
型のプロジェクタ(PJ)を用いることができる。 ま
た、表示装置30としては、プロジェクタ(PJ)のよ
うな投写型だけでなく、直視型の液晶表示装置、CR
T、PDP(プラズマディスプレイパネル)、EL(エ
レクトロルミネッセンス)、FED(フィールドエミッ
ションディスプレイ)等の画像表示可能な種々の表示装
置を用いることもできる。この実施形態では、フロント
型のプロジェクタの例を図示している。
【0041】図4,図5は、第1実施形態に係るプレゼ
ンテーションシステムの動作を説明する図であって、図
4は、画像処理装置20における画像処理のフローチャ
ート、図5(a)は入力装置10が撮像する撮像エリ
ア、図5(b)は表示装置30が表示する表示エリアを
それぞれ示す図である。まず、入力装置10のステージ
11上に、発光部13a〜13cからの光を出射(投
射)する。そうすることにより、3つの発光部13の投
射光によってステージ11上に指示マークM1,M2,
M3が示され、その3つの指示マークを頂点として含む
撮像エリアEがステージ11上に規定される。これによ
り、撮像エリアE内の任意の位置を指示具51、もしく
は指等で指し示すことができるようになる(S10
1)。ついで、CCDカメラ13によって、撮像エリア
E内に指示具51や指等で指示した状態を撮像し、指示
画像抽出手段21によって、CCDカメラ13による撮
像画像の中から指示具51や指等で指示された指示画像
だけを抽出する(S102)。ついで、先端位置検出手
段22によって、該抽出された指示画像の形状に基づい
て、指示画像中における指示している先端位置を検出す
る(S103)。なお、先端位置の検出処理は、図6,
図7で詳細に説明する。
【0042】次に、指示座標決定手段23において、検
出された先端位置に基づいて、図5(a)に示すよう
に、撮像エリアE内で示される先端位置に対応する座標
をCCDエリア上の画素位置を指示座標(m,n)とし
て決定する(S104)。そして、この指示座標(m,
n)は、CCDカメラ13に関わるCCD情報(撮像す
る画素の解像度等のデータ)と、表示装置30に関する
PJ情報(表示画面での画素の解像度等のデータ)とに
基づいて、次式に従って表示座標(x,y)に変換され
る。
【0043】 x=m・(表示画面での水平方向の画素数)/(撮像装置での水平方向の 画素数) …(1) y=n・(表示画面での垂直方向の画素数)/(撮像装置での垂直方向の 画素数) …(2) 上記式における表示画面の画素数と撮像装置(CCDカ
メラ)の画素数の比は座標変換倍率決定手段24によっ
て演算され、その演算された倍率にしたがって、指示座
標(m,n)を表示座標決定手段25において演算する
ことにより、表示座標(x,y)が決定される(S10
6)。
【0044】表示座標(x,y)が決定すると、決定さ
れた表示座標に基づいて、カーソル位置制御手段26に
おいて、カーソルの画像情報をカーソル位置の座標に表
示するようにカーソル画像情報とカーソル位置座標を対
応付けて制御する(S107)。具体的には、表示座標
の画素位置にカーソル画像の先端を合わせて、カーソル
画像の各ドットデータとそれを表示する表示画素位置の
対応付けをする。ついで、カーソル情報合成手段28に
よって、画像の一画面内におけるカーソル位置にカーソ
ル画像が表示されるようにカーソル画像信号を画像信号
に重畳して合成する(S108)。ついで、合成後の画
像情報に基づき表示装置30によって表示する(S10
9)。このような処理により、図5(b)に示すよう
に、スクリーン40上の表示エリアF内において、撮像
エリアE内での指示座標(m1,n1)(m2,n2)
と対応する表示座標の画素位置(x1,y1)(x2,
y2)にマウスカーソルRが重畳表示される。
【0045】図6は、図4の先端位置検出処理S103
のサブルーチンを示すフローチャートである。この処理
は、撮像画像から抽出された指示具51や指による指示
画像51aの最も鋭角な画像の位置をポインティング位
置として求めるものである。なお、指示具51等による
指示画像51aの先端がある程度面積をもっている場合
でも、その最も角の座標をポインティング位置、すなわ
ち指示座標として特定する。ステップS200がコール
されると、まずステップS201において、同図(B)
に示すように、指示具51等による指示画像51aの長
手方向両端の点A,Bを検出しておく。この検出処理の
具体例は、図7を用いて後で説明する。
【0046】次に、ステップS202において、指示具
51による指示画像51a以外の画像(例えば、指示具
を握っている手や指)50aがB点に接しているか否か
(又は、近接しているか否か)を判断する。ここで、Y
ESと判断された場合には、図6(C)に示すように、
B点がプレゼンター50が指示具51による指示画像5
1aに接していると考えられるので、その反対側の点A
が指示座標として判別される(S206)。
【0047】一方、ステップS202において、NOと
判断された場合には、ステップS203に進み、指示画
像51aの端部であるB点が図6(D)に示すように、
撮像エリアEの縁(又はその近くに存在する)か否かを
判断する。図6(D)は、プレゼンター50が、撮像エ
リアEの外から、指示具51でステージ11上の撮像エ
リアEの所望の位置をポインティングする場合を想定し
たものである。この場合には、指示具51等による指示
画像51aのB点は、撮像エリアEの縁に存在すること
になるので、その反対側の点Aが指示座標Aとして求め
られる(S206)。なお、このステップS206は、
プレゼンター50が指で撮像エリアEをエリアの外から
手指を伸ばして指し示した場合において、指先を指示座
標と判断するステップにもなる。
【0048】以上の指示画像51aのどちらの先端が指
示座標となるかの判断ステップは、A点が指示座標でな
いと判断されると、同様の考え方で先端B点が指示座標
か否かの判断ステップに移行する。
【0049】ステップS203において、NOと判断さ
れた場合には、ステップS204へ進み、指示具51に
よる指示画像51a以外の画像50aとA点が接してい
るか(又は近接しているか)が判断される。ここで、Y
ESと判断された場合には、B点が指示座標として求め
られる(S207)。
【0050】ステップS204において、NOと判断さ
れた場合には、ステップS205に進み、指示画像51
aの端部であるA点が、撮像エリアEの縁上の点か(又
は近接する点か)否かが判断される。ここでYESと判
断された場合には、B点が指示座標として求められる
(S207)。最終的に、NOと判断された場合には、
検出エラー出力される(S208)。
【0051】以上説明したように、本実施形態では、ス
テップS202,S203の処理により、プレゼンター
50により指示する位置がステージ11の撮像エリアE
に向かって左側からのときの先端検出の方法を示してい
る。また、S204,S205の処理は、ステージ11
の撮像領域Eに向かって右側からの指示の場合の先端検
出の方法を示しており、指示具51による指示画像51
aの両端のA点、B点のいずれがポインティング位置で
あるかを判断し、このポインティング位置を指示座標
(n,m)の2次元座標として検出する。
【0052】図7は、図6のステップS201の処理の
具体例を示す図である。図7(a)は、指示具51等に
よる指示画像51aが真横方向、(b)は縦方向、
(c)は斜め方向に向いている場合をそれぞれ示してい
る。なお、指示具51の指示画像51a及びその先端の
形状や大きさは、使用した指示具51の形態により異な
り、丸形や四角形、または多角形の何れでもよく、本実
施形態においては、細長い楕円状の形状について説明す
る。
【0053】指示具51等によってできる指示画像51
aの両端の座標を求めるためには、まず、図7に示すよ
うに、撮像エリアEの左上の座標を原点(m,n)=
(0,0)として、撮像エリアE内における指示具51
による指示画像51aのうちの各座標軸の値がそれぞれ
最小,最大の4点(座標上で最も端の点、つまり、どの
方向に対してもそれ以降に検出座標が存在しない点)を
a,b,c,dとして求める。
【0054】 a(mmin,na) b(mmax,nb) c(mc,nmin) d(md,nmax) そして、a,b,c,dが、(mmax−mmin)>(n
max−nmin)の条件を満足した場合には、aとbの点
を、ステップS201における指示具51などによる指
示画像51aの両端の点A,Bとして特定し、また、
a,b,c,dが、(mmax−mmin)<(nmax
min)の条件を満足した場合には、c,dの点を指示
具51等による指示画像51aの両端の点A,Bとして
特定する。
【0055】従って、図7に示した指示具51等による
指示画像51aの状態の場合には、(a)と(c)は、
a,b座標が長手方向の端点、(b)は、c,d座標が
長手方向の端点として検出される。なお、本実施形態で
は、指示具51等を移動しながら指示する場合には、指
示画像51aの時系列データに基づいて、常に後から指
示した位置を指示座標として検出し、その検出位置の座
標データを出力する。
【0056】なお、本実施形態では、具体的には、指示
具51を用いた指示画像51aを検出して指示位置の検
出を行ったが、これ以外の指示部、例えばプレゼンター
50の指によってできる画像を指示点の指示画像として
認識し、指の先端位置を指示位置として自動認識しても
よい。
【0057】以上説明したように、第1実施形態によれ
ば、撮像エリアE内を指示した指示具51等の指示位置
を指示画像から検出して、その指示位置に対して対応す
る表示画面上での位置にカーソル画像を表示できる。表
示装置30としてプロジェクタを用いる場合には、説明
者の近傍に配置される近接撮像用のCCDカメラ13を
用いて、説明者から離れた位置にあるスクリーン40上
の画像上での指示を行うことができる。
【0058】また、発光部13a〜13cによって、撮
像エリアEを視覚的に確認できるため、説明者は指示し
たい場所の大まかな位置が直感的に分かる。このとき
に、支持アーム12を伸縮させることにより、撮像エリ
アEの大きさを容易に調整することができるため、指示
したい場所の情報に応じて、微妙な位置のポインティン
グも可能になる。すなわち、撮像エリアEを広げること
により、撮像エリアE内のドット(画素)が大きくなる
ので、表示画像の細かい部分に対応して指示することが
できるようになる。更に、撮像エリアEを大きく設定し
ておけば、ドットが大きくなり、指し示し易くなるの
で、マウスの操作ように指し示したい所定位置まで微調
整することが少なくて済むため、操作性に優れている。
【0059】(第2実施形態)次に、本発明によるプレ
ゼンテーションシステムの第2実施形態を図面を用いて
説明する。なお、以下に説明する実施形態では、前述し
た第1実施形態と同様な機能を果たす部分には、同一の
符号を付して重複する説明を適宜省略する。第2実施形
態は、第1の実施形態における入力装置10に代えて、
ステージ11上に画像を投射する書画用プロジェクタ
(書画用PJ)14が付加された入力装置10Bを備え
たものである。
【0060】図8は本実施形態におけるプレゼンテーシ
ョンシステムにおける入力装置10Bを示すブロック図
である。書画用PJ14は、図8(a)に示すように、
ランプ14aと、ランプ14aからの光を画像信号に従
って変調する変調素子(ライトバルブ)14b等を備え
ている。変調素子14bからの透過光は、ハーフミラー
15を通過して、投射・撮像兼用のレンズ16を介し
て、ステージ11上に投射される。一方、ステージ11
上の画像は、レンズ16を通して、ハーフミラー15で
反射され、撮像手段であるCCDカメラ13で撮像され
る。
【0061】また、図8(b)のように、ハーフミラー
15の代わりに、光選択反射膜15−21,15−22
を内部にX字状に形成したクロスプリズム15−2を用
いてもよい。この場合、ランプ14aと変調素子14b
の間に、ランプからの光の偏光軸を例えばS偏光に揃え
る偏光変換素子14cを配置し、クロスプリズム15−
2の光選択反射膜15−21がS偏光光束を反射し、光
選択反射膜15−22がP偏光光束を反射するように設
定し、偏光変換素子14cから射出されるS偏光光束を
光選択反射膜15−21でステージ11側に反射し、ス
テージ11側からの光のうちのP偏光光束を光選択反射
膜15−22でCCDカメラ13側に反射するように設
定している。このようにすると、ランプ14aの光がC
CDカメラ13に飛び込むことを防止できる。
【0062】図9は、第2実施形態に係るプレゼンテー
ションシステムの入力装置10Bを上から見た図であ
る。図9(a)は、何も置かれていないステージ11の
表面を撮像している(第1実施形態の場合)状態であ
る。これに対して、図9(b)は、入力装置10Bに内
蔵された書画用PJ14からの投射画像Gがステージ1
1上に投射されている。投射画像Gは、撮像エリアE内
に投射されるものであり、例えば、ステージ11上に、
基本OSの画面にアイコンG1,アプリケーションソフ
トの画面G2等を表示したりするようにできる。投射す
る画像は、画像信号生成手段27から出力され、表示装
置30が投射する画像信号(カーソル画像合成前の画像
信号)に基づく画像でも、表示される画像信号とは異な
るメニュー画面等の画像信号に基づく画像(表示画像と
は異なる画像)でも構わない。
【0063】ここで、撮像系の制御と書画用PJの投射
系の制御とがそれぞれ独立しているので、撮像エリアE
と投射画像エリアGの大きさが等しい場合には、座標調
整の校正をする必要はない。撮像エリアE=投射画像エ
リアGの関係が成り立つため、第1の実施形態での図4
〜図7で説明した方法と同様にして、撮像した画像から
直接的に指示座標が検出できる。
【0064】また、撮像エリアE≠投射画像エリアGの
場合には、CCDカメラ13から入力された画像を基に
して、撮像エリアEと投射画像エリアGを対応付けるた
めの座標軸の校正が必要である。このような校正処理
は、画像処理装置20の指示位置検出手段22において
行なわれる。まず、少なくとも撮像エリアE内に表示さ
れた投射画像エリアGの対角に離れた頂点2点を指示具
51等で指示し、その撮像画像から図6に説明した手順
で指示画像51aを抽出し、先端位置を判別する。次
に、2つの先端位置の座標情報から撮像エリアE上の2
つの位置関係がわかるため、これにより撮像エリアE内
の投射画像エリアGの位置が判明する。従って、CCD
カメラ13の撮像画像と投射画像エリアの対応関係が明
らかになれば、投射画像エリアGに対応した校正座標が
定義でき、この座標と新たに指示されて検出された指示
座標との位置関係の対応を取ることで校正が完了し、指
示された位置を絶対座標として検出可能になる。
【0065】図10は、本実施形態において、ステージ
11上にて、撮像エリアE>投射画像エリアGの関係に
ある場合の校正処理のフォローチャートを示す図であ
る。図10(a)において、図4のステップ101のよ
うに撮像エリアEが指示されると、校正処理のサブルー
チンがスタートする(S701)。ついで、図10
(b)のように、指示具51等により書画用PJによる
投射エリアGの左上隅と右下隅を指し示し、それを各々
CCDカメラ13により撮像する(S702)。撮像し
た指示具51等による指示画像から先端位置を検出する
方法は、先に説明した図4の先端位置検出処理S103
のサブルーチンを示すフローチャートと同じである。つ
いで、CCDカメラ13による撮像エリアEにおける指
示位置の座標を検出し、これにより、図10(c)に示
すように、撮像エリアEの座標上における書画用PJに
よる投射画像エリアGの頂点A(a,b)と頂点B
(c,d)の座標が判別される(S703)。そうする
と、後のプレゼンテーションにおいて、指示具等で指し
示した座標は(e,f)という、CCDカメラ13の画
素エリア内での座標で検出されることとなる。つぎに、
ステージ11上を指し示した指示座標と表示装置30に
よる表示画面の座標の座標変換倍率の演算式を決定する
(S704)。撮像エリアE内の指示位置座標(e,
f)を表示画面の表示座標(x,y)に変換する変換式
は次の通りとなる。
【0066】 x=[(e−a)/(c−a)]・(表示画面での水平方向の画素数)(3) y=[(f−b)/(d−b)]・(表示画面での垂直方向の画素数)(4) ついで、校正処理により座標変換式が求まると、校正の
仕直しをするかを判断し(S705)、YESであれば
再び校正処理を開始し、NOであれば、校正処理は終了
として上記変換式を登録して、指示開始できる状態とな
る(S706)。例えば、撮像エリアE内での投射画像
エリアGの頂点座標A(a,b)は上記変換式によって
(x,y)=(0,0)となり、頂点座標B(c,d)
は上記変換式によって(x,y)=(表示画面の水平方
向の最大画素,表示画面の垂直方向の最大画素)とな
り、指示座標(e,f)は上記変換式によって求められ
る。
【0067】図11は、第2実施形態に係るプレゼンテ
ーションシステムの画像処理装置を示すブロックであ
る。第2実施形態の画像処理装置20Bは、図3の第1
実施形態の画像処理装置20に、スケーリング回路29
を付加したものであって、その他の構成は第1実施形態
と同じである。但し、座標変換倍率決定手段24におい
ては、CCD情報(CCDカメラの画素の解像度等のデ
ータ)とPJ情報(表示画面での画素の解像度等のデー
タ)と書画用PJ情報(書画用PJによる表示画面での
画素の解像度等のデータ)に基づいて、図10(a)の
ステップS704にて説明したように、撮像装置での座
標から表示座標を求める座標変換式を演算する機能に変
更されている。
【0068】スケーリング回路29は、座標変換倍率決
定回路24からの倍率情報に基づいて、画像信号生成回
路27からの画像信号を、書画用PJ14の変調素子1
4bの画素数に適したフォーマットに変換する回路であ
り、その出力は、書画用PJ14に接続されている。こ
こで、書画用PJ14は、撮像エリアE上に大まかな投
射画像Gさえ投射できればよい為、PJ30の有する解
像度とは異なっていてもよく、安価に構成するにはPJ
30の解像度より少ない解像度のデバイスを用いること
が多いからである。
【0069】図12は、第2実施形態に係るプレゼンテ
ーションシステムの動作を説明する図であって、図12
(a)は入力操作を示す説明図、図12(b)は画像処
理動作を示すフローチャートである。まず、S301に
おいて、メニュー画面を表示すると、書画用PJ14に
よって図12(a)のような投射画像Gがステージ11
上に表示される。この投射画像Gは、例えば、メニュー
g1〜g5等が表示されているものとする。この投射画
像G上を指示具51等で指示する(S301)と、第1
実施形態の図6で説明したのと同様に、指示画像51a
の境界を抽出して、指示画像51aを認識する画像認識
処理が行われる(S302)。そして、図6での説明と
同様に先端位置を検出することによって(S303)、
投射画面Gのどのメニューg1〜g5が指示されている
かを認識する。指示具51等がそのメニューg1〜g5
の位置に停止している時間を検出して(S304)、指
示具51等による指示画像がメニューg1〜g5上に所
定時間停止していた場合に(S305)、その指示位置
のメニュー項目を選択したと判断して、メニューg1〜
g5から選択された項目のプログラムを画像処理装置2
0Bにおいて実行する(S306)。その実行結果は、
必要に応じて、画像信号生成手段27から出力される画
像信号として、表示装置30や書画用PJ14に出力さ
れ、表示装置30による表示画面や書画用PJ14によ
る表示画面での表示内容に反映される。
【0070】なお、図11のブロック図から明らかなよ
うに、第1実施形態と同様に、カーソル画像はカーソル
情報合成手段28にて画像信号に重畳されて合成される
ものであり、この合成後の信号は表示装置30に供給さ
れるため、書画用PJ14による投射画像にはカーソル
画像は含まれない。その方が、ステージ11上で、指示
具51とカーソル画像が重なって説明者が見にくくなる
ことが無くて好ましい。
【0071】以上説明したように、第2実施形態によれ
ば、書画用PJ14を備えているので、ステージ11上
に投射画像を投射して、その投射画像内での指示位置に
関連させた情報をCCDカメラ13で直接入力でき、直
ちに、電子化等をすることができる。また、書画用PJ
14からメニュー画面を投射表示し、そのメニュー画面
中の選択項目の表示位置を指示具等で所定時間指示する
ことにより、その選択項目が選択されたことと判断し、
その項目に応じて画像処理装置が処理を実行するので、
マウスを用いて指示するような操作をより簡単に行うこ
とができる。マウスにより入力する場合のように外部か
らの入力情報をインターフェースする必要もないため、
安価で操作性に優れるという効果がある。
【0072】なお、本実施形態においては、画像処理装
置20Bは、専用の回路で構成して上記の処理を行なっ
てもよいし、プログラムで制御されるCPU及びメモリ
を用いてソフトウェア処理により上述の機能をもたせて
もよい。また、画像処理装置20Bの機能をブロック化
して示した処理命令は、画像処理装置20Bに内蔵する
或いは外部から挿入されるメモリ等の情報記憶媒体に、
処理情報プログラムとして記憶される。この情報記憶媒
体は、媒体自体の交換や記憶内容の書き換えによって、
種々の処理を行うことができるようになる。以下の各実
施形態においても、それぞれの処理を行う処理情報は、
これらの情報記憶媒体に記憶され、そこから読み出され
た命令に応じてCPU等のコンピュータによって処理が
行われるものである。
【0073】(第3実施形態)次に、本発明によるプレ
ゼンテーションシステムの第3実施形態を図面を用いて
説明する。なお、以下に説明する実施形態では、前述し
た第1実施形態と同様な機能を果たす部分には、同一の
符号を付して重複する説明を適宜省略する。図13は本
実施形態によるプレゼンテーションシステムを示すブロ
ック図である。図14は第3実施形態に係るプレゼンテ
ーションシステムにおけるステージ11上の撮像エリア
Eと表示装置30による表示画像の関係を示す説明図で
ある。
【0074】第3実施形態は、図14に示すように、ス
テージ11上に情報表示媒体(例えば二次元バーコード
66が印刷されたカード)65を置き、その二次元バー
コード66に示されたデータを読み込んで、そこに示さ
れたデータに基づき各種処理を実行しようとするもので
ある。
【0075】第3実施形態の画像処理装置20Cにおい
ては、図13に示すように、第1実施形態と異なる部分
は破線で囲んだ部分となる。この破線部内には、撮像装
置であるCCDカメラ13で撮像された画像を処理し
て、その中から情報表示媒体65に記された情報を認識
する画像処理&認識手段61と、画像処理&認識手段6
1が認識した情報表示媒体65に記された情報と不図示
のメモリ(記憶手段)に予め登録された画像情報に割り
付けられた符号データとを照合する情報照合手段62
と、情報照合手段62により照合結果が一致した画像情
報のデータを、メモリからデータ抽出するデータ抽出手
段63とを備える。情報照合手段62が記憶する画像情
報と符号データとは、画像処理装置30Cの内部に予め
記憶させておいてもよいし、外部からこのメモリに対し
て画像情報とこれに対応する符号データを供給して記憶
させてもよい。
【0076】データ抽出手段63によって抽出した画像
データは、カーソル位置制御手段26において、指示位
置に対応する表示画面上の座標に表示させるカーソル画
像信号として扱われる。先の実施形態においては、カー
ソル位置制御手段26が有するメモリにカーソル画像の
キャラクタデータが記憶されていたのであるが、本実施
形態では、そのカーソル画像のデータをデータ抽出手段
63から供給された画像情報に置き換えるようになって
いる。従って、指示座標に対応する表示画面の画素位置
にデータ抽出手段63からの画像が重畳表示されるよう
に、カーソル情報合成手段28において、画像信号生成
手段27からの画像信号にカーソル画像信号を重畳して
表示装置30へ出力する。
【0077】例えば、図14の例では、撮像エリアE内
に配置されたカード65の二次元バーコード66の画像
をCCDカメラ13により撮像した画像から抽出すると
共にここに記された画像が示す符号データを認識し、こ
の符号データが示す画像情報を抽出して画像信号に変換
する。そして、このカード65が置かれた座標も検出し
て、それに対応した表示画面の位置に、バーコード66
に記された符号データが示す画像信号による画像67が
投射表示される。
【0078】先端位置検出手段22は、カード65が置
かれた位置を指示位置の情報として認識し、図14
(A)に示すように、カード65をからへ移動させ
ると、スクリーン40上の画像67もからへ移動す
る。なお、画像67は、投射エリアの端の方では、画像
サイズを変更して、常に全体が見えるように制御されて
いているか、あるいは、画像サイズは常に一定のまま画
面からはずれる(切れる)ように構成されていてもどち
らでも良い。
【0079】図15は、第3実施形態に係るプレゼンテ
ーションシステムの動作を示すフローチャートである。
図4の場合と同様にして、情報表示媒体である二次元バ
ーコード66の置かれた位置をその画像を抽出すること
により、その抽出した指示画像の中から指示位置を示す
位置を検出し(S401)、撮像エリアE内で示される
先端位置に対応するCCDエリア上の画素位置を指示座
標として決定(S402)した後に、バーコード65に
記された画像の認識を行い(S403)、そのバーコー
ド65の符号データを記憶手段に記憶した複数の画像情
報に各々割り当てられた符号データと順次照合してみる
(S404)。ここで、データ照合が不一致の場合に
は、新たな画像情報に対応する符号データの入力を行っ
て(S406)、記憶手段に記憶された画像情報に対応
する符号データとバーコード65の符号データが一致す
るまで照合を繰り返す。データの照合が合致された場合
には、ステップS407にジャップして、一致した符号
データに対応する画像情報のデータを記憶手段から読み
出し(抽出)、これをカーソル位置に表示する画像信号
としてカーソル位置制御手段26に供給し、最終的に表
示装置30により表示する(S408)。
【0080】なお、図15(B)に示すように、ステッ
プS403の後に、ネットワークでホスト端末に接続し
て(S409)、ホストコンピュータにおいてS404
〜407のデータ照合処理を行ない、一致したデータに
対応する画像情報をネットワークを介して画像処理装置
20Cに転送し(S410)、先に説明した手順のよう
に表示装置30により表示する(S408)ようにして
もよい。 また、二次元バーコードの例で説明したが、
二次元ドットコードなど、他の形態であってもよい。
【0081】図16は、第3実施形態に係るプレゼンテ
ーションシステムの変形形態を示す図である。情報表示
媒体としてのカード68は、ファイル名68aが記載さ
れており、画像処理&認識手段61のOCR機能によ
り、文字情報として認識し、図16(b)に示すよう
に、アプリケーションソフト画像69を自動的に起動す
るようにしたものである。情報照合手段62では、画像
処理&認識手段61により認識された文字情報に応じ
て、その文字情報が示すソフトウエアを照合し、そのソ
フトウエアをデータ抽出手段63が抽出し、これを実行
することにより、その実行結果となる画像を、カーソル
位置制御手段26に供給することによって、先に説明し
た手順で表示装置30により、そのアプリケーションソ
フトの画面が指示位置に表示されることになる。
【0082】以上説明したように、第3実施形態によれ
ば、二次元バーコードやファイル名などが表示された情
報表示媒体を、ステージ11上に置くだけで、その情報
表示媒体に記された情報に対応する処理を、実行するこ
とができるので、簡単かつ迅速に、情報の入力を行っ
て、その場で表示することができる。また、単に画像を
読み出す操作や処理だけではなく、それぞれの情報表示
媒体の置かれた場所の位置情報も合わせ持つため、表示
画像の編集などにも便利である。
【0083】なお、本実施形態においては、画像処理装
置20Cは、専用の回路で構成して上記の処理を行なっ
てもよいし、プログラムで制御されるCPU及びメモリ
を用いてソフトウェア処理により上述の機能をもたせて
もよい。また、画像処理装置20Cの機能をブロック化
して示した処理命令は、画像処理装置20Cに内蔵する
或いは外部から挿入されるメモリ等の情報記憶媒体に、
処理情報プログラムとして記憶される。この情報記憶媒
体は、媒体自体の交換や記憶内容の書き換えによって、
種々の処理を行うことができるようになる。以下の各実
施形態においても、それぞれの処理を行う処理情報は、
これらの情報記憶媒体に記憶され、そこから読み出され
た命令に応じてCPU等のコンピュータによって処理が
行われるものである。
【0084】(第4実施形態)次に、本発明によるプレ
ゼンテーションシステムの第4実施形態を図面を用いて
説明する。なお、以下に説明する実施形態では、前述し
た第1実施形態と同様な機能を果たす部分には、同一の
符号を付して重複する説明を適宜省略する。また、画像
処理装置20や表示装置30の構成は、基本的に第1実
施形態と同様である。
【0085】図17は、本実施形態によるプレゼンテー
ションシステムを説明するための図である。図17
(b)は入力装置10の概観図を示し、図17(c)は
入力装置10の平面図を示している。図17(c)に示
すように、この入力装置10のステージ11には、マト
リクス状に配列された発光部11aを有する専用のパレ
ット機能を備え、確定用スイッチ(例えば、マウスの左
ボタンのようなもの)の代わりをさせることができるも
のである。マトリクス発光部11aは、その発光部の上
を指示具51等で押下することにより、その位置の発光
部11aが発光するように構成されている。発光部11
aが発光素子を内蔵したスイッチ構造になっていればよ
い。
【0086】図17(a)は、本実施形態の入力装置1
0及び画像処理装置20における画像処理のフローチャ
ートを示す図である。指示具51等でステージ11のパ
レット上の指示位置を押下すると、その位置の発光部1
1aが発光する(S501)。そうすると、撮像手段で
あるCCDカメラ13は、その発光位置の座標を検出す
る(S502)。つまり、その発光位置が指示具51等
で指示された指示画像の先端位置となるので、この発光
位置の座標を算出することにより指示座標を得る。先の
実施形態においては、図6にて説明したように、指示画
像の影の形状に基づいて先端位置と指示位置を判別した
が、本実施形態においては、指示位置検出手段22が、
CCDカメラ13の撮像した画像の中で輝度の高い位置
を指示位置として検出すればよいので、撮像した画像処
理が非常に簡単になる。この発光部11aの位置には、
それに対応する各種の情報処理が割り当てられている。
従って、発光部11aの座標を撮像した画像から検出す
ることにより、その発光位置に割り当てられた情報処理
メニューを検出する(S503)。ついで、検出された
情報処理メニューを実行する(S504)。この実行結
果により選られた画像情報は、先の実施形態で説明した
手順と同様に、例えば図16(b)に示したように、ア
プリケーションソフト画像69として、表示画面40に
表示される。なお、図16(b)では、指示位置に選択
した情報処理メニューに基づく画像を展開して表示した
が、本実施形態では、これに限ることなく、選択した情
報処理メニューの実行結果として選られた画像は、表示
画面全体に表示するようにしても構わない。また、第1
実施形態のように、発光位置の座標に対応した表示画面
内の座標の位置にカーソル画像やその他の所定画像を表
示させたりしてもよい。
【0087】第4実施形態によれば、ステージ11は、
押した位置の発光部11aが発光するだけで、指示位置
を入力することができ、従来のデジタイザのように外部
の他の機器にインターフェースを取る必要がないため、
汎用性が高く、使い勝手に優れる。
【0088】なお、本実施形態においては、画像処理装
置20は、専用の回路で構成して上記の処理を行なって
もよいし、プログラムで制御されるCPU及びメモリを
用いてソフトウェア処理により上述の機能をもたせても
よい。また、画像処理装置20の機能をブロック化して
示した処理命令は、画像処理装置20に内蔵する或いは
外部から挿入されるメモリ等の情報記憶媒体に、処理情
報プログラムとして記憶される。この情報記憶媒体は、
媒体自体の交換や記憶内容の書き換えによって、種々の
処理を行うことができるようになる。以下の各実施形態
においても、それぞれの処理を行う処理情報は、これら
の情報記憶媒体に記憶され、そこから読み出された命令
に応じてCPU等のコンピュータによって処理が行われ
るものである。
【0089】(第5実施形態)図18は、本発明による
プレゼンテーションシステムの第5実施形態を示す図で
ある。なお、以下に説明する実施形態では、前述した第
1実施形態と同様な機能を果たす部分には、同一の符号
を付して重複する説明を適宜省略する。また、画像処理
装置20Cや表示装置30の構成は、基本的に第1実施
形態や第3実施形態と同様である。
【0090】第5実施形態は、図18(b)に示すよう
に、紫外線の照射によって消去可能なインキを用いたペ
ン52を使用して、入力装置10におけるステージ11
上の撮像エリアEに、必要事項を書くことによって、そ
の画像を撮像して情報入力しようとするものである。こ
の場合に、入力装置10のCCDカメラ13の内部又は
外部に紫外線ランプ15が設けられている。
【0091】図18(a)は、本実施形態の入力装置1
0及び画像処理装置20Cにおける画像処理のフローチ
ャートを示す図である。ステージ11上に対するペン5
2の記述をCCDカメラ13によって撮像すると(S5
01)、画像処理装置20Cは撮像したペン52による
文字情報を、図13に示した画像処理装置20Cの画像
処理&認識手段61において認識し、認識した情報に応
じた処理が情報照合手段62によって照合され、照合さ
れた処理が画像処理装置20C内部または外部装置の処
理手段(図13には図示しない)において実行され、そ
の実行結果として得られた画像データがデータ抽出手段
63により取り出され、先に説明したのと同様な手順
で、カーソル情報合成手段28から出力される画像信号
にその画像データが含まれ、表示装置30により表示さ
れる。その表示画像は、図16(b)のアプリケーショ
ンソフトの画像67のように表示されるものである。
【0092】また、ペン52による記述を撮像してから
時間の計測が開始される(S502)。計測開始から所
定時間経過した場合には(S503)、入力装置10に
備えた紫外線ランプ15によってステージ11に対して
紫外線を照射し(S504)、図18(b)に示すよう
に、ペン52によって書かれた内容が消去される。ま
た、S502の計時の替わりに、スイッチ操作等による
消去命令の入力によって使用者が何時でも自由に消去す
る事が出来るようにしても良い。
【0093】第5実施形態によれば、ステージ11上に
書いた文字などは、自動的に消去することができるの
で、ホワイトボードのように全面に記述し終わった後
に、一々手で消す動作が不要になり、プレゼンテーショ
ン中に消すなどの煩わしさや、誤入力などがなく、利便
性に優れている。
【0094】なお、本実施形態においては、画像処理装
置20Cは、専用の回路で構成して上記の処理を行なっ
てもよいし、プログラムで制御されるCPU及びメモリ
を用いてソフトウェア処理により上述の機能をもたせて
もよい。また、画像処理装置20Cの機能をブロック化
して示した処理命令は、画像処理装置20Cに内蔵する
或いは外部から挿入されるメモリ等の情報記憶媒体に、
処理情報プログラムとして記憶される。この情報記憶媒
体は、媒体自体の交換や記憶内容の書き換えによって、
種々の処理を行うことができるようになる。以下の各実
施形態においても、それぞれの処理を行う処理情報は、
これらの情報記憶媒体に記憶され、そこから読み出され
た命令に応じてCPU等のコンピュータによって処理が
行われるものである。
【0095】(変形形態)以上説明した実施形態に限定
されることなく、本発明の趣旨に沿った範囲で種々の変
形や変更が可能である。
【0096】(1)第1実施形態では、図2において、
3個の発光部を設けた例を示したが、4個でも良いし、
少なくとも2個あれば足りる。また、図1において、画
像処理装置20は、撮像装置10又は表示装置30に内
蔵されていてもよい。
【0097】(3)第2実施形態では、書画用PJ14
は、ランプ14aとLCD14bとを用いた例によって
説明したが、光源として、LEDやELを用いてもよ
い。また、書画用PJ14を、高輝度のLEDディスプ
レイのみによって構成してもよい。書画用PJ14から
の画像は、指示位置が分かればよいので、解像度が不足
していたり、鮮明でなくてもよいからである。CCDカ
メラと一体の例で説明したが、後付け(別体)で設けて
もよい。
【0098】(4)第2実施形態では、メニューg1〜
g5に一定時間停止していた場合に、選択したと判断し
て、選択されたメニューを実行したが、実行するための
別スイッチを設ければ、メニューの認識を終了して、そ
のスイッチを押すことにより実行することができる。ま
た、書画用PJによって、マウスをステージ上に表示さ
せ、そのマウスを制御して、そのメニューの場所にきた
ら、マウスボタンをクリックするようにしてもよい。
【0099】(5)第1実施形態から第5実施形態まで
の各実施形態は、自由に組み合わせて入力システムや表
示システム、プレゼンテーションシステムとして用いる
ことができる。例えば、入力装置10に発光部を設けた
構成は、他の各実施形態においても採用すれば、撮像エ
リアが視認しやすくなる。また、第4や第5の実施形態
での、ステージ11上の発光やペンにより記述も、第1
や第2や第3の実施形態と併用して用いてもよい。この
他、各実施形態は併用して用いることができる。
【図面の簡単な説明】
【図1】本発明によるプレゼンテーションシステムの第
1実施形態を示す外観斜視図である。
【図2】第1実施形態に係るプレゼンテーションシステ
ムの入力装置を示す斜視図である。
【図3】第1実施形態に係るプレゼンテーションシステ
ムの画像処理装置を示すブロック図である。
【図4】第1実施形態に係るプレゼンテーションシステ
ムの画像処理装置のフローチャートである。
【図5】第1実施形態に係るプレゼンテーションシステ
ムの画像エリア及び表示エリアをそれぞれ示す図であ
る。
【図6】図4の先端位置検出処理S103のサブルーチ
ンを示すフローチャートである。
【図7】図6のステップS201の処理の具体例を示す
図である。
【図8】本発明によるプレゼンテーションシステムの第
2実施形態を示す図である。
【図9】第2実施形態に係るプレゼンテーションシステ
ムの入力装置を上から見た図である。
【図10】第2実施形態に係るプレゼンテーションシス
テムの校正処理を示すフローチャートである。
【図11】第2実施形態に係るプレゼンテーションシス
テムの画像処理装置を示すブロックである。
【図12】第2実施形態に係るプレゼンテーションシス
テムの動作を説明する図であって、図12(a)は、入
力操作を示す説明図、図12(b)は、画像処理動作を
示すフローチャートである。
【図13】本発明によるプレゼンテーションシステムの
第3実施形態を示すブロック図である。
【図14】第3実施形態に係るプレゼンテーションシス
テムの入力装置を示す説明図である。
【図15】第3実施形態に係るプレゼンテーションシス
テムの動作を示すフローチャートである。
【図16】第3実施形態に係るプレゼンテーションシス
テムの変形形態を示す図である。
【図17】本発明によるプレゼンテーションシステムの
第4実施形態を示す図である。
【図18】本発明によるプレゼンテーションシステムの
第5実施形態に示す図である。
【符号の説明】
10 入力装置 11 ステージ 12 支持アーム 13 CCDカメラ 14 書画用PJ 20 画像処理装置 21 指示画像抽出回路 22 先端位置検出回路 23 指示座標決定回路 24 座標変換倍率決定回路 25 表示座標決定回路 26 カーソル位置制御回路 27 画像信号生成回路 30 表示装置 40 スクリーン 50 プレゼンター(使用者) 51 指示具

Claims (21)

    【特許請求の範囲】
  1. 【請求項1】 ステージ上の撮像領域を撮像する撮像手
    段と、 前記撮像手段により撮像された画像情報から、前記撮像
    領域内において指示された指示位置を検出する画像処理
    手段と、 を有することを特徴とする入力システム。
  2. 【請求項2】 請求項1に記載の入力システムにおい
    て、 前記ステージ上に光照射して、当該ステージ上に前記撮
    像領域の範囲を規定する発光部を有することを特徴とす
    る入力システム。
  3. 【請求項3】 請求項1に記載の入力システムにおい
    て、 前記撮像領域に画像を投射表示する投射型表示手段を備
    えることを特徴とする入力システム。
  4. 【請求項4】 請求項3に記載の入力システムにおい
    て、 前記投射型表示手段は、前記ステージ上にメニュー画面
    を有する画像を投射表示してなり、 前記ステージ上の前記メニュー画面の項目の表示位置を
    所定期間指示した状態を検出したときに、前記メニュー
    画面の項目の選択を確定する判別手段を備えることを特
    徴とする入力システム。
  5. 【請求項5】 請求項1に記載の入力システムにおい
    て、 前記撮像領域にて指示位置に載置される指示部材を、情
    報が表示された情報表示媒体とし、 前記撮像手段は、前記情報表示媒体を撮像してなり、 前記画像処理手段は、前記撮像手段が撮像した画像情報
    から、前記情報表示媒体の位置を指示位置として検出す
    ると共に、前記情報表示媒体に表示された情報を認識す
    ることを特徴とする入力システム。
  6. 【請求項6】 請求項5に記載の入力システムにおい
    て、 前記情報表示媒体は、ファイル名、画像情報或いは機能
    情報を示す情報が表示されていることを特徴とする入力
    システム。
  7. 【請求項7】 請求項6に記載の入力システムにおい
    て、 前記情報表示媒体は、2次元コードが情報として表示さ
    れていることを特徴とする入力システム。
  8. 【請求項8】 請求項6に記載の入力システムにおい
    て、 前記情報表示媒体は、実行ファイルのファイル名又はそ
    の実行命令が情報として表示され、 前記画像処理手段は、前記ファイル名又はその実行命令
    を認識すると、認識した前記実行ファイルを処理するこ
    とを特徴とする入力システム。
  9. 【請求項9】 請求項1から請求項8までのいずれか1
    項に記載の入力システムにおいて、 前記ステージ上には、指示操作によって発光する複数の
    発光部を備え、 前記撮像手段によって前記発光部の発光を撮像し、 前記画像処理手段は、前記撮像手段により撮像された画
    像情報から前記発光部の発光位置を指示位置として検出
    することを特徴とする入力システム。
  10. 【請求項10】 請求項1に記載の入力システムにおい
    て、 前記撮像領域には、消去可能な情報が指示具等によって
    記述され、所定期間後或いは任意に、前記情報が消去さ
    れるように構成することを特徴とする入力システム。
  11. 【請求項11】 請求項1乃至10のいずれか1項に記
    載の入力システムにおいて、 前記撮像手段と前記ステージの距離を調整することによ
    り、前記撮像領域の大きさを可変する手段を備えること
    を特徴とする入力システム。
  12. 【請求項12】 請求項3または請求項4に記載の入力
    システムにおいて、 前記画像処理手段は、前記撮像領域に対して前記投射表
    示手段により表示された画像領域の位置関係から、当該
    画像領域を前記撮像領域の座標軸において規定すること
    を特徴とする入力システム。
  13. 【請求項13】 請求項1乃至請求項12のいずれか1
    項に記載の入力システムと、表示装置とを備えた表示シ
    ステムであって、 前記画像処理手段は、前記撮像手段によって撮像された
    画像情報から検出した前記指示位置に基づき、当該指示
    位置に対応する表示画面の位置に画像表示できるように
    画像信号を生成し、 前記表示装置は、前記表示画面の位置に前記画像信号に
    基づく画像表示を行うことを特徴とする表示システム。
  14. 【請求項14】 請求項13に記載の表示システムにお
    いて、 前記指示位置に対応する表示画面の位置に表示する画像
    は、カーソル画像とすることを特徴とする表示システ
    ム。
  15. 【請求項15】 請求項13に記載の表示システムにお
    いて、 前記指示位置に対応する表示画面の位置に表示する画像
    は、前記撮像領域内の前記指示位置に載置された情報表
    示媒体が表示する情報に対応する画像とすることを特徴
    とする表示システム。
  16. 【請求項16】 ステージ上の撮像領域を撮像する撮像
    手段と、 前記撮像手段により撮像された画像情報から、前記撮像
    領域内において表示された情報を認識し、その情報に対
    応する情報処理を行い、その結果としての画像情報を生
    成する画像処理手段と、 前記画像処理手段によって生成された画像情報に応じた
    画像を表示する表示装置とを備えることを特徴とする表
    示システム。
  17. 【請求項17】 請求項13乃至請求項16のいずれか
    1項に記載の表示システムを用いたプレゼンテーション
    システムであって、 前記画像処理手段は、前記撮像領域内において説明者が
    指示した位置を、前記撮像手段が撮像した画像情報から
    判別し、前記表示装置に対して表示画面中の前記指示位
    置に対応する所定位置に指示に応じた画像を表示させる
    ことを特徴とするプレゼンテーションシステム。
  18. 【請求項18】 請求項13乃至請求項16のいずれか
    1項に記載の表示システムを用いたプレゼンテーション
    システムであって、 前記画像処理手段は、前記撮像領域内に載置または記述
    した情報を、前記撮像手段が撮像した画像情報から判別
    し、判別した情報に応じた情報処理を実行させることを
    特徴とするプレゼンテーションシステム。
  19. 【請求項19】 請求項18に記載のプレゼンテーショ
    ンシステムにおいて、前記画像処理手段は、前記撮像領
    域内に載置または記述した情報に基づき情報処理した結
    果の画像を前記表示装置に表示させることを特徴とする
    プレゼンテーションシステム。
  20. 【請求項20】 撮像領域を撮像して得られた画像情報
    に基づいて、前記撮像領域内における指示位置を検出す
    る処理情報と、前記指示位置に対応する表示装置の画面
    の位置に所定の画像を表示せしめる処理情報とを記憶す
    ることを特徴とする情報記憶媒体。
  21. 【請求項21】 撮像領域を撮像して得られた画像情報
    に基づいて、前記撮像領域内に載置または記述された情
    報を認識する処理情報と、認識した情報に対応する情報
    処理を選択して実行させ、実行した情報処理の結果の画
    像を表示装置の画面に表示せしめる処理情報とを記憶す
    ることを特徴とする情報記憶媒体。
JP06521999A 1999-03-11 1999-03-11 表示システム、及びプレゼンテーションシステム Expired - Fee Related JP3832132B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP06521999A JP3832132B2 (ja) 1999-03-11 1999-03-11 表示システム、及びプレゼンテーションシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06521999A JP3832132B2 (ja) 1999-03-11 1999-03-11 表示システム、及びプレゼンテーションシステム

Publications (3)

Publication Number Publication Date
JP2000259338A true JP2000259338A (ja) 2000-09-22
JP2000259338A5 JP2000259338A5 (ja) 2004-08-05
JP3832132B2 JP3832132B2 (ja) 2006-10-11

Family

ID=13280595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06521999A Expired - Fee Related JP3832132B2 (ja) 1999-03-11 1999-03-11 表示システム、及びプレゼンテーションシステム

Country Status (1)

Country Link
JP (1) JP3832132B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003015218A (ja) * 2001-07-03 2003-01-15 Ricoh Co Ltd 投影型表示装置
JP2004023359A (ja) * 2002-06-14 2004-01-22 Fuji Photo Optical Co Ltd 資料提示装置を用いたプレゼンテーションシステム
JP2004030589A (ja) * 2002-05-08 2004-01-29 Fuji Photo Optical Co Ltd プレゼンテーションシステム
US7176881B2 (en) 2002-05-08 2007-02-13 Fujinon Corporation Presentation system, material presenting device, and photographing device for presentation
JP2008152766A (ja) * 2007-11-16 2008-07-03 Casio Comput Co Ltd 手書き情報記録方法、投影記録装置
JP2009244931A (ja) * 2008-03-28 2009-10-22 National Institute Of Advanced Industrial & Technology 電子入力装置
JP2010045621A (ja) * 2008-08-13 2010-02-25 Casio Comput Co Ltd 撮像装置
JP2010176565A (ja) * 2009-01-30 2010-08-12 Denso Corp 操作装置
JP2010187957A (ja) * 2009-02-19 2010-09-02 Fujishoji Co Ltd 遊技機
JP2010187956A (ja) * 2009-02-19 2010-09-02 Fujishoji Co Ltd 遊技機
JP2013114467A (ja) * 2011-11-29 2013-06-10 Nikon Corp 表示システム、表示方法およびプログラム
JP2015052874A (ja) * 2013-09-06 2015-03-19 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
WO2016038839A1 (en) * 2014-09-09 2016-03-17 Sony Corporation Projection display unit and function control method
WO2017033544A1 (ja) * 2015-08-24 2017-03-02 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10602108B2 (en) 2014-07-29 2020-03-24 Sony Corporation Projection display unit

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003015218A (ja) * 2001-07-03 2003-01-15 Ricoh Co Ltd 投影型表示装置
JP2004030589A (ja) * 2002-05-08 2004-01-29 Fuji Photo Optical Co Ltd プレゼンテーションシステム
US7176881B2 (en) 2002-05-08 2007-02-13 Fujinon Corporation Presentation system, material presenting device, and photographing device for presentation
JP2004023359A (ja) * 2002-06-14 2004-01-22 Fuji Photo Optical Co Ltd 資料提示装置を用いたプレゼンテーションシステム
JP2008152766A (ja) * 2007-11-16 2008-07-03 Casio Comput Co Ltd 手書き情報記録方法、投影記録装置
JP2009244931A (ja) * 2008-03-28 2009-10-22 National Institute Of Advanced Industrial & Technology 電子入力装置
JP2010045621A (ja) * 2008-08-13 2010-02-25 Casio Comput Co Ltd 撮像装置
US8395600B2 (en) 2009-01-30 2013-03-12 Denso Corporation User interface device
JP2010176565A (ja) * 2009-01-30 2010-08-12 Denso Corp 操作装置
JP2010187957A (ja) * 2009-02-19 2010-09-02 Fujishoji Co Ltd 遊技機
JP2010187956A (ja) * 2009-02-19 2010-09-02 Fujishoji Co Ltd 遊技機
JP2013114467A (ja) * 2011-11-29 2013-06-10 Nikon Corp 表示システム、表示方法およびプログラム
JP2015052874A (ja) * 2013-09-06 2015-03-19 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US10602108B2 (en) 2014-07-29 2020-03-24 Sony Corporation Projection display unit
WO2016038839A1 (en) * 2014-09-09 2016-03-17 Sony Corporation Projection display unit and function control method
US11054944B2 (en) 2014-09-09 2021-07-06 Sony Corporation Projection display unit and function control method
WO2017033544A1 (ja) * 2015-08-24 2017-03-02 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10545716B2 (en) 2015-08-24 2020-01-28 Sony Corporation Information processing device, information processing method, and program

Also Published As

Publication number Publication date
JP3832132B2 (ja) 2006-10-11

Similar Documents

Publication Publication Date Title
US6421042B1 (en) Coordinate position inputting/detecting device, a method for inputting/detecting the coordinate position, and a display board system
US20100149206A1 (en) Data distribution system, data distribution apparatus, data distribution method and recording medium, improving user convenience
TWI232343B (en) System and method for presenting, capturing, and modifying images on a presentation board
US6608619B2 (en) Coordinate position inputting/detecting device, a method for inputting/detecting the coordinate position, and a display board system
JP3832132B2 (ja) 表示システム、及びプレゼンテーションシステム
US20170255253A1 (en) Projector and image drawing method
JP2008176802A (ja) 座標入力/検出装置および電子黒板システム
JP5353219B2 (ja) ボード書き込みシステム、コンピュータ装置及びプログラム
US20150261385A1 (en) Picture signal output apparatus, picture signal output method, program, and display system
US9632696B2 (en) Presentation system to facilitate the association of handwriting input by a participant user with a page of a presentation
US11816270B2 (en) Electronic device that operates according to user's hand gesture, and image forming apparatus
JP7155781B2 (ja) 情報処理装置及び情報処理プログラム
JP2008117083A (ja) 座標指示装置、電子機器、座標指示方法、座標指示プログラム、及び座標指示プログラムを記録した記録媒体
GB2389935A (en) Document including element for interfacing with a computer
US20150339538A1 (en) Electronic controller, control method, and control program
JP5413315B2 (ja) 情報処理システム及び表示処理プログラム
JP2001306210A (ja) 表示システム、情報入力/表示システム、画面表示方法及び記憶媒体
US8629846B2 (en) Information processing apparatus and information processing method
JP2005148555A (ja) 画像投影表示装置、画像投影表示方法および画像投影表示プログラム
JP7494507B2 (ja) 表示装置、表示方法、プログラム
JP3186361B2 (ja) データ処理装置
JPH0744650A (ja) 情報認識装置
JPH0749748A (ja) コマンド指示装置
JP5370557B2 (ja) ボード書き込みシステム、コンピュータ装置及びプログラム
JP2022036704A (ja) 表示装置、表示方法、プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060131

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060710

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110728

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110728

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120728

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120728

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130728

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees