JP2009252048A - 画像処理システム、画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】表示画面とシート状媒体の両方に同時かつ直接的にアノテーションを行うことができるようにする。
【解決手段】表示装置の表示画面に重ね合わされるシート状物体と、画像処理装置とを有する画像処理システムであって、前記画像処理装置は、前記表示画面において、ユーザによって描画される軌跡の軌跡情報を検出する軌跡情報検出手段と、前記軌跡情報検出手段において検出された軌跡情報に基づいてユーザによって描画された軌跡を表示する表示処理手段とを有し、前記シート状物体は、ユーザによって前記シート状物体に描画される軌跡を表示する表示手段を有することを特徴とする。
【選択図】図３

Description

本発明は、画像処理システム、画像処理装置、画像処理方法、プログラム及びシート状物体に関するものである。

従来、パソコン等の情報機器を用いてプレゼンテーションを支援するプレゼンテーションシステムが知られている。プレゼンテーションシステムの表示装置には、様々なコンテンツを表示させることができるため。プレゼンテーションシステムは、会議や講義等の発表者と聴衆者とが存在する幅広い場面で使用されている。また、プレゼンテーションシステムの中には、ユーザが表示装置に直接描画できる、いわゆる電子ホワイトボード機能を有するものがある。このような電子ホワイトボード機構を有するものでは、ユーザが表示装置に表示された内容に加えてアノテーション（上書き）を行うことができる。

上述したようなプレゼンテーションシステムにおいて、発表者による描画の手間を軽減するための技術が開示されている（例えば、特許文献１参照）。
また、操作者にわかりやすく自然な操作環境を実現するための技術が開示されている（例えば、特許文献２参照）。

特開２００３−２３３４６２号公報 特開２００５−２５１０１９号公報

プレゼンテーションの効果を向上させるために、ユーザは、表示画面にシート状物体を貼り付けて使用する場合がある。このような場合において、ユーザは表示画面にアノテーションを行なったり、シート状物体上に直接アノテーションを行ったりしたいと考える。しかしながら、上述した従来の技術では、ユーザが表示画面とシート状物体との両方に同時かつ直接的に描画をすることが困難であった。
本発明は上述したような問題点に鑑みてなされたものであり、表示画面とシート状物体との両方に同時かつ直接的に描画を行うことができるようにすることを目的とする。

本発明の画像処理システムは、表示装置の表示画面に重ね合わされるシート状物体と、画像処理装置とを有する画像処理システムであって、前記画像処理装置は、前記表示画面においてユーザによって描画される軌跡の軌跡情報を検出する軌跡情報検出手段と、前記軌跡情報検出手段において検出された軌跡情報に基づいてユーザによって描画された軌跡を前記表示画面上に表示する表示処理手段とを有し、前記シート状物体は、ユーザによって前記シート状物体に描画される軌跡を前記シート状物体上に表示する表示手段を有することを特徴とする。
本発明の画像処理装置は、表示画面に重ね合わされたシート状物体の位置を検出するシート状物体検出手段と、前記表示画面において、ユーザによって描画される軌跡の軌跡情報を検出する軌跡情報検出手段と、前記軌跡情報検出手段において検出された軌跡情報と前記シート状物体検出手段において検出されたシート状物体の位置とに基づいてユーザによって描画される軌跡がシート状物体の領域外であるか否かを判定する判定手段と、前記判定手段において判定された結果に応じて、前記軌跡情報検出手段において検出された軌跡情報に基づいてユーザによって描画される軌跡を前記表示画面上に表示する表示処理手段とを有することを特徴とする。
本発明の画像処理方法は、表示画面に重ね合わされたシート状物体の位置を検出するシート状物体検出ステップと、前記表示画面において、ユーザによって描画される軌跡の軌跡情報を検出する軌跡情報検出ステップと、前記軌跡情報検出ステップにおいて検出された軌跡情報と前記シート状物体検出ステップにおいて検出されたシート状物体の位置とに基づいてユーザによって描画される軌跡がシート状物体の領域外であるか否かを判定する判定ステップと、前記判定ステップにおいて判定された結果に応じて、前記軌跡情報検出ステップにおいて検出された軌跡情報に基づいてユーザによって描画される軌跡を前記表示画面上に表示する表示処理ステップとを有することを特徴とする。
本発明のプログラムは、表示画面に重ね合わされたシート状物体の位置を検出するシート状物体検出ステップと、前記表示画面において、ユーザによって描画される軌跡の軌跡情報を検出する軌跡情報検出ステップと、前記軌跡情報検出ステップにおいて検出された軌跡情報と前記シート状物体検出ステップにおいて検出されたシート状物体の位置とに基づいてユーザによって描画される軌跡がシート状物体の領域外であるか否かを判定する判定ステップと、前記判定ステップにおいて判定された結果に応じて、前記軌跡情報検出ステップにおいて検出された軌跡情報に基づいてユーザによって描画される軌跡を前記表示画面上に表示する表示処理ステップとをコンピュータに実行させるためのプログラムである。
本発明は、表示画面に重ね合わされるシート状物体であって、前記シート状物体の平面に亘って設けられる複数の空間と、前記複数の空間内を前記平面に対して少なくとも垂直方向に移動できる磁性体と、を有することを特徴とする。
本発明は、表示画面に重ね合わされるシート状物体であって、前記表示画面においてユーザによって描画される軌跡の軌跡情報を検出する軌跡情報検出手段と前記表示画面に重ね合わされるシート状物体の位置を検出するシート状物体検出手段とを有する画像処理装置との間で通信を行う通信手段と、ユーザによって前記シート状物体に描画される軌跡を、前記通信手段を介して受信した前記シート状物体検出手段において検出したシート状物体の位置と前記軌跡情報検出手段において検出された軌跡情報とに基づいて前記シート状物体に電圧を印加することにより表示する表示手段とを有することを特徴とする。

本発明によれば、表示画面とシート状物体との両方に同時かつ直接的に描画を行うことができる。

以下、図面を参照して画像処理システムをプレゼンテーションシステムに適用した場合について説明する。プレゼンテーションシステムでは、ユーザが表示画面にシート状物体を貼り付けて使用する。ここで、シート状物体とは、例えば、ユーザがプレゼンテーションの効果を向上させるために用いる図形等のシート状の媒体である。このシート状媒体は、プレゼンテーションの内容に応じて、ユーザが加工する等して様々な形状に形成されている。プレゼンテーションシステムでは、ユーザがシート状媒体を表示画面の所定の位置又は任意の位置に貼り付けることができるように構成されている。さらに、ユーザがシート状媒体をアプリケーションの動作と連動させて使用することにより様々な効果を期待することができる。例えば、シート状媒体を貼り付けることで、プレゼンテーションシステムは、画面情報を変化させたり、音声を再生したりする等の動作を行う。

また、プレゼンテーションシステムは、様々な場面での利用が想定される。特に会議や講義などの発表者（ユーザ）と聴衆者とが存在する場合に、発表内容の印象度、理解度の向上に貢献するものである。教育現場においては、教材としてシート状媒体を付加して利用することで、聴衆者の視覚及び触覚等を刺激する。また、アプリケーションが関連付けられた動作をすることによって、印象度と理解度とからくる学習効果の向上も期待できる。

また、プレゼンテーションシステムは、貼付されたシート状媒体及び表示画面に対して、操作を検知する機能及び描画する機能を有している。すなわち、ユーザが、アプリケーションの操作を表示画面に対して、例えばペンを用いて指示することができる。さらに、ユーザは、表示されている内容に対して、アノテーションを行うことができる。プレゼンテーションシステムは、行われたアノテーションの情報を記憶したり、加工したり、再生したりすることができる。

（第１の実施形態）
＜システム構成の概略説明＞
図１は、本実施形態に係るプレゼンテーションシステムの概略構成の一例を示す図である。図１に示すように、プレゼンテーションシステム１００は、表示ユニット１０１、制御ユニット１０２、指示ユニット１０３、位置検出ユニット１０４、シート検出ユニット１０５、後述するシート状媒体を含んで構成されている。

表示ユニット１０１は、例えば液晶表示装置等のディスプレイである。表示ユニット１０１は、表示装置の表示画面にアノテーション等を表示させる表示機能を有する。
制御ユニット１０２は、プレゼンテーションシステム１００全体を制御する。また、制御ユニット１０２は、表示ユニット１０１、指示ユニット１０３、位置検出ユニット１０４及びシート検出ユニット１０５の駆動を制御したりデータ演算を行ったりすることで各種通信機能を有する。

指示ユニット１０３は、表示画面に表示されている情報に対して、ユーザがポインティングするためのペン等の指示具である。
位置検出ユニット１０４は、表示画面上における指示ユニット１０３の座標位置を検出する機能を有する。
シート検出ユニット１０５は、表示画面に貼付するシート状媒体の属性情報及び位置を検出する機能を有する。
ここで、制御ユニット１０２と、位置検出ユニット１０４と、シート検出ユニット１０５とを含んで、表示ユニット１０１の表示画面に対して表示の処理を行う画像処理装置として構成される。

次に、表示ユニット１０１の表示画面にシート状媒体が貼付された一例について図２を参照して説明する。ここでは、二等辺三角形の性質を学習するときに、プレゼンテーションシステム１００が用いられているものとする。図２には、表示ユニット１０１である表示装置２０１の表示画面２０２に、シート状媒体２０３が貼付されている。これは、ユーザが表示画面２０２の任意の位置にシート状媒体２０３を貼り付けたものである。なお、シート状媒体２０３は、二等辺三角形の形状に加工されている。

また、表示画面２０２にはアノテーション２０４、２０５が表示されている。図２に示すアノテーション２０４、２０５のうち、アノテーション２０４は、表示画面２０２上に表示されている。これは、ユーザが上述した指示ユニット１０３としての指示具を用い、シート状媒体２０３の三角形において二辺が等しいことを説明するために、表示画面２０２上に太字でアノテーション２０４を描画したものである。一方、アノテーション２０５は、貼付したシート状媒体２０３上に表示されている。これは、ユーザがシート状媒体２０３の三角形において、二つの内角が等しいことを説明するために、シート状媒体２０３上に太字でアノテーション２０５を描画したものである。

ここで、アノテーション２０４は、ユーザが表示画面２０２に対して直接、指示具の先端を当接して移動することにより、描画される。また、アノテーション２０５は、ユーザがシート状媒体２０３に対して、指示具の先端を当接させた状態で移動することにより、描画される。すなわち、アノテーション２０４及びアノテーション２０５は、同一の指示具を用いて描画されることにより表示されたものである。このようにプレゼンテーションシステム１００は、ユーザが表示画面２０２又はシート状媒体２０３に対してアノテーションを行うときに、指示具を替えることなく、描画できるように構成されている。

＜表示ユニット、制御ユニット、シート検出ユニットの説明＞
次に、プレゼンテーションシステム１００の表示ユニット１０１、制御ユニット１０２、シート検出ユニット１０５について、図３を参照して説明する。
まず、表示ユニット１０１について説明する。
表示ユニット１０１は、表示装置２０１を含んで構成されている。表示装置として、例えば液晶表示装置、プラズマディスプレイ、リアプロジェクションディスプレイ等のディスプレイ装置が用いられる。また、表示装置２０１には、表示表面に指示具が直接当接されないように保護用ガラスが設けられている。

表示装置２０１の裏側にはシート状媒体２０３の貼付を検出するためのアンテナ３３０が、表示画面２０２に対して平行に設けられている。このアンテナ３３０は、シート状媒体２０３が表示画面２０２の何れの位置に貼付されても検出できるように、所定間隔、離間した状態で配置されている。図３に示す表示装置２０１には、それぞれ縦に３列、横に３列のアンテナ３３０が設けられている。
なお、アンテナ３３０を透明パターンで印刷形成する等して表示画面２０２と一体に構成してもよい。この場合、リアプロジェクションディスプレイを表示装置として用いることができる。また、アンテナを表示装置２０１の周囲に設けるように構成してもよい。この場合、表示装置の種類によらず、プレゼンテーションシステムを構成することができる。

次に、制御ユニット１０２について、図３を参照して説明する。
制御ユニット１０２は、ディスプレイ駆動回路３２１、ＣＰＵ３２４、ＲＯＭ３２５、ＲＡＭ３２６、Ｉ／Ｆ回路３２８、汎用Ｉ／Ｆ回路３２２、汎用無線Ｉ／Ｆ回路３２７を含んで構成されている。ディスプレイ駆動回路３２１は、表示装置２０１を駆動して表示情報を出力するものである。ＣＰＵ３２４は、プレゼンテーションシステム１００全体を制御するものである。ＲＯＭ３２５は、ＣＰＵ３２４が制御ユニット１０２を制御するプログラムや制御ユニット１０２が駆動したときに、ＣＰＵ３２４が実行するプログラムを格納する記憶装置である。ＲＡＭ３２６は、ＣＰＵ３２４のワーク領域として使用される記憶装置である。Ｉ／Ｆ回路３２８は、位置検出ユニット１０４と通信するためのインターフェース回路である。汎用Ｉ／Ｆ回路３２２は、各種機器と接続するための例えばＵＳＢ等の汎用インターフェース回路である。汎用無線Ｉ／Ｆ回路３２７は、各種機器と無線で接続するための例えばブルートゥース等の汎用無線インターフェースの回路である。

次に、シート検出ユニット１０５について、図３を参照して説明する。
シート検出ユニット１０５は、シート検出回路３２９、アンテナ３３０を含んで構成されている。シート検出回路３２９は、シート状媒体２０３が表示装置２０１に近接すると、アンテナ３３０を介して、シート状媒体２０３に一体構成されている後述するタグと通信することができる。また、シート検出回路３２９は、表示画面２０２に貼付されたシート状媒体２０３の位置を、アンテナ３３０を介して、検出する。シート検出回路３２９は、複数のアンテナ３３０を順次切替えて読み出しを行い、電波強度を比較して特定することでシート状媒体２０３の位置を検出する。

＜シート状媒体の説明＞
次に、シート状媒体の構成について図４を参照して説明する。図４は、シート状媒体２０３の構成の一例を示す断面図である。図４に示すように、シート状媒体２０３は、積層構造になっている。
シート状媒体２０３の上側は、シート状媒体の平面に亘って、内部に空間が形成された小カプセル４０２が設けられている。小カプセル４０２は、透明なＰＥＴフィルム４０１と白色ＰＥＴフィルム４０４とで挟み込まれることで、シート状に構成されている。シート状媒体２０３の最上面は、ユーザにより指示具が当接する入力面である。小カプセル４０２の空間内には、着色された磁性体としての磁性粉４０３が封止させている。磁性粉４０３は、小カプセル４０２内で少なくともシート状媒体２０３の平面に対して垂直方向に移動することができる。なお、シート状媒体２０３の最下面には、表示画面２０２に貼付するための粘着層４０５が構成されている。

例えば、ユーザが、ペンの先端を磁石にした指示具等をシート状媒体２０３の入力面に近接させることで、小カプセル４０２内の磁性粉４０３が入力面側に移動する。着色された磁性粉４０３が上面側に移動することにより、ユーザはシート状媒体２０３上に描画を行うことができる。なお、小カプセル４０２には、磁性粉４０３の他に有機溶剤を封止させているため、磁性粉４０３はゲル状になっている。したがって、磁性粉４０３が重力方向に落ちにくく、入力面側に留まるように構成されている。

また、磁性粉４０３をＮ極とＳ極とで異なる色素を混合することにより、極を異ならせた複数の磁石を備えたペンによって、一方を描画用、もう一方を消去用とすることもできる。すなわち、例えばユーザがＳ極の磁石を備えたペンをシート状媒体２０３の入力面に当接すると、異極であるＮ極の磁性粉が磁力により小カプセル４０２の上側に移動して留まる。このようにして、シート状媒体２０３では、Ｎ極の磁性粉の色素で描画されたように表示できる。一方、ユーザがＮ極の磁石を備えたペンをシート状媒体２０３の入力面に当接すると、同極であるＮ極の磁性粉が反発して小カプセル４０２の下側に移動すると共に、異極であるＳ極の磁性粉が磁力により小カプセル４０２の上側に移動する。このようにして、シート状媒体２０３では、Ｎ極の磁性粉の色素で描画されたものを消去したように表示できる。

図５は、シート状媒体２０３の一例を示す図である。シート状媒体２０３には、小型のタグ５０２が設けられている。タグ５０２は、アンテナ、駆動回路、メモリ等を含んで構成されている。上述したように、タグ５０２は、シート検出ユニット１０５と通信を行うことができる、タグ５０２は、シート検出回路３２９からアンテナ３３０を介して放射される電波を受信し、電磁誘導により起電力を発生させた電源を用いて動作する。タグ５０２のメモリ（記憶装置）には、シート状媒体２０３の属性情報として、形状、面積、色等が記憶されている。シート検出回路３２９が、タグ５０２に記憶されている属性情報を読み出すことによって、制御ユニット１０２のＣＰＵ３２４は、表示画面２０２に貼付されたシート状媒体２０３に基づいたアプリケーションの動作をすることができる。

＜位置検出ユニットの説明＞
次に、位置検出ユニットについて図６を参照して説明する。位置検出ユニット１０４は、センサユニット８０１、反射手段８１１、センサ駆動回路８１３、センサ信号処理回路８１４、ペンＩ／Ｆ回路８１５、ＲＯＭ８１６、ＲＡＭ８１７、ＣＰＵ８１８、Ｉ／Ｆ回路８１９を含んで構成されている。センサユニット８０１は、投光部及び受光部をそれぞれ有する複数のセンサ８１２Ｌ、８１２Ｒを有している。センサ８１２Ｌ、８１２Ｒは、図６に示すように、例えば表示装置２０１の４つの角部のうちの隣接する２つの角部に所定距離、離間して配置されている。センサ８１２Ｌ、８１２Ｒは、センサ８１２Ｌ、８１２Ｒの制御・駆動を行うセンサ駆動回路８１３に接続されている。センサ８１２Ｌ、８１２Ｒは、制御・駆動信号をセンサ駆動回路８１３から受信すると共に、検出した信号を、センサ駆動回路８１３を介してセンサ信号処理回路８１４に送信する。

反射手段８１１は、入射光を到来方向に反射する再帰反射面を有する反射板である。反射手段８１１は、センサ８１２Ｌ、８１２Ｒそれぞれの投光部から略９０°範囲に投光された光を、それぞれの受光部に向けて再帰反射する。反射手段８１１によって反射された光は、集光光学系やラインＣＣＤ等によって構成される受光部によって１次元的に検出される。センサ８１２Ｌ、８１２Ｒは、検出した光量分布を、センサ駆動回路８１３を介してセンサ信号処理回路８１４に送信する。

上述したような構成により、表示装置２０１の表示画面２０２は、その表面を入力領域とするインタラクティブな入力装置として構成される。例えば、ユーザが入力領域に指や上述したペン等により入力指示として近接する動作をすることで、センサ８１２Ｒ、８１２Ｌの投光部から投光された光が指やペン等により遮られる。センサ８１２Ｒ、８１２Ｌの受光部は、入力指示された位置のみ再帰反射による反射光の光量を受光することができない。

ＣＰＵ８１８は、センサ信号処理回路８１４から受信したセンサ８１２Ｌ、８１２Ｒそれぞれの光量分布における光量変化から、入力指示された位置の遮光範囲を検出する。次に、ＣＰＵ８１８は、遮光範囲内の検出点を特定し、それぞれの角度を算出し、算出した角度及びセンサ８１２Ｌとセンサ８１２Ｒとの間の距離等から、表示画面２０２上の座標値を算出する。ＣＰＵ８１８は、算出した座標値をＵＳＢ等のＩ／Ｆ回路８１９を経由して制御ユニット１０２に出力する。このようにして、位置検出ユニット１０４は、ユーザの指やペン等による入力指示の座標値を算出することができる。なお、ユーザが入力指示した位置から表示画面２０２上を移動した場合、すなわちユーザが描画した場合、ＣＰＵ８１８は、描画された軌跡の座標値（軌跡情報）を算出する（軌跡情報検出）。算出された座標値は、制御ユニット１０２のＣＰＵ３２４が、表示画面２０２に線を表示したり、表示画面２０２に表示したアイコンに対応する処理をしたりする。

なお、ＲＯＭ８１６は、ＣＰＵ８１８が位置検出ユニット１０４を制御するプログラムや位置検出ユニット１０４が駆動したときに、ＣＰＵ８１８が実行するプログラムを格納する記憶装置である。ＲＡＭ８１７は、ＣＰＵ８１８のデータ処理領域として使用される記憶装置である。また、表示装置２０１の表示画面２０２にはシート状媒体２０３を貼付するため、センサ８１２Ｌ、８１２Ｒは、表示画面２０２の表面からシート状媒体２０３の厚み分の領域が不感帯領域となるように調整してある。また、ペンＩ／Ｆ回路８１５は、指示具からの光信号を受光する回路である。

＜指示ユニットの説明＞
次に、指示ユニットについて図７及び図８を参照して説明する。本実施形態では、指示ユニットとして、ペン形状の指示具を用いるものとする。指示具６００は、ユーザが表示装置２０１の表示画面２０２及びシート状媒体２０３に対して入力するためのものである。
図７は、指示具６００の構成の一例を示した図である。指示具６００は、ペン状に形成されている。指示具６００の先端部と後端部とには、それぞれ磁石６０４と磁石６０５とが設けられている。磁石６０４と磁石６０５とは、互いに極が異なっていることで、上述したように一方を描画用とし、他方を消去用として用いることができる。また、指示具６００の筐体６０１には、複数のペンサイドスイッチ６０２、６０３が設けられている。ユーザが表示画面２０２に表示されたアイコンに合わせて、ペンサイドスイッチ６０２、６０３を押下することで、例えば制御ユニット１０２のＣＰＵ３２４がアプリケーションを起動する等、マウスのスイッチと同様の機能を有している。

図８は、指示具６００の内部構成の一例を示す図である。指示具６００は、図７において説明した構成要素の他に、ペン先スイッチ７０１、バッテリ７０２、フラッシュメモリ７０３、ＲＯＭ７０６、ＣＰＵ７０７、ＲＡＭ７０８、Ｉ／Ｆ回路７０９、スイッチ７１１を含んで構成されている。

ペン先スイッチ７０１は、ペン先端部の磁石６０４が押下されることでＯＮとなる。ユーザが、ペン先スイッチ７０１、上述したペンサイドスイッチ６０２、６０３の何れかのスイッチを押下することによって、指示具６００は、所定周期で信号を送信する。すなわち、指示具６００のＣＰＵ７０７は、所定周期毎にタイミング信号及びコマンド信号をペンＩ／Ｆ回路７０９に出力する。ペンＩ／Ｆ回路７０９は、タイミング信号及びコマンド信号に基づいて、光信号を放射する。
位置検出ユニット１０４のペンＩ／Ｆ回路８１５は、放射された光信号を受光する。その後、位置検出ユニット１０４のＣＰＵ８１８は、指示具６００のスイッチのうち、どのスイッチが押下されたかを判定する。そして、センサ８１２Ｌ、８１２Ｒの間では、ＣＣＤの制御信号、ＣＣＤ用クロック信号及びＬＥＤの駆動信号のやり取りが開始される。

指示具６００は、タイミング信号として放射する光信号にスイッチ情報を示す信号を重畳するようにして、光信号を放射している。なお、指示具６００は、光信号にペンを識別するための識別コード等を重畳するようにしてもよい。ここで、指示具６００がスイッチ情報を伝送する方法としては、まず連続するパルス列からなるリーダ部と、これに続くコード（メーカＩＤ等）とからなるヘッダ部を出力する。その後、指示具６００は、ペンスイッチ信号等の制御信号等からなる送信データ列を予め定義された順序と形式とに従って順次出力する。この方法は、例えば赤外線を利用したリモコン等に用いられている公知の方法であり、詳述は省略する。
このように、指示ユニット１０３にペン等の指示具６００を用いることにより、ユーザはマウスの各種ボタンに対応する操作を直感的に行うことができる。

＜制御ユニットの動作の説明＞
次に、プレゼンテーションシステム１００の制御ユニット１０２のＣＰＵ３２４が行う動作処理について図９に示すフローチャートを参照して説明する。
まず、ステップＳ９０１において、ＣＰＵ３２４は、ＲＯＭ３２５に格納された制御プログラムに基づいて処理を開始する。
ステップＳ９０２において、ＣＰＵ３２４は、シート状媒体を検出したか否かを判定する。この検出は、ＣＰＵ３２４がシート検出回路３２９においてシート状媒体の検出結果を受信することにより行われる。シート状媒体を検出した場合、ＣＰＵ３２４は、ステップＳ９０３に処理を進める。シート状媒体を検出しない場合、ＣＰＵ３２４は、ステップＳ９０７に処理を進める。

ステップＳ９０３において、ＣＰＵ３２４は、シート状媒体が貼付された表示画面上の位置を検出する旨の命令をシート検出回路３２９に送信する。シート検出回路３２９は、アンテナ３３０を介して、シート状媒体の位置を検出する（シート状物体検出）。
次に、ステップＳ９０４において、ＣＰＵ３２４は、ユーザによりペンが表示装置２０１の表示画面又はシート状媒体上に対して当接したか否か、すなわちペンダウンがされたか否かを判定する。この判定は、位置検出ユニット１０４のＣＰＵ８１８がＩ／Ｆ回路８１９を介して送信し、制御ユニット１０２のＩ／Ｆ回路３２８を介して受信したペンのスイッチ情報に基づいて、制御ユニット１０２のＣＰＵ３２４が判定する。ペンダウンを検出した場合、ＣＰＵ３２４は、ステップＳ９０５に処理を進める。ペンダウンを検出しない場合、ＣＰＵ３２４は、ステップＳ９０７に処理を進める。

ステップＳ９０５において、ＣＰＵ３２４は、ペンダウンされた位置が表示画面に貼付されたシート状媒体の領域外であるか否かを判定する。このとき、シート検出回路３２９はアンテナを介してシート状媒体に内蔵されたタグに記憶されたシート状媒体の形状、面積等の属性情報を読み込み、読み込んだ属性情報を制御ユニット１０２のＣＰＵ３２４に送信する。ステップＳ９０５の判定において、ＣＰＵ３２４は、ステップＳ９０３において検出されたシート状媒体の位置と、送信されたシート状媒体の属性情報と、ペンダウンされた位置とを比較することによって判定する。ここで、ペンダウンされた位置は、位置検出ユニット１０４のＣＰＵ８１８が算出した座標値（軌跡情報）である。ペンダウンされた位置がシート状媒体に領域外である場合、ＣＰＵ３２４は、ステップＳ９０６に処理を進める。ペンダウンされた位置がシート状媒体の領域外ではない場合、すなわちシート状媒体の領域内である場合、ＣＰＵ３２４は、ステップＳ９０７に処理を進める。

ステップＳ９０６において、ＣＰＵ３２４は、位置検出ユニット１０４から送信されるペンが移動する軌跡の軌跡情報に基づいて、シート状媒体が貼付された領域外であって、表示装置２０１の表示画面上にペンの軌跡を表示する（表示処理）。その後、ＣＰＵ３２４は、ステップＳ９０７に処理を進める。
なお、プレゼンテーションシステム１００は、シート状媒体が貼付された領域内に対して描画されたペンの軌跡を、表示装置２０１の表示画面上に表示するか非表示にするかを、ユーザが設定できるように構成されている。ここで、ＣＰＵ３２４が、表示に設定されていることを検出（設定検出）したと想定する。この場合、ステップＳ９０５において、ペンダウンされた位置がシート状媒体の領域内であっても、ＣＰＵ３２４は、シート状媒体２０３が貼付された領域内であって、表示装置２０１の表示画面上にペンの軌跡を表示するように処理を行う。
ステップＳ９０７において、ＣＰＵ３２４はステップＳ９０１の処理に戻る。

このように本実施形態によれば、ユーザは、表示装置の表示画面と表示画面上に貼付したシート状媒体との両方に同時かつ直接的にシームレスな描画を行うことができる。また、本実施形態によれば、ユーザは、表示装置の表示画面とシート状媒体上とに対して同一の指示具を用いて描画をすることができる。このように、本実施形態によれば、ユーザが指示具を用いて描画するときの操作性を向上させることができる。

また、本実施形態によれば、シート状媒体が貼付された領域に対して描画されたペンの軌跡を表示装置の表示画面上に表示できるように設定することができる。したがって、ユーザが表示画面に貼付したシート状媒体を取り除いた後であっても、シート状媒体には描画した内容が表示されているので、ユーザはシート状媒体を取り除いた後でも、シート状媒体に描画した内容を活用することができる。
また、本実施形態によれば、ユーザが表示画面に貼付したシート状媒体を取り除いた後であっても、シート状媒体には描画した内容が表示されている。したがって、ユーザが取り除いたシート状媒体を用いて、再度描画した内容が表示されたシート状媒体を利用したプレゼンテーション等を行うことができる。

なお、アプリケーションによっては、ユーザがシート状媒体を取り除いた後、表示画面に描画されたアノテーションが意味をなさないような場合がある。このような場合は、シート状媒体が取り除かれたことをシート検出回路３２９が検出して、制御ユニット１０２に検出結果を送信する。制御ユニット１０２のＣＰＵ３２４は、シート状媒体が取り除かれたという検出結果を受信すると、シート状媒体が貼付された位置の近傍に表示されたアノテーションを消去するようにしてもよい。

また、シート状媒体が貼付された領域内に対して描画されたペンの軌跡を、表示装置２０１の表示画面上に表示するように設定されている場合、ＣＰＵ３２４が、軌跡情報に基づき順次表示装置２０１の表示画面にペンの軌跡を表示する場合について説明した。しかしながら、ＣＰＵ３２４は、シート状媒体２０３が取り除かれたという検出結果を受信したときに、表示装置２０１の表示画面にペンの軌跡を表示するように構成してもよい。

（第２の実施形態）
第１の実施形態に係るシート状媒体は、磁性粉が含まれた小カプセルとフィルムとが積層されたものについて説明した。本実施形態に係るシート状媒体は、いわゆる電子ペーパを用いたものである。ここで、電子ペーパとは、表示情報を変更するときには電力を必要とするが表示そのものには電力を必要としない、低消費電力を実現したディスプレイである。電子ペーパには、様々な種類がある。本実施形態では、電子ペーパのうちコレステリック液晶を用いたものについて図１０を参照して、説明する。

コレステリック液晶は、特定の波長のみを反射する性質がある。太陽光や蛍光灯の光が液晶に入ると、コレステリック液晶は、赤、緑、青の決められた波長を反射してフルカラーを表示する。図１０は、コレステリック液晶の構成の一例を示す図である。コレステリック液晶は、青１００３、緑１００７、赤１０１１の各色の液晶が透明フィルム１００１、１００５、１００９、１０１３に積層されて構成されている。各色の液晶は、全ての色が反射する場合、白に表示される。また、全ての色が反射しない場合、コレステリック液晶１０００の一番下の層である光吸収層１０１４の黒に表示される。なお、反射及び非反射の切替えは、各液晶層の前後に設けられた透明電極１００２、１００４、１００６、１００８、１０１０、１０１２に電圧を印加することで、液晶分子の向きを変えることで行う。

コレステリック液晶１０００には、第１の実施形態に係るシート状媒体と同様に、タグ１０１５が設けられている。タグ１０１５は、制御ユニット１０２のシート検出回路３２９と無線で様々な情報を送受信できる。
また、コレステリック液晶１０００には、図示しないシート書換え回路が設けられている。シート書換え回路は、タグ１０１５を経由して受信した情報に基づいて、コレステリック液晶１０００の表示内容を書き換えができるように構成されている。

次に、上述した電子ペーパのシート状媒体を用いて、表示装置２０１の表示画面に貼付する場合の一例について図１１を参照して説明する。図１１に示すように、ユーザはシート状媒体１１０３を表示装置２０１の表示画面２０２の中央に貼付している。また、ユーザは表示画面２０２とシート状媒体１１０３との両方の領域に亘って、アノテーション１１０４の描画を行っている。このとき、制御ユニット１０２のＣＰＵ３２４は、シート検出回路３２９によって検出されたシート状媒体１１０３が貼付されている領域におけるアノテーション１１０５の軌跡を算出する。より具体的に説明すると、ＣＰＵ３２４は、位置検出ユニット１０４において検出された軌跡の軌跡情報のうち、シート検出ユニット１０５において検出されたシート状媒体の位置と重なる軌跡をアノテーション１１０５の軌跡として算出する。次に、ＣＰＵ３２４は、算出した軌跡の軌跡情報を、アンテナ３３０を介してタグ１０１５に送信する。タグ１０１５では、受信した軌跡情報に基づいて、電子ペーパのシート書換え回路が表示内容をユーザが描画した軌跡に書き換える。

このように本実施形態によれば、シート状媒体として電子ペーパを用いることで、多くの色を表示することができる。したがって、ユーザによるプレゼンテーションの効果をより向上させることができる。
なお、上述した第１及び第２の実施形態の表示装置２０１は、表示画面を床面に対して略垂直に設置する場合について説明したが、この場合に限られない。例えば、表示装置２０１の表示画面を床面と平行にする、いわゆるテーブル型に構成してもよい。表示装置をテーブル型にすることで、シート状媒体に粘着層は設ける必要がなく、シート状媒体を表示画面に置くような形態にすることができる。

（第３の実施形態）
アプリケーションによっては、ユーザがシート状媒体を貼付してアノテーションを行い、シート状媒体を剥がした後、アノテーションが表示画面に表示されている状態において、再度シート状媒体を貼付したい場合がある。このような場合、シート状媒体の輪郭を表示画面に表示するようにすれば、ユーザが再度シート状媒体を貼付する動作を簡便に行うことができる。また、貼付したシート状媒体の輪郭とアノテーションとを表示画面に表示しておくことで、ユーザがシート状媒体を再度貼付する必要がなくなる。

本実施形態では、貼付したシート状媒体の輪郭やシート状媒体に表示したアノテーションを表示装置の表示画面に表示する場合について説明する。
本実施形態に係るプレゼンテーションシステムは、表示装置の表示画面に貼付されたシート状媒体の貼付された状態を検出する検出手段を有する。
ここで、検出手段としてはシート状媒体に設けられたタグ５０２に、加速度センサ又は地磁気センサ等の状態検出装置を設けることにより構成している。ここで、状態検出装置において、予め各シート状媒体において基準となる基準方向を決定しておく。次に、状態検出装置が基準方向に対して傾斜している角度を検出することにより、シート状媒体が貼付された状態を検出することができる（状態検出）。タグ５０２は、検出されたシート状媒体の状態をメモリに記憶する。

また、第１の実施形態において説明したように、シート状媒体２０３の属性情報として、形状、面積、色等が記憶されている。ここで、属性情報としての形状には寸法情報が含まれている。シート検出回路３２９は、アンテナ３３０を介してタグ５０２に記憶されたシート状媒体の属性情報とシート状媒体の状態とを読み出す。制御ユニット１０２のＣＰＵ３２４は、シート状媒体の属性情報の寸法情報及び状態に基づいて、表示装置の表示画面上にシート状媒体の輪郭の線を表示する。このとき、制御ユニット１０２のＣＰＵ３２４は、シート状媒体の輪郭の線を表示装置の表示画面の大きさに応じた解像度に換算して表示する。

このように本実施形態によれば、表示画面上に対して貼付されたシート状媒体の状態を検出することにより、シート状媒体の輪郭を表示装置の表示画面に表示することができる。したがって、貼付したシート状媒体を表示画面から取り除いたとしても、シート状媒体の輪郭を表示装置の表示画面に表示できるため、ユーザは再度シート状媒体を貼付する作業を簡便に行うことができる。また、場合によれば、ユーザがシート状媒体を再度貼付する必要がない。
なお、表示画面に表示する内容は、輪郭に限られない。例えば、タグ５０２のメモリにシート状媒体の属性情報として模様等を記憶しておいてもよい。制御ユニット１０２のＣＰＵ３２４は、模様の属性情報に基づいて、模様を輪郭の内側に表示することができる。

（その他の実施形態）
なお、本発明は、例えばシステム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよく、一つの機器からなる装置に適用してもよい。

また、本発明は、次のような形態であっても達成しうる。すなわち、上述した実施形態の機能を実現するソフトウェアのプログラム（上述したフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータがこの供給されたプログラムコードを読み出して実行することによっても達成される。

従って、本発明の機能処理をコンピュータで実現するために、このコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、次のようなものがある。すなわち、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）等である。

その他、プログラムの供給方法としては、次のようなものがある。クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによっても、前述した実施形態の機能が実現され得る。即ち、係るプログラムを実行することで、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても上述した実施形態の機能が実現され得る。

さらに、以下の処理によっても上述した実施形態の機能が実現される。すなわち、記録媒体から読み出されたプログラムを、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込む。そしてその後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

画像処理システムの概略構成の一例を示す図である。 第１の実施形態に係る表示画面に貼付されるシート状媒体の一例を示す図である。 表示ユニット、制御ユニット及びシート検出ユニットの構成の一例を示す図である。 第１の実施形態に係るシート状媒体の構成の一例を示す図である。 シート状媒体の一例を示す図である。 位置検出ユニットの構成の一例を示す図である。指示ユニットの一例を示す図である。 指示ユニットとしての指示具の概略構成の一例を示す図である。 指示具の構成の一例を示す図である。 制御ユニットの動作処理の一例を示すフローチャートである。 第２の実施形態に係るシート状媒体の構成の一例を示す図である。 第２の実施形態に係る表示画面に貼付されるシート状媒体の一例を示す図である。

符号の説明

１０１ 表示ユニット
１０２ 制御ユニット
１０３ 指示ユニット
１０４ 位置検出ユニット
１０５ シート検出ユニット
２０１ 表示装置
２０１ 表示画面
２０３ シート状媒体
２０４、２０５ アノテーション
３２１ ディスプレイ駆動回路
３２４ ＣＰＵ
３２９ シート検出回路
３３０ アンテナ
４０２ 小カプセル
５０２ タグ
６０４、６０５ 磁石
１０００ 電子ペーパ
１０１５ タグ
１１０３ シート状媒体
１１０４、１１０５ アノテーション

Claims (15)

1. 表示装置の表示画面に重ね合わされるシート状物体と、画像処理装置とを有する画像処理システムであって、
   前記画像処理装置は、
   前記表示画面においてユーザによって描画される軌跡の軌跡情報を検出する軌跡情報検出手段と、
   前記軌跡情報検出手段において検出された軌跡情報に基づいてユーザによって描画された軌跡を前記表示画面上に表示する表示処理手段と
   を有し、
   前記シート状物体は、ユーザによって前記シート状物体に描画される軌跡を前記シート状物体上に表示する表示手段を有することを特徴とする画像処理システム。
2. 前記表示手段は、
   前記シート状物体の平面に亘って設けられる複数の空間と、
   前記複数の空間内を前記平面に対して少なくとも垂直方向に移動できる磁性体と、
   を有することを特徴とする請求項１に記載の画像処理システム。
3. 前記画像処理装置は、前記表示画面に重ね合わされたシート状物体の位置を検出するシート状物体検出手段を更に有し、
   前記シート状物体は、前記画像処理装置と通信を行う通信手段を更に有し、
   前記表示手段は、前記通信手段を介して受信した前記軌跡情報検出手段において検出された軌跡情報と前記シート状物体検出手段において検出されたシート状物体の位置とに基づいてユーザによって描画される軌跡を前記シート状物体上に表示することを特徴とする請求項１に記載の画像処理システム。
4. 前記表示手段は、電圧を印加することにより前記シート状物体上に表示した内容を変更することを特徴とする請求項３に記載の画像処理システム。
5. 前記シート状物体は、前記表示画面に重ね合わされた状態を検出する状態検出装置を更に有し、
   前記表示処理手段は、前記状態検出装置において検出された前記シート状物体の状態に基づいて前記シート状物体の属性情報を前記表示画面上に表示することを特徴とする請求項１、３及び４の何れか１項に記載の画像処理システム。
6. 前記シート状物体は、前記属性情報を記憶する記憶装置を更に有し、
   前記表示処理手段は、前記状態検出装置において検出された前記シート状物体の状態と前記記憶装置に記憶された属性情報とに基づいて前記シート状物体の属性情報を前記表示画面上に表示することを特徴とする請求項５に記載の画像処理システム。
7. 表示画面に重ね合わされたシート状物体の位置を検出するシート状物体検出手段と、
   前記表示画面において、ユーザによって描画される軌跡の軌跡情報を検出する軌跡情報検出手段と、
   前記軌跡情報検出手段において検出された軌跡情報と前記シート状物体検出手段において検出されたシート状物体の位置とに基づいてユーザによって描画される軌跡がシート状物体の領域外であるか否かを判定する判定手段と、
   前記判定手段において判定された結果に応じて、前記軌跡情報検出手段において検出された軌跡情報に基づいてユーザによって描画される軌跡を前記表示画面上に表示する表示処理手段と
   を有することを特徴とする画像処理装置。
8. 前記判定手段において、シート状物体の領域外であると判定された場合、前記表示処理手段は、ユーザによって描画される軌跡を前記表示画面上に表示することを特徴とする請求項７に記載の画像処理装置。
9. 前記シート状物体検出手段において検出されたシート状物体の領域に軌跡を表示するか否かの設定を検出する設定検出手段を更に有し、
   前記設定検出手段において、軌跡を表示する設定が検出された場合、前記表示処理手段は、前記シート状物体検出手段において検出されたシート状物体の領域内であって、前記表示画面上にユーザによって描画される軌跡を表示することを特徴とする請求項７又は８に記載の画像処理装置。
10. 表示画面に重ね合わされたシート状物体の位置を検出するシート状物体検出ステップと、
    前記表示画面において、ユーザによって描画される軌跡の軌跡情報を検出する軌跡情報検出ステップと、
    前記軌跡情報検出ステップにおいて検出された軌跡情報と前記シート状物体検出ステップにおいて検出されたシート状物体の位置とに基づいてユーザによって描画される軌跡がシート状物体の領域外であるか否かを判定する判定ステップと、
    前記判定ステップにおいて判定された結果に応じて、前記軌跡情報検出ステップにおいて検出された軌跡情報に基づいてユーザによって描画される軌跡を前記表示画面上に表示する表示処理ステップと
    を有することを特徴とする画像処理方法。
11. 前記判定ステップにおいて、シート状物体の領域外であると判定された場合、前記表示処理ステップでは、ユーザによって描画される軌跡を前記表示画面上に表示することを特徴とする請求項１０に記載の画像処理方法。
12. 前記シート状物体検出ステップにおいて検出されたシート状物体の領域に軌跡を表示するか否かの設定を検出する設定検出ステップを更に有し、
    前記設定検出ステップにおいて、軌跡を表示する設定が検出された場合、前記表示処理ステップでは、前記シート状物体検出ステップにおいて検出されたシート状物体の領域内であって、前記表示画面上にユーザによって描画される軌跡を表示することを特徴とする請求項１０又は１１に記載の画像処理方法。
13. 表示画面に重ね合わされたシート状物体の位置を検出するシート状物体検出ステップと、
    前記表示画面において、ユーザによって描画される軌跡の軌跡情報を検出する軌跡情報検出ステップと、
    前記軌跡情報検出ステップにおいて検出された軌跡情報と前記シート状物体検出ステップにおいて検出されたシート状物体の位置とに基づいてユーザによって描画される軌跡がシート状物体の領域外であるか否かを判定する判定ステップと、
    前記判定ステップにおいて判定された結果に応じて、前記軌跡情報検出ステップにおいて検出された軌跡情報に基づいてユーザによって描画される軌跡を前記表示画面上に表示する表示処理ステップと
    をコンピュータに実行させるためのプログラム。
14. 表示画面に重ね合わされるシート状物体であって、
    前記シート状物体の平面に亘って設けられる複数の空間と、
    前記複数の空間内を前記平面に対して少なくとも垂直方向に移動できる磁性体と、を有することを特徴とするシート状物体。
15. 表示画面に重ね合わされるシート状物体であって、
    前記表示画面においてユーザによって描画される軌跡の軌跡情報を検出する軌跡情報検出手段と前記表示画面に重ね合わされるシート状物体の位置を検出するシート状物体検出手段とを有する画像処理装置との間で通信を行う通信手段と、
    ユーザによって前記シート状物体に描画される軌跡を、前記通信手段を介して受信した前記シート状物体検出手段において検出したシート状物体の位置と前記軌跡情報検出手段において検出された軌跡情報とに基づいて前記シート状物体に電圧を印加することにより表示する表示手段と
    を有することを特徴とするシート状物体。

Images