JP2005071192A - 投影型表示装置、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】外光条件に左右されることなく表示画面に重畳させて書き込まれた文字や絵を電子情報として抽出する投影型表示装置を提供する。
【解決手段】この投影型表示装置で利用者の書き込んだ情報を抽出するときには、（１）書き込まれた画像の各画素のＲＧＢ値の相対値をもとに抽出する、または、該装置を設置した際に、（２）キャリブレーション手段で取得した所定の書き込み画像から色情報を取得して記憶し、書き込まれた画像の各画素のＲＧＢ値の相対値と色情報をもとに書き込み情報を抽出する、または、（３）キャリブレーション手段で取得した所定の書き込み画像から色情報と無地の書込面の撮影画像を取得して記憶し、書き込まれた画像の各画素のＲＧＢ値の相対値と色情報と無地の書込面の撮影画像をもとに書き込み情報を抽出するようにした。
【選択図】図５

Description

本発明は、投影型表示装置、プログラムおよび記録媒体に関し、具体的には、投影型表示装置の画面に書き込まれた画像のみを抽出する技術に関する。

従来、投影型表示装置は、一般に、プロジェクタ、表示付電子黒板、パーソナルコンピュータ等へ適用されており、会議や講義等において複数人を対象としたモニタとして使用されたり、個人で使用するパーソナルコンピュータ等のモニタとして使用されたりしている。
また、会議や講義等においては、モニタに表示される情報映像に基づいて、参加者が議論と検討を行い、必要に応じて、参加者がモニタに表示される情報映像に重畳して、情報を書き込むことにより、さらに検討会議を進行させる表示装置が使用されている。
この場合、検討過程で生じた参加者の検討事項を電子情報としてパーソナルコンピュータ等へ入力できる機能が望まれる。
このような表示と書き込みとを同一面上で行うことを実現するための手段の１つとして、表示面に接触されたペン先の位置を検出し、これを追跡することにより書き込んだ情報をパーソナルコンピュータへ取り込む機能を搭載した表示装置が販売されている。

例えば、特許文献１には、透過型スクリーンに投影されている画像や、透過型スクリーン前面に設けられた透明部材上にペン等で書き込まれた画像を、透過型スクリーンの近傍に設けられた比較的大型の線形受光センサによりスキャニングすることで、プリントする技術が開示されている。

また、特許文献２には、ＯＨＰを別に用意する必要がなく透明原稿のセットが容易であるとともに、透明原稿に記録された画像をスクリーンに投影したままでスクリーンの表面に文字や絵を書き込むことができ、また、これらの投影画像や手書き情報を簡単にコピーすることができる電子黒板が開示されている。
この特許文献２は、投影画像を観察しながら、必要に応じて半透明シートの表面に文字や絵を書き込むように構成されており、この書き込まれた画像は、プリントスタートスイッチが押下されることで動作するスキャナによって読み取られ、ハードコピーとしてプリントアウトされる。

また、特許文献３には、聴講者の文字や映像などからなる画像の認識が容易であり、しかも表示内容の書込みや消去並びに変更が容易で使い易い視聴覚機器である、いわゆる光黒板が開示されている。この特許文献３は、ユーザがスクリ−ンの表面側に与えた指示の入力位置に予め定められた画像を投影するものである。

また、特許文献４には、ペンなどで電子黒板に描画された画像を電子的に取り込み、これをプロジェクタで電子黒板に投影する画像と合成するための電子黒板システムが開示されている。この特許文献４は、電子黒板に描画された情報を電子黒板本来の機能により電子情報として読み取り、これをパソコンにおいて投影画像と合成させる。

しかしながら、上述した特許文献の方法では、書き込むための専用のペンが必要であったり、文字の追加や消去を行うために画面操作でモードを変更する必要があるなど、機能性や操作性に難点がある。

そこで、所定の投影画像を形成する投影面と、この投影画像と重複可能に書き込み画像を、通常のホワイトボード用マーカなどのペンで直接書き込みが可能である書き込み面と、これらの投影面を撮影する撮像手段を有する装置が提案されている。
例えば、特許文献５は、書き込み用のホワイトボード用マーカで書込面に文字や絵などの書き込みができるとともに、書込面上に画像を表示することができる。この画像は、筐体によって遮光された内部にあるプロジェクタによって形成され、反射ミラーを介して透過型スクリーンで画像が形成される。
この透過型スクリーンは、書込面の内部にあるが、書込面は透明であるため、書込面と重ね合わせて投影された画像を外部から見ることができ、さらに、ＣＣＤカメラにより、書込面に書かれた書き込みを撮像でき、その書き込みを電子的に取り込んで外部へ出力することができる。
特公平７−４６１９８号公報 特開平６−３４７８９８号公報 特開平８−１６０５３９号公報 特開平１０−２９７１６６号公報 特開２００１−１４３３４８号公報

しかしながら、従来の技術では、電子的に取り込まれる書き込みは、表示画像全体を対象としたものであり、取り込まれたデータサイズは大きなものとなっている。
また、書き込みだけを抽出するには、書き込みのなされた投影面を撮影した画像から、投影画像を減算するという、いわゆるシェーディング補正による方法が採用されている。
また、書き込みが行われた投影面を撮影するには外光を利用しているので、外光を遮るような障害物がある（例えば、投影面の前面に人がいる）場合、この障害物によって投影面に生じる影が書き込み情報として残ってしまうという問題がある。
例えば、図１５に示すようなテーブル型の表示装置の場合には、周囲に人が立っているだけで外光の状況により影が残ってしまい、図１６のような抽出画像になってしまう。
このように、従来の技術では状況によって変化する外光条件に対処できていなかった。

本発明は、上述の実情を考慮してなされたものであって、外光条件に左右されることなく表示画面に重畳させて書き込まれた文字や絵を電子情報として抽出する投影型表示装置、プログラムおよび記録媒体を提供することを目的とする。

上述した課題を解決するために、請求項１の発明の投影型表示装置は、所定の投影画像を形成する投影面と、前記投影画像と重複可能に、書き込み画像を直接形成可能な書込面と、前記書込面上に形成された書き込み画像を、画素が二次元的に配列された撮像部で撮影する撮像手段とを備えた投影型表示装置において、前記撮像手段で撮影された前記書込面上に書き込まれた画像の各画素のＲＧＢ値の相対値をもとに書き込み情報を抽出する抽出手段を有することを特徴とする。

また、請求項２の発明の投影型表示装置は、所定の投影画像を形成する投影面と、前記投影画像と重複可能に、書き込み画像を直接形成可能な書込面と、前記書込面上に形成された書き込み画像を、画素が二次元的に配列された撮像部で撮影する撮像手段とを備えた投影型表示装置において、該装置を設置した際に、前記撮像手段から取得した所定の書き込み画像の一部または全体から色情報を取得して記憶するキャリブレーション手段と、前記撮像手段で撮影された前記書込面上に書き込まれた画像の各画素のＲＧＢ値の相対値と前記色情報をもとに書き込み情報を抽出する抽出手段を有することを特徴とする。

また、請求項３の発明の投影型表示装置は、所定の投影画像を形成する投影面と、前記投影画像と重複可能に、書き込み画像を直接形成可能な書込面と、前記書込面上に形成された書き込み画像を、画素が二次元的に配列された撮像部で撮影する撮像手段とを備えた投影型表示装置において、該装置を設置した際に、前記撮像手段から取得した所定の書き込み画像の一部または全体から色情報を取得して記憶するとともに、無地の書込面の撮影画像を取得して記憶するキャリブレーション手段と、前記撮像手段で撮影された前記書込面上に書き込まれた画像の各画素のＲＧＢ値の相対値と前記色情報と前記無地の書込面の撮影画像をもとに書き込み情報を抽出する抽出手段を有することを特徴とする。

また、請求項４の発明は、請求項１、２または３に記載の投影型表示装置において、前記投影画像の一部又は全部と、前記抽出手段で抽出された書き込み画像とを合成して合成画像を生成する合成手段を備え、前記合成画像を前記投影装置で投影面へ投影することを特徴とする。

また、請求項５の発明は、請求項４に記載の投影型表示装置において、前記抽出処理で抽出される書き込み画像を取得する第１の撮影処理モードと、前記合成手段で得られる合成画像を取得する第２の撮影処理モードとの何れか一方を選択させるモード選択切り替え手段を備えることを特徴とする。

また、請求項６の発明は、請求項１乃至５のいずれかに記載の投影型表示装置において、前記抽出された書き込み画像内の、独立したノイズを除去して、書き込み情報を抽出するノイズ除去手段を備えることを特徴とする。

また、請求項７の発明のプログラムは、コンピュータに、請求項１乃至６のいずれかに記載の投影型表示装置の機能を実行させるためのプログラムである。
また、請求項８の発明の記録媒体は、請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、外光条件に左右されることなく表示画面に重畳させて書き込まれた文字や絵を電子情報として抽出することができる。

以下、図面を参照して本発明の投影型表示装置の好適な実施形態を説明する。

＜実施形態１＞
図１は、本発明を適用する投影型表示装置の斜視図であり、図２はその断面図である。
図１に示すように、投影型表示装置は、筐体１の前面の上半部には、ホワイトボード用マーカ等で利用者による情報の書き込みが行なわれる透明な書込面からなる表示・書込パネルが設けられ、画像の表示が行なわれる調光スクリーン２と、電源スイッチ６、情報の読み取り時に操作される読取スイッチ７が配列され、さらに、筐体１の前面のほぼ中央位置にはキーボード台３が突出配設され、このキーボード台３上にはキーボード４とマウス５が配置されている。

また、図２に示すように、調光スクリーン２の背面に透明補強板８が対接配置されているので、調光スクリーン２の表面への情報の書き込み時に、調光スクリーン２が撓むことがなく、情報の書き込みを高精度で行なうことができる。この調光スクリーン２に対して、傾斜対向して反射ミラー９が配設されている。

さらに、筐体１の内部において、底部近傍には、プロジェクタなどで構成され、利用者のマウス５等の指示手段に基づいてパーソナルコンピュータ（ＰＣ）１４が保持している画像や文書などの電子データをＰＣ１４から供給を受けて、その電子データを投射し、その投射光を反射ミラー９で反射して背面から調光スクリーン２へ投影する投影装置１０、デジタルカメラなどの撮像情報を電子データとして保存可能な装置であり、読取スイッチ７の指示に基づいてＰＣ１４が撮影指示を与えたときに、調光スクリーン２の書込面に利用者が書き込んだ情報を反射ミラー９を介して背面から撮像する撮像手段１１、文書や画像データの提供を含む各種の動作を行なうＰＣ１４が配設されている。

また、投影装置１０の投影口の近傍に、遮光モータ１２によって回動し、投影口の解放と遮蔽を行なう遮光板１３が配設されている。撮像手段１１で調光スクリーン２の背面から撮像するときに、投影装置１０による投影光を一時的に遮光するため、遮光モータ１２によって遮光板１３を回転させ、撮影が終了すると遮光モータ１２で遮光板１３ともとの位置に戻し、投影装置１０からの投影光を調光スクリーン２へ投影できるようにする。

ＰＣ１４にはそれぞれインタフェースを介して、投影装置１０、撮像手段１１、遮光モータ１２を接続し、それらを制御するためのドライバソフトウェアが組み込まれており、これにより各構成の制御およびコマンドやデータの入出力が行われる。
電源コンセント１５は、投影装置１０、撮像手段１１、遮光モータ１２、ＰＣ１４と接続し、電源スイッチ６によってそれぞれへ電源を供給する。

利用者に指示された文書や画像を調光スクリーン２へ表示する動作は、次のように行われる。
遮光モータ１２が停止状態に設定されて、遮光板１３により投影装置１０の投影口を塞がないようにし、この状態で、ＰＣ１４の画像選択操作によって取り出した文書や画像を表示画像信号に変換して、投影装置１０へ供給する。そして、投影装置１０から表示画像信号に対応する画像が反射ミラー９を介して、調光スクリーン２の背面に投影され、調光スクリーン２の前面側に位置する利用者は、透明な書込面を介して、投影された表示画像を見ることができる。

利用者は、表示画像を見て、意見感想や修正個所などを書込面へマーカなどによって書き込む。この書き込まれた情報をＰＣ１４へ取り込む動作モードとして、次のような２つの動作モードがある。

（１）第１の撮影処理モード：利用者の書込み画像のみを抽出して取得し、ＰＣ１４の記憶装置へ格納する。
（２）第２の撮影処理モード：利用者の書込み画像と投影画像とを合成した合成画像を生成して、ＰＣ１４の記憶装置へ格納すると同時に調光スクリーン２へ投影する。
これらの動作モードは、装置の使用に先立ち、いずれのモードで操作するかをＰＣ１４に指定しておく。

まず、第１の撮影処理モードについて説明する。
利用者が読取スイッチ７を押すと、ＰＣ１４から遮光板１３の開閉信号が発せられて、遮光モータ１２が回転駆動され、遮光板１３が投影装置１０の投影口を遮蔽する位置まで回動する。このため書込面には書込まれた情報のみが表示されていることになる。
この状態で、ＰＣ１４は撮像手段１１へ撮影信号を発し、撮像手段１１が反射ミラー９を介して、書込面の情報を撮影し、撮像手段１１へ保存するとともにＰＣ１４へ転送・保存する。

これにより、左右が逆の撮影画像が取得される。次にＰＣ１４は、この撮影画像の左右を反転させ、さらに、書込面や調光スクリーン２、透明補強板８や反射ミラー９などに付いていた傷やマーカによるごみ等が排除され、利用者によって書き込まれた情報のみを含む書き込み画像を取得する。図３はこのようにして得られた、利用者がマーカ等で書き込んだ画像である。図３は、利用者が「ＲＥＤ」、「ＧＲＥＥＮ」、「ＢＬＵＥ」、「ＢＬＡＣＫ」の文字を書き込んだ書き込み部、その他は背景部分を示している。
ＰＣ１４は、このようにして取り出された利用者が書き込んだ画像を電子情報としてＰＣ１４の記憶装置へ保存する。
また、撮像手段１１で撮影した後、ＰＣ１４は遮光板１３の開閉信号を発して、遮光モータ１２を回転駆動して、遮光板１３を投影装置１０の投影口を遮蔽しない位置まで回動させる。

また、第２の撮影処理モードの場合には、先の第１の撮影処理モードと同様にして抽出した画像へ、先に投影していた画像を合成して、ＰＣ１４の記憶装置へ保存するとともに、投影装置１０へ供給する。
この後、投影装置１０は供給を受けた合成画像を、反射ミラー９を介して調光スクリーン２の背面に投影する。調光スクリーン２の前面側に位置する利用者は、透明な書込面を介して、投影された合成画像を見ることができる。

このように、利用者が書き込んだ画像を電子情報として保存することにより有効に活用することができる。また、ＰＣ等から、取り出した書き込み画像を、それのみで使う場合と、投影画像と組み合わせて使う場合とを設定できるようにして、データの活用性が拡大された投影型表示装置として使用できる。

次に、ＰＣ１４において、撮像手段１１で撮影した画像から、利用者が書き込んだ画像を取り出す方法について説明する。
図４は、画像中の赤書き込み、緑書き込み、青書き込み、黒書き込み、背景中の画素の平均的なＲＧＢ成分（赤緑青成分）の相対関係を表している。この相対関係によると、画像中の各画素において、次のような関係にあるときに３色のいずれかのマーカによる書き込み情報であるとみなすことができる。

（１）Ｒ＞Ｂ＞Ｇの関係が成立するものは赤、
（２）Ｇ＞Ｂ＞Ｒの関係が成立するものは緑、
（３）Ｂ＞Ｇ＞Ｒの関係が成立するものは青。

また、黒の書き込みにおいては、ＲＧＢ３成分ともにある値以下をとることが観察されるので、所定の閾値以下のものを黒の書き込みとみなし、４色のマーカによる書き込みを識別することができる。
調光スクリーン２面の撮影には外光を利用している。例えば、通常の会議室などにおける利用シーンを想定すると室内の灯りをつけたままの利用であり、このとき、スクリーン面の撮影画像の書き込み以外の背景部分は白、もしくはこれに近い明るい色となるため、背景部分のＲＧＢ値はともに高い値をとる。

また、撮影時に調光スクリーン２前面に、利用者などが立っており外光を遮ることにより生じる影は輝度の高いグレーになる。したがって、上記したＲＧＢ情報の相対関係から、赤、緑、青、黒の情報を抜き出し、それ以外を背景、ノイズとして捨てることにより、書き込み情報のみを抽出することができる。

図５は、読み取った画像から利用者が書き込んだ画像を抽出する処理手順を示すフローチャートである。
撮影した画像から１画素を取り出す（ステップＳ１０）。
この取り出した画素のＲＧＢの各値がＲ＞Ｂ＞Ｇの関係にある場合（ステップＳ１１のＹＥＳ）、この取り出した画素を赤（Ｒ＝２５５、Ｇ＝Ｂ＝０）として再設定し（ステップＳ１２）、ステップＳ２０へ進む。

また、取り出した画素のＲＧＢの各値がＢ＞Ｇ＞Ｒの関係にある場合（ステップＳ１３のＹＥＳ）、この取り出した画素を青（Ｂ＝２５５、Ｒ＝Ｇ＝０）として再設定し（ステップＳ１４）、ステップＳ２０へ進む。

また、取り出した画素のＲＧＢの各値がＧ＞Ｂ＞Ｒの関係にある場合（ステップＳ１５のＹＥＳ）、この取り出した画素を緑（Ｇ＝２５５、Ｒ＝Ｂ＝０）として再設定し（ステップＳ１６）、ステップＳ２０へ進む。

また、取り出した画素のＲＧＢの各値がすべて所定の閾値より小さい場合（ステップＳ１７のＹＥＳ）、この取り出した画素を黒（Ｒ＝Ｇ＝Ｂ＝０）として再設定し（ステップＳ１８）、ステップＳ２０へ進む。
一方、取り出した画素のＲＧＢの各値のいずれかが所定の閾値より大きい場合（ステップＳ１７のＮＯ）、この取り出した画素を背景（白、Ｒ＝Ｇ＝Ｂ＝２５５）として再設定し（ステップＳ１９）、ステップＳ２０へ進む。

最後に、まだ処理すべき画素がある場合には（ステップＳ２０のＮＯ）、撮影した画像の中で上記の判定を行っていない画素を取り出すためにステップＳ１０へ戻る。
一方、すべての画素を処理した場合（ステップＳ２０のＹＥＳ）、利用者が書き込んだ各画像をバウンダリボックス法（利用者の書き込みを矩形で囲んで抽出する方法）により抽出して（ステップＳ２１）、処理を終了する。
バウンダリボックス法により取り出された抽出画像は、全体の画像の中のバウンダリボックスの位置と大きさ情報（位置情報、縦横の画素数のサイズ情報）および抽出した画像とからなっており、書き込みが複数箇所に偏在する場合は、バウンダリボックスも複数個存在することになる。ここで抽出された画像情報は、ＰＣ１４のメモリ等の記憶装置へ保存される。このように抽出された画像を元の投影画像と合成するときには、抽出画像の位置情報をもとに抽出前にあった場所に戻されて合成処理がなされる。

この処理後の画像は、各色ともより色が鮮明になるが、スクリーン面上のごみや、マーカの消しかすなどのごく微小なごみが黒の書き込みと判別されて、抽出画像内に残る場合がある。このようなごみが画像中の孤立点ノイズとして残存してしまうと、無駄に画像の容量を増やしてしまうため、操作性の悪化にもつながる。
このため、バウンダリボックス法により画像を抽出するときに、独立点ノイズの除去処理を加えることにより、画像の容量を小さくし、より操作性のよい抽出画像を得ることができ、投影画像に合成する際にも、処理速度を向上させることができる。

例えば、図６に示すように、独立点ノイズを含む画像を抽出した場合、図６（Ａ）のような広範囲の画像となるが、独立点ノイズを除去した場合、図６（Ｂ）のようにバウンダリボックスの対象となる領域を小さく設定することができるため、抽出画像の最適な領域を設定することができ、投影画像に合成する場合には処理速度も向上し、画像の容量も軽量化される。

＜実施形態２＞
一般に、撮像手段の特徴により、その撮像手段の内部処理で実際の色と撮影された画像の色が若干異なってしまったりすることがある。また、投影型表示装置を使用する室内の外光環境によっても、撮影した画像の色の性質が異なってくる。例えば、図３を他の撮像手段で利用者の書き込んだ画像を撮影すると、図７のような図３とは違った撮影画像が取り込まれる。

撮影した画像から書き込み情報を抽出する際に、実施形態１のように、各画素のＲＧＢ値の相対関係を利用する場合、様々な環境の変化によって閾値が異なってしなうことがある。例えば、ある状況下では閾値として有効に作用していたものが、別の環境ではわずかの差で色違いとして判断されてしまって、画像を抽出するときに支障をきたす場合が生じる。

本実施形態２では、投影型表示装置の環境変化に応じて閾値を変更させるようにした。本実施形態２は実施形態１と同じ構成であるので相違点だけを説明する。
上述した図７の画像では、図８に示すように赤と青においては、色を判別する顕著な相対関係をもっている。

（１）Ｒ＞Ｂ＞Ｇの関係が成立するものは赤、
（２）Ｂ＞Ｇ＞Ｒの関係が成立するものは青。

しかし、緑、黒、背景については、いずれもＧ＞Ｂ＞Ｒという相対関係をもっているため、相対値のみからでは判別することができない。このような状況を回避するために、投影型表示装置を設置する際に、キャリブレーションを行って、閾値を初期設定することで、投影型表示装置およびその設置環境に応じた閾値を設定することができる。

投影型表示装置を搬入して設置したとき、ＰＣ１４からキャリブレーションによる閾値設定を選択すると、図９に示すような初期設定画面（キャリブレーションダイアログ）が表示される。
この初期設定画面の指定した枠内に、赤、緑、青、黒のマーカで文字、記号や図等を書かせ、利用者が「キャリブレーション」ボタンをマウス５でクリックすることによって、ＰＣ１４は撮像手段１１で調光スクリーン２面を撮影させる。撮影された画像は、図１０に示すようになる。
次に、ＰＣ１４は、撮影画像中のマーカで書き込みのなされた場所（座標は既知）以外の書き込みのない部分、すなわち背景部分のＲＧＢ成分のそれぞれの最小値を取得する。これをＲｍｉｎ、Ｇｍｉｎ、Ｂｍｉｎとする。

緑領域には、背景と緑という情報があるので、この領域中の画素でＧ＞Ｂ＞Ｒが成立し、かつＧ＜Ｇｍｉｎの成立するものを緑と判別する。そして、緑領域内で緑と判別された画素のＲＧＢの内最大のＧの値をＧｇｍａｘとする。
また、黒の書き込み領域の中には背景と黒の書き込みのみが存在し、背景画素以外は黒書き込みとみなせるので、Ｇ＜Ｇｍｉｎのものを黒と判断し、その中でＧの最大値をＧｂｋｍａｘとする。
利用者が「ＯＫ」をクリックすることによって、ＰＣ１４は得られたＧｇｍａｘ、Ｇｂｋｍａｘを投影型表示装置のメモリに保存する。これらの値は、通常の使用時に、書き込み情報抽出の閾値として用いる。

図１１は、キャリブレーション処理の処理手順を示すフローチャートである。
まず、撮影画像中のマーカで書き込みのなされた場所の座標は既知であるため、書き込みのない部分、すなわち背景部分のＲＧＢ成分のそれぞれの最小値を取得し、これをＲｍｉｎ、Ｇｍｉｎ、Ｂｍｉｎとする（ステップＳ２１）。

緑領域において、この領域中の画素でＧ＞Ｂ＞Ｒが成立し、かつＧ＜Ｇｍｉｎの成立する画素のＲＧＢの内最大のＧの値をＧｇｍａｘとして投影型表示装置のメモリへ記憶する（ステップＳ２２）。
次に、黒の領域において、この領域中の画素でＧ＞Ｂ＞Ｒが成立し、かつＧ＜Ｇｍｉｎの成立する画素のＲＧＢの内最大のＧの値をＧｂｋｍａｘとして投影型表示装置のメモリへ記憶し（ステップＳ２３）、処理を終了する。

図１２は、このキャリブレーションによって決定された閾値（Ｇｇｍａｘ、Ｇｂｋｍａｘ）を用いて、書き込み情報を抽出する手順を示すフローチャートである。
撮影した画像から１画素を取り出す（ステップＳ３０）。
この取り出した画素のＲＧＢの各値がＲ＞Ｂ＞Ｇの関係にある場合（ステップＳ３１のＹＥＳ）、この取り出した画素を赤（Ｒ＝２５５、Ｇ＝Ｂ＝０）として再設定し（ステップＳ３２）、ステップＳ４１へ進む。

また、取り出した画素のＲＧＢの各値がＢ＞Ｇ＞Ｒの関係にある場合（ステップＳ３３のＹＥＳ）、この取り出した画素を青（Ｂ＝２５５、Ｒ＝Ｇ＝０）として再設定し（ステップＳ３４）、ステップＳ４１へ進む。

また、取り出した画素のＲＧＢの各値がＧ＞ＢかつＧ＞Ｒの関係にある場合（ステップＳ３５のＹＥＳ）、さらに、Ｇ＜Ｇｂｋｍａｘの関係にある場合には（ステップＳ３６のＹＥＳ）、この取り出した画素を黒（Ｒ＝Ｇ＝Ｂ＝０）として再設定し（ステップＳ３７）、ステップＳ４１へ進む。
一方、Ｇ＜Ｇｇｍａｘの関係にある場合には（ステップＳ３８のＹＥＳ）、この取り出した画素を緑（Ｇ＝２５５、Ｒ＝Ｂ＝０）として再設定し（ステップＳ３９）、ステップＳ４１へ進む。

また、Ｇ＜ＢまたはＧ＜Ｒの場合（ステップＳ３５のＮＯ）あるいはＧ＞Ｇｇｍａｘである場合（ステップＳ３８のＮＯ）、この取り出した画素を背景（白、Ｒ＝Ｇ＝Ｂ＝２５５）として再設定し（ステップＳ４０）、ステップＳ４１へ進む。

最後に、まだ処理すべき画素がある場合には（ステップＳ４１のＮＯ）、撮影した画像の中で上記の判定を行っていない画素を取り出すためにステップＳ３０へ戻る。
一方、すべての画素を処理した場合（ステップＳ４１のＹＥＳ）、利用者が書き込んだ各画像をバウンダリボックス法（利用者の書き込みを矩形で囲んで抽出する方法）により抽出して（ステップＳ４２）、処理を終了する。

この処理により、撮影時のスクリーン前面に存在する使用者、その他の外光の障害物による影は書き込みよりも明るい輝度をもっているので、影のＧ成分がＧｇｍａｘより大きな値をとるため、この処理によって除去でき、図１３に示すように書き込み情報が抽出される。

この方法によれば、投影型表示装置を設置した際の初期設定としてキャリブレーションを行うため、設置場所による条件に対応した閾値を決定できる。

＜実施形態３＞
上記実施形態２では、キャリブレーションを行った際、撮影画像中のマーカで書き込みのなされた場所以外の書き込みのない部分を背景として、背景部分のＲＧＢ成分のそれぞれの最小値を取得するようにしていた。しかし、この方法では、スクリーン、透明補強板や反射ミラーに存在する小さな傷等を除去することはできない。
本実施形態３では、利用者に書き込みを行わせるキャリブレーションの前に、書き込みの行われていない無地画像を撮影し、この画像とキャリブレーションの結果の閾値を投影型表示装置設置の初期設定として、所定のメモリに保存しておくようにした。本実施形態３は、実施形態１や２と同じ構成であるので相違点だけを説明する。

利用者が書込面に書き込みを行い、この書き込んだ情報を抽出する際に、書き込みのなされた画像から、この初期設定で撮影、保存してある無地の画像を減算するシェーディング補正を行って、周囲の光量分布の偏りを補正する（図１４参照）。
この補正の場合は、各画素において、書き込み画像から無地画像を減算し、各画素のＲＧＢ値が所定の閾値以下のときは白、残りは書き込み画像の情報を残すようにする。

このままでは、書込面の撮影時に書込面の前に障害物が存在した場合には、これが影として画像中に残るため、この影を除去しなければならない。
これは、実施形態２と同様にして、キャリブレーションによって得られた閾値と、無地画像を減算した後の補正画像中のＲＧＢ成分の相対関係をもとに影やノイズを除去することで、より高品質の書き込み情報画像を抽出することができる。

＜その他の実施形態＞
さらに、本発明は、上述した実施形態のみに限定されたものではなく、上述した実施形態の投影型表示装置の各機能をプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、コンピュータに搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置にこのＣＤ−ＲＯＭ等を装着して、これらのプログラムをインストールして、実行することによっても、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読出されたプログラム自体が上述した実施形態を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。

なお、記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）のいずれであってもよい。
あるいは、インターネット等の通信網を介して記憶装置に格納されたプログラムをサーバコンピュータから直接供給を受けるようにしてもよい。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。

また、ロードしたプログラムを実行することにより上述した実施形態が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上述した実施形態が実現される場合も含まれる。

本発明を適用する投影型表示装置の斜視図である。 本発明を適用する投影型表示装置の断面図である。 撮像手段で撮影した画像の例である。 画像中の赤書き込み、緑書き込み、青書き込み、黒書き込み、背景中の画素の平均的なＲＧＢ成分の相対関係を表す図である。 読み取った画像から利用者が書き込んだ画像を抽出する処理手順を示すフローチャートである。 独立点ノイズ除去を説明するための画像例である。 撮像手段で撮影した画像の例である。 図７の画像中の赤書き込み、緑書き込み、青書き込み、黒書き込み、背景中の画素の平均的なＲＧＢ成分の相対関係を表す図である。 初期設定画面（キャリブレーションダイアログ）例である。 キャリブレーションの指示に基づいて読み取られた画像の例である。 キャリブレーションの指示によって閾値を決定する処理を示すフローチャートである。 キャリブレーションによって決定した閾値を用いて、書き込み情報を抽出する手順を示すフローチャートである。 図１２の処理により求められた抽出画像の例である。 読み取った画像から無地画像を減算することにより抽出した、利用者の書き込んだ画像の例である。 会議等で周囲に人が立って議論等を行う形式のテーブル型の表示装置の例である。 図１５の表示装置を使用した場合、外光の状況により影が残ってしまった抽出画像の例である。

符号の説明

１…筐体、２…調光スクリーン、３…キーボード台、４…キーボード、５…マウス、６…電源スイッチ、７…読取スイッチ、８…透明補強板、９…反射ミラー、１０…投影装置、１１…撮像手段、１２…遮光モータ、１３…遮光板、１４…ＰＣ、１５…電源コンセント。

Claims (8)

1. 所定の投影画像を形成する投影面と、前記投影画像と重複可能に、書き込み画像を直接形成可能な書込面と、前記書込面上に形成された書き込み画像を、画素が二次元的に配列された撮像部で撮影する撮像手段とを備えた投影型表示装置において、前記撮像手段で撮影された前記書込面上に書き込まれた画像の各画素のＲＧＢ値の相対値をもとに書き込み情報を抽出する抽出手段を有することを特徴とする投影型表示装置。
2. 所定の投影画像を形成する投影面と、前記投影画像と重複可能に、書き込み画像を直接形成可能な書込面と、前記書込面上に形成された書き込み画像を、画素が二次元的に配列された撮像部で撮影する撮像手段とを備えた投影型表示装置において、該装置を設置した際に、前記撮像手段から取得した所定の書き込み画像の一部または全体から色情報を取得して記憶するキャリブレーション手段と、前記撮像手段で撮影された前記書込面上に書き込まれた画像の各画素のＲＧＢ値の相対値と前記色情報をもとに書き込み情報を抽出する抽出手段を有することを特徴とする投影型表示装置。
3. 所定の投影画像を形成する投影面と、前記投影画像と重複可能に、書き込み画像を直接形成可能な書込面と、前記書込面上に形成された書き込み画像を、画素が二次元的に配列された撮像部で撮影する撮像手段とを備えた投影型表示装置において、該装置を設置した際に、前記撮像手段から取得した所定の書き込み画像の一部または全体から色情報を取得して記憶するとともに、無地の書込面の撮影画像を取得して記憶するキャリブレーション手段と、前記撮像手段で撮影された前記書込面上に書き込まれた画像の各画素のＲＧＢ値の相対値と前記色情報と前記無地の書込面の撮影画像をもとに書き込み情報を抽出する抽出手段を有することを特徴とする投影型表示装置。
4. 請求項１、２または３に記載の投影型表示装置において、前記投影画像の一部又は全部と、前記抽出手段で抽出された書き込み画像とを合成して合成画像を生成する合成手段を備え、前記合成画像を前記投影装置で投影面へ投影することを特徴とする投影型表示装置。
5. 請求項４に記載の投影型表示装置において、前記抽出処理で抽出される書き込み画像を取得する第１の撮影処理モードと、前記合成手段で得られる合成画像を取得する第２の撮影処理モードとの何れか一方を選択させるモード選択切り替え手段を備えることを特徴とする投影型表示装置。
6. 請求項１乃至５のいずれかに記載の投影型表示装置において、前記抽出された書き込み画像内の、独立したノイズを除去して、書き込み情報を抽出するノイズ除去手段を備えることを特徴とする投影型表示装置。
7. コンピュータに、請求項１乃至６のいずれかに記載の投影型表示装置の機能を実行させるためのプログラム。
8. 請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images