JP2008076445A - 投影型表示装置、投影型表示方法、該方法を実行させるプログラム及び該プログラムを格納したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】本発明は、背景除去には平均値を求めるために使う画素数を減らすことにより、またノイズ除去にはノイズを見つけるために参照する画素を減らすことにより、高速化を実現できる。
【解決手段】本発明の投影型表示装置は、投影画像を形成する投影面と、該投影面に投影画像を投影する投影手段と、投影画像と重複可能に書込み画像を形成可能な書込み面と、書込み面上に形成された書込み画像を撮影する撮影手段と、撮影手段で取得した撮影画像から書込み情報を抽出する書込み情報抽出手段とを有している。更に、本発明の投影型表示装置における書込み情報抽出手段は、注目画素も含めた注目画素の周囲の画素における輝度の平均値を用いて撮影画像の背景部分を除去する背景除去手段を有している。
【選択図】 図２

Description

本発明は投影型表示装置、投影型表示方法、該方法を実行させるプログラム及び該プログラムを格納したコンピュータ読み取り可能な記録媒体に関し、詳細には投影画面に書き込まれた画像を読み込み、読み込んだ画像と投影画像を合成して表示する投影型表示装置に関する。

従来、投影型表示装置は、プロジェクター、表示付電子黒板、パーソナルコンピュータ等へ適用されており、会議等におけるモニタとして使用されている。このような投影型表示装置は、表示画像に重畳させて文字等が書き込め、更に書き込みを電子情報として入力できる機能が望まれている。その要望に対して従来よりいくつかの提案がなされている。

その一つとして、特許文献１には、透過型スクリーンに投影されている画像や、透過型スクリーン前面に設けられた透明部材上にペン等で書き込まれた画像を、透過型スクリーンの近傍に設けられた比較的大型の線形受光センサによりスキャニングすることでプリントする技術が提案されている。

また、特許文献２には、ペンなどで電子黒板に描画された画像を電子的に取り込み、これをプロジェクターで電子黒板に投影する画像と合成するための電子黒板システムが提案されている。

更に、特許文献３には、背面から投影し表示画面に書込みを行い、内蔵されたＣＣＤカメラ等の撮像装置で撮像してデジタル化して情報を得る投影型表示装置が提案されている。
特公平０７−０４６１９８号公報 特開平１０−２９７１６６号公報 特開２００３−１４３３４８号公報

しかしながら、上記特許文献１によれば、受光センサがスクリーン面上を移動することで書き込み情報を読み取るため、装置が大掛かりになってしまう。また、上記特許文献２によれば、書き込み情報を読み取るには書き込み面を移動させスキャナ部を通過させなくてはならず、読み取りに時間がかかる。更に、上記特許文３によれば、献撮像手段によって得られた書込み画像から投影画像を減算するという方法を用いているため、状況によって変わるスクリーン付近にある障害物の陰によるノイズを除去することができないなどの課題がある。従来、この課題のために、背景除去とノイズ除去を入れたが、１画素につき複数の画素を参照したり、演算したりしなければならないため、非常に処理時間がかかってしまっていた。

本発明はこれらの問題点を解決するためのものであり、背景除去には平均値を求めるために使う画素数を減らすことにより、またノイズ除去にはノイズを見つけるために参照する画素を減らすことにより、高速化を実現できる投影型表示装置、投影型表示方法、該方法を実行させるプログラム及び該プログラムを格納したコンピュータ読み取り可能な記録媒体を提供することを目的とする。

前記問題点を解決するために、本発明の投影型表示装置は、投影画像を形成する投影面と、該投影面に投影画像を投影する投影手段と、投影画像と重複可能に書込み画像を形成可能な書込み面と、書込み面上に形成された書込み画像を撮影する撮影手段と、撮影手段で取得した撮影画像から書込み情報を抽出する書込み情報抽出手段とを有している。更に、本発明の投影型表示装置における書込み情報抽出手段は、注目画素も含めた注目画素の周囲の画素における輝度の平均値を用いて撮影画像の背景部分を除去する背景除去手段を有することに特徴がある。よって、背景除去の性能を劣化させることなく、背景除去の高速化を実現できる投影型表示装置を提供することができる。

また、背景除去手段における注目画素の輝度値はＲＧＢ成分中のＧ信号値であることにより、輝度変換による要する時間が短縮され高速化が図れる。

更に、背景除去手段は、注目画素の輝度値が所定の閾値より大きい場合、注目画素を白に変換する。

また、背景除去手段による直前の背景除去結果が背景であるときと、直前の背景除去結果が背景でないときとで、所定の閾値を切換える可変閾値処理を行うことが好ましい。

更に、背景除去手段による直前の背景除去結果が背景であれば、所定の閾値は注目画素の輝度の平均値から所定の第１の値を引いた値とし、直前の背景除去結果が背景でないならば、所定の閾値は注目画素の輝度の平均値から所定の第２の値を加えた値とする。よって、背景と書き込み線を良好に区別することができる。

また、注目画素の輝度の平均値は注目画素を中心とするｎ×ｎ（ｎは正の整数）画素の中から注目画素を含み等間隔なｍ×ｍ（ｍは正の整数、ｎ＞ｍ）画素を抜き出して、該ｍ×ｍ画素の平均値を注目画素における平均値とする。よって、背景除去の性能を劣化させることなく、背景除去の高速化を実現できる。

更に、書込み情報抽出手段は、注目画素を中心とするＮ×Ｎ（Ｎは正の整数）画素を参照してノイズか否かを判定してノイズを除去するノイズ除去手段を有している。よって、ノイズ除去の性能を劣化させることなく、ノイズ除去の高速化を実現できる。

また、ノイズ除去手段は、注目画素を中心とするＮ×Ｎ画素の中で、非背景画素が閾値Ｎｔｈより小さければ注目画素を白画素に置き換える。

更に、ノイズ除去手段は、注目画素を中心とするＮ×Ｎ画素の中から注目画素を含み等間隔なＭ×Ｍ（Ｍは正の整数）画素を抜き出し、抜き出したＭ×Ｍ画素の中で、非背景画素が閾値Ｎｔｈ’より小さければ注目画素を白画素に置き換える。よって、ノイズ除去の性能を劣化させることなく、ノイズ除去の高速化を実現できる。

また、別の発明としての投影型表示方法によれば、注目画素も含めた注目画素の周囲の画素における輝度の平均値を用いて撮影画像の背景部分を除去することに特徴がある。よって、背景除去の性能を劣化させることなく、背景除去の高速化を実現できる投影型表示方法を提供することができる。

更に、別の発明としての投影型表示方法によれば、注目画素を中心とするＮ×Ｎ（Ｎは正の整数）画素を参照してノイズか否かを判定してノイズを除去することに特徴がある。よって、ノイズ除去の性能を劣化させることなく、ノイズ除去の高速化を実現できる投影型表示方法を提供することができる。

また、別の発明として、コンピュータにより上記投影型表示方法を実行させるプログラムに特徴がある。更に、別の発明として、当該プログラムを格納したコンピュータ読み取り可能な記録媒体に特徴がある。よって、既存のシステムを変えることなく、投影型表示システムを汎用的に構築することができる。

本発明の投影型表示装置によれば、注目画素も含めた注目画素の周囲の画素における輝度の平均値を用いて撮影画像の背景部分を除去して、背景除去の性能を劣化させることなく背景除去の高速化を実現でき、かつ注目画素を中心とするＮ×Ｎ（Ｎは正の整数）画素を参照してノイズか否かを判定してノイズを除去して、ノイズ除去の性能を劣化させることなくノイズ除去の高速化を実現できる。

図１は本発明を適用する投影型表示装置の構成を示す図である。同図の（ａ）は斜視図、同図の（ｂ）は概略断面図である。図２は図１の投影型表示装置の構成を示すブロック図である。図１の（ａ），（ｂ）に示すように、投影型表示装置１は、所定の投影画像を形成する投影面１１と、投影画像と重複可能に、書き込み画像を直接形成可能な書き込み面１２とを有している。また、撮影手段１３は書き込み面１２の画角内を撮影できるように設置されており、投影手段１４は画像を投影する投影面１１の全体を撮影できるように設置されている。ここで、例えば撮影手段１３はＣＣＤカメラで、投影手段１４はプロジェクターを用いる。そして、図２に示すように、撮影手段１３及び投影手段１４を制御する制御部２０としてはＰＣを用い、制御プログラムを搭載することで本装置の実現は可能であるが、制御部２０は制御プログラムを搭載した他のハードウェアでも可能である。

このような構成を有する投影型表示装置１によれば、ユーザは投影手段１４のプロジェクターによって投影面１１に投影されたコンピュータからの画像を見ながら、投影画像に対しての追記したい文や図形等を、ホワイトボード用マーカーを用いて書き込み面１２に直接書き込みを行う。書き込んだ内容を投影されている画像と共に保存するためにユーザ任意のタイミングで制御プログラムのダイアログボタンをクリックし制御命令を出す。この制御命令出力は、プログラム以外に専用のハードボタンを搭載することでも実現できる。ユーザによって処理命令がなされると、図２の撮影部２１によって撮影手段１３のＣＣＤカメラを用いて書き込み面１２の画像を撮影し、得られた画像は図２の抽出部２２へ送られ、抽出部２２は送られてきた画像から、書込み情報である書き込み画像を抽出する。抽出された書き込み画像は合成部２３に送られ、ここで先に投影されていたファイルに合成され、投影部２４及び投影手段１４によって再び投影面１１に投影される。この動作により、ユーザは書き込み面１２に書込みを行い、その情報は電子情報として保存することができる。

図３は図２の抽出部の動作を示すフローチャートである。同図に従って抽出部の動作について説明すると、先ずユーザによって処理命令がなされると、図２の制御部２０から投影手段１４から黒一色の画像を投影する命令を出す（ステップＳ１０１）。これはこの後撮影手段１３で撮影する画像に不必要な情報の写り込みを避けるために投影手段１４を遮光状態にするためのものである。なお、投影手段１４に一時的なミュート機能が備わっていれば、それを利用しても良い。次に、投影手段１４が遮光状態になったら、撮影手段１３によってスクリーン面を撮影する（ステップ１０２）。ここで、図４は書き込みがなされたスクリーン面を撮影した画像の一例を示す図である。そして、図４の（ｂ）は撮影時にユーザがスクリーン面付近に手をかざしてしまったことにより影が映りこんでしまった画像である。こうした影等のノイズを除去し、マーカー書き込み部のみを抽出する処理を行う。マーカーによって書かれた部位は面に接しており、輪郭が明確でその内部の濃度は高濃度（グレースケールに変換したときの階調が低い）で、背景部分や影等は低濃度であることから二値化処理によってマーカー部とそれ以外の部分を切り分けることができる。一般的に対象となる画像から背景部分を取り除き対象部分を抽出するには二値化処理を行う。すなわち、ある濃度値を閾値とし、背景領域と対象領域に分割する。閾値を決定する方法としてはモード法、ｐ−タイル法、微分ヒストグラム法等が知られているが、これらは閾値を一定値に固定してしまう。本装置における撮影画像においては、撮影時の障害物や人の挙動等によって影やノイズの生じ方にも変化があるため、可変閾値処理を用いることが好ましい。これは画像中の画素を走査していき、そのとき注目する画素ごとに閾値を変化させる方法である。本実施の形態例では、注目する画素の周辺Ｎ×Ｎ画素分の局所領域の平均濃度値を閾値とする。図５はＮ＝３での例である。注目画素を含む周囲の画素全９画素の緑色の成分g値の合計の平均値g_aveを計算し、この値より注目画素のg値が低ければ、抽出対象、すなわちマーカー書き込み部であると判断し、g値が高ければ、背景、もしくは影、ノイズ、と判断し、この画素を白すなわちＲＧＢ（２５５，２５５，２５５）として置き換える。このような背景除去手段による背景除去処理により、図４の（ｃ）に示すように、背景部分を排除した書き込み部分を抽出することができる（ステップＳ１０３）。

次に、カメラによる撮影の際、スクリーン前側から入射する外光を用いているため、設置場所によっては、周囲の外光の条件により、光量ムラが起こりうる。図６は書き込みのなされていないスクリーン面を撮影した画像で、左側の輝度が高くなっており画像中の濃度勾配ができている。この光量ムラにより書き込み抽出を行う際に設定している閾値が画像中の場所により変わってしまうことをさけるため、この図６の無地画像を用いて、書き込み撮影画像をシェーディング補正する（ステップＳ１０４）。書き込み部の画素値の無地画像の画素値に対する濃度値の割合を求め、これを０〜２５５の幅に換算した値で画素値を置き換えることで濃度勾配を補正できる。周囲の外光の状況により、画像内には明るい部分と暗い部分、すなわち輝度勾配が発生する。書き込み画像内で、輝度が高い部分にかかれているものは輝度が高く、輝度が低い部分にかかれているものは輝度が低く撮影される。無地画像中のあるライン上（ｙ＝Ｊ）の輝度勾配が図７に示すようだとする。この環境下で書き込みを行うと、図８のように同じ色のペンで書き込みを行ったとしても、輝度勾配によって画像中の輝度値は一致せず書き込み場所によって輝度値に差が生じてしまう。これにより同じ色で書かれたものでもＲＧＢ値で大小が生じるため、これを無地画像の輝度勾配をもとに、書き込み撮影画像の輝度勾配を修正する。予め撮影されている書き込みがない状態での無地画像と、書き込みがなされている撮影画像はその画角は一致しているため、無地画像上の座標（Ｉ，Ｊ）は書き込み画像上でも(Ｉ，Ｊ)と、一対一に対応しているから、書き込み撮影画像のある画素の画素値をそれぞれＲｃ，Ｇｃ，Ｂｃとし、これと同じ座標の無地画像上の画素値をＲｎ，Ｇｎ，Ｂｎとすると補正後の画素値Ｒ，Ｇ，Ｂは、

Ｒ＝（Ｒｃ／Ｒｎ）×２５５
Ｂ＝（Ｂｃ／Ｂｎ）×２５５
Ｇ＝（Ｇｃ／Ｇｎ）×２５５
で表される。

これによって図９のように輝度勾配を修正し、同色内での輝度の落差が解消され、図１０に示すような鮮明な色合い書込み面の撮影画像を得ることができるため、より良質な書込み抽出画像を得ることができる。光量ムラ補正のための無地画像は、装置起動時に自動的に撮影することも、またユーザによる任意のタイミングで撮影することもできる。

次に、スクリーン面の撮影には、外光を利用しており、通常の会議室などにおける利用シーンを想定する場合、室内の灯りをつけたままの利用であり、このときスクリーン面の撮影画像の書き込み以外の背景部分は白、もしくはこれに近い明るい色となるため、そのＲＧＢ値はともに高い値をとる。したがって、上記したＲＧＢ情報の相対関係から、赤、青、黒の情報を抜き出し、それ以外を背景、ノイズとして捨てることにより、書き込み情報のみを抽出することができる。図１１は画像中の赤書き込み、青書き込み、黒書き込み、背景の画素の平均的なＲＧＢ成分の相対関係を示す図である。一例として、この相対関係から考えると、画像中の各画素において、Ｒ＞Ｂ＞Ｇの関係が成立するものは赤、Ｂ＞Ｇ＞Ｒの関係が成立するものは青とみなすことで、３色のマーカーによる書き込み情報を抽出することができる。黒の書込みにおいては、ＲＧＢの３成分ともにある値以下をとるので、所定の閾値以下のものを黒の書き込みとみなすことで、４色のマーカーによる書き込みを抽出することが可能になる。この際、赤マーカーに相当するところはＲＧＢ（２５５、０、０）、青はＲＧＢ（０、０、２５５）、黒はＲＧＢ（０、０、０）などに色を変換することで、図１２のようにより見やすい画像となる（ステップＳ１０５，Ｓ１０６）。

次に、注目画素を中心に９×９の８１画素をみて、それぞれの画素について白か否かを判定する。８１画素中白画素が１０画素以下であれば、注目画素が白でなくても注目画素を白で置き換える。この処理を全ての画素につき、カレント位置をラスター順に動かして行う。

そして、得られた画像はカメラからの画像のサイズになっているので、図１３，１４に示すように、書込みのある部分だけの最小領域を切り出す（ステップＳ１０７）。例えば、図１４に示すように、前段階までの処理において書き込み部以外は白に変換しているので画像を左上から下方向に操作していき最初に白以外の画素とあたったところをｘ１、右上から下方向に操作していき最初に白以外の画素とあたったところをｘ２、左上から右方向に操作していき最初に白以外の画素とあたったところをｙ１、左下から右方向に操作していき最初に白以外の画素とあたったところをｙ２とする。この（ｘ１，ｙ１）、（ｘ２，ｙ２）をそれぞれ左上、右下の頂点座標とする矩形領域を切り出すことで書込みのなされた面積に応じた画像を得ることができるので、後の合成処理等における操作性が向上する。

図１５は背景除去における高速化のメカニズムを説明する図である。本実施の形態例における背景除去では注目画素を中心とする輝度の平均値を算出するが、同図の（ａ）に示すような注目画素を中心としたｍ×ｍ画素の平均値をとるのではなく、同図の（ｂ）に示すように等間隔で飛び飛びの値をとるようにする。これにより演算量が減少し、背景処理部の高速化が実現できる。

図１６は本実施の形態例の背景除去動作を示すフローチャートである。同図において、先ず変数などの初期化を行い（ステップＳ２０１）、撮影画像を取得する（ステップＳ２０２）。次に、注目画素を中心とした平均値の算出を行い（ステップＳ２０３）、注目画素が背景画素か否かを判定する（ステップＳ２０４）。

図１７は本実施の形態例の平均値算出動作を示すフローチャートである。同図において、注目画素を中心とする、（２דｈａｂａ”＋１）×（２דｈａｂａ”＋１）画素の平均値を求める（Ｓ３０１〜Ｓ３０９）。本実施の形態例では輝度としてｇデータを用いている。これは、輝度変換に要する時間により処理速度が低下するのを防ぐためである。なお、“ｈａｂａ”には２דｈａｂａ”＋１を、書込み線を撮影した太さに設定する値がよい。許容範囲は、１＜“ｈａｂａ”＜７であり、推奨値は４である。

図１８は本実施の形態例の背景判定動作を示すフローチャートである。同図において、先ず前の画素が背景か否かを判定する。前の画素が背景ならｐｒｅｐｉｘ＝０とし、前の画素が背景でないならばｐｒｅｐｉｘ＝１とする（ステップＳ４０１）。前の画素のフラグｐｒｅｐｉｘが０ならば（ステップＳ４０２；ＹＥＳ）、注目画素のg値pix_g[y][x]と注目画素の平均値から定数を引いた値ave[y][x]-bkrmv1を比較し、pix_g[y][x]の方が大きければ（ステップＳ４０３；ＹＥＳ）、注目画素は背景と判断し白に置き換える（ステップＳ４０４）。そうでなければ何もしない（ステップＳ４０３；ＮＯ、ステップＳ４０５）。また、前の画素のフラグｐｒｅｐｉｘが１ならば（ステップＳ４０２；ＮＯ）、注目画素のg値pix_g[y][x]と注目画素の平均値から定数を加えた値ave[y][x]+bkrmv2を比較し、pix_g[y][x]の方が大きければ（ステップＳ４０６；ＹＥＳ）、注目画素は背景と判断し白に置き換える（ステップＳ４０４）。そうでなければ何もしない（ステップＳ４０６；ＮＯ、ステップＳ４０７）。定数bkrmv1、bkrmv2は背景と書き込み線を良好に分けられる値を設定し、許容値はいずれも６＜bkrmv1，bkrmv2＜１２で推奨値は９である。

図１９は本実施の形態例における高速に動作する平均値算出動作を示すフローチャートである。同図において、注目画素を中心とする、（２דｈａｂａ”＋１）×（２דｈａｂａ”＋１）画素の平均値を求める（Ｓ５０１〜Ｓ５０９）。本実施の形態例では輝度としてｇデータを用いている。これは、輝度変換に要する時間により処理速度が低下するのを防ぐためである。なお、“ｈａｂａ”には２דｈａｂａ”＋１を書込み線を撮影した太さに設定する値がよい。許容範囲は、１＜“ｈａｂａ”＜７であり、推奨値は４である。図１７では範囲内の全ての画素を用いて平均値を求めたが、図１９では縦横方向いずれもＡ画素分間引いた画素を利用して平均値を求めている。定数Ａは大きいほど処理速度が向上するが背景除去性能は劣化する。定数Ａの許容値は０＜Ａ＜９であり、推奨値はＡ＝４である。定数“ｈａｂａ”，Ａともに推奨値を用いるとちょうど図１５の（ｂ）のようになる。高速に平均値を求めた場合の背景判定部は高速でない場合と同じでよく(図１８)、定数bkrmv1、bkrmv2の許容範囲と推奨値も高速でない場合と同じでよい。

図２０はノイズ除去における参照範囲を示す図である。同図の（ａ）に示すように、高速化でないノイズ除去は注目画素を中心としたＮ×Ｎ画素の全てを用いて注目画素がノイズか否かを判定したが、同図の（ｂ）に示すように本実施の形態例ではＮ×Ｎ画素の中からＭ×Ｍ画素を抜き出して、抜き出したＭ×Ｍ画素を用いて注目画素がノイズか否かの判定を行う。同図の例ではＮ＝９，Ｍ＝５である。

図２１は本実施の形態例におけるノイズ除去動作を示すフローチャートである。同図において、先ず変数などの初期化を行う（ステップＳ６０１）。次に、前段から画像を取得する（ステップＳ６０２）。そして、非白画素数算出部で注目画素を中心とするＮ×Ｎ画素の中から非白画素数を算出する（ステップＳ６０３）。注目画素がノイズか否かを判定する（ステップＳ６０４）。

図２２は本実施の形態例における非白画素算出動作を示すフローチャートである。同図において、注目画素を中心とする、（２דｈａｂａ”＋１）×（２דｈａｂａ”＋１）画素の中から非白画素の数を求める（ステップＳ７０１〜Ｓ７１０）。同図は高速版でない通常版なので、（２דｈａｂａ”＋１）×（２דｈａｂａ”＋１）画素全てを用いて非白画素数を算出する。なお、“ｈａｂａ”には（２דｈａｂａ”＋１）×（２דｈａｂａ”＋１）画素の範囲でノイズを抽出できる値に設定する。許容範囲は、２＜“ｈａｂａ”＜６であり、推奨値は４である。

図２３は本実施の形態例におけるノイズ判定動作を示すフローチャートである。同図において、座標Ｐ（ｘ，ｙ）での非白画素数count[y][x]が閾値Ｎｔｈより小さければ(ステップＳ８０１，ステップＳ８０２；ＹＥＳ）、ノイズと判定して注目画素を白に置き換える（ステップＳ８０３）。そうでなければ何もしない。これをラスター順に注目画素に動かして実行する（ステップＳ８０４，Ｓ８０５）。なお、定数Ｎｔｈはノイズか書き込み線の一部かを判別できる値を設定する。許容範囲は７＜Ｎｔｈ＜１３であり、推奨値は１０である。

図２４は本実施の形態例における高速版の非白画素算出動作を示すフローチャートである。同図において、注目画素を中心とする、（２דｈａｂａ”＋１）×（２דｈａｂａ”＋１）画素の中から縦横Ｍ画素ずつ間引いた画素を用いて、非白画素の数を求める（ステップＳ９０１〜Ｓ９１０）。なお、“ｈａｂａ”には（２דｈａｂａ”＋１）×（２דｈａｂａ”＋１）画素の範囲でノイズを抽出できる値に設定する。許容範囲は、２＜“ｈａｂａ”＜６であり、推奨値は４である。また、Ｍの値が大きければ処理速度が速くなるがノイズ除去性能が劣化するので、ノイズ除去性能が劣化しない所定の値が良い。許容範囲は１＜Ｍ＜４であり、推奨値は２である。

図２５は本実施の形態例における高速版のノイズ判定動作を示すフローチャートである。同図において、座標Ｐ（ｘ，ｙ）での非白画素数count[ｙ][ｘ]が閾値Ｎｔｈ’より小さければ（ステップ１００１、ステップＳ１００２；ＹＥＳ）、ノイズと判定して注目画素を白に置き換える（ステップＳ１００３）。そうでなければ何もしない。これをラスター順に注目画素に動かして実行する（ステップＳ１００４，Ｓ１００５）。なお、定数Ｎｔｈ’はノイズか書き込み線の一部かを判別できる値を設定する。許容範囲は１＜Ｎｔｈ’＜４であり、推奨値は２である。

次に、図２６は本発明の投影型表示方法の各実施の形態例を実行させるプログラムを起動するための具体的な装置の構成を示すブロック図である。つまり、同図は上記実施の形態例における投影型表示方法によるソフトウェアを実行させるマイクロプロセッサ等から構築されるハードウェアを示すものである。同図において、投影型表示システムはインターフェース（以下Ｉ／Ｆと略す）３１、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４、表示装置３５、ハードディスク３６、キーボード３７及びＣＤ−ＲＯＭドライブ３８を含んで構成されている。また、汎用の処理装置を用意し、ＣＤ−ＲＯＭなどの読取可能な記録媒体３９には、本発明の投影型表示方法を実行させるプログラムが記憶されている。更に、Ｉ／Ｆ３１を介して外部装置から制御信号が入力され、キーボード３７によって操作者による指令又は自動的に本発明のプログラムが起動される。そして、ＣＰＵ３２は当該プログラムに従って上述の投影型表示方法に伴う投影型表示処理を施し、その処理結果をＲＡＭ３４やハードディスク３６等の記憶装置に格納し、必要により表示装置３５などに出力する。以上のように、本発明の投影型表示方法を実行させるプログラムが記録した記録媒体を用いることにより、既存のシステムを変えることなく、投影型表示システムを汎用的に構築することができる。

なお、本発明は上記各実施の形態例に限定されるものではなく、特許請求の範囲内に記載であれば多種の変形や置換可能であることは言うまでもない。

本発明を適用する投影型表示装置の構成を示す図である。 図１の投影型表示装置の構成を示すブロック図である。 図２の抽出部の動作を示すフローチャートである。 書き込みがなされたスクリーン面を撮影した画像の一例を示す図である。 注目する画素の周辺３×３画素を示す図である。 書き込みのなされていないスクリーン面を撮影した画像を示す図である。 無地画像中のあるライン上（ｙ＝Ｊ）の輝度勾配を示す図である。 同じ色のペンで書き込みを行った画像中のあるライン上（ｙ＝Ｊ）の輝度勾配を示す図である。 修正した輝度勾配を示す図である。 鮮明な色合い書込み面の撮影画像を示す図である。 画像中の赤書き込み、青書き込み、黒書き込み、背景の画素の平均的なＲＧＢ成分の相対関係を示す図である。 色変換を行った画像を示す図である。 書込みのある部分の画像を示す図である。 書込みのある部分だけの最小領域を切り出す様子を示す図である。 背景除去における高速化のメカニズムを説明する図である。 本実施の形態例の背景除去動作を示すフローチャートである。 本実施の形態例の平均値算出動作を示すフローチャートである。 本実施の形態例の背景判定動作を示すフローチャートである。 本実施の形態例における高速に動作する平均値算出動作を示すフローチャートである。 ノイズ除去における参照範囲を示す図である。 本実施の形態例におけるノイズ除去動作を示すフローチャートである。 本実施の形態例における非白画素算出動作を示すフローチャートである。 本実施の形態例におけるノイズ判定動作を示すフローチャートである。 本実施の形態例における高速版の非白画素算出動作を示すフローチャートである。 本実施の形態例における高速版のノイズ判定動作を示すフローチャートである。 本発明の投影型表示方法の各実施の形態例を実行させるプログラムを起動するための具体的な装置の構成を示すブロック図である。

符号の説明

１；投影型表示装置、１１；投影面、１２；書き込み面、
１３；撮影手段、１４；投影手段、２０；制御部、２１；撮影部、
２２；抽出部、２３；合成部、２４；投影部。

Claims (20)

1. 投影画像を形成する投影面と、該投影面に前記投影画像を投影する投影手段と、前記投影画像と重複可能に書込み画像を形成可能な書込み面と、前記書込み面上に形成された書込み画像を撮影する撮影手段と、前記撮影手段で取得した撮影画像から書込み情報を抽出する書込み情報抽出手段とを有する投影型表示装置において、
   前記書込み情報抽出手段は、注目画素も含めた注目画素の周囲の画素における輝度の平均値を用いて前記撮影画像の背景部分を除去する背景除去手段を有することを特徴とする投影型表示装置。
2. 前記背景除去手段における注目画素の輝度値はＲＧＢ成分中のＧ信号値であることを特徴とする請求項１記載の投影型表示装置。
3. 前記背景除去手段は、注目画素の輝度値が所定の閾値より大きい場合、注目画素を白に変換することを特徴とする請求項１記載の投影型表示装置。
4. 前記背景除去手段による直前の背景除去結果が背景であるときと、直前の背景除去結果が背景でないときとで、前記所定の閾値を切換えることを特徴とする請求項３記載の投影型表示装置。
5. 前記背景除去手段による直前の背景除去結果が背景であれば、前記所定の閾値は注目画素の輝度の平均値から所定の第１の値を引いた値とし、直前の背景除去結果が背景でないならば、前記所定の閾値は注目画素の輝度の平均値から所定の第２の値を加えた値とすることを特徴とする請求項４記載の投影型表示装置。
6. 注目画素の輝度の平均値は注目画素を中心とするｎ×ｎ（ｎは正の整数）画素の中から注目画素を含み等間隔なｍ×ｍ（ｍは正の整数、ｎ＞ｍ）画素を抜き出して、該ｍ×ｍ画素の平均値を注目画素における平均値とすることを特徴とする請求項１〜５のいずれか１項に記載の投影型表示装置。
7. 投影画像を形成する投影面と、該投影面に前記投影画像を投影する投影手段と、前記投影画像と重複可能に書込み画像を形成可能な書込み面と、前記書込み面上に形成された書込み画像を撮影する撮影手段と、前記撮影手段で取得した撮影画像から書込み情報を抽出する書込み情報抽出手段とを有する投影型表示装置において、
   前記書込み情報抽出手段は、注目画素を中心とするＮ×Ｎ（Ｎは正の整数）画素を参照してノイズか否かを判定してノイズを除去するノイズ除去手段を有することを特徴とする投影型表示装置。
8. 前記ノイズ除去手段は、注目画素を中心とするＮ×Ｎ画素の中で、非背景画素が閾値Ｎｔｈより小さければ注目画素を白画素に置き換えることを特徴とする請求項７記載の投影型表示装置。
9. 前記ノイズ除去手段は、注目画素を中心とするＮ×Ｎ画素の中から注目画素を含み等間隔なＭ×Ｍ（Ｍは正の整数）画素を抜き出し、抜き出したＭ×Ｍ画素の中で、非背景画素が閾値Ｎｔｈ’より小さければ注目画素を白画素に置き換えることを特徴とする請求項７記載の投影型表示装置。
10. 投影面に投影画像を投影し、前記投影画像と重複可能に書込み画像を形成可能な書込み面上に形成された書込み画像を撮影し、撮影して取得した撮影画像から書込み情報を抽出する投影型表示方法において、
    注目画素も含めた注目画素の周囲の画素における輝度の平均値を用いて前記撮影画像の背景部分を除去することを特徴とする投影型表示方法。
11. 注目画素の輝度値はＲＧＢ成分中のＧ信号値であることを特徴とする請求項１０記載の投影型表示方法。
12. 注目画素の輝度値が所定の閾値より大きい場合、注目画素を白に変換することを特徴とする請求項１０記載の投影型表示方法。
13. 背景除去処理による直前の背景除去結果が背景であるときと、直前の背景除去結果が背景でないときとで、前記所定の閾値を切換えることを特徴とする請求項１２記載の投影型表示方法。
14. 背景除去処理による直前の背景除去結果が背景であれば、前記所定の閾値は注目画素の輝度の平均値から所定の第１の値を引いた値とし、直前の背景除去結果が背景でないならば、前記所定の閾値は注目画素の輝度の平均値から所定の第２の値を加えた値とすることを特徴とする請求項１３記載の投影型表示方法。
15. 注目画素の輝度の平均値は注目画素を中心とするｎ×ｎ（ｎは正の整数）画素の中から注目画素を含み等間隔なｍ×ｍ（ｍは正の整数、ｎ＞ｍ）画素を抜き出して、該ｍ×ｍ画素の平均値を注目画素における平均値とすることを特徴とする請求項１０〜１４のいずれか１項に記載の投影型表示方法。
16. 投影面に投影画像を投影し、前記投影画像と重複可能に書込み画像を形成可能な書込み面上に形成された書込み画像を撮影し、撮影して取得した撮影画像から書込み情報を抽出する投影型表示方法において、
    注目画素を中心とするＮ×Ｎ（Ｎは正の整数）画素を参照してノイズか否かを判定してノイズを除去することを特徴とする投影型表示方法。
17. 注目画素を中心とするＮ×Ｎ画素の中で、非背景画素が閾値Ｎｔｈより小さければ注目画素を白画素に置き換えることを特徴とする請求項１６記載の投影型表示方法。
18. 注目画素を中心とするＮ×Ｎ画素の中から注目画素を含み等間隔なＭ×Ｍ（Ｍは正の整数）画素を抜き出し、抜き出したＭ×Ｍ画素の中で、非背景画素が閾値Ｎｔｈ’より小さければ注目画素を白画素に置き換えることを特徴とする請求項１７記載の投影型表示方法。
19. コンピュータにより、請求項１０〜１８のいずれか１項に記載の投影型表示方法を実行させるプログラム。
20. 請求項１９記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images