JP2017201380A - 投影撮像装置 - Google Patents

Abstract

【課題】投影面に書き込まれた手書き文字その他の追加情報を投影像から簡易に区別して抽出し記録することができる投影撮像装置を提供すること。
【解決手段】投影撮像装置１００の光学部分１Ａは、投影部２Ａと撮像部２Ｂとを備える。投影部２Ａは、投影用の画像を生成するため波長の半値幅が２０ｎｍ以下の光源光を射出する光源２１を有し、撮像部２Ｂは、光源光の波長域に関して光を吸収又は反射する（すなわち発光特性Ｅ１，Ｅ２，Ｅ３を有する）光学フィルター５を含む撮像光学系５０を備える。これにより、投影に用いる光源波長の光の検出を抑えることができ、投影画像をほぼ排除してホワイトボードその他の画像投影領域ＴＺを撮影することができる。
【選択図】図１

Description

本発明は、画像を投影及び撮影する投影撮像装置に関するものであり、特に投影像内及びその周辺に追記された情報を記録可能な投影撮像装置に関する。

スクリーンに画像を投影する画像投影装置として、一般的にはプロジェクターが知られている。また、従来からホワイトボードに画面を投影しながら会議を行うことも一般的に行なわれている。ユーザーからは、投影像に重畳して書き込んだ実際の手書き文字を撮影して書き込んだ文字だけを抽出し電子情報化するとともに、元の投影画像データに文字情報を電子データとして付加したいというニーズがある。

しかし、通常の撮像手段では、投影像と手書き文字又は図形とが区別なく１枚の画像として撮影されてしまうため、投影像と手書き文字等とを区別する画像処理が必要となる。このような画像処理の時間が長くなると、ユーザーは、遅延を感じたり、操作感が悪いと感じてしまう。特に、遠隔地との通信を行う場合においては、様々な画像処理やデータ解析があると遅延の原因となるので好ましくない。

ところで、公知の技術として、外光条件に左右されることなく表示画面に重畳させて書き込まれた文字や絵を電子情報として抽出する投影型表示装置が存在し、この装置では、背景画素の平均的なＲＧＢ成分との相対関係から赤、緑、青、黒の文字を抽出している（特許文献１）。しかしながら、この装置では４色についてのみの抽出を行うため、投影面に貼られた紙資料といった多様な色彩の対象物又は追加情報の撮影には不向きである。

また、赤外線および可視光による撮像が可能な撮像装置であって、赤外領域の透過率が可視光領域の透過率より高い光学フィルターと、可視光領域の透過率が光学フィルターよりも高い可視透過部材とを切り替えるものが存在する（特許文献２）。この装置により可視光撮影と赤外撮影とを切り替えることができても、投影面に書き込まれた手書き文字その他の追加情報を投影像から区別して抽出するためには、別途の画像処理等が必要となる。

また、ホワイトボード等に書き込んだ文字のうち必要部分のみを選択的に投影データに合成することができる画像投影装置であって、カメラ等にて撮影した画像から追加分としての文字画像を分離し、この文字画像から特定色の画像のみを除去し、それ以外の画像を投影データに合成するものが存在する（特許文献３）。この装置では、特定の色の書き込み文字に限定したデータ抽出及び合成が可能であるが、手書き文字その他の追加情報の抽出に使える色が数色に限定されている。

なお、文字その他の概念情報ではないが、レーザーポインターなどの照射装置の照射点を検出することができる画像投影装置であって、特定色の画像が投影されていないタイミングで当該特定色のレーザーポインターの輝点を検出しているものが存在する（特許文献３）。しかしながら、このような装置は、複数の色からなる手書き文字の抽出に応用することができない。また、カラーホイールの回転タイミングと撮像のタイミングとを同期させる必要があり、撮像条件の自由度が制限される。

特開２００５−０７１１９２号公報 特開２０１３−３８６２６号公報 特開２０１５−２３４９２号公報 特開２０１５−５３６７５号公報

本発明は、上記背景技術に鑑みてなされたものであり、投影面に書き込まれた手書き文字その他の追加情報を投影像から簡易に区別して記録することができる投影撮像装置を提供することを目的とする。

上記目的を達成するため、本発明に係る投影撮像装置は、画像を投影する投影部と、投影部により画像が投影される画像投影領域を撮影する撮像部とを備え、投影部は、投影用の画像を生成するため波長の半値幅が２０ｎｍ以下の光源光を射出する光源を有し、撮像部は、光源光の波長域に関して光を吸収又は反射する光学フィルターを含む撮像光学系を備える。

上記投影撮像装置では、半値全幅２０ｎｍ以下の光源と、撮像側で光源波長の光を吸収又は反射する光学フィルターとを用いるので、投影に用いる光源波長の光の検出を抑えることができ、投影像をほぼ排除してホワイトボードその他の画像投影領域を撮影することができる。これにより、画像処理によって光源から得た投影像を排除する工程が不要又は簡易になる。結果的に、画像投影領域にマーカー等で書き込まれた文字や図形の抽出に必要な画像処理が少なくて済み、高速での処理が可能になる。また、光学フィルターで投影像を除去するので、撮影時にカラーブレーキングを簡易に防止でき、文字や図形の抽出処理が容易になる。

本発明の具体的な側面では、上記投影撮像装置において、光源は、光源光としてＲＧＢの３色光をそれぞれ射出する３種の半導体レーザーを含む。この場合、投影像を構成する波長のバランスを保ちつつ投影像が占有する波長域を狭くできるので、追加情報を色再現性の高い状態で撮影できるだけでなく、撮影像を明るくすることができる。特に３〜５種の半導体レーザーのみの構成とすることで前述の効果がより一層顕著となる。

本発明の別の側面では、光学フィルターは、ＲＧＢの３色光に対して吸収特性又は反射特性を有するとともに、ＲＧＢの３色光以外の可視光及び近赤外線に対して透過特性を有する。この場合、追加情報をカラーで撮影できるだけでなく、撮像部によって画像投影領域上及びその周辺の赤外像を取得することができる。これにより、赤外線を使ったタッチ認識を並列して行うことができる。

本発明のさらに別の側面では、撮像部は、撮像光学系を経た像光を検出する撮像素子を有し、光学フィルターは、撮像光学系を構成する光学素子と撮像素子との間に配置される。この場合、光学フィルターへの撮像光の入射角のばらつきを小さくすることが容易になり、漏れ光や損失光を低減することができる。

本発明のさらに別の側面では、投影部を構成する投影光学系と撮像光学系とが少なくとも一部において共通で用いられる。この場合、光学系を簡潔に構成することができる。特に投影光学系と撮像光学系とが略完全に共通する場合、投影像の座標と撮影像の座標とを一致させることができ、重畳画像を作成する際に座標計算が不要になる。

本発明のさらに別の側面では、撮像部を構成する撮像光学系は、自由曲面ミラーを含む。この場合、撮像光学系を広角ながら小型化することができ、かつ、低歪曲な光学系とすることができる。

本発明のさらに別の側面では、画像投影領域に書き込まれたアノテーション情報を判別する情報処理部と、アノテーション情報をデータとして保持する記憶部とをさらに備える。かかるアノテーション情報は、投影像の情報と関連づけて記憶部に保管される。なお、アノテーション情報とは、スクリーンその他の画像投影領域又はその周辺に手書その他の手法で記載される情報、画像投影領域又はその周辺にポストイットその他で張り付けられる情報、人の手の動きに関する情報、原画像に追加される付加的な情報等を意味する。

本発明のさらに別の側面では、光学フィルターは、光源光の波長域に対して±１０ｎｍだけ広い拡張域における透過率の平均値が、拡張域以外の可視光領域における透過率の平均値より低い。

本発明のさらに別の側面では、光学フィルターは、撮像部に設けた撮像領域に入射する光源光の波長域における光を９０％以上吸収又は反射する。これにより、投影像から文字や図形を確実に抽出した撮影像を得ることができる。

本発明のさらに別の側面では、光学フィルターの特性を１枚のフィルター又は複数のフィルターを組み合わせたものによって実現する。光学フィルターを１枚のフィルターで構成する場合、撮像系が簡潔になり、光学フィルターを複数のフィルターで構成する場合、吸収又は反射の特性の設定が正確で損失が少ないものとなる。

第１実施形態の投影撮像装置の光学的な概略構成を説明する図である。 図１に示す投影撮像装置の概略の機能ブロック図である。 図１に示す投影撮像装置の外観等を説明する図である。 （Ａ）は、光学フィルターの透過特性等を説明する図であり、（Ｂ）は、変形例の透過特性等を説明する図である。 （Ａ）は、撮像光学系の具体例を説明する図であり、（Ｂ）は、撮像光学系のうち光学フィルター周辺を説明する図であり、（Ｃ）は、変形例を説明する図である。 （Ａ）及び（Ｂ）は、図２等に示す投影撮像装置の概略動作を示すフローチャートである。 第２実施形態の投影撮像装置のうち要部を説明する図である。

〔第１実施形態〕
以下、図面を参照しつつ、本発明の第１実施形態としての投影撮像装置について説明する。

図１に示すように、第１実施形態の投影撮像装置１００は、画像の投影だけでなく投影像等の撮影を可能にするものであり、投影装置と撮像装置とを組み合わせた複合的な装置である。投影撮像装置１００は、主に光学系からなる光学部分１Ａとして、互いに独立した投影部２Ａと撮像部２Ｂとを有する。また、図２に示すように、投影撮像装置１００は、電子機器的な駆動部分１Ｂとして、投影動作部８１と、撮像動作部８２と、記憶部８３と、制御部８５とを備える。なお、投影動作部８１は、投影部２Ａと協働して投影装置として機能し、撮像動作部８２は、撮像部２Ｂと協働して撮像装置として機能する。

図１の光学部分１Ａにおいて、投影部２Ａは、投影光学系１０と、照明光学系２０と、偏光ビームスプリッター３０と、反射型液晶素子４０とを備える。一方、撮像部２Ｂは、撮像光学系５０と、撮像素子６０とを備える。

光学部分１Ａを構成する投影部２Ａと撮像部２Ｂとは、図３に示す共通の筐体３内に一括して収納することができるが、隣接又は離間する別の筐体内に個別に収納することもできる（不図示）。

図２に示すように、投影撮像装置１００は、外部装置であるパーソナルコンピューター９０とインターフェース８８を介して接続可能になっており、パーソナルコンピューター９０との間で画像信号等の授受が可能になっている。

図１に示す投影光学系１０は、画像表示素子である反射型液晶素子４０による表示像を拡大してホワイトボードその他の被投影面であるスクリーンＳＣ上に投影する。この結果、スクリーンＳＣ上には、反射型液晶素子４０に形成された画像に対応する投影像が形成される。投影光学系１０は、複数のレンズ群及び／又は反射光学素子からなり、フォーカシングや変倍のために構成要素である一部のレンズ群１１を光軸ＳＡ方向に移動させるようになっている。

照明光学系２０は、光源２１、均一化光学系２２等を備える。光源２１は、画像を生成するためのものであり、３種類の半導体レーザー２１ｒ，２１ｇ，２１ｂの他に、レンズアレイ（不図示）等を含む。第１の半導体レーザー２１ｒは、赤色又はＲ色で狭帯域の光源光を射出し、第２の半導体レーザー２１ｇは、緑色又はＧ色で狭帯域の光源光を射出し、第３の半導体レーザー２１ｂは、青色又はＢ色で狭帯域の光源光を射出する。均一化光学系２２は、不図示のロッドレンズ、フィールドレンズ等からなり、光源２１から射出された波長が異なる３種類の光源光Ｋｏについて光線束を分割及び重畳することによって、反射型液晶素子４０上に照射する照明光Ｋｉの照度を光軸ＳＡに垂直な断面に関して２次元的に均一化する。なお、簡便のために詳細な説明を省略したが、光源２１は、Ｒ色の半導体レーザー２１ｒと、Ｇ色の半導体レーザー２１ｇと、Ｂ色の半導体レーザー２１ｂとをそれぞれ複数備えるものであってもよい。また、光源光Ｋｏ又は照明光Ｋｉを構成するＲ光、Ｇ光及びＢ光の偏光方向は、予め揃えられている。

図４（Ａ）を参照して、半導体レーザー２１ｒ，２１ｇ，２１ｂが発生する光源光Ｋｏの波長分布等について説明する。横軸は波長を示し、左側の縦軸は発光強度を示している。Ｒ色の半導体レーザー２１ｒは、発光特性Ｅ１として示すように、中心波長が例えば６３２ｎｍであって半値幅ｗｈｒが２０ｎｍ以下であり、具体的には半値幅ｗｈｒが１０〜１５ｎｍ程度である。Ｇ色の半導体レーザー２１ｇは、発光特性Ｅ２として示すように、中心波長が例えば５３０ｎｍであって半値幅ｗｈｇが２０ｎｍ以下であり、具体的には半値幅ｗｈｇが１０〜１５ｎｍ程度である。Ｂ色の半導体レーザー２１ｂは、発光特性Ｅ３として示すように、中心波長が例えば４５０ｎｍであって半値幅ｗｈｂが２０ｎｍ以下であり、具体的には半値幅ｗｈｂが１０〜１５ｎｍ程度である。これらの半導体レーザー２１ｒ，２１ｇ，２１ｂは、狭帯域で発光するが、カラー表示に対応する照明を実現する。

図１に戻って、偏光ビームスプリッター（ＰＢＳ）３０は、一対の光透過性を有する直角プリズムを貼り合わせたものであり、貼合わせ面において、一方の直角プリズムの光軸ＳＡに対して４５°傾いた斜面には、照明光学系２０から入射した所定方向の直線偏光（具体的にはＳ偏光）を反射させる偏光分離膜からなる偏光分離面３１が形成されている。偏光ビームスプリッター３０は、照明光学系２０から射出された第１の偏光であるＳ偏光の照明光Ｋｉを偏光分離面３１で反射し、後述する反射型液晶素子４０に入射させる。また、偏光ビームスプリッター３０は、反射型液晶素子４０からの第２の偏光（第１の偏光と直交する偏光）であるＰ偏光を透過させ、投影光学系１０に入射させる。

反射型液晶素子４０は、照明光Ｋｉから投影光Ｋ１を形成する画像表示素子であり、特に空間的な反射率を変化させることによって照明光Ｋｉから投影光Ｋ１を形成する点で光変調素子と言える。反射型液晶素子（画像表示素子）４０は、片面に画像形成用の表示面４０ａを有する板状の電子部品からなる。この反射型液晶素子４０は、ＬＣＯＳ（Liquid crystal on silicon）とも称されるマイクロディスプレイであり、シリコンチップの表面に直接回路が形成され対向基板との間に液晶層を挟み込んだものである。反射型液晶素子４０は、液晶層に対し駆動信号に応じた電圧が画素毎に印加されると、液晶分子の配列を変化させることで照明光Ｋｉを変調し、反射によって所望の画像を表示するものである。この際、偏光ビームスプリッター３０の偏光分離面３１を基準とする第１の偏光であるＳ偏光を照明光Ｋｉとして反射型液晶素子４０に入射させる場合、偏光分離面３１を基準とする第２の偏光であるＰ偏光が反射型液晶素子４０において投影光Ｋ１として反射される。

図１に示す撮像光学系５０は、スクリーン（被投影面）ＳＣ上及びその周辺の対象物の画像を撮像素子６０の撮像面６０ａ上に結像する。撮像光学系５０は、複数のレンズ群及び／又は反射光学素子からなる広角の結像系であり、投影光学系１０と同様のフォーカシング機能を持たせることができる。さらに、撮像光学系５０とこれに付随する撮像動作部８２とは、被写界深度にもよるが、例えばオートフォーカス機能を有するものとできる。撮像光学系５０は、屈折力を有するレンズその他光学素子からなる本体部分に付随して撮像素子６０側に光学フィルター５を有する。光学フィルター５は、光源光の波長域又は照明光Ｋｉの波長域に関して光を吸収又は反射する。

図５（Ａ）は、撮像光学系５０の具体例を説明する断面図である。撮像光学系５０の本体部分５０ａは、撮像素子６０側に設けられて複数のレンズを含む屈折部５１と、スクリーンＳＣ側に設けられて少なくとも１枚のミラーを含む反射部５２とを有する。反射部５２は、図示の例では、１枚の自由曲面ミラーを含んでいる。このような自由曲面ミラーにより、撮像光学系５０を広角ながら小型化することができるだけでなく、歪曲収差が少ないものとできる。

図５（Ｂ）に示すように、撮像光学系５０の最も像側の光学素子であるレンズ５９と、撮像素子６０の撮像面６０ａとの間には、投影像の光線を選択的に遮光する光学フィルター５が配置されている。光学フィルター５は、撮像光学系５０において最も撮像素子６０側に配置されているとも言える。光学フィルター５は、光透過性を有する板状の基板５ａ上に誘電体多層膜５ｂを形成したものであり、撮像光学系５０の光軸ＳＡ２に対して撮像面６０ａ垂直に配置されている。

図４（Ａ）を参照して、光学フィルター５の光透過特性について説明する。左側の縦軸は透過率を示している。ここで、光学フィルター５への光線の入射角は、０〜９°の範囲に設定しているが、この範囲内では、透過率が略一致している。

この光学フィルター５は、波長４００〜７００ｎｍの可視光領域と、波長７００〜９００ｎｍの近赤外線領域とで透過率が高くなっている。ただし、光学フィルター５の透過特性は、中心波長が約６３２ｎｍで幅が３０〜４０ｎｍ程度の遮断帯域Ｃ１と、中心波長が約５３０ｎｍで幅が３０〜４０ｎｍ程度の遮断帯域Ｃ２と、中心波長が約４５０ｎｍで幅が３０〜４０ｎｍ程度の遮断帯域Ｃ３とを有している。Ｒ色の遮断帯域Ｃ１は、Ｒ色の半導体レーザー２１ｒの発光特性Ｅ１に対応し、Ｇ色の遮断帯域Ｃ２は、Ｇ色の半導体レーザー２１ｇの発光特性Ｅ２に対応し、Ｂ色の遮断帯域Ｃ３は、Ｂ色の半導体レーザー２１ｂの発光特性Ｅ３に対応する。ここで、Ｒ色の遮断帯域Ｃ１の半値の帯域幅ｇｈｒは、Ｒ色の半導体レーザー２１ｒの半値幅ｗｈｒよりも±１０ｎｍだけ広い拡張域（図示の例では４０ｎｍ以上の幅を有する波長域）をカバーするものとなっており、Ｒ色の半導体レーザー２１ｒからの光源光Ｋｏに起因する撮像光Ｋ２（つまりＲ色の投影像に対応する光線）を反射によって遮断する。Ｇ色の遮断帯域Ｃ２の半値の帯域幅ｇｈｇは、Ｇ色の半導体レーザー２１ｇの半値幅ｗｈｇよりも±１０ｎｍだけ広い拡張域をカバーするものとなっており、Ｇ色の半導体レーザー２１ｇからの光源光Ｋｏに起因する撮像光Ｋ２（つまりＧ色の投影像に対応する光線）を反射によって遮断する。Ｂ色の遮断帯域Ｃ３の半値の帯域幅ｇｈｂは、Ｂ色の半導体レーザー２１ｂの半値幅ｗｈｂよりも±１０ｎｍだけ広い拡張域をカバーするものとなっており、Ｂ色の半導体レーザー２１ｂからの光源光Ｋｏに起因する撮像光Ｋ２（つまりＢ色の投影像に対応する光線）を反射によって遮断する。つまり、光学フィルター５は、光源光Ｋｏの波長域に対して±１０ｎｍだけ広い拡張域における透過率の平均値が、当該拡張域以外の可視光領域における透過率の平均値より低いものとなっており、撮像光Ｋ２のうち投影光Ｋ１又は光源光Ｋｏによって形成された投影像に起因する成分を除去することができ、スクリーンＳＣ上に手書き文字その他の追加情報のみを撮像素子６０の撮像面６０ａ上に結像する。

見方を変えると、光学フィルター５は、撮像部２Ｂに設けた撮像素子６０の撮像面（撮像領域）６０ａに入射する光源光Ｋｏの波長域において、光源光Ｋｏの９０％以上を反射する。ここで、光源光Ｋｏの波長域とは、各色の半導体レーザー２１ｒ，２１ｇ，２１ｂの半値幅ｗｈｒ，ｗｈｇ，ｗｈｂに対応する波長域を意味し、具体的には波長６３２ｎｍ±１０数ｎｍ、波長５３０ｎｍ±１０数ｎｍ及び波長４５０ｎｍ±１０数ｎｍがこれに該当する。

撮像素子６０は、スクリーンＳＣ上の投影像を含む被写体像を検出するＣＭＯＳ型のイメージセンサーである。撮像素子６０には、撮像光学系５０を通過した撮像光Ｋ２が入射する。この結果、撮像素子６０の光電変換部である撮像面６０ａ上には、撮像光学系５０によって形成されたスクリーンＳＣ上及びその周辺の対象物の画像が結像される。つまり、撮像素子６０の撮像面６０ａ上には、撮像光学系５０によって、スクリーンＳＣ上及びその周辺の画像が精密に縮小投影される。図３に示すように、撮像素子６０によってカバーされる画角領域ＶＡは、投影像に関連する手書き文字その他の追加情報を広く取り込むべく、スクリーンＳＣよりも広く、結果的に反射型液晶素子４０によってスクリーンＳＣ上に投影される投影像（表示範囲）に対応する画像投影領域ＴＺ又は画角よりも広くなっている。なお、撮像素子６０は、上述のＣＭＯＳ型のイメージセンサーに限るものでなく、ＣＣＤその他を応用したものであってもよい。

撮像光学系５０により、図４（Ａ）に示す光学フィルター５の光透過特性に対応して、撮像素子６０の撮像面６０ａ上には、可視光領域の画像と近赤外線領域の画像とが形成される。つまり、撮像素子６０によって、スクリーンＳＣ上及びその周辺の対象物について、可視光画像と近赤外線画像とを取得することができる。ここで、撮像素子６０によって取得される可視光画像には３つの遮断帯域Ｃ１，Ｃ２，Ｃ３の光線が含まれないが、これらの遮断帯域Ｃ１，Ｃ２，Ｃ３は狭いので、可視光画像の色彩的な特性の劣化又は変化は比較的少ないものとなる。

可視光画像には、例えばスクリーンＳＣであるホワイトボード上にマーカー等で書き込まれた文字又は図形、スクリーンＳＣ上に貼り付けたポストイットその他の掲示物等に対応する追加情報の画像が含まれる。近赤外線画像には、例えばスクリーンＳＣの周辺に立つ発表者の手の動作等が含まれる。発表者の手の動作を読み取ることで、発表者の手がスクリーンＳＣに触れた状態を検出するタッチ認識を並列して行うことができる。つまり、可視光画像や近赤外線画像は、アノテーション情報の抽出に用いられる。ここで、アノテーション情報とは、スクリーンＳＣ等の画像投影領域ＴＺ又はその周辺に手書その他の手法で記載される情報、画像投影領域ＴＺ又はその周辺にポストイットその他で張り付けられる情報、人の手の動きに関する情報、原画像に追加される付加的な情報等を意味する。

以上では、光学フィルター５を透過する撮像光Ｋ２を撮影に用いたが、光学フィルター５で反射される撮像光Ｋ２を撮影に用いることもできる。この場合、光学フィルター５の光反射特性を図４（Ａ）に示すものと同様にする。つまり、遮断帯域Ｃ１，Ｃ２，Ｃ３で透過率が高まって反射率が低下する特性とする。さらに、光学フィルター５は、誘電体多層膜のように透過及び反射の別によって撮像光Ｋ２を分離するものに限らず、吸収型のフィルターであってもよい。

図５（Ｃ）は、図５（Ｂ）に示す撮像光学系５０等の変形例を示す。この場合、撮像素子６０によって可視光画像と近赤外線画像とを取得するのではなく、一方の撮像素子６０によって可視光画像のみを取得し、他方の撮像素子１６０によって近赤外線画像のみを取得する。このため、一方の撮像素子６０と光学フィルター５との間にダイクロイックミラー７０を配置して、可視光を透過させるとともに近赤外線を反射している。この場合、光学フィルター５とダイクロイックミラー７０とが一組となって複合的な光学フィルターを構成しているとみることもできる。

図４（Ｂ）に示すように、光学フィルター５の透過率が波長４００〜７００ｎｍの可視光領域のみで高くなっていてもよい。この場合、撮像素子６０によって可視光画像のみを取得することができる。

図２に戻って、投影動作部８１は、制御部８５からの指令に基づいてこれに内蔵された反射型液晶素子４０（図１参照）等を適宜動作させる。具体的には、投影動作部８１は、制御部８５から画像信号を受け、この画像信号に応じた素子駆動信号を生成し、反射型液晶素子４０に画像の表示動作を行わせる。この際、投影動作部８１又は制御部８５は、光源２１にタイミング信号を出力して、ＲＧＢのいずれの光源光Ｋｏを出力するかを指定する。結果的に、適切な色の光源光Ｋｏから得た照明光Ｋｉによって反射型液晶素子４０が照明され、反射型液晶素子４０からの反射光として、画像信号に対応する第１の画像データに基づくカラー画像がスクリーンＳＣ上に投影される。投影動作部８１は、投影画像処理部８１ａを有する。投影画像処理部８１ａは、制御部８５から受け取った画像信号又は映像信号に対して必要な画像処理を施して反射型液晶素子４０に画像処理後の画像の表示動作を行わせる。投影画像処理部８１ａは、画像処理により、例えば投影画像について台形歪を補正することができ、投影像の階調、色バランス等を補正することもできる。

撮像動作部８２は、制御部８５からの指令に基づいてこれに内蔵された撮像素子６０（図１参照）を適宜動作させる。具体的には、撮像動作部８２は、撮像素子６０によって検出したデジタル画素信号である撮像信号を制御部８５へ出力したり、制御部８５から撮像素子６０を駆動するための電圧やクロック信号の供給を受けたりすることによって、撮像素子６０に検出動作又は撮像動作を行わせている。撮像動作部８２は、投影動作部８１により画像が投影される画像投影領域ＴＺ及びその周辺を撮影し、これによって得られた撮像信号は、制御部８５で第２の画像データとして取り扱われる。撮像動作部８２は、連続的に動作するものであり、インターバル撮影又は動画撮影を行う。なお、撮像部２Ｂに対応する撮像動作部８２は、投影部２Ａに対応する投影動作部８１と独立しており、両者を同期動作させる必要がない。また、撮像部２Ｂが投影部２Ａから独立しており、照明光Ｋｉに対応する撮像光の遮断によって撮像動作部８２が投影像を検出しないようにしているので、カラーブレーキングといった問題がもとより生じない。

記憶部８３は、画像記憶部８３ａと、付加情報記憶部８３ｂと、音声記憶部８３ｃとを有する。画像記憶部８３ａには、撮像動作部８２又は撮像部２Ｂによる撮像の結果として得たデジタル画素信号すなわち第２の画像データが一時的に保存される。この第２の画像データは、詳細は後述するが、制御部８５によるアノテーション情報の抽出処理によってオブジェクト化されて付加情報記憶部８３ｂに保存される。付加情報記憶部８３ｂに記憶されるアノテーション情報は、例えばスクリーンＳＣであるホワイトボード上にマーカー等で書き込まれた文字又は図形の最終段階の図形等を含むオブジェクト情報となっている。なお、撮像動作部８２から得た画像データを画像記憶部８３ａに保存せず、制御部８５においてリアルタイムでアノテーション情報の抽出処理を逐次行ってもよい。付加情報記憶部８３ｂには、上記アノテーション情報を入力画像に対応する第１の画像データにリンク付ける情報や、上記アノテーション情報をリンク付けした第１の画像データを保存してもよい。音声記憶部８３ｃは、投影撮像装置１００を使用している間の音声を記憶するものである。音声は、投影撮像装置１００に設けられるマイク８６によって取得される。この場合、取得された音声は、第１の画像データとリンク付ける情報と併せて保存される。付加情報記憶部８３ｂや音声記憶部８３ｃに保管されたデータは、別途準備された再生用ソフトウェアによって読み取ることができ、アノテーション情報と取得された音声とが、第１の画像データに合わせて再生可能となる。

制御部８５は、これに組み込まれたプログラムや不図示の操作部からの指示に基づいて、投影動作部８１、撮像動作部８２等の動作を管理しておりこれらを統括的に動作させる。制御部８５は、例えば外部から入力されたビデオ信号その他の画像データに基づいて投影動作部８１に対して表示画像信号又は第１の画像データを出力し、反射型液晶素子４０等に表示動作を行わせる。また、制御部８５は、撮像動作部８２から得たスクリーンＳＣ及びその周辺の画像を第２の画像データとして記憶部８３に保管する。さらに、制御部８５は、撮像動作部８２から得た第２の画像データに基づいて、この第２の画像データに対応するアノテーション情報を取得し、憶部８３に適切な形式で保管する。

制御部８５は、撮像動作部８２からの撮像信号から得た第２の画像データに対して画像処理を行う画像処理部８５ａと、画像処理部８５ａで得た画像情報に基づいてアノテーション情報となるべきものを抽出する判定部８５ｂとを有する。画像処理部８５ａ及び判定部８５ｂによってアノテーション情報を得た場合、制御部８５は、このアノテーション情報を記憶部８３の付加情報記憶部８３ｂに保存する。ここで、制御部８５の画像処理部８５ａや判定部８５ｂは、画像投影領域ＴＺに書き込まれたアノテーション情報を判別する情報処理部として機能する。

以下、図６（Ａ）を参照して、図１に示す投影撮像装置１００の撮像動作等について説明する。

ユーザーによって投影撮像装置１００の動作スイッチがＯＮにされた場合、制御部８５は、投影動作部８１すなわち投影部２Ａの動作を開始させる（ステップＳ１１）。具体的には、制御部８５は、投影動作部８１の動作状態を初期化して、パーソナルコンピューター９０等の外部装置からの画像信号を受け付けて直ちに投影可能な状態とする。ここで、パーソナルコンピューター９０等の外部装置が接続されていれば、制御部８５は、外部装置から読み込んだ画像データに基づく第１の画像データを投影動作部８１に転送して、投影画像処理部８１ａにて画像処理を行わせるとともに反射型液晶素子４０に画像処理後の画像の表示動作を行わせる。これと並行して、制御部８５は、光源２１に点灯動作を行わせる。これにより、光源２１が点灯して各色の照明光Ｋｉが反射型液晶素子４０に順次入射し、反射型液晶素子４０からは、各色の投影光Ｋ１が射出され、スクリーンＳＣ上に投影光学系１０を介してカラーの投影像が投射される。

投影部２Ａの動作と並行して、制御部８５は、撮像動作部８２すなわち撮像部２Ｂの動作を開始させる（ステップＳ１２）。具体的には、制御部８５は、撮像動作部８２の動作状態を初期化して、撮像素子６０にスクリーンＳＣ上及びその周辺の撮影を行わせる。このようにして得たスクリーンＳＣ上及びその周辺の画像は、投影像に対応する入力画像を光学フィルター５によって光学的に除去した画像であってマーカー等で書き込まれた文字又は図形等を含む付加情報の画像であり、画像記憶部８３ａに第２の画像データとして一時的に保存される。

制御部８５の判定部８５ｂは、ステップＳ１２で得た画像（すなわち付加情報の画像又は第２の画像データ）に対してアノテーション情報の抽出処理を行う（ステップＳ１３）。具体的なものとして、スクリーンＳＣ上にマーカー等で書き込まれた文字をアノテーション情報として抽出する場合について説明する。この場合、この抽出処理では、書きかけの文字や図形を省略して最新版の画像を抽出する。この際、前回抽出した文字や図形に関する画像情報と比較して変化しなかった場合や輪郭が拡大した場合、文字や図形が加筆中と判断して画像記憶部８３ａの付加情報の画像を更新する。その一方、前回抽出した文字や図形に関する画像情報と比較して輪郭が縮小した場合、文字や図形が削除されたと判断して削除に対応する変化前の付加情報の画像を暫定的なアノテーション情報として付加情報記憶部８３ｂに一旦保管する。これにより、記載が完了した最終段階の付加情報の画像のみを抽出することができる。以上のような抽出処理に際して、発表者の手その他の身体部分のように常時変動する画像や予め登録され特定種類の画像は、除去することができる。または一定時間間隔で共通オブジェクトの抽出処理を行うことで、一時的な手の映り込み等を除去することができる。

以上では、スクリーンＳＣ上にマーカー等で書き込まれた文字をアノテーション情報として抽出する場合について説明したが、抽出の目的とするアノテーション情報の種類に応じて具体的な抽出処理の内容は異なる。

制御部８５の判定部８５ｂは、投影動作部８１の動作状態を監視しており、投影像のページ変更のような表示状態の切り換えがあった場合、ステップＳ１３で得たアノテーション情報の保存処理を行う（ステップＳ１４）。具体的には、例えばスクリーンＳＣ上にマーカー等で書き込まれた文字をアノテーション情報として保存する場合、制御部８５は、その表示状態の切り換えがあった段階で抽出されている付加情報の画像を最終的なアノテーション情報として付加情報記憶部８３ｂに保存する。この際、ステップＳ１４で得た切替え時のアノテーション情報やステップＳ１３で得た途中のアノテーション情報は、ステップＳ１４で表示状態の切り換え前と判断された第１の画像データにリンクされた状態で保存される。つまり、付加情報記憶部８３ｂには、ステップＳ１４等で得た一群のアノテーション情報が投影像に対応する第１の画像データに対するリンク情報とともに保存される。

図６（Ｂ）は、制御部８５によるアノテーション情報の抽出処理を具体的に説明する図である。まず、画像記憶部８３ａから上記ステップＳ１２で画像記憶部８３ａに保管した最新の付加情報の画像又は第２の画像データを読み出す（ステップＳ２１）。これと並行して、動作の開始時に予め撮影したスクリーンＳＣ周辺の画像（以下、背景画像と呼ぶ）を読み出して、ステップＳ２１で検出した付加情報の画像から背景画像を差し引くことにより、背景成分を除いた必要最小限の付加情報の画像の抽出を行う（ステップＳ２２）。次に、ステップＳ２２で背景成分を除いた付加情報の画像に対してノイズを除去するノイズ処理を行うとともに（ステップＳ２３）、ノイズ処理後の付加情報の画像に対して輪郭を検出するエッジ抽出処理を行う（ステップＳ２４）。その後、エッジ抽出処理から有意と認められる１つ以上の画像からなる画像群又はオブジェクトを選定するオブジェクト化を行う（ステップＳ２５）。その後、ステップＳ２５で得た画像群又はオブジェクトに対して中心位置その他で代表される座標位置を取得する（ステップＳ２６）。ステップＳ２５で得た画像群又はオブジェクトは、ステップＳ２６で得た座標位置とともに付加情報記憶部８３ｂに一旦保管される（ステップＳ２７）。以上の動作は、撮像部２Ｂの動作が継続する限り（ステップＳ２８でＮ）、ステップＳ２１に戻って繰り返される。なお、一連の時系列的な第２の画像データからオブジェクト化を行う際には、一定のものに限らず徐々に変化するものを含めてオブジェクトの同一性について判定することができる。

なお、投影撮像装置１００の投影動作中において、制御部８５は、画像データの保存の他に、マイク８６を用いて音声データを取得し、取得した音声データを記憶部８３の音声記憶部８３ｃに保存する。この際、音声データは、再生利用可能なように第１の画像データとリンク付けされる。

以上で説明した第１実施形態の投影撮像装置１００によれば、半値全幅２０ｎｍ以下の光源２１と、光源波長の光（すなわち発光特性Ｅ１，Ｅ２，Ｅ３）に対応する光を吸収又は反射する光学フィルター５を用いるので、投影に用いる光源波長の光の検出を抑えることができ、投影画像をほぼ排除してホワイトボードその他の画像投影領域ＴＺを撮影することができる。これにより、画像処理によって光源からの投影像を排除する工程が不要又は簡易になる。結果的に、画像投影領域ＴＺにマーカー等で書き込まれた文字や図形の抽出に必要な画像処理が少なくて済み、高速での処理が可能になる。また、光学フィルター５で投影像を除去するので、撮影時にカラーブレーキングを簡易に防止でき、文字や図形の抽出処理が容易になる。

〔第２実施形態〕
以下、第２実施形態の投影撮像装置について説明する。なお、第２実施形態の投影撮像装置は第１実施形態の投影撮像装置を変形したものであり、特に説明しない事項は第１実施形態と同様である。

以下、図７を参照して、本実施形態における投影撮像装置１００について説明する。この場合、投影撮像装置１００の光学部分１Ａは、図１の場合のように投影部２Ａと撮像部２Ｂとに分かれず一体的なものとなっている。つまり、光学部分１Ａは、投影光学系１１０と、照明光学系２０と、偏光ビームスプリッター３０と、反射型液晶素子４０と、撮像素子６０とを備える。

投影光学系１１０は、反射型液晶素子４０からの投影光を投影する投影用の光学系と、投影像を撮像する撮像用の光学系とを兼用するものとなっている。つまり、投影光学系１０は、スクリーンＳＣ上の投影像等を撮像素子６０上に結像する役割を有する。投影光学系１１０は、スクリーンＳＣ上の手書き文字その他の追加情報を撮像素子６０上に結像する。ここで、撮像素子６０の撮像面６０ａと偏光ビームスプリッター３０との間には、光学フィルター５が配置され、スクリーンＳＣ側から入射した撮像光Ｋ２のうち偏光ビームスプリッター３０で反射されたＳ偏光が撮像面６０ａに入射する。つまり、投影光学系１０と、偏光ビームスプリッター３０と、光学フィルター５とは、撮像光学系として機能している。

第２実施形態の場合も、スクリーンＳＣ上及びその周辺の追加情報を、可視光画像及び近赤外線画像として取得することができる。さらに、第２実施形態の場合、光学系を簡潔に構成することができる。また、投影用の光学系と撮像用の光学系とが兼用されるので、投影像の座標と撮影画像の座標とを簡易に一致させることができ、重畳画像を作成等する際に座標計算が不要になる。

以上、実施形態に係る投影撮像装置について説明したが、本発明に係る投影撮像装置は、上記のものには限られない。例えば、画像表示素子として、反射型液晶素子４０に代えて画像に応じて２次元的な透過率を変化させる透過型の液晶素子を用いてもよい。

また、光源２１は、３種類の半導体レーザー２１ｒ，２１ｇ，２１ｂに限らず、２種類の半導体レーザー又は４種類以上の半導体レーザーで構成することができる。また、半値幅が狭ければ、半導体レーザー以外のＬＥＤその他の光源を用いることができる。

以上では、単一の光学フィルター５で図４（Ａ）等に示す透過特性を実現したが、複数種の光学フィルターの合成によって図４（Ａ）等に示す透過特性を実現することもできる。

光学フィルター５は、漏れ光や損失を低減する観点で撮像光学系５０において最も撮像素子６０側に配置されているが、漏れ光や損失が大きくならない範囲で撮像光学系５０の直近から離れたスクリーンＳＣ側に配置することができる。

図４（Ａ）の例では、３色の光源Ｋｏに対応して３つの遮断帯域Ｃ１，Ｃ２，Ｃ３を設けているが、光源光の色数よりも多い遮断帯域を設けることもできる。

Ｃ１，Ｃ２，Ｃ３…遮断帯域、 Ｅ１，Ｅ２，Ｅ３…発光特性、 Ｋ１…投影光、 Ｋ２…撮像光、 Ｋｉ…照明光、 Ｋｏ…光源光、 ＳＡ，ＳＡ２…光軸、 ＳＣ…スクリーン、 ＶＡ…画角領域、 １Ａ…光学部分、 １Ｂ…駆動部分、 ２Ａ…投影部、 ２Ｂ…撮像部、 ５…光学フィルター、 ５ａ…基板、 ５ｂ…誘電体多層膜、 １０…投影光学系、 ２０…照明光学系、 ２１…光源、 ２１ｒ，２１ｇ，２１ｂ…半導体レーザー、 ２２…均一化光学系、 ３０…偏光ビームスプリッター、 ３１…偏光分離面、 ４０…反射型液晶素子、 ５０…撮像光学系、 ５１…屈折部、 ５２…反射部、 ６０，１６０…撮像素子、 ８１…投影動作部、 ８２…撮像動作部、 ８３…記憶部、 ８３ａ…画像記憶部、 ８３ｂ…付加情報記憶部、 ８５…制御部、 ８５ａ…画像処理部、 ８５ｂ…判定部、 １００…投影撮像装置、 １１０…投影光学系

Claims (10)

1. 画像を投影する投影部と、
   前記投影部により画像が投影される画像投影領域を撮影する撮像部とを備え、
   前記投影部は、投影用の画像を生成するため波長の半値幅が２０ｎｍ以下の光源光を射出する光源を有し、
   前記撮像部は、前記光源光の波長域に関して光を吸収又は反射する光学フィルターを含む撮像光学系を備えることを特徴とする投影撮像装置。
2. 前記光源は、前記光源光としてＲＧＢの３色光をそれぞれ射出する３種の半導体レーザーを含むことを特徴とする請求項１に記載の投影撮像装置。
3. 前記光学フィルターは、前記ＲＧＢの３色光に対して吸収特性又は反射特性を有するとともに、前記ＲＧＢの３色光以外の可視光及び近赤外線に対して透過特性を有することを特徴とする請求項１及び２のいずれか一項に記載の投影撮像装置。
4. 前記撮像部は、前記撮像光学系を経た像光を検出する撮像素子を有し、前記光学フィルターは、前記撮像光学系を構成する光学素子と前記撮像素子との間に配置されることを特徴とする請求項１〜３のいずれか一項に記載の投影撮像装置。
5. 前記投影部を構成する投影光学系と前記撮像光学系とが少なくとも一部において共通で用いられることを特徴とする請求項１〜４のいずれか一項に記載の投影撮像装置。
6. 前記撮像光学系は、自由曲面ミラーを含むことを特徴とする請求項１〜５のいずれか一項に記載の投影撮像装置。
7. 画像投影領域に書き込まれたアノテーション情報を判別する情報処理部と、前記アノテーション情報をデータとして保持する記憶部とをさらに備えることを特徴とする請求項１〜５のいずれか一項に記載の投影撮像装置。
8. 前記光学フィルターは、前記光源光の波長域に対して±１０ｎｍだけ広い拡張域における透過率の平均値が、前記拡張域以外の可視光領域における透過率の平均値より低いことを特徴とする請求項１〜７のいずれか一項に記載の投影撮像装置。
9. 前記光学フィルターは、前記撮像部に設けた撮像領域に入射する前記光源光の波長域における光を９０％以上吸収又は反射することを特徴とする請求項１〜８のいずれか一項に投影撮像装置。
10. 前記光学フィルターの特性を１枚のフィルター又は複数のフィルターを組み合わせたものによって実現することを特徴とする請求項１〜８のいずれか一項に投影撮像装置。

Images