JP2017220880A - 投影装置及び投影方法 - Google Patents

Abstract

【課題】投影装置が投影した投影画像に対して汎用的なポインタから照射されたポインタ光の視認性を向上させる技術を提供する。【解決手段】投影装置１００は、入力信号に応じた投影用画像を投影面に投影する投影部４０と、ユーザによって登録されたポインタ光を含む投影面が撮像された画像を取得する画像取得部６０と、投影面においてポインタ光の位置を含む所定の領域に重畳するように、ポインタ光の色又は輝度とは異なる画像を描画する領域描画部と、を備える。【選択図】図２

Description

本発明は、投影装置及び投影方法に関する。

会議やプレゼンテーションを開催するときに、発表者やプレゼンターは、コンピュータやメディアプレーヤー等からの画像をプロジェクタ等の投影装置を用いてスクリーン上に投影することがある。このとき、発表者やプレゼンターは、レーザポインタを用いて投影画像における要点を明示しながら説明することが多い。

発表者やプレゼンターがレーザポインタをスクリーン上に照射する場合、投影画像の明るさや背景色によってはポインタ光が視聴者に見づらいことも起こりうる。このため、プロジェクタ等により投影する光学的な波長と、投影画面に対しての指し位置を示すための光学的なポインタの波長とで異なった波長を用いることにより、投影画面上の光ポインタが示している位置を認識し、認識した位置に対し識別しやすい色彩、マーク等を再投影する技術が提案されている（特許文献１参照）。

特開２００４−１１８８０７号公報

上記のような技術では、レーザポインタの波長を特殊な波長とし、かつ特殊な透過帯域を有するフィルタを介して撮像することが必要となる。結果としてレーザポインタや撮像手段に対して特殊な制約が要求されるため、装置の大型化、高コスト化を招来しかねない。

本発明は上述した点に鑑みてなされたものであり、投影装置が投影した投影画像に対し、汎用的なポインタから照射されたポインタ光の視認性を向上させる技術を提供することを目的とする。

上記の課題を解決するために、本発明のある態様の投影装置は、入力信号に応じた投影用画像を投影面に投影する投影手段と、ユーザによって登録されたポインタ光を含む前記投影面が撮像された画像を取得する画像取得手段と、前記投影面において前記ポインタ光の位置を含む所定の領域に重畳するように、前記ポインタ光の色又は輝度とは異なる画像を描画する領域描画手段と、を備えることを特徴とする。

本発明の別の態様は、投影方法である。この方法は、入力信号に応じた投影用画像を投影面に投影するステップと、ユーザによって登録されたポインタ光を含む前記投影面が撮像された画像を取得するステップと、前記投影面において前記ポインタ光の位置を含む所定の領域に重畳するように、前記ポインタ光の色又は輝度とは異なる画像を描画するステップと、をプロセッサが実行することを特徴とする。

本発明のさらに別の態様は、電子機器である。この電子機器は、投影装置が投影面に投影するための投影用画像を入力信号に応じて生成する投影用画像生成手段と、ユーザによって登録されたポインタ光を含む前記投影面が撮像された画像を取得する画像取得手段と、前記投影面において前記ポインタ光の位置を含む所定の領域に重畳するように、前記ポインタ光の色又は輝度とは異なる画像を描画する領域描画手段と、を備えることを特徴とする。

本発明によれば、投影装置が投影した投影画像に対し、汎用的なポインタから照射されたポインタ光の視認性を向上させる技術を提供することができる。

第１の実施の形態に係る投影装置の全体構成を模式的に示す図である。 第１の実施の形態に係る投影装置の機能構成を模式的に示す図である。 投影装置とその投影面とを横から見た場合の外観を示す図である。 第１の実施の形態に係る投影装置が実行するポインタ光登録処理を説明するための図である。 撮像部が撮像したポインタ光の色の強度の一例を模式的に示す図である。 第１の実施の形態に係る画像処理装置の機能構成を模式的に示す図である。 第１の実施の形態に係る移動方向予測部が実行するポインタ光の移動位置の予測処理を説明するための図である。 第１の実施の形態に係る領域描画部が描画する領域の配色の一例を示す図である。 第１の実施の形態に係る投影装置が実行する投影処理の流れを説明するためのフローチャートである。 第２の実施の形態に係る投影装置が描画する領域を説明するための図である。 第３の実施の形態に係る投影システムの構成を模式的に示す図である。

＜第１の実施の形態の概要＞
図１を参照しながら、本発明の実施の形態の概要を述べる。
図１は、第１の実施の形態に係る投影装置１００の全体構成を模式的に示す図である。投影装置１００は入力信号に応じた投影用画像を生成する。投影装置１００は投影用画像に基づいて画像表示光を生成し、投影面に投影画像４００を投影する。

投影装置１００は投影画像４００を被写体に含む動画像を取得するように構成されている。投影装置１００はまた、予めユーザによって登録されたポインタ５００が照射するポインタ光５２０の特徴を記憶している。これにより、投影装置１００は予め登録されたポインタ光５２０の特徴に基づいて、取得した動画像に写っているポインタ光５２０の位置を特定したり、ポインタ光５２０を追跡したりすることができる。ユーザによって予め登録されたポインタ光５２０の特徴を用いることにより、投影装置１００はポインタ５００が照射するポインタ光の波長や形状等に限定されず、一般に市販されているレーザポインタを含む種々のポインタ５００のポインタ光を検出することができる。

投影装置１００は、投影画像４００においてポインタ光５２０の位置を含む所定の領域５４０がポインタ光５２０の色又は輝度とは異なる画像となるように画像表示光を生成する。ここで「所定の領域５４０」とは、投影用画像上においてポインタ光５２０の位置を明示するとともに、ポインタ光５２０を目立たせるために投影装置１００が描画する領域である。これにより、投影画像４００におけるポインタ光５２０とその背景との色や明るさのコントラストが大きくなるので、投影画像４００を観察する視聴者のポインタ光５２０の視認性が向上する。

投影装置１００はまた、取得した画像に写っているポインタ光５２０を追跡することにより、投影画像４００においてポインタ光５２０が移動したポインタ軌跡５３０を描画することもできる。ポインタ光５２０は軌跡の端部に存在するため、投影画像４００を観察する視聴者はポインタ光５２０を見つけることが容易となる。結果として、ポインタ光５２０の視認性をさらに向上することができる。またポインタ５００のユーザは、ポインタ光を用いて投影面上に文字や記号等を表示させることもできる。
以下、第１の実施の形態に係る投影装置１００についてより詳細に説明する。

＜投影装置１００の機能構成＞
図２は、第１の実施の形態に係る投影装置１００の機能構成を模式的に示す図である。第１の実施の形態に係る投影装置１００は、信号入力部１０、光源部２０、光学部３０、投影部４０、撮像部５０、画像取得部６０、設定受付部７０、ポインタ光登録部８０、及び画像処理部２００を含む。

信号入力部１０は、コンピュータやメディアプレーヤー等からの画像信号が接続される入力インタフェースである。画像信号としては、デジタルインタフェース規格であるＨＤＭＩ（High-Definition Multimedia Interface；登録商標）やＤｉｓｐｌａｙＰｏｒｔ（登録商標）、ＵＳＢ（Universal Serial Bus）やＨＤＢａｓｅＴ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、ＤＶＩ（Digital Visual Interface）等、及びアナログインタフェース規格であるＶＧＡ（Video Graphics Array）やＤ端子、Ｓ端子等、種々の規格に対応できるようにしてもよい。また投影装置１００は、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮ（Local Area Network）等、様々な通信規格に対応できるようにしてもよい。投影装置１００は、ＲＳ２３２Ｃ等、低速なインタフェース信号にも対応できるようにしてもよい。

画像処理部２００は、様々な画像処理を行う演算部である。画像処理部２００は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の計算リソースによって実現され、投影装置１００の各部を制御する制御部としても機能する。なお、画像処理部２００の詳細は後述する。光源部２０は、ランプやＬＥＤ（Light Emitting Diode）、又はレーザ等による発光部である。光学部３０は、光源部２０が発する光と画像処理部２００が出力した信号とにより、カラー画像を生成する。光学部３０は、例えば、透過型液晶パネルや反射型液晶パネル、又はＤＭＤ（Digital Mirror Device）と呼ばれる反射型ミラーパネル等によって実現される。

光学部３０を実現するための各パネルは光学変調素子とも呼ばれる。光学部３０は、光源部２０からの光を光の３原色に分離し、各原色光に対し画像処理部２００からの信号により強度的な変調をかけ、この変調された３原色光を再合成する。投影部４０は、光学部３０が再合成した画像表示光を拡大して投影面に投影する。これにより、投影装置１００は、コンピュータやメディアプレーヤー等からの画像をスクリーン上に投影することができる。

撮像部５０は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ等による撮像デバイスである。撮像部５０はカラー撮像デバイスであり、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色に対応した画素が縦と横に並べられる。撮像部５０は数十万〜数百万の画素を備え、各画素の大きさは例えば数マイクロメートル〜数十マイクロメートルである。

一例として、投影画像４００が、アスペクト比が４：３の１００型程度の大きさの画像である場合を考える。この場合、投影画像４００の大きさは縦１．５メートル、横２．０メートル程度となる。撮像部５０を１０８８×２０４８の画素で構成した場合、縦は１画素あたり１．３８ミリメートル、横は０．９７７ミリメートル程度となる。

ここで、ポインタ５００のポインタ光５２０が直径５ミリメートルの円形状と仮定すると、撮像部５０がポインタ光５２０を撮像した場合、複数の画素がポインタ光５２０を構成することになる。撮像部５０が撮像したポインタ光５２０を含む画像を信号処理することにより、画像処理部２００は投影画像４００におけるポインタ光５２０の位置を検出することができる。

なお、撮像部５０は、画像処理部２００から出力されたタイミング信号により投影画像４００を撮像してもよいし、撮像部５０の内部のクロック信号に基づいて投影画像４００を撮像してもよい。ここで、撮像部５０の撮像レートは、例えば３０フレーム／秒程度であってもよいし、それよりも低い数フレーム／秒等としてもよいし、それよりも速い数十フレーム／秒又は百フレーム／秒以上としてもよい。

画像取得部６０は、撮像部５０が撮像した画像を取得する。ポインタ光登録部８０は、投影装置１００のユーザがポインタ５００を用いて投影面に照射したポインタ光５２０を、図示しない記憶部に登録して記憶する。より具体的には、ポインタ光登録部８０は、撮像部５０によって撮像されたポインタ光５２０を含む投影面の画像を画像取得部６０から取得し、その画像に含まれるポインタ光５２０の特徴を記憶する。詳細は後述するが、ポインタ光登録部８０は、投影面に照射されたポインタ光５２０の特徴として、色又は形の少なくともいずれか一方を記憶する。

設定受付部７０は、図１に示したポインタ軌跡５３０の色及び線種、領域５４０の色、輝度又は形状、及びそれらの表示の有無等の設定のうち、少なくともいずれか一つの設定をユーザから受け付ける。これにより、ユーザはポインタ光５２０を目立たせるためのポインタ軌跡５３０や領域５４０を自由に調整することができる。なお設定受付部７０は、ポインタ軌跡５３０の色や領域５４０の色及び形状に関する標準の設定を記憶している。ポインタ軌跡５３０の色や領域５４０の色及び形状に関する設定をユーザから受け付ける前は、設定受付部７０は標準の設定を採用する。

図３は、投影装置１００とその投影面とを横から見た場合の外観を示す図である。図３に示す例では、投影部４０が投影した投影画像４００を撮像するための撮像部５０は、投影装置１００に装備されている。
ここで、撮像部５０は、投影画像４００を撮像することができれば、どのように設置されてもよい。例えば撮像部５０は、投影装置１００の内部に設けられてもよいし、投影装置１００の外部に取り付けられてもよい。あるいは、撮像部５０は投影装置１００とは異なる外部の装置として、投影装置１００とは離れた場所に設置されてもよい。

図３に示す例では、撮像部５０は、投影装置１００の投影部４０の下方に設置されている。しかしながら、撮像部５０の配置位置は図３に示す例に限られず、先に述べたように投影画像４００を撮像することができればどの位置に設置されてもよい。

＜ポインタ光５２０の登録＞
続いて、図４及び図５を参照して、ポインタ光５２０の登録処理について説明する。
図４は、第１の実施の形態に係る投影装置１００が実行するポインタ光５２０登録処理を説明するための図である。図４に示すように、ユーザにポインタ光５２０を登録させる際に、投影装置１００の画像処理部２００は、光源部２０、光学部３０、及び投影部４０を制御して、投影画像の一部にポインタ登録領域５１０を投影する。投影装置１００の画像処理部２００は、撮像部５０を制御して、ユーザがポインタ５００を用いてポインタ登録領域５１０中に照射したポインタ光５２０を撮像させる。ポインタ光登録部８０は、画像処理部２００の制御の下、撮像部５０に撮像させた画像に含まれるポインタ登録領域５１０を解析することにより、ポインタ光５２０の情報を抽出する。

図５は、撮像部５０が撮像したポインタ光５２０の色の強度の一例を模式的に示す図であり、より具体的にはポインタ光５２０が赤色である場合の強度を示す図である。ポインタ光５２０を検出した撮像部５０のイメージセンサのＲ、Ｇ、Ｂに対する強度は、図５に示すように、Ｒが大きく、ＧとＢとは小さくなる。ポインタ光登録部８０は、ポインタ登録領域５１０を解析することにより、このようなポインタ光５２０の特徴を抽出し登録する。

図示はしないが、ポインタ光５２０が緑色である場合は、Ｇの強度が大きくなり、青色の場合はＢの強度が大きくなる。このような場合、ポインタ光登録部８０はこれらのポインタ光５２０の特徴を登録する。ポインタ光５２０のＲ、Ｇ、Ｂのレベルが拮抗し、ポインタ光５２０の彩度が低い場合には、ポインタ光登録部８０はポインタ光５２０の輝度レベルをポインタ光５２０の特徴として登録してもよい。

ポインタ光５２０の形状に特徴がある場合、ポインタ光登録部８０は、その形状を登録してもよい。例えば、円形、三角形、四角形、又は星形等、特徴ある形状を登録してもよい。この場合、ポインタ光登録部８０は、ポインタ光５２０の形状を、例えばテンプレートマッチング等の既知の画像認識技術を用いて認識する。

なお、図４に示す例では、ポインタ登録領域５１０は白色の背景色となっている。しかしながら、ポインタ登録領域５１０の色は白色に限定されず何色でもよく、設定受付部７０を介してユーザが自由に設定することができる。ポインタ光登録部８０は、ポインタ５００を照射する前のポインタ登録領域５１０の画像と、ポインタ５００を照射したときのポインタ登録領域５１０の画像との差を取ることにより、ポインタ登録領域５１０の色の影響を低減する。これにより、ポインタ光登録部８０は、ポインタ登録領域５１０によらずポインタ光５２０の情報を抽出することができる。

＜画像処理部２００の機能構成＞
続いて、第１の実施の形態に係る投影装置１００が備える画像処理部２００について、より詳細に説明する。画像処理部２００は、主に以下の３つの処理を実行する。
第１の処理は、信号入力部１０から取得した入力信号に応じた投影用画像を生成する投影用画像生成処理である。第２の処理は、投影面に投影された投影用画像におけるポインタ光５２０の位置を含む所定の領域５４０を描画する領域描画処理である。第３の処理は、投影面において移動したポインタ光５２０の移動の軌跡を描画する軌跡描画処理である。

図６は、第１の実施の形態に係る画像処理部２００の機能構成を模式的に示す図である。画像処理部２００は、画像合成部２１０、画像バッファ２２０、レイヤ統合部２２５、駆動部２３０、ポインタ位置検出部２５０、ポインタ軌跡演算部２７０、移動方向検出部３００、移動方向予測部３１０、及び領域演算部３２０を備える。画像合成部２１０は、投影用画像生成部２１２、軌跡描画部２１４、及び領域描画部２１６を備える。

投影用画像生成部２１２は上述した第１の処理を実行する。より具体的には、投影用画像生成部２１２は、信号入力部１０が取得した入力信号に応じた投影用画像を生成し、画像バッファ２２０に格納する。
図示はしないが、画像バッファ２２０は投影用画像用のバッファ、軌跡描画用のバッファ、及び領域５４０描画用のバッファをそれぞれ備える。この場合、投影用画像、ポインタ光５２０の移動の軌跡、及び所定の領域５４０とは、それぞれ別のレイヤに描画されることになる。そこでレイヤ統合部２２５は、各バッファに対応する複数のレイヤを統合して合成し、投影用画像を生成する。

駆動部２３０は、レイヤ統合部２２５が生成した投影用画像に基づいて光学部３０の光学変調素子を駆動する。光学部３０の光学変調素子は強度的な変調を印加した３原色光を再合成し、投影部４０は、再合成された画像を拡大して投影面に投影する。これにより、投影面に投影された画像上に、ポインタ光５２０の位置を含む所定の領域５４０と投影用画像にポインタ光５２０の移動の軌跡とが描画されて表示される。

なお、画像バッファ２２０は投影用画像用のバッファ、軌跡描画用のバッファ、及び領域５４０描画用のバッファそれぞれを個別に備える代わりに、共通する一つのバッファを備えていてもよい。この場合、軌跡描画部２１４及び領域描画部２１６は、それぞれポインタ光５２０の移動の軌跡とポインタ光５２０の位置を含む所定の領域５４０とを、画像バッファ２２０に格納された投影用画像に上書きすることになる。

投影用画像、ポインタ光５２０の移動の軌跡、及び所定の領域５４０が、それぞれ別のレイヤに描画される場合と、ポインタ光５２０の移動の軌跡とポインタ光５２０の位置を含む所定の領域５４０とが投影用画像に上書きされる場合とのいずれの場合であっても、投影部４０が投影面に投影すれば、投影面を観察する視聴者は投影用画像上にポインタ光５２０の移動の軌跡、及び所定の領域５４０が重畳して描画されているように観察される。したがって以下本明細書においては、両者を特に区別する場合を除き、投影用画像上にポインタ光５２０の移動の軌跡、及び所定の領域５４０を「描画する」又はそれと類似する表現を用いる。

ポインタ位置検出部２５０は、ポインタ光登録部８０が登録したポインタ光５２０の色や線種等の情報に基づいて、画像取得部６０が取得したポインタ光５２０を含む投影面が撮像された画像におけるポインタ光５２０の位置を検出する。より具体的には、ポインタ位置検出部２５０は、ポインタ光登録部８０が登録したポインタ光５２０の色や線種等の情報に基づいて、ポインタ光５２０の色と強度、又は形状に関する情報と、ポインタ光５２０を含む投影面が撮像された画像とを比較し、ポインタ光５２０を検出する。

第１の実施の形態に係る撮像部５０はユーザによって登録されたポインタ光５２０を含む投影面を動画で撮像する。このため、画像取得部６０も、ユーザによって登録されたポインタ光５２０を含む投影面が撮像された動画像を取得する。ポインタ位置検出部２５０は、画像取得部６０が取得した動画像の各フレームにおけるポインタ光５２０の位置を検出する。

移動方向検出部３００は、ポインタ位置検出部２５０が動画像の各フレームにおいて検出したポインタ光５２０の位置に基づいて、ポインタ光５２０の移動方向を検出する。移動方向予測部３１０は、移動方向検出部３００が算出した移動方向に基づいて、ポインタ光５２０の移動位置を予測する。

図７（ａ）−（ｂ）は、第１の実施の形態に係る移動方向予測部３１０が実行するポインタ光５２０の移動位置の予測処理を説明するための図である。
図７（ａ）は、撮像部５０が撮像した画像の一例を示し、より具体的には、撮像部５０が時刻ｎ−２、時刻ｎ−１、及び時刻ｎで撮像した画像を例示している。図７（ａ）において、白丸Ｐ_ｎ−２は時刻ｎ−２において撮像部５０が撮像したポインタ光５２０を示している。また斜線を付した丸Ｐ_ｎ−１は、時刻ｎ−１において撮像部５０が撮像したポインタ光５２０を示している。同様に、黒丸Ｐ_ｎは時刻ｎにおいて撮像部５０が撮像したポインタ光５２０を示している。

図７（ｂ）は、各時刻におけるポインタ光５２０の位置を表現するための座標系を示す図である。図７（ｂ）に示す例では、撮像部５０が撮像した画像領域を示す矩形の一辺をＸ軸、他の辺をＹ軸、矩形の一つの頂点を原点とする直交座標系が示されている。この直交座標系を用いると、各時刻におけるポインタ光５２０の位置座標は、それぞれＰ_ｎ−２（Ｘ_ｎ−２，Ｙ_ｎ−２）、Ｐ_ｎ−１（Ｘ_ｎ−１，Ｙ_ｎ−１）、及びＰ_ｎ（Ｘ_ｎ，Ｙ_ｎ）で表される。

移動方向検出部３００は、撮像部５０が異なるタイミングで撮像した画像に含まれる複数のポインタ光５２０の位置座標を比較し、ポインタ光５２０の移動方向を算出する。一例としては、（Ｘ_ｎ−Ｘ_ｎ−１，Ｙ_ｎ−Ｙ_ｎ−１）がポインタ光５２０の移動ベクトルとなる。なお、各画像が撮像された時刻間の時間間隔は、撮像部５０の撮像レートに依存する。移動方向予測部３１０は、撮像部５０による各画像の撮像時刻の時間間隔とポインタ光５２０の移動ベクトルとにより、ポインタ光５２０のＸ方向及びＹ方向の移動速度を求める。

移動方向予測部３１０は、移動方向検出部３００が算出した移動ベクトルに基づいて、撮像部５０による次の撮像タイミングにおけるポインタ光５２０の位置座標を予測する。図７（ｂ）では、Ｘ印で示されたＰ_ａ（Ｘ_ａ，Ｙ_ａ）が、移動方向予測部３１０の予測した光源部２０の位置座標である。

なお、移動方向予測部３１０は、撮像部５０が撮像した３以上の画像に含まれるポインタ光５２０の位置座標に基づいて、撮像部５０による次の撮像タイミングにおけるポインタ光５２０の位置座標を予測してもよい。これは例えば移動方向予測部３１０が、３以上の画像に含まれるポインタ光５２０のＸ座標及びＹ座標のそれぞれについて、既知の線形予測法等を用いて予測することにより実現できる。ポインタ光５２０の過去の動きをより多く予測に反映することができるので、予測の精度を高めることができる。

領域演算部３２０は、設定受付部７０から領域５４０の色及び形状等の設定を取得する。領域演算部３２０は、移動方向予測部３１０が予測したポインタ光５２０の位置座標と領域５４０の色及び形状等の設定とに基づいて、ポインタ光５２０の位置に対応する位置を含む領域５４０を決定する。領域描画部２１６は、投影用画像における領域５４０の位置に、ポインタ光５２０の色又は輝度と異なる画像を描画する。これにより、投影面におけるポインタ光５２０の視認性を向上することができる。

ここで、領域演算部３２０は、投影面におけるポインタ光５２０の移動方向に基づいて、領域５４０に重畳する画像の形状を変更してもよい。例えば領域演算部３２０は、移動方向検出部３００が算出した移動ベクトルと平行な長辺を持つ矩形領域を、領域５４０としてもよい。これにより、視聴者は領域５４０の形状からポインタ光５２０の移動方向を予測することができるので、ポインタ光５２０を見失うことを軽減することができる。

また領域演算部３２０は、投影面における一定の領域にポインタ光５２０が所定の時間が経過するまで留まることを契機として、領域５４０の描画を領域描画部２１６に開始させる。ここで「所定の時間」とは、領域演算部３２０が領域５４０を描画するか否かを決定するために参照する「領域描画基準時間」である。この時間は、例えば撮像部５０のフレームレートに基づいて定められる。具体的には、領域描画基準時間は、撮像部５０のフレームレートの整数倍（例えば３０倍）として定められる。これにより、投影装置１００のユーザは領域５４０の描画開始を投影装置１００に明示的に指示することができるようになる。

図８は、第１の実施の形態に係る領域描画部２１６が描画する領域５４０の配色の一例を示す図である。図１に示す例では、領域５４０は、ポインタ光５２０を中心に含む円形状の領域である。ポインタ光５２０の色が図５に示す色である場合、領域描画部２１６は、図８に示すようにＲ（赤）の強度が小さく、Ｇ（緑）、またはＢ（青）、又はＧとＢ（青緑）の強度が大きくなる領域５４０を描画してもよい。

なお設定受付部７０は、領域５４０の色に関する設定をユーザから受け付ける前は、ポインタ光５２０に対してコントラストが大きくなるような色を領域５４０の標準の色として設定してもよい。設定受付部７０は、ポインタ光５２０に対してコントラストが大きくなるような色として、例えばポインタ光５２０の補色を採用してもよい。あるいは、設定受付部７０は、色相環におけるポインタ光５２０に対して所定の角度（例えば１５０度〜２１０度）ずらした色を領域５４０の標準の色としてもよい。このようにすることにより、ポインタ光５２０の周辺はポインタ光５２０とは異なる色の領域５４０で包括されるため、入力信号による画像から分離され、視聴者はポインタ光５２０の位置を見つけやすくなる。

ポインタ軌跡演算部２７０は、ポインタ光登録部８０が記憶しているポインタ光５２０の色や線種等の情報を取得する。ポインタ軌跡演算部２７０は、ポインタ位置検出部２５０が検出した投影面におけるポインタ光５２０の位置に基づいて、ポインタ光５２０の軌跡を決定する。

ここでポインタ軌跡演算部２７０は、ポインタ位置検出部２５０において、所定時間続けてポインタ光５２０が検出されたかどうかを判定する。ポインタ軌跡演算部２７０は、ポインタ位置検出部２５０において、所定時間続けてポインタ光５２０が検出されることを契機として、ポインタ光５２０の軌跡を描画する。これにより、ユーザはポインタ光５２０の軌跡の描画開始を投影装置１００に明示的に指示することができる。例えばユーザがポインタ５００を動かすときにポインタ光５２０が短い時間だけたまたま投影面に照射される場合等には、ポインタ軌跡演算部２７０はポインタ光５２０の軌跡を描画しない。したがって、投影面に必要以上にポインタ光５２０の軌跡が描画されることを抑制できる。

なお、ポインタ軌跡演算部２７０は、ポインタ位置検出部２５０において所定時間続けてポインタ光５２０が検出された場合、その位置をポインタ光５２０の軌跡の描画開始位置とする。

ポインタ軌跡演算部２７０は、ポインタ位置検出部２５０からの信号に替えて、移動方向検出部３００から取得した情報を軌跡の決定に利用してもよい。この場合、ポインタ光５２０が所定時間移動しない静止状態であれば、移動方向検出部３００からの出力信号、すなわちポインタ光５２０の移動速度は概ねゼロとなる。そのため、ポインタ軌跡演算部２７０は、例えば、１秒間、移動方向検出部３００からの出力信号が概ねゼロである場合に、投影用画像に重畳すべきポインタ光５２０の軌跡として決定してもよい。

軌跡描画部２１４は、ポインタ軌跡演算部２７０が決定したポインタ光５２０の軌跡を投影用画像に重畳する。これにより、投影面におけるポインタ光５２０の視認性をさらに向上することができる。また、投影装置１００のユーザはポインタ５００のポインタ光５２０により投影面に文字や記号、又は任意の形状の図を描くことにより、それらを投影面におけるポインタ軌跡として視聴者に示すことができる。

なお、画像合成部２１０中の投影用画像生成部２１２は、所定の間隔ごとに信号入力部１０が生成した投影用画像の差分画像を計算する。投影用画像生成部２１２は、例えば計算した差分画像の画素値の総和が所定の閾値以上となる場合、投影用画像がユーザによって切り替えられたと判定する。軌跡描画部２１４は、投影用画像生成部によって投影面に投影された投影用画像がユーザによって切り替えられたと判定されるまで、ポインタ光５２０の軌跡を投影用画像に継続して描画する。一方、領域描画部２１６は、投影用画像に重畳する領域５４０をポインタ光５２０の移動にしたがって更新し、現在のポインタ光５２０付近の領域５４０のみが描画されるようにしてもよい。

領域５４０はポインタ光５２０の軌跡よりも投影用画像に重畳される面積が広い。このため、ひとたび投影用画像上に描画された領域５４０が残存すると、領域５４０によって投影用画像の多くの部分が覆われることが起こりうる。そこで領域描画部２１６は、ポインタ位置検出部２５０が新たなポインタ光５２０を検出することを契機として、その時点で描画している領域５４０を画像バッファ２２０から削除する。領域描画部２１６はまた、ポインタ位置検出部２５０が新たに検出したポインタ光５２０を含む新たな領域５４０を描画する。このように、領域描画部２１６が現在のポインタ光５２０付近の領域５４０のみが描画されるようにすることにより、過去に重畳した領域５４０によって投影用画像が遮蔽されることを抑制できる。

＜投影装置１００の各部が実行する投影処理の処理フロー＞
図９は、第１の実施の形態に係る投影装置１００が実行する投影処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、投影装置１００の制御部としても機能するＣＰＵである画像処理部２００が、投影装置１００の各部を制御することによって実現され、例えば投影装置１００が起動したときに開始する。

ステップＳ２では、画像処理部２００のＣＰＵが設定受付部７０を制御し、軌跡描画部２１４が描画するポインタ光５２０の軌跡の色、輝度、又は線種のうち少なくともいずれか一つの設定をユーザから取得させる。画像処理部２００のＣＰＵはまた、設定受付部７０を制御し、領域描画部２１６が描画する領域５４０の色又は輝度の少なくともいずれか一方の設定をユーザから取得させる。画像処理部２００のＣＰＵは、設定受付部７０が取得した設定に基づいて、投影装置１００により投影されるポインタ光５２０の軌跡と領域５４０のパラメータを設定する。パラメータの設定をした後、画像処理部２００のＣＰＵはステップＳ４の処理に進む。

ステップＳ４では、画像処理部２００のＣＰＵは、信号入力部１０を制御し、ＰＣ（Personal Computer）等の外部機器から投影面に投影すべき映像信号を入力させる。映像信号を入力させると、画像処理部２００のＣＰＵはステップＳ６の処理に進む。
ステップＳ６では、画像処理部２００のＣＰＵは、信号入力部１０に入力された映像信号を処理して投影面に投影するための投影用画像を生成する投影用画像生成部２１２として機能する。投影用画像の生成が終わると、画像処理部２００のＣＰＵはステップＳ８の処理に進む。

ステップＳ８では、画像処理部２００のＣＰＵは、ポインタ光登録部８０を制御し、ユーザがポインタ５００を用いて投影面に照射したポインタ光５２０の特徴を示す情報を登録して記憶させる。ポインタ光５２０の特徴を示す情報を記憶させると、画像処理部２００のＣＰＵはステップＳ１０の処理に進む。
ステップＳ１０では、画像処理部２００のＣＰＵは、ポインタ位置検出部２５０を制御して、登録されたポインタ光５２０の情報に基づいて、撮像部５０が撮像した画像からポインタ光５２０の位置を検出させる。ポインタ光５２０の位置を検出させると、画像処理部２００のＣＰＵはステップＳ１２の処理に進む。

ステップＳ１２では、画像処理部２００のＣＰＵは、ポインタ光５２０を描画中であるかどうかを判定する。ポインタ光５２０が描画中でない場合（Ｓ１２のＮｏ）、画像処理部のＣＰＵはステップＳ１４の処理に進む。ステップＳ１４では、画像処理部２００のＣＰＵは、所定時間続けてポインタ光５２０を検出したかどうかに基づいて、ポインタ光５２０の軌跡の描画開始位置を決定する。ポインタ光５２０の軌跡の描画開始位置を決定すると、画像処理部２００のＣＰＵはステップＳ１６の処理に進む。ステップＳ１６において、画像処理部２００のＣＰＵが所定時間続けてポインタ光５２０を検出するまでの間（Ｓ１６のＮｏ）、画像処理部２００のＣＰＵはステップＳ１０の処理に戻って上記処理を繰り返す。

画像処理部２００のＣＰＵの制御下で動作するポインタ位置検出部２５０が所定時間続けてポインタ光５２０を検出するか（Ｓ１６のＹｅｓ）、又はポインタ光５２０が描画中の場合（Ｓ１２のＹｅｓ）、画像処理部２００のＣＰＵはステップＳ１８の処理に進む。ステップＳ１８では、画像処理部２００のＣＰＵは移動方向検出部３００を制御して、ポインタ光５２０の動きを算出させる。ポインタ光５２０の動きの算出が終わると、画像処理部２００のＣＰＵはステップＳ２０の処理に進む。ステップＳ２０では、画像処理部２００のＣＰＵは移動方向予測部３１０を制御して、移動方向検出部３００に算出させたポインタ光５２０の動きに基づいて、ポインタ光５２０の移動位置を予測させる。ポインタ光５２０の移動位置を予測が終わると、画像処理部２００のＣＰＵはステップＳ２２の処理に進む。

ステップＳ２２では、画像処理部２００のＣＰＵは、領域演算部３２０に決定させた領域５４０に基づいて、投影面においてポインタ光５２０の位置を含む位置に領域５４０を描画する領域描画部２１６として機能する。領域５４０の描画が終わると、画像処理部２００のＣＰＵはステップＳ２４の処理に進む。
ステップＳ２４では、画像処理部２００のＣＰＵは、投影部４０を制御して、画像バッファ２２０の画像を投影面に投影させる。以上の処理を繰り返すことで、投影装置１００は、ＰＣ等の外部機器から取得した映像を投影面に投影しつつ、ポインタ光５２０に追従してポインタ光５２０を含む領域５４０を映像上に重畳する。

以上説明したように、第１の実施の形態に係る投影装置１００によれば、投影装置１００が投影した投影画像に対して汎用的なポインタ５００から照射されたポインタ光５２０の視認性を向上させる技術を提供することができる。

特に、第１の実施の形態に係る投影装置１００によれば、投影装置１００及びポインタ５００に対して特殊な条件や制約を必要とせず、汎用的なポインタ５００により指示された位置の軌跡及びポインタ５００を強調する画像を投影することができる。

＜第２の実施の形態＞
第２の実施の形態に係る投影装置１００と第１の実施の形態に係る投影装置１００との相違点は、投影装置１００が描画する領域５４０の色である。第１の実施の形態に係る投影装置１００では、領域５４０の色は、ポインタ光５２０の発光色の強度が小さく、それ以外の色の強度が強くなる場合について主に説明した。一方、第２の実施の形態に係る投影装置１００では、ユーザが設定によって領域５４０の発光色をポインタ光５２０の発光色に近づけた場合が主に想定されている。このため、第２の実施の形態に係る投影装置１００においては、領域５４０の色は、ポインタ光５２０の発光色の強度は小さくない。

例えば、ポインタ光５２０の発光色が赤である場合、ポインタ光５２０を検出した撮像部５０のＲ、Ｇ、Ｂに対する強度は、図５に示すように、Ｒが非常に大きく、ＧとＢは非常に小さくなる。

図１０（ａ）−（ｂ）は、第２の実施の形態に係る投影装置１００が描画する領域５４０を説明するための図である。変形例に係る投影装置１００においては、領域５４０の色は例えば白色であり、図１０（ａ）に示すように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色は、同程度の比率で構成される。この領域５４０をポインタ光５２０に重畳した状態で撮像部５０が撮像すると、図１０（ｂ）に示すように、領域５４０のＲＧＢ各色の強度（白色）にポインタ光５２０の各色強度（斜線）が加算されて撮像されることになる。このため、撮像部５０が撮像した画像においては、領域５４０とポインタ光５２０とのコントラストが小さく、ポインタ位置検出部２５０によるポインタ光５２０の位置検出の精度が低くなることも生じかねない。

これに対処するため、第２の実施の形態に係る投影装置１００におけるポインタ位置検出部２５０は、撮像部５０からの撮像データのみならず、設定受付部７０からの領域５４０に関する設定情報と、ポインタ光登録部８０からのポインタ光５２０に関する情報とを取得する。図１０（ｂ）に示すように、ポインタ位置検出部２５０は、領域５４０のＲＧＢ各色の強度（図１０（ｂ）では白色で示す）とポインタ光５２０の各色強度（斜線）とを予め情報として取得することになる。この情報を用いることにより、ポインタ位置検出部２５０は、ポインタ光５２０の位置を検出する際に撮像部５０が撮像した画像から領域５４０の色に相当するＲ（赤）、Ｇ（緑）、Ｂ（青）の強度を差し引くことができる。結果として、ポインタ位置検出部２５０は、撮像部５０が撮像した画像から領域５４０の影響を軽減したポイント光のＲ（赤）、Ｇ（緑）、Ｂ（青）の強度（斜線）を得ることができる。

またポインタ位置検出部２５０は、領域５４０のＲ（赤）、Ｇ（緑）、Ｂ（青）の強度を考慮して、撮像部５０が撮像した画像からポインタ光５２０を検出する際に参照する比較判定の閾値を設定してもよい。これにより、ポインタ位置検出部２５０は、領域５４０の色にポインタ光５２０の発光色が含まれている場合であっても、撮像部５０が撮像した画像からポインタ光５２０を分離することができる。この結果、撮像部５０が撮像した画像の色の影響を低減し、ポインタ光５２０の検出精度を向上することができる。

したがって、第２の実施の形態に係る投影装置１００においても、投影した投影画像に対して汎用的なポインタ５００から照射されたポインタ光５２０の視認性を向上させる技術を提供することができる。

＜第３の実施の形態＞
上記では、投影装置１００がポインタ光５２０の位置検出等の各種画像処理を実行する場合について説明した。第３の実施の形態においては、上述した投影装置１００における信号入力部１０、画像取得部６０、設定受付部７０、ポインタ光登録部８０、及び画像処理部２００の機能が独立した一つの電子機器として実現される。電子機器はＣＰＵやメモリ等の計算リソースを持つ機器であればどのような機器でもよいが、例えばＰＣである。

図１１は、第３の実施の形態に係る投影システム１０１の構成を模式的に示す図である。第３の実施の形態に係る投影システム１０１は、撮像装置５２、電子機器１５０、及び投影装置１０２を備える。

撮像装置５２は、第１の実施の形態における撮像部５０の機能を有する独立した装置である。撮像装置５２は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等を備えるカメラである。投影装置１０２は、電子機器１５０等の外部の機器から取得した画像を画像表示光に変換し、投影面に投影画像４００を投影する。投影装置１０２は、既知の液晶プロジェクタ等である。

電子機器１５０は、少なくとも、投影用画像生成部と画像取得部と領域描画とを備える。ここで投影用画像生成部は、投影装置１０２が投影面に投影するための投影用画像を、入力信号に応じて生成する。電子機器１５０の投影用画像生成部は、第１の実施の形態における投影用画像生成部２１２と同様の機能を有する。

画像取得部は、ユーザによって登録されたポインタ光を含む投影面が撮像装置５２によって撮像された画像を取得する。電子機器１５０の画像取得部は、第１の実施の形態における画像取得部６０と同様の機能を有する。

領域描画部は、投影面においてポインタ光５２０の位置を含む所定の領域５４０に重畳するように、ポインタ光５２０の色又は輝度とは異なる画像を描画する。電子機器１５０の画像取得部は、第１の実施の形態における領域描画部２１６と同様の機能を有する。

第３の実施の形態に係る電子機器１５０は、既存の一般的な撮像装置５２と投影装置１０２とを用いて、第１の実施の形態と同様に汎用的なポインタ５００から照射されたポインタ光５２０の視認性を向上させる技術を提供することができる。

以上、本発明の実施の形態、及びいくつかの実施の形態をもとに説明した。これらの任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。また本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

４０・・・投影部
６０・・・画像取得部
１００・・・投影装置
２１６・・・領域描画部

Claims (10)

1. 入力信号に応じた投影用画像を投影面に投影する投影手段と、
   ユーザによって登録されたポインタ光を含む前記投影面が撮像された画像を取得する画像取得手段と、
   前記投影面において前記ポインタ光の位置を含む所定の領域に重畳するように、前記ポインタ光の色又は輝度とは異なる画像を描画する領域描画手段と、
   を備えることを特徴とする投影装置。
2. 前記投影面において移動した前記ポインタ光の移動の軌跡を描画する軌跡描画手段をさらに備えることを特徴とする請求項１に記載の投影装置。
3. 前記領域描画手段は、前記投影面における前記ポインタ光の移動方向に基づいて、前記所定の領域に描画する画像の形状を変更することを特徴とする請求項１又は２に記載の投影装置。
4. 前記領域描画手段は、前記投影面における一定の領域に前記ポインタ光が所定の時間が経過するまで留まることを契機として、前記所定の領域に重畳する画像を描画することを特徴とする請求項１から３のいずれか一項に記載の投影装置。
5. 前記領域描画手段が描画する画像の色又は輝度の少なくともいずれか一方の設定をユーザから取得する設定受付手段をさらに備えることを特徴とする請求項１から４のいずれか一項に記載の投影装置。
6. 前記ユーザがポインタ光照射手段を用いて前記投影面に照射したポインタ光の特徴を登録して記憶するポインタ光登録手段をさらに備えることを特徴とする請求項１に記載の投影装置。
7. 前記ポインタ光登録手段は、前記投影面に照射されたポインタ光の色又は形の少なくともいずれか一方を記憶することを特徴とする請求項６に記載の投影装置。
8. 前記画像取得手段が取得した複数の画像それぞれにおけるポインタの位置を検出するポインタ位置検出手段と、
   前記ポインタ位置検出手段が検出したポインタ光の位置に基づいて、ポインタ光の移動方向を検出する移動方向検出手段と、
   前記移動方向検出手段が検出した前記ポインタ光の移動方向に基づいて、ポインタ光の移動位置を予測する移動方向予測手段と、
   をさらに備えることを特徴とする請求項１から７のいずれか一項に記載の投影装置。
9. 入力信号に応じた投影用画像を投影面に投影するステップと、
   ユーザによって登録されたポインタ光を含む前記投影面が撮像された画像を取得するステップと、
   前記投影面において前記ポインタ光の位置を含む所定の領域に重畳するように、前記ポインタ光の色又は輝度とは異なる画像を描画するステップと、
   をプロセッサが実行することを特徴とする投影方法。
10. 投影装置が投影面に投影するための投影用画像を入力信号に応じて生成する投影用画像生成手段と、
    ユーザによって登録されたポインタ光を含む前記投影面が撮像された画像を取得する画像取得手段と、
    前記投影面において前記ポインタ光の位置を含む所定の領域に重畳するように、前記ポインタ光の色又は輝度とは異なる画像を描画する領域描画手段と、
    を備えることを特徴とする電子機器。

Images