JP2008287624A - 画像処理システム、画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】プレゼンテーションシステムの利便性を向上させる。
【解決手段】プロジェクタ２５は、スクリーン２１に光を投光して表示画像を表示させる。ユーザ３１は、レーザポインタ２２を操作して、表示画像に対する予め定められた操作を指示するための不可視光を、スクリーン２１に表示されている表示画像に照射する。カメラ２３は、スクリーン２１の表示画像を撮像画像として撮像する。画像処理装置２４は、カメラ２３により撮像された撮像画像上の不可視光の像を検出し、その検出結果を基に、ユーザ３１により指示された操作がなされた新たな表示画像を生成する。また、画像処理装置２４は、生成した新たな表示画像が表示されるようにプロジェクタ２５を制御する。本発明は、プレゼンテーションシステムに適用することができる。
【選択図】図１

Description

本発明は画像処理システム、画像処理装置および方法、並びにプログラムに関し、特に、利便性を向上させることができるようにした画像処理システム、画像処理装置および方法、並びにプログラムに関する。

会議室などでプレゼンテーションが行われる場合、ユーザがプロジェクタを利用して、コンピュータに記録されている説明資料としての資料画像をスクリーンに表示させることがある。そしてユーザは、レーザポインタを操作して可視のレーザ光を射出させ、スクリーンに表示されている資料画像上の項目などをレーザ光で指し示しながら説明を行う。

通常、このようなプレゼンテーションが行われる場合、ユーザはスクリーンを見ながら説明を行うだけでなく、スクリーンに表示させる資料画像のページ送りをするために、プロジェクタに接続されているコンピュータに対して操作を行うなどの必要があり、プレゼンテーションを行う上での利便性が損なわれていた。

また、レーザポインタでは、射出するレーザ光の出力が制限されているため、射出された可視光であるレーザ光が直接人の目に入射してもそれほど危険ではないが、それでもレーザ光が人の目に入ると、その人は著しい不快感を受けるものである。

そこで、プレゼンテーション時の利便性を高めるという点、可視光レーザに変わるポインティング手段を使用するという点の２つの点から、赤外光を利用したプレゼンテーションシステムが提案されている。

そのようなプレゼンテーションシステムには、スクリーンに光を投光して画像を表示させるとともに、赤外線描画入力手段によりスクリーン上に描かれた線画像を読み取ることのできる光学系を有する投写型液晶表示装置を用いたものもある（例えば、特許文献１参照）。この投写型液晶表示装置においては、スクリーンに光を投光する光学系を、赤外光で描画された線画像を撮像する光学系としても利用することで光学系の部品点数を低減できるため、赤外線描画入力機能を備えた小型な投写型液晶表示装置を廉価で実現できる。

また、赤外光を利用したプレゼンテーションシステムには、プロジェクタが表示させる画像とともに、座標検出の基準となる赤外光の基準スポットをスクリーンに投影し、位置検出手段が基準スポットから、赤外光を射出するレーザポインタにより指示された位置までの距離を求めることで、指示された位置を検出し、その位置にカーソルを表示させるものもある（例えば、特許文献２参照）。

さらに、画像が表示されるスクリーンとは別に、スクリーンと縦横比率が同じであるアクリルボードを配置し、赤外光を射出するペンによりアクリルボード上に描かれた線画像をスクリーンに表示させるプレゼンテーションシステムもある（例えば、特許文献３参照）。このプレゼンテーションシステムにおいては、アクリルボードが、ペンにより線画像が入力される面とは反対側の面から赤外線カメラにより撮像され、撮像により得られた画像から赤外光の軌跡が検出される。そして、検出された赤外光の軌跡がスクリーンに表示されて画像に反映される。

特開平１１−１４３６３６号公報 特開平１１−８５３９５号公報 特開２００３−２１６３２２号公報

しかしながら、スクリーンに光を投光する光学系を、線画像を撮像する光学系として利用する方法や、基準スポットを利用して指示された位置を検出する方法では、既存のプロジェクタなどを用いることはできず、赤外光を投光したり、赤外光を撮像したりする専用の装置が必要であるため、コストが高くなるばかりでなく、汎用性も低くなってしまう。

また、アクリルボードに描かれた画像を撮像して、スクリーンに表示させる方法では、赤外光を射出するペンを用いるため、可視のレーザ光を用いる場合と比べて安全性を高めることはできるものの、説明資料として表示されている画像に対して、ユーザが直接ペンにより線画像を入力するという直感的な操作を行うことができないので不便であった。しかも、説明資料としての画像は、その画像が記録されているコンピュータやスクリーンには表示されるがアクリルボードには表示されないため、ユーザは、スクリーンまたはコンピュータに表示される画像と、アクリルボードとを見比べながら線画像の入力操作を行わなければならなかった。

本発明は、このような状況に鑑みてなされたものであり、汎用性を低下させることなく、プレゼンテーションシステムの利便性を向上させることができるようにするものである。

本発明の第１の側面の画像処理システムは、表示画像を表示する表示装置と、前記表示画像に不可視光を照射して、前記表示画像上に表示されるカーソルの表示位置を指示する指示装置と、前記表示画像が表示されている領域を撮像する撮像装置と、前記撮像装置による撮像により得られた撮像画像に基づいて、新たな表示画像を生成する画像処理装置とから構成される画像処理システムであって、前記指示装置は、前記カーソルの表示位置を指示するための不可視光である位置指示光を射出する位置指示光射出手段と、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に対する予め定められた操作を指示するための操作指示光を射出する操作指示光射出手段とを備え、前記撮像装置は、前記表示画像に照射された前記位置指示光の像、および前記操作指示光の像を前記撮像画像として撮像し、前記画像処理装置は、前記撮像画像から、前記位置指示光と同じ波長の光の画像である位置指示画像と、前記操作指示光と同じ波長の光の画像である操作指示画像とを分離する分離手段と、前記位置指示画像から前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定手段と、前記操作指示画像から前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定手段と、前記カーソル位置特定手段により特定された表示位置に前記カーソルが表示され、前記操作特定手段により特定された前記操作が前記表示画像に対してなされた画像である前記新たな表示画像を生成する表示画像生成手段とを備え、前記表示装置は、これまで表示していた前記表示画像の表示を、生成された前記新たな表示画像に切り替える。

本発明の第１の側面においては、表示画像を表示する表示装置と、前記表示画像に不可視光を照射して、前記表示画像上に表示されるカーソルの表示位置を指示する指示装置と、前記表示画像が表示されている領域を撮像する撮像装置と、前記撮像装置による撮像により得られた撮像画像に基づいて、新たな表示画像を生成する画像処理装置とから構成される画像処理システムにおいて、前記指示装置により、前記カーソルの表示位置を指示するための不可視光である位置指示光が射出され、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に対する予め定められた操作を指示するための操作指示光が射出され、前記撮像装置により、前記表示画像に照射された前記位置指示光の像、および前記操作指示光の像が前記撮像画像として撮像され、前記画像処理装置により、前記撮像画像から、前記位置指示光と同じ波長の光の画像である位置指示画像と、前記操作指示光と同じ波長の光の画像である操作指示画像とが分離され、前記位置指示画像から前記位置指示光の像が検出され、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置が特定され、前記操作指示画像から前記操作指示光の像が検出され、その検出結果に基づいて、前記表示画像に対して指示された操作が特定され、前記カーソル位置特定手段により特定された表示位置に前記カーソルが表示され、前記操作特定手段により特定された前記操作が前記表示画像に対してなされた画像である前記新たな表示画像が生成され、前記表示装置により、これまで表示していた前記表示画像の表示が、生成された前記新たな表示画像に切り替えられる。

本発明の第２の側面の画像処理装置は、表示画像が表示されている領域を撮像して得られる位置指示画像であって、前記表示画像に照射された、前記表示画像上に表示されるカーソルの表示位置を指示するための位置指示光と同じ波長の不可視光の画像である位置指示画像から、前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定手段と、前記表示画像が表示されている前記領域を撮像して得られる操作指示画像であって、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に照射された、前記表示画像に対する予め定められた操作を指示するための操作指示光と同じ波長の光の画像である操作指示画像から、前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定手段と、前記カーソル位置特定手段により特定された表示位置に前記カーソルが表示され、前記操作特定手段により特定された前記操作が前記表示画像に対してなされた新たな表示画像を生成する表示画像生成手段とを備える。

前記操作特定手段には、前記操作指示画像における前記操作指示光の像の個数に基づいて、前記表示画像に対して指示された操作を特定させることができる。

前記操作特定手段には、前記操作指示画像における前記操作指示光の像の形状に基づいて、前記表示画像に対して指示された操作を特定させることができる。

画像処理装置には、前記表示画像が表示されている前記領域を撮像して得られた撮像画像から、前記位置指示画像と、前記操作指示画像とを分離する分離手段をさらに設けることができる。

前記操作指示光を、前記表示画像に対する操作ごとに異なる波長の不可視光とし、前記分離手段には、前記撮像画像から、複数の前記操作指示光のそれぞれと同じ波長の光の前記操作指示画像のそれぞれを分離させ、前記操作特定手段には、複数の前記操作指示画像のそれぞれに基づいて、前記表示画像に対して指示された操作を特定させることができる。

前記分離手段には、前記表示画像を含む可視光の画像である可視光画像を前記撮像画像からさらに分離させ、前記表示画像生成手段には、前記可視光画像の彩度に基づいて、前記新たな表示画像の彩度を補正させることができる。

前記位置指示光および前記操作指示光を射出する指示装置ごとに、前記位置指示光および前記操作指示光の波長が異なるようにし、前記分離手段には、撮像画像から、複数の前記位置指示光のそれぞれと同じ波長の光の前記位置指示画像のそれぞれ、および複数の前記操作指示光のそれぞれと同じ波長の光の前記操作指示画像のそれぞれを分離させることができる。

画像処理装置には、前記表示画像、前記表示画像に照射された前記位置指示光の像、および前記表示画像に照射された前記操作指示光の像を前記撮像画像として撮像する撮像手段をさらに設けることができる。

本発明の第２の側面の画像処理方法またはプログラムは、表示画像が表示されている領域を撮像して得られる位置指示画像であって、前記表示画像に照射された、前記表示画像上に表示されるカーソルの表示位置を指示するための位置指示光と同じ波長の不可視光の画像である位置指示画像から、前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定ステップと、前記表示画像が表示されている前記領域を撮像して得られる操作指示画像であって、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に照射された、前記表示画像に対する予め定められた操作を指示するための操作指示光と同じ波長の光の画像である操作指示画像から、前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定ステップと、前記カーソル位置特定ステップにおいて特定された表示位置に前記カーソルが表示され、前記操作特定ステップにおいて特定された前記操作が前記表示画像に対してなされた新たな表示画像を生成する表示画像生成ステップとを含む。

本発明の第２の側面においては、表示画像が表示されている領域を撮像して得られる位置指示画像であって、前記表示画像に照射された、前記表示画像上に表示されるカーソルの表示位置を指示するための位置指示光と同じ波長の不可視光の画像である位置指示画像から、前記位置指示光の像が検出され、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置が特定され、前記表示画像が表示されている前記領域を撮像して得られる操作指示画像であって、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に照射された、前記表示画像に対する予め定められた操作を指示するための操作指示光と同じ波長の光の画像である操作指示画像から、前記操作指示光の像が検出され、その検出結果に基づいて、前記表示画像に対して指示された操作が特定され、特定された表示位置に前記カーソルが表示され、特定された前記操作が前記表示画像に対してなされた新たな表示画像が生成される。

本発明の第１の側面によれば、表示画像を表示させることができる。特に、本発明の第１の側面によれば、汎用性を低下させることなく、プレゼンテーションシステムの利便性を向上させることができる。

また、本発明の第２の側面によれば、表示画像を生成することができる。特に、本発明の第２の側面によれば、汎用性を低下させることなく、プレゼンテーションシステムの利便性を向上させることができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の第１の側面の画像処理システム（例えば、図１のプレゼンテーションシステム１１）は、表示画像を表示する表示装置（例えば、図１のプロジェクタ２５）と、前記表示画像に不可視光を照射して、前記表示画像上に表示されるカーソル（例えば、図１のカーソル３２）の表示位置を指示する指示装置（例えば、図１のレーザポインタ２２）と、前記表示画像が表示されている領域を撮像する撮像装置（例えば、図１のカメラ２３）と、前記撮像装置による撮像により得られた撮像画像に基づいて、新たな表示画像を生成する画像処理装置（例えば、図１の画像処理装置２４）とから構成される画像処理システムであって、前記指示装置は、前記カーソルの表示位置を指示するための不可視光である位置指示光を射出する位置指示光射出手段（例えば、図７の可視光レーザ１５１）と、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に対する予め定められた操作を指示するための操作指示光を射出する操作指示光射出手段（例えば、図７のLED１５２−１乃至LED１５２−５）とを備え、前記撮像装置は、前記表示画像に照射された前記位置指示光の像、および前記操作指示光の像を前記撮像画像として撮像し、前記画像処理装置は、前記撮像画像から、前記位置指示光と同じ波長の光の画像である位置指示画像と、前記操作指示光と同じ波長の光の画像である操作指示画像とを分離する分離手段（例えば、図１１の幾何変換処理部２２２）と、前記位置指示画像から前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定手段（例えば、図１１のカーソル位置検出部２２４）と、前記操作指示画像から前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定手段（例えば、図１１の操作指示光検出部２２５、およびコマンド特定部２２６）と、前記カーソル位置特定手段により特定された表示位置に前記カーソルが表示され、前記操作特定手段により特定された前記操作が前記表示画像に対してなされた画像である前記新たな表示画像を生成する表示画像生成手段（例えば、図１１の表示画像処理部２２８）とを備え、前記表示装置は、これまで表示していた前記表示画像の表示を、生成された前記新たな表示画像に切り替える画像処理システム。

本発明の第２の側面の画像処理装置（例えば、図１１の画像処理装置２４）は、表示画像が表示されている領域を撮像して得られる位置指示画像であって、前記表示画像に照射された、前記表示画像上に表示されるカーソルの表示位置を指示するための位置指示光と同じ波長の不可視光の画像である位置指示画像から、前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定手段（例えば、図１１のカーソル位置検出部２２４）と、前記表示画像が表示されている前記領域を撮像して得られる操作指示画像であって、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に照射された、前記表示画像に対する予め定められた操作を指示するための操作指示光と同じ波長の光の画像である操作指示画像から、前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定手段（例えば、図１１の操作指示光検出部２２５およびコマンド特定部２２６）と、前記カーソル位置特定手段により特定された表示位置に前記カーソルが表示され、前記操作特定手段により特定された前記操作が前記表示画像に対してなされた新たな表示画像を生成する表示画像生成手段（例えば、図１１の表示画像処理部２２８）とを備える。

前記操作特定手段には、前記操作指示画像における前記操作指示光の像の個数に基づいて、前記表示画像に対して指示された操作を特定させる（例えば、図１３のステップＳ４６の処理）ことができる。

画像処理装置には、前記表示画像が表示されている前記領域を撮像して得られた撮像画像から、前記位置指示画像と、前記操作指示画像とを分離する分離手段（例えば、図１１の幾何変換処理部２２２）をさらに設けることができる。

前記分離手段には、前記表示画像を含む可視光の画像である可視光画像を前記撮像画像からさらに分離させ（例えば、図１３のステップＳ４２の処理）、前記表示画像生成手段には、前記可視光画像の彩度に基づいて、前記新たな表示画像の彩度を補正させる（例えば、図１３のステップＳ４８の処理）ことができる。

前記表示画像、前記表示画像に照射された前記位置指示光の像、および前記表示画像に照射された前記操作指示光の像を前記撮像画像として撮像する撮像手段（例えば、図１のカメラ２３）をさらに設けることができる。

本発明の第２の側面の画像処理方法またはプログラムは、表示画像が表示されている領域を撮像して得られる位置指示画像であって、前記表示画像に照射された、前記表示画像上に表示されるカーソルの表示位置を指示するための位置指示光と同じ波長の不可視光の画像である位置指示画像から、前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定ステップ（例えば、図１３のステップＳ４４）と、前記表示画像が表示されている前記領域を撮像して得られる操作指示画像であって、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に照射された、前記表示画像に対する予め定められた操作を指示するための操作指示光と同じ波長の光の画像である操作指示画像から、前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定ステップ（例えば、図１３のステップＳ４５およびステップＳ４６）と、前記カーソル位置特定ステップにおいて特定された表示位置に前記カーソルが表示され、前記操作特定ステップにおいて特定された前記操作が前記表示画像に対してなされた新たな表示画像を生成する表示画像生成ステップ（例えば、図１３のステップＳ４８）とを含む。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

図１は、本発明を適用したプレゼンテーションシステムの一実施の形態の構成例を示す図である。

プレゼンテーションシステム１１は、スクリーン２１、レーザポインタ２２、カメラ２３、画像処理装置２４、およびプロジェクタ２５から構成され、スクリーン２１には、プロジェクタ２５から投影された表示画像が表示される。

プレゼンテーションを行うユーザ３１は、レーザポインタ２２を操作して、表示画像上に表示されたカーソル３２を移動させたり、文字や曲線等の線画像の入力など、表示画像に対する操作を行ったりする。レーザポインタ２２は、ユーザ３１の操作に応じて赤外光などの不可視光（非可視光）を射出することにより、カーソル３２の位置を指定したり、表示画像に対する操作を指示したりする。

カメラ２３は、マルチスペクトルカメラからなり、スクリーン２１と、その周囲の領域の画像を撮像し、これにより得られた撮像画像を画像処理装置２４に供給する。したがって、カメラ２３により撮像された撮像画像には、スクリーン２１に投影された表示画像の他、スクリーン２１上に映るレーザポインタ２２から射出された不可視光の像も含まれることになる。

画像処理装置２４は、カメラ２３から供給された撮像画像に基づいて、ユーザ３１がレーザポインタ２２を操作することにより入力された線画像や、カーソル３２などからなる補助画像を生成する。また、画像処理装置２４は、説明資料としての資料画像を予め記録しており、記録している資料画像と、生成した補助画像とを合成することにより表示画像を生成し、生成した表示画像をプロジェクタ２５に供給する。

プロジェクタ２５は、画像処理装置２４から供給された表示画像に基づいて、表示画像を表示させるための光をスクリーン２１に投光し、スクリーン２１に表示画像を表示させる。したがって、画像処理装置２４により新たな表示画像が生成されるたびに、スクリーン２１に表示される表示画像が更新される。

また、図１においては、ユーザ３１は、スクリーン２１から適度に離れた位置でレーザポインタ２２を操作してプレゼンテーションを行っているが、ユーザ３１は、例えば図２に示すように、スクリーン２１に近づいて、あたかもペンを用いてスクリーン２１上の表示画像に文字や曲線などを入力するようにレーザポインタ２２を操作することで、表示画像に線画像を表示させることができる。

そのような場合、ユーザ３１は、スクリーン２１にある程度近づいてレーザポインタ２２の操作を行うため、図３に示すように、カメラ２３とスクリーン２１との間にユーザ３１が位置しないようにカメラ２３の配置位置が定められる。つまりカメラ２３は、カメラ２３がスクリーン２１のほぼ全体の画像を撮像することができる位置に配置される。

図３では、プロジェクタ２５はスクリーン２１の正面、つまりスクリーン２１に対向する位置に配置され、ユーザ３１は、スクリーン２１の図中、左端に立ってレーザポインタ２２を操作している。また、カメラ２３は、スクリーン２１の図中、右下の位置に配置されており、直線６１−１および直線６１−２は、カメラ２３の視野角を表している。

すなわち、図中、直線６１−１よりも右側、かつ直線６１−２よりも左側の領域の画像がカメラ２３により撮像される。ここで、ユーザ３１は、カメラ２３により撮像される領域内にいるが、スクリーン２１とカメラ２３との間には位置していないので、カメラ２３により撮像された撮像画像において、表示画像の全体がユーザ３１により隠れて見えなくなることはない。

なお、１つのスクリーン２１に対して複数のカメラ２３を配置するようにしてもよい。そのような場合、それぞれのカメラ２３が異なる方向からスクリーン２１の画像を撮像できるようにカメラ２３の配置位置が定められ、複数のカメラ２３により撮像された撮像画像のそれぞれのうちのいずれかが、画像処理装置２４において選択的に用いられる。これにより、複数のカメラ２３のいずれかにより、表示画像全体が含まれる撮像画像が撮像されるので、ユーザ３１は、スクリーン２１に対する立ち位置を気にすることなくプレゼンテーションを行うことができる。

また、図３のスクリーン２１を図中、下から上方向に見ると、図４に示すように、スクリーン２１上には、プロジェクタ２５から投光された光により表示画像８１が表示されていることが分かる。図４では、ユーザ３１はレーザポインタ２２を操作して、表示画像８１に線画像としての曲線８２を入力している。

さらに、図４において点線で囲まれる領域８３は、カメラ２３により撮像される領域を表している。カメラ２３は、右斜め後方からスクリーン２１とその周囲の領域を撮像するので、領域８３は台形の領域となっており、例えばカメラ２３により、図５に示す撮像画像が撮像される。

図５に示す撮像画像１０１内には、スクリーン２１、スクリーン２１に表示されている表示画像８１、およびユーザ３１の画像が含まれている。また、表示画像８１は、４つの点１０２−１乃至点１０２−４のそれぞれを頂点とする台形状の領域となっている。すなわち、カメラ２３は、スクリーン２１を斜め方向から撮像するので、図４において長方形状であるスクリーン２１および表示画像８１が、図５の撮像画像１０１上においては、図中、左側の辺よりも右側の辺が長い台形状となっている。

画像処理装置２４は、このようにして撮像された撮像画像１０１上の表示画像８１全体の領域から、レーザポインタ２２により射出された不可視光の像を検出し、ユーザ３１の操作に応じた補助画像を生成する。そして、生成された補助画像と資料画像とからなる新たな表示画像が生成されて、プロジェクタ２５によって表示画像がスクリーン２１に表示される。

また、ユーザ３１により操作されるレーザポインタ２２は、例えば図６に示すように、ペン型のレーザポインタとされる。レーザポインタ２２の図中、左端には射出口１３１が設けられており、射出口１３１からは、ユーザ３１の操作に応じた不可視光が射出される。

すなわち、レーザポインタ２２には、カーソル３２の表示位置を指示するための不可視光として、赤外光を射出する不可視光レーザ、および表示画像に対する操作を指示するための不可視光として、赤外光を射出するLED（Light Emitting Diode）が内蔵されており、矢印Ａ１１の方向から見たレーザポインタ２２の断面には、例えば図７に示すように、不可視光レーザおよびLEDが配置されている。

図７では、レーザポインタ２２の断面は円形状とされており、レーザポインタ２２のほぼ中央に断面が円形となるレーザ光（赤外光）を射出する不可視光レーザ１５１が配置されている。また、レーザポインタ２２には、不可視光レーザ１５１を囲むように、断面が円形となる赤外光を射出する５つのLED１５２−１乃至LED１５２−５のそれぞれが配置されている。

不可視光レーザ１５１は、ユーザ３１の操作に応じて、カーソル３２の表示位置を指示するための赤外光を射出する。LED１５２−１乃至LED１５２−５のそれぞれは、ユーザ３１の操作に応じて、表示画像に対する予め定められた操作を指示するための赤外光のそれぞれを射出する。

ここで、LED１５２−１乃至LED１５２−５により射出される赤外光のそれぞれは同じ波長の光であり、かつそれらの赤外光は、不可視光レーザ１５１から射出されるレーザ光とは異なる波長の光とされている。また、LED１５２−１乃至LED１５２−５のそれぞれから射出される赤外光は、その赤外光のスクリーン２１上における像が撮像画像から検出できる程度に指向性を有する光とされる。

なお、ユーザ３１が表示画像に対する操作を指示する場合、ユーザ３１は、スクリーン２１に近接してレーザポインタ２２を操作するので、表示画像に対する操作を指示するための赤外光を射出する光源は、高輝度かつ指向性の高い光源とする必要はなく、LEDの他、電球光源などの指向性の低いものを用いることができる。

このように、プレゼンテーションシステム１１においては、可視光よりも波長の長い赤外光を利用してカーソル３２の表示位置の指示や、表示画像に対する操作の指示を行うので、可視のレーザ光を利用する場合と比べて安全性を向上させることができ、赤外光がユーザの目に入射しても不快感を与えるようなこともない。特に、光源としてLEDを用いることで、射出する光の輝度（単位面積当たりの強度）をレーザ光よりも低くすることができ、安全性を向上させることができる。

なお、以下の説明において、LED１５２−１乃至LED１５２−５のそれぞれを特に区別する必要のない場合、単にLED１５２と称する。また、以下、適宜、不可視光レーザ１５１から射出される、カーソル３２の表示位置を指示するためのレーザ光を位置指示光とも称し、LED１５２から射出される、表示画像に対する操作を指示するための赤外光を操作指示光とも称する。

ユーザ３１は、レーザポインタ２２に設けられた図示せぬボタンを操作することにより、これらの不可視光レーザ１５１およびLED１５２から赤外光を射出させ、表示画像上のカーソル３２を移動させたり、表示画像に線画像を入力するなどの操作を指示したりする。このとき、ユーザ３１は、レーザポインタ２２に設けられたボタンを押圧したままカーソル３２の表示位置の指示や、表示画像に対する操作の指示を行う。すなわち、ボタンが押圧されている間だけ、そのボタンに対応する赤外光が不可視光レーザ１５１やLED１５２から射出される。

ユーザ３１がカーソル３２の表示位置だけを指示する場合、つまりカーソル３２の表示だけが指示され、表示画像に対する他の操作は指示されないようにユーザ３１がレーザポインタ２２を操作した場合、例えば図８Ａに示すように、不可視光レーザ１５１から位置指示光が射出され、LED１５２からは操作指示光は射出されない。換言すれば、不可視光レーザ１５１だけが点灯し、LED１５２は点灯しない。

なお、図８Ａにおいて、不可視光レーザ１５１およびLED１５２のうち、斜線が施されているものは、点灯していることを表しており、斜線の施されていないものは、点灯していないことを表している。また、後述する図８Ｂ乃至図８Ｆにおいても同様に、点灯している不可視光レーザ１５１またはLED１５２には斜線が施されている。

また、表示画像に対する操作として、表示画像に表示されている線画像の一部または全部の消去が指示された場合、例えば図８Ｂに示すように、不可視光レーザ１５１から位置指示光が射出されるとともに、LED１５２−４から操作指示光が射出される。換言すれば、不可視光レーザ１５１およびLED１５２−４が点灯し、他のLED１５２−１乃至LED１５２−３およびLED１５２−５は点灯しない。

さらに、表示画像に対する操作として、表示画像への線画像の入力が指示された場合、例えば図８Ｃに示すように、不可視光レーザ１５１、LED１５２−１、およびLED１５２−４が点灯し、LED１５２−２、LED１５２−３、およびLED１５２−５は点灯しない。さらに、また、表示画像に対する操作として、表示画像を拡大して表示させるようにレーザポインタ２２が操作された場合、つまり表示画像の拡大が指示された場合、例えば図８Ｄに示すように、不可視光レーザ１５１、LED１５２−１、LED１５２−３、およびLED１５２−４が点灯し、LED１５２−２およびLED１５２−５は点灯しない。

さらに、また、表示画像に対する操作として、表示画像を縮小して表示させるようにレーザポインタ２２が操作された場合、つまり表示画像の縮小が指示された場合、例えば図８Ｅに示すように、不可視光レーザ１５１、およびLED１５２−１乃至LED１５２−４が点灯し、LED１５２−５は点灯しない。

さらに、また、表示されている表示画像に含まれる資料画像のページ送りが指示された場合、つまり表示画像として補助画像と合成される複数の資料画像のうち、現在表示画像として表示されている資料画像の順番的に次の資料画像が表示されるように、レーザポインタ２２が操作された場合、例えば、図８Ｆに示すように、不可視光レーザ１５１およびLED１５２−１乃至LED１５２−５が点灯する。

このように、ユーザ３１はレーザポインタ２２に設けられたボタンを操作することで、スクリーン２１からある程度離れた位置から、表示画像上に位置指示光を照射させて表示画像上のカーソル３２を移動させるポインタモードと、スクリーン２１に近接した位置から、表示画像上に位置指示光および操作指示光を照射させて、表示画像に対する各種の操作を指示するライトペンモードとを切り替えながらプレゼンテーションを行うことができる。すなわち、プレゼンテーションシステム１１においては、説明資料を表示させるプロジェクタ用のスクリーンの機能と、ユーザが文字等を書き込むホワイトボードの機能とを一元化することができる。

なお、図８の例においては、表示画像に対する操作として、線画像の入力、入力された線画像の消去、表示画像の拡大、表示画像の縮小、および資料画像のページ送りを例として説明したが、その他、資料画像のページ戻しや、表示画像上の任意の領域の選択などを表示画像に対する操作としてユーザ３１が指示できるようにしてもよい。

例えば、ユーザ３１が表示画像上の任意の領域の選択を指示する場合、ユーザ３１は、レーザポインタ２２を操作して表示画像上に矩形の枠を表示させ、その枠の位置や大きさを任意に変えることによって、表示画像上の領域の選択を指示する。

これらのユーザ３１による表示画像への操作は、例えばパーソナルコンピュータにおけるマウス操作によるクリックやドラッグに対応する操作と考えることができ、ユーザ３１は、レーザポインタ２２を操作して簡単に表示画像に対する操作を指示することができる。

次に、図９は、図１のカメラ２３の構成例を示すブロック図である。

カメラ２３は、レンズ１８１、絞り１８２、CCD（Charge Coupled Devices）イメージセンサ１８３、相関２重サンプリング回路１８４、Ａ／Ｄ（Analog/Digital）コンバータ１８５、DSP（Digital Signal Processor）１８６、タイミングジェネレータ１８７、Ｄ／Ａ（Digital/Analog）コンバータ１８８、ビデオエンコーダ１８９、ディスプレイ１９０、CODEC（Compression/Decompression）１９１、メモリ１９２、バス１９３、CPU（Central Processing Unit）１９４、およびインプットデバイス１９５から構成される。

レンズ１８１は、被写体であるスクリーン２１とその周囲の領域からの光を集光し、集光した光を絞り１８２を介してCCDイメージセンサ１８３に入射させる。絞り１８２は、レンズ１８１からCCDイメージセンサ１８３に入射させる光の光量を調節する。

CCDイメージセンサ１８３は、レンズ１８１から入射した光を光電変換することにより、入射した光を電気信号に変換し、スクリーン２１とその周囲の領域の画像である撮像画像を生成する。ここで、撮像画像の各画素は、例えば光の３原色であるＲ（赤）、Ｇ（緑）、若しくはＢ（青）、位置指示光の波長の色、または操作指示光の波長の色のいずれかの色のデータ（画素値）だけを有している。CCDイメージセンサ１８３は、生成した撮像画像を相関２重サンプリング回路１８４に供給する。

相関２重サンプリング回路１８４は、CCDイメージセンサ１８３からの撮像画像をサンプリングすることによって撮像画像からノイズを除去し、ノイズが除去された撮像画像をＡ／Ｄコンバータ１８５に供給する。Ａ／Ｄコンバータ１８５は、相関２重サンプリング回路１８４からの撮像画像、より詳細には撮像画像の画像信号をアナログ信号からデジタル信号に変換してDSP１８６に供給する。

DSP１８６は、例えば信号処理用プロセッサおよび画像用RAM（Random Access Memory）から構成され、DSP１８６は、Ａ／Ｄコンバータ１８５から供給され、画像用RAMに格納した撮像画像に対して、必要に応じて階調圧縮処理などの予めプログラムされた画像処理を施す。

また、DSP１８６は、必要に応じて、撮像画像の各画素が、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、位置指示光の波長の色、および操作指示光の波長の色のそれぞれの色のデータを有するように、Ａ／Ｄコンバータ１８５からの撮像画像に対して色同時化処理を施す。画像処理の施された撮像画像は、バス１９３を介して図１の画像処理装置２４に供給されたり、Ｄ／Ａコンバータ１８８またはCODEC１９１に供給されたりする。

また、バス１９３には、DSP１８６、タイミングジェネレータ１８７、CODEC１９１、メモリ１９２、CPU１９４、およびインプットデバイス１９５が接続されている。

タイミングジェネレータ１８７は、CCDイメージセンサ１８３乃至DSP１８６のそれぞれの動作のタイミングを制御する。Ｄ／Ａコンバータ１８８は、DSP１８６から供給された撮像画像をデジタル信号からアナログ信号に変換し、ビデオエンコーダ１８９に供給する。ビデオエンコーダ１８９は、Ｄ／Ａコンバータ１８８からの撮像画像を、Ｒ、Ｇ、Ｂ等の通常のビデオ信号に変換してディスプレイ１９０に供給する。ディスプレイ１９０は、例えばファインダやビデオモニタとして機能するLCD（Liquid Crystal Display）などからなり、ビデオエンコーダ１８９から供給された撮像画像を表示する。

CODEC１９１は、DSP１８６からの撮像画像をエンコードしてメモリ１９２に記録させたり、メモリ１９２に記録されている撮像画像を読み出してデコードし、DSP１８６に供給したりする。メモリ１９２は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどからなり、CODEC１９１から供給された撮像画像を記録したり、記録している撮像画像をCODEC１９１に供給したりする。

CPU１９４は、インプットデバイス１９５からの操作信号などに応じて、カメラ２３全体の動作を制御する。インプットデバイス１９５は、例えばボタンやスイッチなどからなり、ユーザ３１の操作に応じた操作信号をCPU１９４に供給する。

また、CCDイメージセンサ１８３は、画素ごとに異なる分光感度を有している。すなわち、CCDイメージセンサ１８３の受光面には、画素ごとにＲ（赤）、Ｇ（緑）、Ｂ（青）、位置指示光の波長の色、または操作指示光の波長の色のうちのいずれかの色の光だけを透過させるオンチップカラーフィルタが配置されており、CCDイメージセンサ１８３に入射した光はオンチップカラーフィルタを透過して、光電変換を行う撮像素子に入射する。

例えば、CCDイメージセンサ１８３の受光面には、図１０に示すオンチップカラーフィルタが配置されている。なお、図１０において、１つの正方形は１つの画素を表しており、それらの正方形内の文字Ｒ、Ｇ、Ｂ、Ｌ１、およびＬ２のそれぞれは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、位置指示光の波長の色、および操作指示光の波長の色の光のそれぞれだけを透過させるＲのフィルタ、Ｇのフィルタ、Ｂのフィルタ、位置指示光の波長のフィルタ、および操作指示光の波長のフィルタのそれぞれを表している。

図１０では、Ｒのフィルタ、Ｇのフィルタ、Ｂのフィルタ、位置指示光の波長のフィルタ、および操作指示光の波長のフィルタのそれぞれがモザイク状に配置されている。すなわち、Ｇのフィルタ、位置指示光の波長のフィルタ、および操作指示光の波長のフィルタのそれぞれが、１画素おきに図中、上下方向および左右方向に並べられており、ＲのフィルタおよびＢのフィルタが、３画素おきに上下方向および左右方向に並べられている。

図１１は、図１の画像処理装置２４の構成を示すブロック図である。

画像処理装置２４は、色同時化処理部２２１、幾何変換処理部２２２、彩度補正パラメータ算出部２２３、カーソル位置検出部２２４、操作指示光検出部２２５、コマンド特定部２２６、資料画像記録部２２７、および表示画像処理部２２８から構成される。

色同時化処理部２２１には、カメラ２３のDSP１８６からバス１９３を介して撮像画像、より詳細には撮像画像の画像信号が供給される。ここで、色同時化処理部２２１に供給される撮像画像は、各画素がＲ（赤）、Ｇ（緑）、Ｂ（青）、位置指示光の波長の色、または操作指示光の波長の色のいずれかの色の画素値だけを有する画像とされる。

色同時化処理部２２１は、カメラ２３から供給された撮像画像に対して、各色の画素値を補間する色同時化処理を施して、色同時化処理の施された撮像画像を幾何変換処理部２２２に供給する。これにより、色同時化処理の施された撮像画像は、各画素がＲ（赤）、Ｇ（緑）、Ｂ（青）、位置指示光の波長の色、および操作指示光の波長の色のそれぞれの色の画素値を有する画像となる。

幾何変換処理部２２２は、色同時化処理部２２１から供給された撮像画像に幾何変換処理を施し、幾何変換処理が施された撮像画像から、撮像画像上の表示画像の領域の画像である抽出画像を抽出する。ここで、本来、スクリーン２１に表示される表示画像は長方形であるが、カメラ２３は必ずしもスクリーン２１に対向する位置に配置される訳ではないので、撮像画像上の表示画像の領域は長方形とはならない場合がある。そこで、幾何変換処理部２２２は、撮像画像に幾何変換処理を施すことにより、撮像画像上の表示画像の領域を長方形の領域に変換する。

また、幾何変換処理部２２２は、抽出画像を可視光画像、レーザ光画像、およびLED光画像のそれぞれに分離し、分離された可視光画像、レーザ光画像、およびLED光画像のそれぞれを、彩度補正パラメータ算出部２２３、カーソル位置検出部２２４、および操作指示光検出部２２５のそれぞれに供給する。

ここで、可視光画像とは、可視光の画像、つまり各画素がＲ、Ｇ、およびＢのそれぞれの色の画素値を有する画像をいい、レーザ光画像とは、位置指示光と同じ波長の光の画像、つまり各画素が位置指示光の波長の色の画素値だけを有する画像をいう。また、LED光画像とは、操作指示光と同じ波長の光の画像、つまり各画素が操作指示光の波長の色の画素値だけを有する画像をいう。

彩度補正パラメータ算出部２２３は、幾何変換処理部２２２から供給された可視光画像の平均彩度を算出し、算出した平均彩度に基づいて、表示画像に含まれる資料画像の彩度を補正するための彩度補正パラメータＣを求める。また、彩度補正パラメータ算出部２２３は、求められた彩度補正パラメータＣを表示画像処理部２２８に供給する。

カーソル位置検出部２２４は、幾何変換処理部２２２から供給されたレーザ光画像を用いて、カーソル３２を表示すべき位置を検出し、その検出結果を操作指示光検出部２２５およびコマンド特定部２２６に供給する。より具体的には、カーソル位置検出部２２４は、レーザ光画像から位置指示光の像を検出し、その検出された位置指示光のレーザ光画像（表示画像）上の位置を示す情報を検出結果として出力する。

操作指示光検出部２２５は、カーソル位置検出部２２４から供給された検出結果を用いて、幾何変換処理部２２２から供給されたLED光画像から操作指示光の像の数を検出し、その検出結果をコマンド特定部２２６に供給する。

コマンド特定部２２６は、カーソル位置検出部２２４から供給された検出結果、および操作指示光検出部２２５から供給された検出結果から、ユーザ３１のレーザポインタ２２に対する操作に応じたコマンドを特定し、カーソル位置検出部２２４から供給された検出結果、および特定したコマンドを表示画像処理部２２８に供給する。

資料画像記録部２２７は、ユーザ３１がプレゼンテーションを行うときに用いられる説明用の資料としての資料画像、より詳細には資料画像の画像信号を記録している。例えば、資料画像記録部２２７には、複数の資料画像が記録されており、それらの資料画像は、予め定められた所定の順番に表示されるように順序付けられている。

表示画像処理部２２８は、彩度補正パラメータ算出部２２３から供給された彩度補正パラメータＣに基づいて、資料画像記録部２２７に記録されている資料画像の彩度を補正する。また、表示画像処理部２２８は、コマンド特定部２２６から供給された、カーソル３２を表示すべき位置の検出結果およびコマンドに基づいて、カーソル３２や線画像などの補助画像を生成する。さらに、表示画像処理部２２８は、資料画像に生成した補助画像が重畳表示されるように合成処理を行うことで表示画像を生成し、生成した表示画像をプロジェクタ２５に供給して表示画像の表示を制御する。

ところで、ユーザ３１がプレゼンテーションを行うために、画像処理装置２４を操作して表示画像のスクリーン２１への表示を指示すると、表示画像処理部２２８は、ユーザ３１に指示された資料画像を表示画像としてプロジェクタ２５に供給し、プロジェクタ２５に表示画像の表示を指示する。すると、プロジェクタ２５は、画像処理装置２４の表示画像処理部２２８の制御に基づいて、表示画像処理部２２８から供給された表示画像を表示させるための光をスクリーン２１に投光し、スクリーン２１に表示画像を表示させる。

スクリーン２１に表示画像が表示されると、ユーザ３１は、レーザポインタ２２を操作して、必要に応じて位置指示光および操作指示光をスクリーン２１上に表示されている表示画像に照射し、表示画像に対する所望の操作を指示しながらプレゼンテーションを行う。

また、スクリーン２１に表示画像が表示されると、プレゼンテーションシステム１１により、ユーザ３１による操作が反映された表示画像を表示する処理である表示処理が開始される。以下、図１２のフローチャートを参照して、プレゼンテーションシステム１１による表示処理について説明する。

ステップＳ１１において、カメラ２３は、スクリーン２１とその周囲の領域を撮像し、これにより得られた撮像画像を画像処理装置２４の色同時化処理部２２１に供給する。すなわち、レンズ１８１は、入射した光を集光してCCDイメージセンサ１８３に入射させ、CCDイメージセンサ１８３は、レンズ１８１から入射した光を光電変換することにより撮像画像を生成して相関２重サンプリング回路１８４に供給する。また、相関２重サンプリング回路１８４は、CCDイメージセンサ１８３からの撮像画像をサンプリングすることによって、撮像画像からノイズを除去してＡ／Ｄコンバータ１８５に供給する。Ａ／Ｄコンバータ１８５は、相関２重サンプリング回路１８４からの撮像画像をアナログ信号からデジタル信号に変換してDSP１８６に供給する。

そしてDSP１８６は、Ａ／Ｄコンバータ１８５から供給された撮像画像に対して、必要に応じて階調圧縮処理などの画像処理を施し、画像処理の施された撮像画像を、バス１９３を介して画像処理装置２４の色同時化処理部２２１に供給する。

これにより、例えば、図４に示した領域８３の画像がカメラ２３により撮像され、その結果として図５の撮像画像１０１が得られる。

ステップＳ１２において、画像処理装置２４は、カメラ２３から供給された撮像画像を用いて合成処理を行い、スクリーン２１に新たに表示させる表示画像を生成する。なお、合成処理の詳細は後述するが、この合成処理において、画像処理装置２４は、撮像画像に基づいて、ユーザ３１の操作に応じた補助画像を生成し、さらに、生成した補助画像および表示させるべき資料画像に基づいて表示画像を生成する。表示画像が生成されると画像処理装置２４は、生成した表示画像をプロジェクタ２５に供給する。

ステップＳ１３において、画像処理装置２４は、プロジェクタ２５を制御して、スクリーン２１に表示画像を表示させる。プロジェクタ２５は、画像処理装置２４から供給された表示画像に基づいて、表示画像を表示させるための光をスクリーン２１に投光し、スクリーン２１に表示画像を表示させる。

ステップＳ１４において、画像処理装置２４は、表示画像を表示させる処理を終了するか否かを判定する。例えば、ユーザ３１により画像処理装置２４が操作され、表示画像の表示の終了が指示されると、画像処理装置２４は処理を終了すると判定する。

ステップＳ１４において、処理を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、画像処理装置２４により新たに表示させるべき表示画像が生成されて、生成された表示画像が、プロジェクタ２５によりスクリーン２１に表示される。これにより、これまでスクリーン２１に表示されていた表示画像から新たな表示画像に表示が切り替わる。

これに対して、ステップＳ１４において、処理を終了すると判定された場合、プレゼンテーションシステム１１の各装置は行っている処理を終了し、表示処理は終了する。

このようにして、プレゼンテーションシステム１１は、スクリーン２１とその周囲の領域を撮像し、その結果得られた撮像画像から、ユーザ３１による操作を反映した表示画像を生成する。そして、新たに生成した表示画像をスクリーン２１に表示させる。

次に、図１３のフローチャートを参照して、図１２のステップＳ１２の処理に対応する処理である合成処理について説明する。

ステップＳ４１において、色同時化処理部２２１は、カメラ２３から供給された撮像画像に対して色同時化処理を施して、色同時化処理の施された撮像画像を幾何変換処理部２２２に供給する。

色同時化処理部２２１は色同時化処理を行うことにより、撮像画像の各画素について、それらの画素の周囲にある画素の画素値を用いて各色の画素値を補間する。これにより、各画素がＲ（赤）、Ｇ（緑）、Ｂ（青）、位置指示光の波長の色、および操作指示光の波長の色のそれぞれの色の画素値を有する撮像画像が得られる。なお、この色同時化処理はデモザイク処理などとも呼ばれている。

より具体的には、例えば、色同時化処理部２２１は、特開２００３−２３０１５９号公報に記載されている技術を利用して色同時化処理を行う。すなわち、色同時化処理部２２１は、撮像画像のＲ、Ｇ、およびＢの色の画素値から色差信号を生成し、撮像画像と色差信号とから全ての画素が輝度成分を有する輝度画像を生成する。そして、色同時化処理部２２１は、色差信号に基づいて、輝度画像を各画素がＲ、Ｇ、およびＢの色の画素値を有する撮像画像に変換し、Ｇの色の画素値に基づいてＲおよびＢの画素値を補正する。

さらに、色同時化処理部２２１は、各画素のＲ、Ｇ、およびＢの色の画素値と、所定の画素の位置指示光の波長の色、および操作指示光の波長の色の画素値とを用いて、各画素の位置指示光の波長の色の画素値、および操作指示光の波長の色の画素値を求めて、撮像画像を、各画素がＲ、Ｇ、Ｂ、位置指示光の波長の色、および操作指示光の波長の色のそれぞれの画素値を有する画像とする。

また、例えば、色同時化処理部２２１は、特表昭６１−５０２４２４号公報に記載されている技術を利用して色同時化処理を行うようにしてもよい。そのような場合、色同時化処理部２２１は、撮像画像の画素のＲ、Ｇ、およびＢの色の画素値から色相成分の値を求めて線形補間を行うことにより各画素の色相成分の値を得る。そして、色同時化処理部２２１は、各画素の色相成分の値から再びＲ、Ｇ、およびＢの色の画素値を求める。

さらに、色同時化処理部２２１は、各画素のＲ、Ｇ、およびＢの色の画素値と、所定の画素の位置指示光の波長の色、および操作指示光の波長の色の画素値とを用いて、各画素の位置指示光の波長の色の画素値、および操作指示光の波長の色の画素値を求める。

色同時化処理が施された撮像画像が、色同時化処理部２２１から幾何変換処理部２２２に供給されると、ステップＳ４２において、幾何変換処理部２２２は、色同時化処理部２２１から供給された撮像画像に幾何変換処理を施す。

例えば、幾何変換処理部２２２は、図５の撮像画像１０１に対してエッジ検出をすることで、撮像画像１０１から表示画像８１の領域を検出する。幾何変換処理部２２２は、検出された表示画像８１の４つの頂点である点１０２−１乃至点１０２−４を特徴点とし、それらの点１０２−１乃至点１０２−４を頂点とする四角形の領域を、長方形の領域に変形するためのパラメータを算出し、算出したパラメータに基づいて撮像画像に幾何変換処理を施す。さらに、幾何変換処理部２２２は、幾何変換処理が施された撮像画像１０１から、点１０２−１乃至点１０２−４を頂点とする長方形状の領域を、抽出画像として抽出する。

そして、幾何変換処理部２２２は、撮像画像から抽出された抽出画像を、可視光画像、レーザ光画像、およびLED光画像のそれぞれに分離し、分離された可視光画像、レーザ光画像、およびLED光画像のそれぞれを、彩度補正パラメータ算出部２２３、カーソル位置検出部２２４、および操作指示光検出部２２５のそれぞれに供給する。

これにより、彩度補正パラメータ算出部２２３、カーソル位置検出部２２４、および操作指示光検出部２２５のそれぞれには、例えば、図１４に示す可視光画像、レーザ光画像、およびLED光画像のそれぞれが供給される。

図１４Ａは、可視光画像を示す図であり、可視光画像には、資料画像の他、カーソル３２、およびユーザ３１により入力された線画像としての曲線２５１が表示されている。

また、図１４Ｂは、レーザ光画像を示す図であり、レーザ光画像には、レーザポインタ２２の不可視光レーザ１５１から射出された位置指示光の像である光点２８１が表示されている。さらに、図１４Ｃは、LED光画像を示す図であり、LED光画像には、レーザポインタ２２のLED１５２から射出された操作指示光の像である光点３０１−１および光点３０１−２が表示されている。図１４Ｃの例においては、LED１５２から射出された操作指示光の像として、２つの光点３０１−１および光点３０１−２が表示されているので、図８Ｃを参照して説明したように、ユーザ３１は、線画像が入力されるようにレーザポインタ２２を操作していることが分かる。

なお、表示画像を表示させるためにプロジェクタ２５が投光する光は、その多くが可視光成分であり、赤外光成分はほとんど含まれていない。したがって、レーザ光画像やLED光画像には、表示画像を表示させるために投光される光、つまり表示画像は含まれず、また位置指示光および操作指示光の波長は異なるので、表示画像、位置指示光の像、および操作指示光の像のそれぞれを確実に分離することができる。

図１３のフローチャートの説明に戻り、ステップＳ４３において、彩度補正パラメータ算出部２２３は、幾何変換処理部２２２から供給された可視光画像の平均彩度を算出し、算出した平均彩度に基づいて、資料画像の彩度を補正するための彩度補正パラメータＣを求める。

例えば、彩度補正パラメータ算出部２２３は、可視光画像の各画素のＲ、Ｇ、およびＢの色のそれぞれの画素値を用いて、各画素の彩度を算出する。そして、彩度補正パラメータ算出部２２３は、算出した各画素の彩度の平均値を可視光画像の平均彩度として算出する。さらに、彩度補正パラメータ算出部２２３は、算出した平均彩度により定まる彩度補正パラメータＣを、表示画像処理部２２８に供給する。

ここで、彩度補正パラメータＣの値は、例えば平均彩度の値に対して予め定められた値であり、スクリーン２１のおかれている環境において、表示画像としての資料画像がスクリーン２１上により鮮明に表示されるように資料画像の彩度が補正される値とされる。したがって、例えば、彩度補正パラメータＣの値は、平均彩度が所定の値以下である場合に、資料画像の彩度が上がるように補正が行われる値とされる。

ステップＳ４４において、カーソル位置検出部２２４は、カーソル位置検出処理を行い、カーソル３２を表示させるべき位置を検出する。なお、カーソル位置検出処理の詳細は後述するが、カーソル位置検出処理において、カーソル位置検出部２２４は、幾何変換処理部２２２から供給されたレーザ光画像から、位置指示光の像を検出し、その像の位置を、カーソル３２を表示させるべき位置とする。カーソル位置検出部２２４は、カーソル３２を表示させるべき位置の座標を示す情報を、検出結果として操作指示光検出部２２５およびコマンド特定部２２６に供給する。

ステップＳ４５において、操作指示光検出部２２５は、操作指示光検出処理を行う。なお、操作指示光検出処理の詳細は後述するが、この操作指示光検出処理において、操作指示光検出部２２５は、カーソル位置検出部２２４から供給された座標を示す情報を用いて、幾何変換処理部２２２から供給されたLED光画像から、操作指示光の像の数を検出する。そして、操作指示光検出部２２５は、検出の結果得られた操作指示光の像の数を示す情報をコマンド特定部２２６に供給する。

ステップＳ４６において、コマンド特定部２２６は、操作指示光検出部２２５から供給された操作指示光の像の数を示す情報に基づいて、ユーザ３１の操作に応じたコマンドを特定する。すなわち、コマンド特定部２２６は、ユーザ３１がレーザポインタ２２を操作することにより指示した、表示画像に対する操作に対応するコマンドを特定する。

例えば、図８Ｃを参照して説明したように、ユーザ３１がレーザポインタ２２を操作して線画像の入力を指示した場合、レーザポインタ２２のLED１５２−１およびLED１５２−４から操作指示光が射出され、他のLED１５２からは操作指示光は射出されない。したがって、この場合、LED光画像からは、２つの操作指示光の像が検出されることになる。

そこで、コマンド特定部２２６は、操作指示光検出部２２５から供給された情報により示される操作指示光の像の数が２個である場合、ユーザ３１の操作に応じたコマンドは、表示画像に線画像を入力するためのコマンドであるとする。コマンド特定部２２６は、特定したコマンド、およびカーソル位置検出部２２４から供給された座標を示す情報を、表示画像処理部２２８に供給する。

ステップＳ４７において、表示画像処理部２２８は、コマンド特定部２２６から供給されたコマンドおよび座標を示す情報に基づいて補助画像を生成する。

すなわち、表示画像処理部２２８は、現在スクリーン２１に表示されている表示画像を生成するために用いられた補助画像を保持しており、保持している補助画像を参照して、コマンドおよび座標を示す情報に基づいて補助画像を生成する。

例えば、表示画像処理部２２８が保持している補助画像が、カーソル３２と、線画像としての曲線とが表示されている画像であり、コマンド特定部２２６からのコマンドが表示画像に線画像を入力するためのコマンドである場合、表示画像処理部２２８は、コマンド特定部２２６からの情報により示される座標の位置にカーソル３２が表示され、さらに、保持している補助画像上の線画像としての曲線が、今回カーソル３２が表示される位置まで延長された新たな曲線が表示される画像を補助画像として生成する。

ここで、生成された補助画像に表示される曲線は、表示画像処理部２２８が保持している補助画像上の曲線が、その曲線の端のうちの、保持している補助画像上においてカーソル３２により示されている端の位置から、今回カーソル３２が表示される位置まで延長された曲線とされる。

また、例えば、コマンド特定部２２６から供給されたコマンドが資料画像のページ送りを指示するコマンドである場合、表示画像処理部２２８は、カーソル３２だけが表示される補助画像を生成する。ここで、補助画像上のカーソル３２が表示される位置は、コマンド特定部２２６から供給された情報により示される座標の位置とされる。

なお、レーザ光画像の座標系、およびLED光画像上の座標系は、表示画像上の座標系と対応する座標系とされる。つまり、表示画像上の基準点とされる位置に対応するレーザ光画像上の位置、およびLED光画像上の位置が、レーザ光画像上の座標系、およびLED光画像上の座標系の基準点とされる。したがって、表示画像、レーザ光画像、およびLED光画像上のそれぞれの対応する位置は、同じ座標により表される。

ステップＳ４８において、表示画像処理部２２８は、生成した補助画像と、資料画像とから表示画像を生成する。例えば、表示画像処理部２２８は、コマンド特定部２２６から供給されたコマンドが資料画像のページ送りを指示するコマンドである場合、現在スクリーン２１に表示されている表示画像を生成するために用いられた資料画像の順番的に次の資料画像を資料画像記録部２２７から取得し、取得した資料画像の彩度を、彩度補正パラメータ算出部２２３から供給された彩度補正パラメータＣに基づいて補正する。そして、表示画像処理部２２８は、彩度を補正した資料画像と、生成した補助画像とから合成処理を行うことにより表示画像を生成する。

また、例えば、表示画像処理部２２８は、コマンド特定部２２６から供給されたコマンドが資料画像のページ送りを指示するコマンドでない場合、現在スクリーン２１に表示されている表示画像を生成するために用いられた資料画像の彩度を、彩度補正パラメータ算出部２２３から供給された彩度補正パラメータＣに基づいて補正する。そして、表示画像処理部２２８は、彩度を補正した資料画像と、生成した補助画像とから合成処理を行うことにより表示画像を生成する。

表示画像処理部２２８は、表示画像を生成すると、生成した表示画像をプロジェクタ２５に供給して、処理は図１２のステップＳ１３に進み、合成処理は終了する。

このようにして、画像処理装置２４は、撮像画像からユーザ３１の表示画像に対する操作を特定し、特定された操作に応じた表示画像を生成する。

このように、撮像画像から得られたレーザ光画像から赤外光である位置指示光の像の位置を検出することで、簡単にカーソル３２を表示させるべき位置を特定できる。また、撮像画像から得られたLED光画像から赤外光である操作指示光の個数を検出することで、ユーザ３１の表示画像に対する操作を特定し、その操作を簡単に表示画像に反映させることができる。これにより、プレゼンテーションシステム１１の利便性を向上させることができる。

したがって、ユーザ３１は、レーザポインタ２２に設けられたボタンを操作して、必要に応じて不可視光レーザ１５１およびLED１５２を点灯させるという簡単な操作だけで、表示画像に対する操作を指示したり、カーソル３２の表示位置を移動させたりすることができる。例えば、ユーザ３１は、表示画像に対する操作として、あたかもホワイトボード上に表示された画像に任意の文字や曲線を描くような直感的な操作を行うことで、表示画像に対して線画像を入力したり、レーザポインタ２２のボタンを操作してLED１５２を点灯させるだけで、表示画像の表示を拡大または縮小させたりすることができ、プレゼンテーションを行う上での利便性、インタラクティブ性を向上させることができる。

しかも、このプレゼンテーションシステム１１は、スクリーン２１およびプロジェクタ２５として既存の装置を用いることができる。また、カメラ２３としてのマルチスペクトルカメラは、一般的なカラーカメラの撮像素子の受光面に配置されるオンチップカラーフィルタを、図１０に示したオンチップカラーフィルタに置き換えるだけで簡単かつ安価に作成することができるため、量産効果により通常のカラーカメラと同等のコストで得られることが期待できる。

さらに、レーザポインタ２２は不可視光を射出するレーザポインタであるが、不可視光のレーザポインタは既に製品として販売されており、その価格も可視光のレーザポインタと比較してそれほど高価ではない。

したがって、既存の装置を利用することで、汎用性を低下させることなく、低コストでプレゼンテーションシステム１１を実現することができる。

また、プレゼンテーションシステム１１のおかれている環境が変化して、スクリーン２１の周囲が急に明るくなったり、暗くなったりした場合においても、彩度補正パラメータＣに基づいて、資料画像の彩度が補正されるので、スクリーン２１上の表示画像が見づらくなるようなことがない。

次に、図１５のフローチャートを参照して、図１３のステップＳ４４の処理に対応するカーソル位置検出処理について説明する。

幾何変換処理部２２２からカーソル位置検出部２２４にレーザ光画像が供給されると、ステップＳ７１において、カーソル位置検出部２２４は、レーザ光画像の各画素のうち、画素値が予め定められた閾値ｔｈ１以上である画素を検出する。すなわち、カーソル位置検出部２２４は、レーザ光画像の画素のうち、画素値が閾値ｔｈ１以上である画素をマークする。

ステップＳ７２において、カーソル位置検出部２２４は、検出したレーザ光画像の画素についてクラスタリングを行う。すなわち、カーソル位置検出部２２４は、検出された閾値ｔｈ１以上の画素値を有し、互いに隣接する画素からなるレーザ光画像上の領域、つまりそれらの画素の集合を１つのクラスタとする。

これにより、例えばレーザ光画像から、図１４Ｂに示した光点２８１がクラスタとして検出される。つまり、レーザ光画像からクラスタとして検出される領域は、スクリーン２１上の位置指示光と同じ波長の赤外光が照射されている領域であり、プロジェクタ２５から投光される光は可視光であるので、レーザ光画像からは、通常、１つのクラスタが検出されると予測される。

また、何らかの影響によりノイズとしての赤外光がスクリーン２１に照射される場合には、レーザ光画像から複数のクラスタが検出されることも考えられるが、ノイズとして、位置指示光よりもビーム径の大きい赤外光がスクリーン２１に照射されることは稀であるので、検出された複数のクラスタのうちの最も大きいクラスタが、レーザポインタ２２からスクリーン２１に照射された位置指示光の像であると予測される。

ステップＳ７３において、カーソル位置検出部２２４は、クラスタリングを行うことにより得られたクラスタのうち、最も大きいクラスタ、つまり最も多い画素からなるクラスタの重心の位置を求める。

例えば、カーソル位置検出部２２４は、レーザ光画像の４つの端のうちのいずれかの端を基準点とし、その端と他の１つの端とを結ぶ方向をｘ軸方向、ｘ軸方向と垂直な方向をｙ軸方向とするｘｙ座標系における、最も大きいクラスタの重心の位置の座標（ｘｇ，ｙｇ）を求める。つまり、カーソル位置検出部２２４は、最も大きいクラスタを構成する各画素の座標の重心の位置の座標をクラスタの重心の位置の座標（ｘｇ，ｙｇ）として求める。

そして、カーソル位置検出部２２４は、求めた重心の位置の座標（ｘｇ，ｙｇ）を示す情報を、位置指示光により指示されたカーソル３２を表示させるべき位置の検出結果として操作指示光検出部２２５およびコマンド特定部２２６に供給して、処理は図１３のステップＳ４５に進み、カーソル位置検出処理は終了する。

このようにして、カーソル位置検出部２２４は、レーザ光画像から画素値が閾値ｔｈ１以上である画素を検出し、検出された画素についてクラスタリングを行う。そして、クラスタリングにより得られた最も大きいクラスタの重心の座標を求める。

レーザ光画像は、表示画像を表示させるための光や操作指示光とは波長の異なる光を撮像して得られる画像であり、レーザ光画像に表示画像や操作指示光の像は含まれないので、レーザ光画像から画素値が閾値ｔｈ１以上である画素を検出してクラスタリングを行うことで、位置指示光の像の位置、つまりカーソル３２を表示させる位置を簡単かつ確実に検出することができる。

また、位置指示光の像の重心の位置を、カーソル３２を表示させるべき位置とすることで、ユーザ３１はレーザポインタ２２を操作して、直感的にカーソル３２の表示位置を指し示すことができ、ユーザ３１の意図しない位置にカーソル３２が表示されるようなことを防止することができる。

さらに、以下、図１６のフローチャートを参照して、図１３のステップＳ４５の処理に対応する処理である操作指示光検出処理について説明する。

幾何変換処理部２２２から操作指示光検出部２２５にLED光画像が供給され、さらにカーソル位置検出部２２４から操作指示光検出部２２５に、カーソル３２を表示させるべき位置の検出結果としての重心の位置の座標（ｘｇ，ｙｇ）を示す情報が供給されると、ステップＳ１０１において、操作指示光検出部２２５は、LED光画像上の重心の位置の座標（ｘｇ，ｙｇ）を中心とする予め定められた半径ｒの円の領域内の画素のうち、画素値が予め定められた閾値ｔｈ２以上である画素を検出する。すなわち、操作指示光検出部２２５は、画素値が閾値ｔｈ２以上である画素をマークする。

ここで、LED光画像上の座標系は、レーザ光画像上の座標系と対応する座標系とされる。つまり、レーザ光画像上の基準点とされる位置に対応するLED光画像上の位置が、LED光画像上の座標系の基準点とされる。また、閾値ｔｈ２の値は、閾値ｔｈ１の値と同じであってもよいし、異なる値であってもよい。

ステップＳ１０２において、操作指示光検出部２２５は、検出したLED光画像の画素についてクラスタリングを行う。すなわち、操作指示光検出部２２５は、検出された閾値ｔｈ２以上の画素値を有し、互いに隣接する画素からなるLED光画像上の領域を１つのクラスタとする。

これにより、例えばLED光画像から、図１４Ｃに示した光点３０１−１および光点３０１−２が、クラスタとして検出される。つまり、LED光画像からクラスタとして検出される領域は、スクリーン２１上の操作指示光と同じ波長の赤外光が照射されている領域であり、プロジェクタ２５から投光される光は可視光であるので、LED光画像からは、通常、操作指示光の像だけがクラスタとして検出されると予測される。

また、LED１５２は、不可視光レーザ１５１に近接して設けられているため、操作指示光の像は、位置指示光の重心の位置付近に存在すると考えられ、操作指示光の像の検出の対象となる領域は、座標（ｘｇ，ｙｇ）により示される位置を中心とする、予め定められた半径ｒの円内の領域とされる。

さらに、何らかの影響によりノイズとしての赤外光がスクリーン２１に照射される場合には、その赤外光の像がクラスタとして検出されることも考えられるが、ノイズとして、操作指示光よりもビーム系の大きい赤外光がスクリーン２１に照射されることは稀であるので、検出された複数のクラスタのうち、大きさが所定の大きさ以上であるクラスタが、レーザポインタ２２からスクリーン２１に照射された操作指示光の像であると予測される。

ステップＳ１０３において、操作指示光検出部２２５は、クラスタリングを行うことにより得られたクラスタのうち、予め定められた所定の大きさ以上の大きさのクラスタの個数を数え、その数を検出された操作指示光の数とする。そして、操作指示光検出部２２５は、検出された操作指示光の数を示す情報をコマンド特定部２２６に供給して、処理は図１３のステップＳ４６に進み、操作指示光検出処理は終了する。

このようにして、操作指示光検出部２２５は、LED光画像から画素値が閾値ｔｈ２以上である画素を検出し、検出された画素についてクラスタリングを行う。そして、操作指示光検出部２２５は、クラスタリングにより得られたクラスタのうち、予め定められた所定の大きさ以上の大きさのクラスタの数を、操作指示光の数とする。

LED光画像は、表示画像を表示させるための光や位置指示光とは波長の異なる光を撮像して得られる画像であり、LED光画像に表示画像や位置指示光の像は含まれないので、LED光画像から画素値が閾値ｔｈ２以上である画素を検出してクラスタリングを行うことにより、操作指示光の数を簡単かつ確実に検出することができる。

なお、以上においては、LED光画像から検出されたクラスタの数、すなわち操作指示光の像の数に基づいて、ユーザ３１の操作に応じたコマンドが特定されると説明したが、操作指示光の形状にコマンドを対応付けるようにしてもよい。すなわち、表示画像に対する操作に応じて、異なる形状の操作指示光がレーザポインタ２２から射出されるようにしてもよい。

そのような場合、操作指示光検出部２２５は、画素値が閾値ｔｈ２以上である画素について、クラスタリングを行うことにより操作指示光を検出し、その検出された操作指示光（クラスタ）の形状を判別する。そして、コマンド特定部２２６は、操作指示光の形状に対応するコマンドを特定する。

以上のようにして、画像処理装置２４は、撮像画像から得られたレーザ光画像およびLED光画像を用いて、位置指示光の位置および操作指示光の数を検出し、検出された位置指示光の位置および操作指示光の数に応じた表示画像を生成する。

このように、レーザ光画像およびLED光画像を用いて、位置指示光の位置および操作指示光の数を検出して表示画像を生成するようにしたので、ユーザ３１は、位置指示光および操作指示光を直接表示画像に照射させるという直感的な操作で表示画像に対する操作を指示させることができ、利便性を向上させることができる。

なお、以上においては、カメラ２３のCCDイメージセンサ１８３の受光面には、図１０に示したオンチップカラーフィルタが配置されると説明したが、図１７に示すオンチップカラーフィルタが配置されるようにしてもよい。

なお、図１７において、１つの正方形は１つの画素を表しており、それらの正方形内の文字Ｗ、Ｌ１、およびＬ２のそれぞれは、可視光、位置指示光、および操作指示光のそれぞれだけを透過させる可視光のフィルタ、位置指示光の波長のフィルタ、および操作指示光の波長のフィルタのそれぞれを表している。

図１７では、可視光のフィルタ、位置指示光の波長のフィルタ、および操作指示光の波長のフィルタのそれぞれがモザイク状に配置されている。すなわち、可視光のフィルタ、位置指示光の波長のフィルタ、および操作指示光の波長のフィルタのそれぞれが、１画素おきに図中、上下方向および左右方向に並べられている。

このように、図１７に示したオンチップカラーフィルタがCCDイメージセンサ１８３の受光面に配置される場合には、可視光画像の平均彩度を求めることはできないので、資料画像の彩度の補正は行われない。

また、レーザポインタ２２のLED１５２のそれぞれから異なる波長の赤外光が射出されるようにし、さらにCCDイメージセンサ１８３が、２つの撮像素子から構成されるようにしてもよい。そのような場合、例えば、レンズ１８１により集光された光は、それぞれの撮像素子において同じ像が撮像されるように、プリズムなどにより２つの光に分離されてCCDイメージセンサ１８３を構成する撮像素子のそれぞれに入射するようになされる。

また、CCDイメージセンサ１８３が、２つの撮像素子から構成される場合、それらの撮像素子の受光面には、例えば図１８に示すオンチップカラーフィルタが配置される。

ここで、図１８ＡはCCDイメージセンサ１８３を構成する一方の撮像素子の受光面に配置されるオンチップカラーフィルタを示しており、図１８Ｂは、他方の撮像素子の受光面に配置されるオンチップカラーフィルタを示している。なお、図１８Ａおよび図１８Ｂにおいて、１つの正方形は１つの画素を表している。

図１８Ａにおいて、１つの画素を表す正方形内の文字Ｒ、Ｇ、およびＢのそれぞれは、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の色の光のそれぞれだけを透過させるＲのフィルタ、Ｇのフィルタ、およびＢのフィルタのそれぞれを表している。

図１８Ａでは、Ｒのフィルタ、Ｇのフィルタ、およびＢのフィルタがベイヤー配列と呼ばれる配列で配置されている。すなわち、Ｇのフィルタが市松状に配置され、残りの部分にＲのフィルタおよびＢのフィルタが一行ごとに交互に配置されている。したがって、このオンチップカラーフィルタが受光面に配置されている撮像素子により撮像された撮像画像からは、可視光画像を得ることができる。

また、図１８Ｂにおいて、１つの画素を表す正方形内の文字Ｌ１乃至Ｌ５のそれぞれは、位置指示光、およびLED１５２−１乃至LED１５２−４から射出される赤外光のそれぞれだけを透過させる位置指示光の波長のフィルタ、およびLED１５２−１乃至LED１５２−４から射出される赤外光の波長のフィルタのそれぞれを表している。

図１８Ｂでは、位置指示光の波長のフィルタ、およびLED１５２−１乃至LED１５２−４から射出される赤外光の波長のフィルタのそれぞれがモザイク状に配置されている。したがって、このオンチップカラーフィルタが受光面に配置されている撮像素子により撮像された撮像画像からは、レーザ光画像と、LED１５２から射出される赤外光ごとのLED光画像とを得ることができる。

このように、複数の撮像素子を用いて撮像画像の撮像を行うようにすることで、簡単に撮像画像から可視光画像、レーザ光画像、およびLED光画像を分離することができる。

さらに、CCDイメージセンサ１８３が、２つの撮像素子から構成される場合、それらの撮像素子の受光面に、例えば図１９に示すオンチップカラーフィルタが配置されるようにしてもよい。

ここで、図１９ＡはCCDイメージセンサ１８３を構成する一方の撮像素子の受光面に配置されるオンチップカラーフィルタを示しており、図１９Ｂは、他方の撮像素子の受光面に配置されるオンチップカラーフィルタを示している。なお、図１９Ａおよび図１９Ｂにおいて、１つの正方形は１つの画素を表している。

図１９Ａにおいて、１つの画素を表す正方形内の文字Ｗは、可視光の波長帯の色だけを透過させる可視光のフィルタを表しており、図１９Ａでは、各画素に可視光のフィルタが配置されている。したがって、このオンチップカラーフィルタが受光面に配置されている撮像素子により撮像された撮像画像から得られる可視光画像については、平均彩度を求めることはできないので資料画像の彩度の補正は行われない。

また、図１９Ｂにおいて、１つの画素を表す正方形内の文字Ｌ１およびＬ２のそれぞれは、位置指示光、および操作指示光だけを透過させる位置指示光の波長のフィルタ、および操作指示光の波長のフィルタを表している。

図１９Ｂでは、位置指示光の波長のフィルタ、および操作指示光の波長のフィルタのそれぞれがモザイク状に配置されている。すなわち、位置指示光の波長のフィルタ、および操作指示光の波長のフィルタのそれぞれが、１画素おきに図中、上下方向および左右方向に並べられている。したがって、このオンチップカラーフィルタが受光面に配置されている撮像素子により撮像された撮像画像からは、レーザ光画像およびLED光画像が得られる。

また、画像処理装置２４において、複数の異なるレーザポインタ２２からの位置指示光および操作指示光のそれぞれにより示される操作を、レーザポインタ２２ごとに区別して表示画像に反映できるようにしてもよい。そのような場合、レーザポインタ２２から射出される位置指示光および操作指示光、並びに他のレーザポインタ２２から射出される位置指示光および操作指示光のそれぞれは、異なる波長の赤外光とされる。

また、この場合、画像処理装置２４には、予め各レーザポインタ２２から射出される位置指示光および操作指示光の波長が知らされており、画像処理装置２４の幾何変換処理部２２２は、撮像画像から各波長の光の画像を分離し、画像処理装置２４は、撮像画像から得られた各波長の光の画像を用いて、レーザポインタ２２ごとに表示画像にカーソルを表示させたり、表示画像に対する操作を反映させたりする。

このように、レーザポインタ２２ごとに異なる波長の赤外光が射出されるようにすることで、複数のレーザポインタ２２が同時に操作された場合においても、それらのレーザポインタ２２を区別し、レーザポインタ２２の操作に応じて表示画像を生成することができる。なお、レーザポインタ２２ごとに異なる形状の位置指示光および操作指示光が射出されるようにし、赤外光の形状によりレーザポインタ２２が区別されるようにしてもよい。この場合、例えば、同じ操作を指示する操作指示光の形状がレーザポインタ２２ごとに異なる。

さらに、表示画像に対する操作に応じて異なる波長の操作指示光がレーザポインタ２２から射出されるようにしてもよい。そのような場合、例えば、レーザポインタ２２には、図２０に示すように、位置指示光を射出する不可視光レーザ１５１と、ユーザ３１の操作に応じて異なる波長の赤外光を操作指示光として射出するLED３４１とが設けられる。

例えば、LED３４１は、ユーザ３１のレーザポインタ２２への操作、例えば図８Ｂ乃至図８Ｆのそれぞれに示した線画像の消去、線画像の入力、表示画像の拡大、表示画像の縮小、およびページ送りのそれぞれに対応した波長の赤外光のそれぞれを射出する。したがって、例えば、ユーザ３１がレーザポインタ２２を操作して線画像の入力を指示すると、LED３４１は、線画像の入力を指示する操作に応じた波長の赤外光を射出する。そして、画像処理装置２４の幾何変換処理部２２２により、撮像画像から各操作に応じた波長の光の画像のそれぞれが分離される。

また、図８に示したLED１５２−１乃至LED１５２−５のそれぞれが異なる波長の赤外光のそれぞれを射出するようにしてもよい。

LED１５２のそれぞれが異なる波長の赤外光を射出する場合、またはレーザポインタ２２が、図２０に示した構成とされる場合、例えばCCDイメージセンサ１８３は、２つの撮像素子から構成され、それらの撮像素子の受光面には、図１８Ａおよび図１８Ｂに示したオンチップカラーフィルタが配置される。

さらに、以上においては、画像処理装置２４にカメラ２３が接続されると説明したが、画像処理装置２４自体にカメラ２３が設けられるようにしてもよい。また、カメラ２３により色同時化処理が行われ、色同時化処理が施された撮像画像が幾何変換処理部２２２に供給されるようにしてもよい。

さらに、スクリーン２１を用いて表示画像を表示させると説明したが、画像処理装置２４にLCDやCRT（Cathode Ray Tube）などの表示装置を接続し、その表示装置に表示画像を表示させるようにしてもよい。そのような場合、ユーザ３１は、表示画像を表示する表示装置の表示画面に対して、レーザポインタ２２からの位置指示光や操作指示光を照射させ、カメラ２３は、表示装置の表示画面とその周囲の領域を撮像する。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２１は、上述したカメラ２３および画像処理装置２４による一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。

バス４０４には、さらに、入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、キーボード、マウス、マイクロホンなどよりなる入力部４０６、ディスプレイ、スピーカなどよりなる出力部４０７、ハードディスクや不揮発性のメモリなどよりなる記録部４０８、ネットワークインターフェースなどよりなる通信部４０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４１１を駆動するドライブ４１０が接続されている。

以上のように構成されるコンピュータでは、CPU４０１が、例えば、記録部４０８に記録されているプログラムを、入出力インターフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU４０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア４１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア４１１をドライブ４１０に装着することにより、入出力インターフェース４０５を介して、記録部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記録部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記録部４０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用したプレゼンテーションシステムの一実施の形態の構成例を示す図である。 ユーザが表示画像に対する操作を行う様子を示す図である。 スクリーンに対するカメラの配置を示す図である。 スクリーンを対向する方向から見た図である。 カメラにより撮像される画像の例を示す図である。 レーザポインタの外観を示す図である。 レーザポインタの断面を示す図である。 レーザポインタのユーザの操作に対応した動作を説明する図である。 カメラの構成例を示すブロック図である。 オンチップカラーフィルタの配列の例を示す図である。 画像処理装置の構成例を示す図である。 表示処理を説明するフローチャートである。 合成処理を説明するフローチャートである。 撮像画像から得られる画像を示す図である。 カーソル位置検出処理を説明するフローチャートである。 操作指示光検出処理を説明するフローチャートである。 オンチップカラーフィルタの他の配列の例を示す図である。 オンチップカラーフィルタの他の配列の例を示す図である。 オンチップカラーフィルタの他の配列の例を示す図である。 レーザポインタの他の構成例を示す図である。 コンピュータの構成例を示すブロック図である。

符号の説明

１１ プレゼンテーションシステム， ２１ スクリーン， ２２ レーザポインタ， ２３ カメラ， ２４ 画像処理装置， ２５ プロジェクタ， １５１ 不可視光レーザ， １５２−１乃至１５２−５，１５２ LED， １８３ CCDイメージセンサ， ２２１ 色同時化処理部， ２２２ 幾何変換処理部， ２２３ 彩度補正パラメータ算出部， ２２４ カーソル位置検出部， ２２５ 操作指示光検出部， ２２６ コマンド特定部， ２２８ 表示処理部， ３４１ LED

Claims (11)

1. 表示画像を表示する表示装置と、前記表示画像に不可視光を照射して、前記表示画像上に表示されるカーソルの表示位置を指示する指示装置と、前記表示画像が表示されている領域を撮像する撮像装置と、前記撮像装置による撮像により得られた撮像画像に基づいて、新たな表示画像を生成する画像処理装置とから構成される画像処理システムであって、
   前記指示装置は、
   前記カーソルの表示位置を指示するための不可視光である位置指示光を射出する位置指示光射出手段と、
   前記位置指示光とは異なる波長の不可視光であり、前記表示画像に対する予め定められた操作を指示するための操作指示光を射出する操作指示光射出手段と
   を備え、
   前記撮像装置は、前記表示画像に照射された前記位置指示光の像、および前記操作指示光の像を前記撮像画像として撮像し、
   前記画像処理装置は、
   前記撮像画像から、前記位置指示光と同じ波長の光の画像である位置指示画像と、前記操作指示光と同じ波長の光の画像である操作指示画像とを分離する分離手段と、
   前記位置指示画像から前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定手段と、
   前記操作指示画像から前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定手段と、
   前記カーソル位置特定手段により特定された表示位置に前記カーソルが表示され、前記操作特定手段により特定された前記操作が前記表示画像に対してなされた画像である前記新たな表示画像を生成する表示画像生成手段と
   を備え、
   前記表示装置は、これまで表示していた前記表示画像の表示を、生成された前記新たな表示画像に切り替える
   画像処理システム。
2. 表示画像が表示されている領域を撮像して得られる位置指示画像であって、前記表示画像に照射された、前記表示画像上に表示されるカーソルの表示位置を指示するための位置指示光と同じ波長の不可視光の画像である位置指示画像から、前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定手段と、
   前記表示画像が表示されている前記領域を撮像して得られる操作指示画像であって、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に照射された、前記表示画像に対する予め定められた操作を指示するための操作指示光と同じ波長の光の画像である操作指示画像から、前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定手段と、
   前記カーソル位置特定手段により特定された表示位置に前記カーソルが表示され、前記操作特定手段により特定された前記操作が前記表示画像に対してなされた新たな表示画像を生成する表示画像生成手段と
   を備える画像処理装置。
3. 前記操作特定手段は、前記操作指示画像における前記操作指示光の像の個数に基づいて、前記表示画像に対して指示された操作を特定する
   請求項２に記載の画像処理装置。
4. 前記操作特定手段は、前記操作指示画像における前記操作指示光の像の形状に基づいて、前記表示画像に対して指示された操作を特定する
   請求項２に記載の画像処理装置。
5. 前記表示画像が表示されている前記領域を撮像して得られた撮像画像から、前記位置指示画像と、前記操作指示画像とを分離する分離手段をさらに備える
   請求項２に記載の画像処理装置。
6. 前記操作指示光は、前記表示画像に対する操作ごとに異なる波長の不可視光とされ、
   前記分離手段は、前記撮像画像から、複数の前記操作指示光のそれぞれと同じ波長の光の前記操作指示画像のそれぞれを分離し、
   前記操作特定手段は、複数の前記操作指示画像のそれぞれに基づいて、前記表示画像に対して指示された操作を特定する
   請求項５に記載の画像処理装置。
7. 前記分離手段は、前記表示画像を含む可視光の画像である可視光画像を前記撮像画像からさらに分離し、
   前記表示画像生成手段は、前記可視光画像の彩度に基づいて、前記新たな表示画像の彩度を補正する
   請求項５に記載の画像処理装置。
8. 前記位置指示光および前記操作指示光を射出する指示装置ごとに、前記位置指示光および前記操作指示光の波長が異なり、
   前記分離手段は、撮像画像から、複数の前記位置指示光のそれぞれと同じ波長の光の前記位置指示画像のそれぞれ、および複数の前記操作指示光のそれぞれと同じ波長の光の前記操作指示画像のそれぞれを分離する
   請求項５に記載の画像処理装置。
9. 前記表示画像、前記表示画像に照射された前記位置指示光の像、および前記表示画像に照射された前記操作指示光の像を前記撮像画像として撮像する撮像手段をさらに備える
   請求項５に記載の画像処理装置。
10. 表示画像が表示されている領域を撮像して得られる位置指示画像であって、前記表示画像に照射された、前記表示画像上に表示されるカーソルの表示位置を指示するための位置指示光と同じ波長の不可視光の画像である位置指示画像から、前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定ステップと、
    前記表示画像が表示されている前記領域を撮像して得られる操作指示画像であって、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に照射された、前記表示画像に対する予め定められた操作を指示するための操作指示光と同じ波長の光の画像である操作指示画像から、前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定ステップと、
    前記カーソル位置特定ステップにおいて特定された表示位置に前記カーソルが表示され、前記操作特定ステップにおいて特定された前記操作が前記表示画像に対してなされた新たな表示画像を生成する表示画像生成ステップと
    を含む画像処理方法。
11. 表示画像が表示されている領域を撮像して得られる位置指示画像であって、前記表示画像に照射された、前記表示画像上に表示されるカーソルの表示位置を指示するための位置指示光と同じ波長の不可視光の画像である位置指示画像から、前記位置指示光の像を検出し、その検出結果に基づいて、新たに表示させる表示画像上における前記カーソルの表示位置を特定するカーソル位置特定ステップと、
    前記表示画像が表示されている前記領域を撮像して得られる操作指示画像であって、前記位置指示光とは異なる波長の不可視光であり、前記表示画像に照射された、前記表示画像に対する予め定められた操作を指示するための操作指示光と同じ波長の光の画像である操作指示画像から、前記操作指示光の像を検出し、その検出結果に基づいて、前記表示画像に対して指示された操作を特定する操作特定ステップと、
    前記カーソル位置特定ステップにおいて特定された表示位置に前記カーソルが表示され、前記操作特定ステップにおいて特定された前記操作が前記表示画像に対してなされた新たな表示画像を生成する表示画像生成ステップと
    を含む処理をコンピュータに実行させるプログラム。

Images