JP2018163217A5 - - Google Patents

Description

プロジェクター

本発明は、プロジェクターに関する。

単一または複数のカメラで投写画像を撮影し、撮像画像を解析することで、指などの指示体の位置座標を特定する技術が知られている。撮像画像を解析する際、撮像画像に含まれる投写画像がノイズとなり、撮像画像の回生を妨害する課題がある。これまでに、撮像画像と投写画像の差分処理を行なうことで、指示位置を特定する技術が提案されている（例えば、特許文献１）。この技術では、撮像画像と投写画像をフレームメモリーに格納した後に、両画像のタイミングをフレーム単位で合わせている。

特開２００８−１５２６２２号公報

しかし、従来技術では、撮像画像内に投写画像の前後フレームの画像が含まれてしまうクロストークが発生するという問題がある。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

本発明の一形態によれば、プロジェクターが提供される。このプロジェクターは、映像信号に基づいて投写画像データを形成する画像形成部と、前記投写画像データに基づいて投写画像を投写面に投写する投写部と、前記投写面をライン毎又はブロック毎に撮像することにより、撮像画像データを形成する撮像部と、前記撮像画像データと前記投写画像データとに基づいて、前記撮像画像データに含まれる前記投写画像以外の物体を検出する検出部と、を備える。前記投写部は、走査によってライン毎又はブロック毎に前記投写画像を切り替え、前記撮像部は、少なくとも前記投写画像の切り替えが行なわれる期間では、前記投写面のうち切り替えが完了した領域から順次撮像を開始する。
この形態のプロジェクターによれば、撮像部は、少なくとも投写画像の切り替えが行なわれる期間では、投写面のうち切り替えが完了した領域から順次撮像を開始するので、撮像中に投写画像が切り替わることに起因する、前後フレームのクロストークの発生を抑制できる。

上記形態のプロジェクターにおいて、前記検出部は、前記投写面の一部の領域毎に前記物体の前記検出を行ない、前記撮像が完了した領域から前記検出を順次開始してもよい。この形態のプロジェクターによれば、撮像が完了した領域から検出を順次開始するので、撮像画像が処理されるまでの遅延を抑制できる。

本発明の他の形態によれば、プロジェクターが提供される。このプロジェクターは、映像信号に基づいて投写画像データを形成する画像形成部と、前記投写画像データに基づいて投写画像を投写面に投写する投写部と、前記投写面を撮像することにより、撮像画像データを形成する撮像部と、前記撮像画像データと前記投写画像データとに基づいて、前記撮像画像データに含まれる投写画像以外の物体を検出する検出部と、を備える。前記投写部は、走査によって前記投写画像を切り替え、前記撮像部は、前記投写部による前記投写画像の切り替えが行なわれていない期間に、前記撮像を行なう。
この形態のプロジェクターによれば、撮像部は、投写部による投写画像の切り替えが行なわれていない期間に、撮像を行なうので、撮像中に投写画像が切り替わることに起因する、前後フレームのクロストークの発生を抑制できる。

上記形態のプロジェクターにおいて、前記検出部は、前記撮像画像データから前記投写画像データを除去する背景除去処理を行った後に、前記背景除去処理後の画像から物体を検出してもよい。この形態のプロジェクターによれば、背景除去処理後の画像から物体を検出することが可能となる。

本発明は、プロジェクター以外の種々の形態で実現することが可能であり、例えば、プロジェクターの制御方法や、インタラクティブプロジェクションシステム等の形態で実現することができる。

本発明の第１の実施形態におけるプロジェクターシステムの斜視図。 プロジェクターシステムの構成を示すブロック図。 投写画像データと、投写画像と、撮像画像との関係の説明図。 プロジェクターの映像信号が入力されてから背景除去処理が完了するまでの動作におけるタイミングチャート。 タイミングチャートの一部を抜粋し拡大した図である。 図５に示した時刻ｔ１における液晶駆動とカメラの駆動についての説明図。 図５に示した時刻ｔ２における液晶駆動とカメラの駆動についての説明図。 図５に示した時刻ｔ３における液晶駆動とカメラの駆動についての説明図。 第２の実施形態におけるタイミングチャート。

Ａ．第１の実施形態
図１は、本発明の第１の実施形態におけるプロジェクターシステム３００の斜視図である。このシステム３００は、プロジェクター１００と、投写板２００と、を有する。投写板２００の一方の面は、投写面ＳＳとして利用される。本実施形態では、プロジェクター１００は、支持部材９１０によって投写板２００の上部に固定されている。

プロジェクター１００は、投写面ＳＳ上に投写画像ＰＳを投写する。投写画像ＰＳは、通常は、プロジェクター１００内で描画された画像（描画画像）を含んでいる。プロジェクター１００内に描画画像がない場合には、プロジェクター１００から投写画像ＰＳに光が照射されて、白色画像が表示される。本明細書において、投写面ＳＳとは、画像が投写される部材の表面を意味する。また、投写画像ＰＳとは、プロジェクター１００によって投写面ＳＳ上に投写された画像の領域を意味する。通常は、投写面ＳＳの一部に投写画像ＰＳが投写される。

また、プロジェクター１００は、投写面ＳＳの撮像も行なう。プロジェクター１００は、撮像した画像と投写した画像とを比較することによって、投写画像ＰＳ以外の物体（例えば、指５００）を検出する。プロジェクター１００は、検出した指５００の位置情報に基づいて使用者による入力操作を実行するインタラクティブプロジェクターである。本実施形態において、指５００による操作を示しているが、例えば、ペン型の指示体による操作も可能である。

図２は、プロジェクター１００の内部構成を示すブロック図である。プロジェクター１００は、画像形成部１０と、投写部２０と、撮像部３０と、撮像画像補正部４０と、背景除去処理部５０と、検出部６０と、フレームメモリー７０と、ラインメモリー８０と、撮像タイミング制御部９０と、を有する。

画像形成部１０は、映像処理部１２と描画処理部１４とを有する。画像形成部１０は、入力された映像信号に基づいて、投写画像データを形成する。具体的には、映像信号は、映像処理部１２によって、映像処理を施される。映像処理には、例えば、色補正や高画質化処理を用いることができる。映像処理が施された映像信号は、描画処理部１４によって、描画処理を施される。描画処理は、例えば、後述する指示位置情報に基づきユーザーの指示（描画やツールの選択等）を実行する処理である。画像形成部１０によって形成された投写画像データは、フレームメモリー７０に記憶される。

フレームメモリー７０は、記憶領域を複数備えた揮発性メモリーであり、複数の投写画像データを記憶できる。本実施形態では、３種類の投写画像データを記憶できる。３種類の投写画像データとは、次に投写する投写画像データと、現在投写している投写画像データと、前に投写していた投写画像データである。フレームメモリー７０は、投写部２０と背景除去処理部５０が投写画像データを読み出せるように、投写部２０と背景除去処理部５０に接続されている。フレームメモリー７０は、画像形成部１０と投写部２０と背景除去処理部５０とのそれぞれと接続する記憶領域を切り替えることができる。フレームメモリー７０の枚数は、任意に変更可能である。

投写部２０は、フレームメモリー７０に記憶された投写画像データに従って、投写画像ＰＳを投写面ＳＳへ投写する。投写部２０は、液晶駆動部２２と、液晶パネル２４と、投写光源２６と、を有する。液晶駆動部２２は、フレームメモリー７０に記憶された投写画像データを順次読み出し、液晶パネル２４を駆動する。液晶駆動部２２は、正極性と負極性とで交互に液晶パネル２４を駆動し、液晶パネル２４の焼き付きを抑制する。液晶駆動部２２は、順次走査方式によって投写画像ＰＳを表示するように液晶パネル２４を制御する。液晶駆動部２２は、液晶パネル２４の駆動のタイミングを示す駆動タイミング信号を生成し、生成した駆動タイミング信号を撮像タイミング制御部９０へと送信する。投写光源２６は、例えば、ハロゲンランプやレーザーダイオードなどで実現される。投写画像データに基づいて液晶パネル２４に描画される描画画像は、投写光源２６によって投写面ＳＳへ投写される。液晶パネル２４の代わりに、デジタルミラーデバイスなどの他の光変調素子を用いてもよい。

本実施形態において、投写部２０は、ライン順次走査方式で投写画像ＰＳを切り替える。すなわち、液晶パネル２４への描写が１ライン毎に実行され、描画実行ラインがライン方向と垂直な走査方向に従って順次更新される。但し、ライン順次走査の代わりにブロック順次走査方式を採用してもよい。後述の場合には、液晶パネル２４への描画が、複数ラインで構成される１ブロック毎に実行される。

撮像タイミング制御部９０は、液晶駆動部２２と撮像部３０とに接続されている。撮像タイミング制御部９０は、液晶駆動部２２の生成した駆動タイミング信号に基づいて、撮像タイミング信号を生成する。生成された撮像タイミング信号は、撮像タイミング制御部９０から撮像部３０へと送信される。

撮像部３０は、投写面ＳＳを含む撮像領域ＭＲ（後述する図３）を撮像することにより、撮像画像データを形成する。撮像部３０は、撮像タイミング制御部９０とラインメモリー８０とに接続されている。撮像部３０は、２台のカメラ３２ａ、３２ｂを有する。撮像部３０による撮像のタイミングは、撮像タイミング制御部９０から送信される撮像タイミング信号に基づいて制御され、投写部２０の駆動と同期して駆動するように制御されている。

カメラ３２ａ、３２ｂは、画面内でライン毎又はブロック毎に露光期間を順次ずらしてゆくローリングシャッター方式のカメラを採用している。なお、「ブロック」とは、複数のラインで構成される領域を意味する。カメラ３２ａ、３２ｂは、撮像領域ＭＲを複数の領域に分割し、分割した領域ごとにシャッターを開けて順次露光を開始する。カメラ３２ａ、３２ｂは、露光を早く開始した領域からシャッターを閉じ順次露光を終了する。カメラ３２ａ、３２ｂは、露光を終了した領域の撮像画像データを順次ラインメモリー８０へ出力する。本実施形態では、カメラ３２ａ、３２ｂは、可視領域の光を受光して撮像を行なうカメラだが、可視領域以外の光（例えば、近赤外領域）を利用するカメラであってもよい。また、撮像部３０が有するカメラ３２ａ、３２ｂの台数は、２台に限定されるものではない。例えば、１台でもよく、３台以上であってもよい。以下の説明において、２台のカメラ３２ａ、３２ｂを区別する必要がない場合には、「カメラ３２」と呼ぶ。

撮像画像補正部４０は、不揮発性メモリーである記憶部４２と、ラインメモリー８０と、に接続されている。撮像画像補正部４０は、撮像部３０がラインメモリー８０に順次出力した撮像画像データを順次取り込む。撮像画像補正部４０は、取り込んだ撮像画像データに順次補正処理を施す。補正処理は、例えば、記憶部４２に記憶されたキャリブレーション情報に基づいて撮像画像データの歪みを補正するとともに、撮像画像データの画素数を投写画像データの画素数に合わせて調整する処理である。補正処理を施す際には、補正処理を施す撮像画像データだけではなく、ラインメモリー８０上に記憶された周辺の領域の撮像画像データも利用される。撮像画像補正部４０は、補正処理を施した後の撮像画像データ（補正後撮像画像）をラインメモリー８０へ出力する。ラインメモリー８０としては、カメラ３２の一画面分のライン数よりも少ないラインのデータを記憶できるメモリーが使用される。例えば、ラインメモリー８０のライン数を、カメラ３２のライン数の１／１０以下に設定してもよい。ラインメモリー８０の記憶容量として必要なライン数は、撮像画像補正部４０における補正処理や、検出部６０における検出処理の方法に応じて決定される。

背景除去処理部５０は、フレームメモリー７０とラインメモリー８０とに接続されている。背景除去処理部５０は、撮像画像補正部４０がラインメモリー８０に順次出力した補正後撮像画像を順次取り込む。背景除去処理部５０は、取り込んだ補正後撮像画像に順次背景除去処理を施す。具体的には、背景除去処理部５０は、補正後撮像画像と投写画像データの一部をフレームメモリー７０から読み出し、投写画像ＰＳと読み出した撮像画像データとの差分処理によって背景を除去する。投写画像データの一部とは、投写画像データの補正後撮像画像と対応する画素位置のデータである。本実施形態では、背景除去処理として、単純な引き算による差分処理を採用しているが、これに限定されるものではない。背景除去処理は、投写画像ＰＳと撮像画像の比較から背景画像を除去するする方法であれば良く、例えば、第１のカメラ３２ａと第２のカメラ３２ｂのそれぞれが撮像した画像を比較する処理を加えられてもよい。背景除去処理部５０は、背景除去処理が完了すると、背景除去処理後の撮像画像データ（除去後撮像画像）をラインメモリー８０へと出力する。

検出部６０は、ラインメモリー８０と描画処理部１４と接続されている。検出部６０は、除去後撮像画像に含まれる指５００を検出し、検出結果である指示位置情報を描画処理部１４に送信する。検出部６０は、指検出部６２と指先座標検出部６４を有する。

指検出部６２は、除去後撮像画像と予め用意されているテンプレート画像とを比較するテンプレートマッチング法によって、撮像画像データにおける指５００が含まれていた領域である指領域を検出する。指５００が検出された場合には、指検出部６２は、検出結果を指先座標検出部６４に送信する。指検出部６２は、投写画像ＰＳ全体より小さな領域毎に指５００を検出する。指検出部６２は、ラインメモリー８０から撮像画像データを順次読み込んで、撮像が完了した領域から検出を順次開始してもよい。

指先座標検出部６４は、指領域の重心を求めることで、撮像画像データにおける指５００の先端の座標（指先座標）を導出する。指先座標検出部６４は、第１のカメラ３２ａと第２のカメラ３２ｂのそれぞれの撮像画像データにおける指先座標から三角測量の原理を用いて、実際に指５００が指し示していた三次元座標である指先位置情報を算出する。算出された指先位置情報は、指先座標検出部６４から描画処理部１４へ送信される。

検出部６０は、液晶駆動部２２から駆動タイミング信号が正しく出力されていない場合に、検出処理を行なわないようにしてもよい。駆動タイミング信号が正しく出力されていない場合には、何らかの原因で映像が正しく投写されていないので、誤った指先位置情報が得られる可能性がある。従って、この場合に検出処理を行なわないようにすれば、誤った指先位置情報を用いた誤った描画処理を防止できる。

図３は、液晶パネル２４上に表示される投写画像データＰＤと、投写面ＳＳ上の投写画像ＰＳと、撮像画像Ｖｃとの関係の説明図である。プロジェクター１００は、投写面ＳＳに矩形の投写画像ＰＳを投写するため、投写画像ＰＳと投写画像データＰＤは相似形の画像である。カメラ３２によって撮像された撮像画像Ｖｃは、投写面ＳＳを含み投写面ＳＳより広い範囲である撮像領域ＭＲを撮像した画像である。撮像画像Ｖｃにおいて投写画像ＰＳが撮像されている投写画像領域ＰＳＲは、撮像方向に起因する台形歪みと撮像レンズの歪曲収差に基づく樽型歪みを含む。本実施形態において、撮像画像Ｖｃは、撮像画像補正部４０（図２）による補正処理によって、投写画像領域ＰＳＲのみが切り出され、投写画像ＰＳと同じ画素数の画像データに変換される。

液晶パネル２４は、投写画像ＰＳを表示する際に、ライン順次走査方式による表示を行なっている。投写面ＳＳに投写されている投写画像ＰＳも液晶パネル２４の走査に従って切り替わる。投写画像ＰＳは、最も上側に位置するラインＬ１から最も下側に位置するラインＬｎに向かって順次画像が切り替わる。ラインＬ１からラインＬｎに向かう方向を投写走査方向ＳＤと呼ぶ。投写画像ＰＳを切り替える際には、切り替え前の画像が表示されている領域と切り替え後の画像を表示している領域が存在する。異なる画像を表示する領域が存在する期間においてカメラ３２で撮像を行うと、クロストークが発生する場合がある。

上記のごとく、カメラ３２は、ローリングシャッター方式のカメラを採用し、ライン毎又はブロック毎に投写画像ＰＳを撮像している。カメラ３２は、矢印によって示した撮像走査方向ＢＤに向かって順次露光を開始する領域を移動させる。撮像走査方向ＢＤは、投写画像領域ＰＳＲに撮像される投写画像ＰＳの投写走査方向ＳＤと平行な方向になるように制御されている。撮像走査方向ＢＤは、例えば、キャリブレーション情報を取得する際に、投写部２０と撮像部３０の位置関係を取得し、取得した位置関係に基づいて算出することができる。例えば、図１に示した配置では、投写走査方向ＳＤと撮像走査方向ＢＤは共に投写面ＳＳの上方から下方に向かう方向である。一方、図１の配置を上下逆転させて、投写面ＳＳの下方からプロジェクター１００が投写を行なう場合には、投写走査方向ＳＤと撮像走査方向ＢＤも図１の配置の場合とは逆転した方向となる。なお、撮像領域ＭＲにおける撮像走査方向ＢＤの最も上流側のラインをラインＢ１と呼び、最も下流側のラインをラインＢｎと呼ぶ。投写画像領域ＰＳＲにおける撮像走査方向ＢＤの上流側端部Ｔ１を含む撮像走査方向ＢＤと垂直なラインをラインＢ（Ｔ１）と呼ぶ。投写画像領域ＰＳＲにおける撮像走査方向ＢＤの下流側端部Ｔｎを含む撮像走査方向ＢＤと垂直なラインをラインＢ（Ｔｎ）と呼ぶ。

図４は、プロジェクター１００の映像信号が入力されてから背景除去処理が完了するまでの動作におけるタイミングチャートである。図４中のＶ１〜Ｖ４は、投写画像ＰＳとして投写される４フレーム分の画像データである。Ｖ０ｃ〜Ｖ３ｃは、それぞれ画像データＶ０〜Ｖ３が投写された際の投写画像ＰＳを撮像した撮像画像データである。ｎＶ０〜ｎＶ３は、それぞれ撮像画像データＶ０ｃ〜Ｖ３ｃに差分処理（背景除去処理）を施した画像データである。クロストーク期間ｃｔは、投写画像ＰＳの切り替えが行なわれる期間であって、クロストークが発生し得る期間である。

プロジェクター１００は、例えば６０Ｈｚの周波数で入力される垂直同期信号に基づいて動作している。垂直同期信号に同期して、プロジェクター１００に入力される映像信号と、フレームメモリー７０から液晶駆動部２２に入力される投写画像データと、が切り替わる。例えば、プロジェクター１００が垂直同期信号ｐ１を受信すると、入力映像信号はＶ１からＶ２に切り替わり、液晶駆動部２２へ入力される投写画像データはＶ０からＶ１へと切り替わる。

液晶パネル２４は、入力映像の垂直同期信号の４倍の周波数で駆動されている。液晶パネル２４は、フレームメモリー７０から入力される映像信号が切り替わると、表示する描画画像が変更される。例えば、液晶駆動部２２へ入力される投写画像データがＶ０からＶ１に切り替わると、液晶駆動がＶ０からＶ１へラインＬ１から順次切り替わる。図４において、液晶駆動が斜めに降下する矢印によって表現されているのは、液晶パネル２４がライン順次走査によって駆動していることを示すためである。本実施形態において、液晶駆動は、垂直同期信号の４倍の速度であるが、液晶駆動の速度は、垂直同期信号の周波数の整数倍であればよく、４倍に限定されるものではない。なお、液晶駆動は、１画面毎に駆動極性を切り替えつつ実行するようにしてもよい。

カメラ３２の駆動は、カメラ同期信号に基づいて行なわれる。カメラ同期信号がＬレベルからＨレベルに切り替わると、カメラ３２はラインＢ１（図３）から順次露光を開始する。カメラ同期信号がＨレベルからＬレベルに切り替わると、カメラ３２は、上側のラインＢ１から順次シャッターを閉じて露光を終了する。具体的には、ラインＢ（Ｔ１）の撮像は時刻ｓ１に開始され、時刻ｓ１から予め定められた露光時間ｅｔが経過して時刻ｅ１になると撮像を完了する。露光時間ｅｔは、１フレーム分の入力映像の表示期間に２回の撮像が可能となるように設定されている。ラインＢ（Ｔｎ）の撮像は時刻ｓｎに開始され、時刻ｓｎから露光時間ｅｔが経過して時刻ｅｎになると撮像が完了する。露光が完了したラインＢ１〜Ｂｎは、露光を行わない時間であるシャッタータイムｓｔが経過した後に、順次撮像を開始する。シャッタータイムｓｔは、カメラ３２のシャッターの開閉可能な長さの時間に設定されている。

ラインＢ１〜Ｂｎのうち投写画像ＰＳを含むラインＢ（Ｔ１）〜Ｂ（Ｔｎ）では、カメラ３２が露光を終了すると、撮像画像データが１ライン毎にラインメモリー８０へ出力される。例えば、ラインＢ（Ｔ１）の撮像画像データは時刻ｅ１に出力され、ラインＢ（Ｔｎ）の撮像画像データは時刻ｅｎに出力される。

撮像画像データがラインメモリー８０に出力されると、撮像画像データに対応する投写画像データがフレームメモリー７０から読みだされ、差分処理が施される。例えば、時刻ｅ１において、ラインＢ（Ｔ１）の画像データが出力されると、投写画像データのうちラインＢ（Ｔ１）に対応した位置の画像データがフレームメモリー７０から読みだされ、差分処理が施される。

本実施形態において、１フレーム分の入力映像の表示期間に２回の撮像を行なっている理由は、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）撮影を行なうためである。例えば、１回目と２回目の撮影における露光時間ｅｔを異なる値に設定し、２回の撮影で得られた撮像画像Ｖｃを合成することによって、ダイナミックレンジが広い画像を得ることができる。ＨＤＲ撮影を行なわない場合は、１フレーム分の入力映像の表示期間に１回の撮影を行なうようにしても良い。

図５は、タイミングチャートの一部を抜粋し拡大した図である。図６、図７、図８は、図５に示した時刻ｔ１、ｔ２、ｔ３における液晶駆動とカメラ３２の駆動について説明する図である。

図５に示すように、時刻ｔ１において、液晶パネル２４に描画されている画像はＶ０からＶ１への切り替えが開始される。時刻ｔ１では、ラインＢ１からラインＢｊ１までのラインについて画像Ｖ０に関するカメラ３２の露光が１００％完了している。一方、ラインＢｊ１よりも下側のラインについては、画像Ｖ０に関する露光の途中である。さらに、ラインＢ１からラインＢｋ１までは、次の画像Ｖ１に関する露光が開始されている。液晶パネル２４において画像の切り替えが開始されているライン（「現行描画ラインＳＬ」と呼ぶ）の位置は、ラインＬ１の位置である。図６には、時刻ｔ１における液晶パネル２４の描画状態ＤＳ（ｔ１）と、カメラ３２のレンズを介して見た場合の撮像領域ＭＲ（ｔ１）と、カメラ３２の各ラインＢ１〜Ｂｎの露光割合Ｒｅ（Ｖ０、ｔ１）、Ｒｅ（Ｖ１、ｔ１）のグラフと、が示されている。露光割合Ｒｅ（Ｖ０、ｔ１）は、画像Ｖ０に関する時刻ｔ１における露光割合である。同様に、露光割合Ｒｅ（Ｖ１、ｔ１）は、画像Ｖ１に関する時刻ｔ１における露光割合である。図６の撮像領域ＭＲ（ｔ１）内において、現行描画ラインＳＬよりも上流側にカメラ３２による露光が開始される露光開始線ＥＳが位置し、現行描画ラインＳＬよりも下流側に露光終了線ＥＥが位置している。現行描画ラインＳＬは、露光終了線ＥＥと露光開始線ＥＳとに挟まれた領域である領域Ａ１に位置している。領域Ａ１は、画像Ｖ０に関する露光が１００％完了している領域である。投写画像領域ＰＳＲを含む領域のうち、露光終了線ＥＥと下端のラインＢ（Ｔｎ）との間の領域Ａ２は、画像Ｖ０に関する露光が進行中の領域である。

図５に示すように、時刻ｔ２において、液晶パネル２４に描画されている画像の半分程度が画像Ｖ０から画像Ｖ１に切り替わっている。時刻ｔ２では、ラインＢ１からラインＢｊ２までのラインについて画像Ｖ０に関するカメラ３２の露光が１００％完了している。一方、ラインＢｊ２よりも下側のラインについては、画像Ｖ０に関する露光の途中である。さらに、ラインＢ１からラインＢｋ２までは、次の画像Ｖ１に関する露光が開始されている。図７には、時刻ｔ２における液晶パネル２４の描画状態ＤＳ（ｔ２）と、カメラ３２のレンズを介して見た場合の撮像領域ＭＲ（ｔ２）と、カメラ３２の各ラインＢ１〜Ｂｎの露光割合Ｒｅ（Ｖ０、ｔ２）、Ｒｅ（Ｖ１、ｔ２）のグラフと、が示されている。液晶パネル２４において現行描画ラインＳＬの位置は、液晶パネル２４の中央付近の位置である。図７において、画像Ｖ１が表示されている領域にはハッチングを施している。図７の撮像領域ＭＲ（ｔ２）内において、現行描画ラインＳＬよりも上流側にカメラ３２による露光が開始される露光開始線ＥＳが位置し、現行描画ラインＳＬよりも下流側に露光終了線ＥＥが位置している。現行描画ラインＳＬは、露光終了線ＥＥと露光開始線ＥＳとに挟まれた領域である領域Ａ１に位置している。したがって、画像Ｖ１の現行描画ラインＳＬは、画像Ｖ０に関する撮像が終了した位置にある。現行描画ラインＳＬの下流側の領域Ａ２では、画像Ｖ０のための露光が進行されている。現行描画ラインＳＬの上流側の領域であるＡ３では、次の画像Ｖ１のための露光が開始されている。

図５に示すクロストーク期間ｃｔにおいて、現行描画ラインＳＬは露光が完了した位置（露光終了線ＥＥ）に追従するように移動し、露光を開始する位置（露光開始線ＥＳ）は現行描画ラインＳＬに追従するように移動する。つまり、露光が終了し撮像が完了した領域から順次投写画像ＰＳが切り替えられ、投写画像ＰＳの切り替えが完了した領域から順次露光が開始される。

図５に示すように、時刻ｔ３において、液晶パネル２４に描画されている画像はすべて画像Ｖ１に切り替えられている。時刻ｔ３では、ラインＢｊ３からラインＢｋ３までのラインについて画像Ｖ１に関する露光の途中である。図８には、時刻ｔ３における液晶パネル２４の描画状態ＤＳ（ｔ３）と、カメラ３２のレンズを介して見た場合の撮像領域ＭＲ（ｔ３）と、カメラ３２の各ラインＢ１〜Ｂｎの露光割合Ｒｅ（Ｖ１、ｔ３）のグラフと、が示されている。液晶パネル２４において現行描画ラインＳＬの位置は、液晶パネル２４の中央付近である。撮像領域ＭＲ（ｔ３）内において、ラインＢ（Ｔ１）からラインＢ（Ｔｎ）の間の領域Ａ３では、画像Ｖ１のための露光が進行している。現行描画ラインＳＬは、領域Ａ３内に位置し、露光が進行している画像を切り替えている。しかし、すでに液晶パネル２４全体が画像Ｖ１に切り替えを完了しているため、投写画像領域ＰＳＲは変化しない。したがって、クロストークは発生しない。

以上のように、投写画像ＰＳの撮像を行なっている各ラインＢ（Ｔ１）〜Ｂ（Ｔｎ）は、露光している間には単一の画像のみがそれぞれ表示されている。

以上説明した、第１の実施形態によれば、撮像部３０は、少なくとも投写画像ＰＳの切り替えが行なわれる期間であるクロストーク期間ｃｔでは、投写面ＳＳのうち切り替えが完了した領域から順次撮像を開始する。したがって、撮像部３０は、撮像中に投写画像ＰＳが切り替わらないように制御されており、前後フレームのクロストークが発生することを抑制できる。これにより、プロジェクター１００は、撮像画像Ｖｃ中のノイズを低減が可能となり、投写画像ＰＳと撮像画像Ｖｃの比較を高品位に行なうことが可能である。

また、第１の実施形態は、撮像が完了した領域から順次検出を開始するため、撮像画像が処理されるまでの遅延を抑制できる。この結果、リアルタイムで指示位置を検出することが容易になる。

また、本実施形態では、クロストーク期間ｃｔの間も撮像が可能である。したがって、クロストーク期間ｃｔの間に撮像を行わない場合と比べて、露光時間ｅｔを長くすることが可能である。

プロジェクター１００は、１フレームの間に２回の撮像を行なうため、同一の投写画像ＰＳについての撮像画像Ｖｃを２つ取得することが可能である。この場合には、２つの撮像画像Ｖｃを用いてＨＤＲ撮影を行なうことができる。これによって、１の投写画像ＰＳについて１の撮像画を取得する場合と比べて、撮像画像Ｖｃの階調を広げることが可能となる。

また、撮像部３０の駆動は、液晶駆動部２２が生成する駆動タイミング信号に基づく撮像タイミング信号によって制御されている。このため、投写部２０が正常に動作していない場合には、撮像部３０の駆動は停止する。したがって、投写画像ＰＳが表示されていない際の誤操作を抑制することができる。

Ｂ．第２の実施形態
第２の実施形態に係るプロジェクター１００は、撮像部３０が有するカメラ３２がグローバルシャッター形式である点が、第１の実施形態と異なる。グローバルシャッター形式では、撮像領域全体で同時に撮像（露光）を開始し、同時に撮像を終了する。その他の構成は、第１の実施形態と同様である。

図９は、第２の実施形態におけるタイミングチャートである。プロジェクター１００は、クロストーク期間ｃｔの間には撮像を行なわない。また、プロジェクター１００は、１フレーム分の画像の４回の描画の間に１回の撮像を行なう。プロジェクター１００は、クロストーク期間ｃｔが終わった後に撮像を開始し、次のクロストーク期間ｃｔが開始する前に撮像を終了する。その他の駆動は第１実施形態と同様であるため説明を省略する。

以上説明した第２の実施形態に係るプロジェクター１００は、投写部２０による投写画像ＰＳの切り替えが行なわれていない期間、つまりクロストーク期間ｃｔ以外の期間に、撮像を行なう。したがって、撮像中に投写画像ＰＳが切り替わり、前後フレームのクロストークが発生することを抑制できる。これにより、プロジェクター１００は、撮像画像Ｖｃ中のノイズを低減が可能となり、投写画像ＰＳと撮像画像Ｖｃの比較を高品位に行なうことが可能である。なお、第１実施形態のようにローリングシャッター方式のカメラ３２を用いた場合にもクロストーク期間ｃｔ以外の期間に撮像を行なうようにしてもよい。

本発明は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…画像形成部、１２…映像処理部、１４…描画処理部、２０…投写部、２２…液晶駆動部、２４…液晶パネル、２６…投写光源、３０…撮像部、３２ａ、３２ｂ、３２…カメラ、４０…撮像画像補正部、４２…記憶部、５０…背景除去処理部、６０…検出部、６２…指検出部、６４…指先座標検出部、７０…フレームメモリー、８０…ラインメモリー、９０…撮像タイミング制御部、１００…プロジェクター、２００…投写板、３００…プロジェクターシステム、５００…指、９１０…支持部材、ＳＳ…投写面、ＰＳ…投写画像、ＰＳＲ…投写画像領域、ＭＲ…撮像領域、Ｖｃ…撮像画像、ＳＬ…現行描画ライン、ｃｔ…クロストーク期間、ｅｔ…露光時間、ｓｔ…シャッタータイム、ｐ１…垂直同期信号

Claims (5)

1. プロジェクターであって、
   映像信号に基づいて投写画像データを形成する画像形成部と、
   前記投写画像データに基づいて投写画像を投写面に投写する投写部と、
   前記投写面をライン毎又はブロック毎に撮像することにより、撮像画像データを形成する撮像部と、
   前記撮像画像データと前記投写画像データとに基づいて、前記撮像画像データに含まれる前記投写画像以外の物体を検出する検出部と、を備え、
   前記投写部は、走査によってライン毎又はブロック毎に前記投写画像を切り替え、
   前記撮像部は、少なくとも前記投写画像の切り替えが行なわれる期間では、前記投写面のうち切り替えが完了した領域から順次撮像を開始する、
   プロジェクター。
2. 請求項１に記載のプロジェクターであって、
   前記検出部は、前記投写面の一部の領域毎に前記物体の前記検出を行ない、前記撮像が完了した領域から前記検出を順次開始する、
   プロジェクター。
3. プロジェクターであって、
   映像信号に基づいて投写画像データを形成する画像形成部と、
   前記投写画像データに基づいて投写画像を投写面に投写する投写部と、
   前記投写面を撮像することにより、撮像画像データを形成する撮像部と、
   前記撮像画像データと前記投写画像データとに基づいて、前記撮像画像データに含まれる前記投写画像以外の物体を検出する検出部と、を備え、
   前記投写部は、走査によって前記投写画像を切り替え、
   前記撮像部は、前記投写部による前記投写画像の切り替えが行なわれていない期間に、前記撮像を行なう、
   プロジェクター。
4. 請求項３に記載のプロジェクターであって、
   前記投写部は、１フレームで複数回の走査を行い、
   前記撮像部は、前記１フレームの最初の走査が終わった後に撮像を開始し、次のフレームの最初の走査が開始する前に撮像を終了させる、
   プロジェクター。
5. 請求項１から請求項４のいずれか１つに記載のプロジェクターであって、
   前記検出部は、前記撮像画像データから前記投写画像データを除去する背景除去処理を行った後に、前記背景除去処理後の画像から前記物体を検出する、
   プロジェクター。