JP2013257861A - 画像処理装置、画像処理プログラム、画像処理方法 - Google Patents

Abstract

【課題】スクリーンに投影された画像に対してユーザが操作を行う場合において、安価で且つ簡易な構成でユーザに直観的な操作を行わせること。
【解決手段】投影装置１０１からの投影軸２０２とスクリーン２０１とのなす角が鋭角となるように画像を投影して、投影された画像とその周辺を撮像し、撮像された画像に含まれるユーザの指の影領域に基づいて、ユーザがこれから行おうとしている操作に対応する処理を実行する。
【選択図】図３

Description

本発明は、画像処理装置、画像処理プログラム、画像処理方法に関し、特に画像投影表示装置における画像投影表示方法に関する。

従来、会議や講義、プレゼンテーション等、複数の人を対象にして情報を表示するためには、プロジェクタ等の投影装置により、必要な情報が記載された画像や動画を壁やスクリーン等に拡大して投影し、説明を行うことが一般的である。このような投影装置を利用した状況において、説明者や聴衆者は、上記画像に情報を書き加えたい場合や、投影された画像の特定の部分を指定したり指し示したりしたい場合がある。このような場合に、説明者や聴衆者は、指示棒や自らの指等で上記行為を行うことができる方法が考案され既に知られている。

このような方法の一つとして、特許文献１に記載されているように、画像が投影されたスクリーンをユーザが指示棒でなぞった軌跡を画像としてそのスクリーン上に重畳表示するポインティングシステムが知られている。また、他の方法として、特許文献２に記載されているように、スクリーン上に投影されたボタンを表すオブジェクト画像に相当する位置に指示棒の影を合わせると、ボタンが押下されたと判定するコンピュータディスプレイシステムが知られている。

特許文献１に記載の方法によれば、ユーザがスクリーンを指示棒でなぞるだけでスクリーン上に画像を描くことが可能となるが、指示棒の先端がスクリーンに接触しなければならないため、ユーザ自身が投影光路に入り込まないように長い指示棒を用意する必要がある。従って、特許文献１に記載の方法では、このような長い指示棒が用意できなければ通常の投影装置としてしか機能せず、スクリーン上に画像を追加したり描いたりすることができないといった問題がある。

また、特許文献２に記載の方法によれば、ユーザがスクリーン上に投影された画像に指示棒や指の影を合わせるだけでボタン押下と同様の効果を実現したり操作を行ったりすることが可能となるので特許文献１における上記問題は生じない。しかしながら、特許文献２に記載の方法では、投影装置からの画像の投影角度や投影範囲、ユーザの立ち位置等を総合的に考慮して、指示棒や指そのものではなくそれらの影を投影画像の指定の位置に合わせる必要があるため、ユーザは直観的な操作ができず、使いこなすためには技能と熟練を必要とするといった問題がある。

そこで、特許文献３に記載されているように、スクリーンの背面から画像を投影し、ユーザが投影された画像の透過光を確認しながら、そのスクリーンの前面をなぞることにより操作を行うことができる画像投影表示装置が知られている。特許文献３に記載の画像投影表示装置は、特許文献１及び２に記載の方法とは異なり、リアプロジェクションタイプの装置であるためユーザ自身が投影光路を遮ることがなく、また、ユーザの指が直接スクリーンに接触して操作を行うことで直観的な操作を実現することができる。従って、特許文献３に記載の画像投影表示装置によれば、特許文献１及び２における上記問題は生じない。しかしながら、特許文献３に記載の画像投影表示装置においては、通常のスクリーンとは異なる、その装置に専用の高価なスクリーンが必要であるといった問題がある。

本発明は、このような課題を解決するためになされたものであり、スクリーンに投影された画像に対してユーザが操作を行う場合において、安価で且つ簡易な構成でユーザに直観的な操作を行わせることを目的とする。

上記課題を解決するために、投影装置から投影される投影光の光軸と投影面とのなす角が鋭角となるように画像が投影された投影面及び前記投影面の周辺の少なくとも一方を撮像した撮像画像を取得する画像取得部と、前記投影光の光路に侵入した物体により前記投影面及び前記投影面の周辺の少なくとも一方に生じた影を前記撮像画像に基づいて検知する影検知部と、検知された前記影に基づき、前記投影面の影の位置とは異なる位置であり、かつ前記影の位置と所定の関係を有する位置をユーザにより指し示された指示位置と決定する指示位置決定部と、決定された前記指示位置に応じた情報を出力する指示情報出力部と、を備えることを特徴とする。

また、本発明の他の態様は、投影装置から投影される投影光の光軸と投影面とのなす角が鋭角となるように画像が投影された投影面及び前記投影面の周辺の少なくとも一方を撮像した撮像画像を取得するステップと、前記投影光の光路に侵入した物体により前記投影面及び前記投影面の周辺の少なくとも一方に生じた影を前記撮像画像に基づいて検知するステップと、検知された前記影に基づき、前記投影面の影の位置とは異なる位置であり、かつ前記影の位置と所定の関係を有する位置をユーザにより指し示された指示位置と決定するステップと、決定された前記指示位置に応じた情報を出力するステップと、を実行することを特徴とする。

また、本発明の更に他の態様は、投影装置から投影される投影光の光軸と投影面とのなす角が鋭角となるように画像が投影された投影面及び前記投影面の周辺の少なくとも一方を撮像した撮像画像を取得し、前記投影光の光路に侵入した物体により前記投影面及び前記投影面の周辺の少なくとも一方に生じた影を前記撮像画像に基づいて検知し、検知された前記影に基づき、前記投影面の影の位置とは異なる位置であり、かつ前記影の位置と所定の関係を有する位置をユーザにより指し示された指示位置と決定し、決定された前記指示位置に応じた情報を出力することを特徴とする。

本発明によれば、スクリーンに投影された画像に対してユーザが操作を行う場合において、安価で且つ簡易な構成でユーザに直観的な操作を行わせることができる。

本発明の実施形態に係る画像投影表示装置のハードウェア構成を模式的に示すブロック図である。 本発明の実施形態に係る画像投影装置の機能構成を模式的に示すブロック図である。 本発明の実施形態に係る画像投影表示装置の運用形態を説明するための図である。 本発明の実施形態に係る画像投影表示装置からスクリーンに投影された画像例とユーザの指の影について説明するための図である。 図４に示す画像が投影されている場合を例にして、いずれかのボタンが押下される際のユーザの動作及びユーザの指の影の形状変化を説明するための図である。 本発明の実施形態に係る画像投影表示装置がユーザにより押下されようとしているボタンを判定する際の処理及びボタンが押下されたと判定した後の処理について説明するためのフローチャートである。 本発明の実施形態に係る画像投影表示装置が投影装置からスクリーンに投影表示した水平垂直線格子パターン画像を示す図である。 図７に示す水平垂直線格子パターン画像を撮像装置により撮像した撮像画像である。 本発明の実施形態に係る画像処理部が生成した差分画像を示す図である。 本発明の実施形態に係る画像処理部が生成した合成画像と回帰直線を示す図である。 本発明の他の実施形態に係る画像投影表示装置の構成例を示す図である。 本発明のさらに他の実施形態に係る画像投影表示装置の構成例を示す図である。 本発明の他の実施形態に係る画像投影表示装置の運用形態を説明するための図である。 図１３に示す画像投影表示装置の運用形態を別の角度から見た場合の図である。 ユーザの指の位置と、スクリーンに生じる指の影との対応を模式的に示す図である。 ユーザの指の位置と、スクリーンに生じる指の影との対応を模式的に示す図である。 ユーザの指の位置と、スクリーンに生じる指の影との対応を模式的に示す図である。 第２実施形態に係る画像投影表示装置の機能構成例を示すブロック図である。 第２実施形態に係る画像投影表示装置の動作例を示すフローチャートである。 ユーザが、投影領域に対して、左から右へ向けて指で軽く払う動作を行っている様子を例示した図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、ユーザが指を使ってスクリーンに投影された画像に対して操作を行うように動作することにより、その動作に応じた処理を行う画像投影表示装置を例として説明する。

（第１実施形態）
本実施形態に係る画像投影表示装置においては、ユーザが指を使ってスクリーンに投影された画像に対して操作を行うように動作すると、その動作に基づいてユーザが所望する処理を素早く確実に行うことができる。従って、本実施形態に係る画像投影表示装置によれば、ユーザは、スクリーンに投影された画像に基づいて、直観的な操作を行うことが可能となる。以下、詳細に説明する。

まず、本実施形態に係る画像投影表示装置１のハードウェア構成について図１を参照して説明する。図１は、本実施形態に係る画像投影表示装置１のハードウェア構成を模式的に示すブロック図である。尚、画像投影表示装置１は、図１に示すハードウェア構成に加えて、画像をスクリーン上へ投影し、画像が投影されているスクリーン及びその周辺を撮像するための光学機構を備える。

図１に示すように、本実施形態に係る画像投影表示装置１は、一般的なサーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等と同様の構成を含む。即ち、本実施形態に係る画像投影表示装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４０及びＩ／Ｆ５０がバス８０を介して接続されている。また、Ｉ／Ｆ５０にはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）６０及び操作部７０が接続されている。

ＣＰＵ１０は演算手段であり、画像投影表示装置１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納される。

Ｉ／Ｆ５０は、バス８０と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ６０は、ユーザが画像投影表示装置１の状態を確認するための視覚的ユーザインタフェースである。操作部７０は、キーボードやマウス等、ユーザが画像投影表示装置１に情報を入力するためのユーザインタフェースである。

このようなハードウェア構成において、ＲＯＭ３０やＨＤＤ４０若しくは図示しない光学ディスク等の記憶媒体に格納されたプログラムがＲＡＭ２０に読み出され、ＣＰＵ１０がＲＡＭ２０にロードされたプログラムに従って演算を行うことにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る画像投影装置１の機能を実現する機能ブロックが構成される。

次に、本実施形態に係る画像投影表示装置１の機能構成について、図２を参照して説明する。図２は、本実施形態に係る画像投影装置１の機能構成を模式的に示すブロック図である。図２に示すように、本実施形態に係る画像投影表示装置１は、コントローラ１００、投影装置１０１、撮像装置１０２、ディスプレイパネル１０３、ネットワークＩ／Ｆ１０４を有する。

また、コントローラ１００は、主制御部１１０、光学機構制御部１２０、画像処理部１３０、操作表示制御部１４０及び入出力制御部１５０を含む。尚、図２においては、電気的接続を実線の矢印で示している。

投影装置１０１は、光学機構制御部１２０の制御に従い、画像データに基づいてスクリーンに画像を投影表示する。撮像装置１０２は、光学機構制御部１２０の制御に従い、画像が投影されたスクリーン及びその周辺を撮像して撮像データをコントローラ１００に入力する。

ディスプレイパネル１０３は、画像投影表示装置１の状態を視覚的に表示する出力インタフェースであると共に、タッチパネルとしてユーザが画像投影表示装置１を直接操作し、若しくは画像投影表示装置１に対して情報を入力する際の入力インタフェースでもある。即ち、ディスプレイパネル１０３は、ユーザによる操作を受けるための画像を表示する機能を含む。ディスプレイパネル１０３は、図１に示すＬＣＤ６０及び操作部７０によって実現される。尚、本実施形態に係る画像投影表示装置１は、ディスプレイパネル１０３に限らず、ハードスイッチ等の機械的な操作部を備えても良い。

ネットワークＩ／Ｆ１０４は、画像投影表示装置１がネットワーク等を介してＰＣ等のクライアント端末や他の外部機器と通信するためのインタフェースであり、Ｅｔｈｅｒｎｅｔ（登録商標）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェースが用いられる。ネットワークＩ／Ｆ１０４は、図１に示すＩ／Ｆ５０によって実現される。

コントローラ１００は、ソフトウェアとハードウェアとの組み合わせによって構成される。具体的には、ＲＯＭ３０や不揮発性メモリ並びにＨＤＤ４０や光学ディスク等の不揮発性記憶媒体に格納されたプログラムが、ＲＡＭ２０等の揮発性メモリ（以下、メモリ）にロードされ、ＣＰＵ１０がそのプログラムに従って動作することにより構成されるソフトウェア制御部と集積回路などのハードウェアとによってコントローラ１００が構成される。コントローラ１００は、画像投影表示装置１全体を制御する制御部として機能する。

主制御部１１０は、コントローラ１００に含まれる各部を制御する役割を担い、コントローラ１００の各部に命令を与える。光学機構制御部１２０は、投影装置１０１や撮像装置１０２等を制御若しくは駆動する駆動手段としての役割を担う。

画像処理部１３０は、主制御部１１０の制御に従い、投影装置１０１から投影する画像データを生成し、また、撮像装置１０２が撮像して入力された撮像データを処理する。操作表示制御部１４０は、ディスプレイパネル１０３に情報表示を行い若しくはディスプレイパネル１０３を介して入力された情報を主制御部１１０に通知する。入出力制御部１５０は、ネットワークＩ／Ｆ１０４を介して入力される情報を主制御部１１０に入力する。また、主制御部１１０は、入出力制御部１５０を制御し、ネットワークＩ／Ｆ１０４を介してクライアント端末等の他の機器にアクセスする。

次に、本実施形態に係る画像投影表示装置１の運用形態について図３を参照して説明する。図３は、本実施形態に係る画像投影表示装置１の運用形態を説明するための図である。図３に示すように、本実施形態に係る画像投影表示装置１はユーザとスクリーン２０１との間に設置されている。また、図３に示すように、本実施形態に係る画像投影表示装置１は、投影装置１０１から投影した光を画像としてスクリーン２０１に投影表示している。

このとき、図３に示すように、投影装置１０１は、その投影光の軸２０２とスクリーン２０１とのなす角「θ」が鋭角となるように画像を投影している。そして、ユーザが投影光路２０３内に指２０４を差し出すと、その部分の投影光が遮られてスクリーン２０１上の投影領域２０５にはユーザの指の影２０６が生じる。さらに、本実施形態に係る画像投影表示装置１は、投影領域２０５に生じたユーザの指の影２０６を含むスクリーン及びその周辺を撮像装置１０２により撮像している。尚、撮像装置１０２は、図３に示すように、投影装置１０１の投影口とスクリーン２０１との間に位置するように画像投影表示装置１に備えられている。このような位置関係であるため、本実施形態に係る画像投影表示装置１が撮像装置１０２により撮像した撮像画像には、ユーザの身体の一部（指や腕など）が写るといったことを避けることができる。

尚、図３においては、撮像装置１０２は、画像投影表示装置１に備えられている例について説明したが、画像投影表示装置１に備えられておらず単独で存在しても良い。この場合には、撮像装置１０２は必ずしも投影装置１０１の投影口とスクリーン２０１との間に位置しなくても良く、撮像画像にユーザの身体の一部（指や腕など）が写らない範囲であればその位置は限定されない。また、図３においては、投影装置１０１についても、画像投影表示装置１に備えられている例について説明したが、画像投影表示装置１に備えられておらず単独で存在しても良い。この場合には、投影装置１０１はその投影光の軸２０２とスクリーン２０１とのなす角が鋭角となるように画像を投影することができる範囲であればその位置は限定されない。

このように構成された画像投影表示装置１において、本実施形態に係る要旨の一つは、ユーザが指を使ってスクリーン２０１に投影された画像に対して操作を行うように動作するとその動作によってスクリーン２０１上に生じた影に基づいた処理が実行されることにある。従って、本実施形態に係る画像投影表示装置１によれば、ユーザはスクリーン２０１に投影された画像に基づいて直観的な操作を行うことが可能となり、技能や熟練を要さずに誰でも簡単にスクリーン２０１に投影表示された画像を介して画像投影表示装置１の操作を行うことができる。

次に、本実施形態に係る画像投影表示装置１からスクリーン２０１に投影された画像例とユーザの指の影について図４を参照して説明する。図４は、本実施形態に係る画像投影表示装置１からスクリーン２０１に投影された画像例とユーザの指の影とについて説明するための図である。尚、図４においては、図３に示す矢印方向から見たスクリーン２０１を表している。

図４に示すように、本実施形態に係る画像投影表示装置１からスクリーン２０１に投影された画像には、数字の１〜６の番号が付された６個のボタンアイコンが水平方向に一列に並んで表示されている。また、ユーザが図３に示す投影光路２０３内に指２０４を差し出した結果として、図４に示すように、スクリーン２０１上にはユーザの指の影２０６が生じている。

尚、図４に示す６個のボタンアイコンは投影された画像であるため、ユーザは物理的に直接そのボタンを押下することはできないが、投影画像に対して押下するように動作すると、本実施形態に係る画像投影表示装置１はその動作に応じてボタン押下と同様の処理を行う。このように、ユーザがスクリーン２０１上に投影された画像に対して何らかの操作を行いたい場合には、ユーザは投影光路２０３内に指を差し出してその操作を行うように動作する必要がある。そこで、図４に示すスクリーン２０１上に６個のボタンアイコンが投影されている場合を例にして、そのいずれかが押下される際のユーザの動作及びユーザの指の影２０６の形状変化を、図５を参照して説明する。

図５に示すように、ユーザが図４に示す６個のボタンアイコンのいずれかを押下するように動作するためには、ユーザは投影光路２０３内に指２０４を差し出し、指の先端がボタンアイコンに近づくような動作を行う必要がある。尚、図５においては、数字の「４」が付されたボタンアイコンに指２０４の先端が近づく例を示している。

図５に示すように、２０４ａで示されている位置から２０４ｂで示されている位置へユーザの指２０４が移動することにより、ユーザの指により生じた影２０６は、２０６ａで示される形状から２０６ｂで示される形状へと、スクリーン２０１の上部から下部へ移動するように変化する。これは、図３において説明したように、本実施形態に係る画像投影表示装置１における投影装置１０１は、その投影光の軸２０２とスクリーン２０１とのなす角が鋭角となるように画像を投影表示しているためである。そして、本実施形態に係る画像投影表示装置１は、上記のように形状が変化したユーザの指の影２０６に基づいて、どのボタンが押下されようとしているのかを判定することを要旨の一つとしている。このように、本実施形態に係る画像投影表示装置１は、スクリーン２０１上に生じたユーザの指の影２０６とは異なる位置に複数のボタンアイコンが存在していても、どのボタンが押下されてしているかを的確かつ迅速に決定することができる。

尚、図３において説明したように投影光の軸２０２とスクリーン２０１とのなす角が鋭角である場合には本来、スクリーン２０１に投影表示された画像は、投影されるべき元の画像（以下、「元画像」とする）に比べて、スクリーン２０１の上部に向かって幅が狭くなるように台形に歪む。そこで、本実施形態に係る画像投影表示装置１は、この台形の歪みを電子的にキャンセルするためのキートン補正を行うことにより、このような問題が起こらないようにしている。そのため、本実施形態に係る画像投影表示装置１は、元画像の座標系（以下、「元画像座標系」とする）と、スクリーン２０１に実際に投影表示された画像の座標系（以下、「投影画像座標系」とする）とを一致させることが可能となる。

次に、ユーザが図５において説明したような動作を行った場合に、本実施形態に係る画像投影表示装置１がユーザにより押下されようとしているボタンを判定する際の処理及びボタンが押下されたと判定した後の処理について図６を参照して説明する。図６は、本実施形態に係る画像投影表示装置１がユーザにより押下されようとしているボタンを判定する際の処理及びボタンが押下されたと判定した後の処理について説明するためのフローチャートである。

図６に示すように、本実施形態に係る画像投影表示装置１がユーザにより押下されようとしているボタンを判定する際にはまず、投影装置１０１は、光学機構制御部１２０の制御により、画像をスクリーン２０１に投影表示する（Ｓ６０１）。以下では、スクリーン２０１には図４に示す画像が投影表示された場合を例にして説明する。そして、投影装置１０１からスクリーン２０１に画像が投影表示されると、撮像装置１０２は、光学機構制御部１２０の制御により、スクリーン２０１及びその周辺を撮像する（Ｓ６０２）。撮像装置１０２によりスクリーン２０１及びその周辺が撮像されると、画像処理部１３０は、その撮像画像を取得する（Ｓ６０３）。画像処理部１３０は撮像画像を取得すると、取得した撮像画像を元画像座標系へ変換する（Ｓ６０４）。

ここで、Ｓ６０４の処理、即ち、撮像画像を元画像座標系に変換する処理について図７及び図８を参照して説明する。図７は、本実施形態に係る画像投影表示装置１が投影装置１０１からスクリーン２０１に投影表示した水平垂直線格子パターン画像を示す図である。水平垂直線格子パターン画像とは、図７に示すように、スクリーン２０１上の投影画像座標系において、その座標の各軸に平行な複数の線分が等間隔で配置された画像のことである。尚、上記で説明したように、本実施形態に係る画像投影表示装置１はキートン補正を行うことにより、元画像座標系と投影画像座標系とを一致させることができるので、図７に示すようなスクリーン２０１に投影表示されている水平垂直線格子パターン画像は元画像の水平垂直線格子パターン画像と一致している。

図８は、図７に示す水平垂直線格子パターン画像を撮像装置１０２により撮像した撮像画像である。図３に示したように、本実施形態に係る撮像装置１０２は、投影装置１０１の投影口とスクリーン２０１との間に位置するように画像投影表示装置１に備えられている。そのため、図７に示すようなスクリーン２０１に投影表示されている水平垂直線格子パターン画像が撮像装置１０２により撮像されると、その撮像画像の座標系（以下、「撮像画像座標系」とする）における水平垂直線格子パターン画像は図８に示すような台形に歪んだ形状となる。

従って、撮像画像の元画像座標系への変換（Ｓ６０４）は、図８に示す座標系を図７に示す座標系に、即ち、撮像画像座標系を元画像座標系に一致させるための変換式を予め求めておき、その変換式をＳ６０３で取得された撮像画像に適用することにより行われる。
このような変換を行うことにより、本実施形態に係る画像投影表示装置１は、元画像座標系において、元画像と同等に撮像画像を扱うことが可能となる。

画像処理部１３０は、撮像画像を元画像座標系へ変換すると、変換された撮像画像（以下、「変換画像」とする）と元画像との差分から構成される差分画像を生成する（Ｓ６０５）。ここで、差分画像の生成には例えば、変換画像と元画像とを共にグレースケールに変換した画像において、それぞれの画像のお互いに対応する画素同士の画素値（例えば、０〜２５５）の差分をとり、その差分の絶対値が所定値以上の画素を黒、それ以外の画素を白とした２値画像を差分画像とする方法等がある。尚、差分画像の生成方法は、このような方法に限られるものではなく、既知の他の方法であってもよい。

尚、このとき、黒である画素は、スクリーン２０１に生じたユーザの指の影である可能性がある。そこで、画像処理部１３０は、差分画像を生成すると、生成した差分画像の中に黒の画素が所定数以上存在するか否か判定する（Ｓ６０６）。画像処理部１３０が差分画像の中に黒の画素が所定数以上存在すると判定した場合（Ｓ６０６／ＹＥＳ）、その画素群はスクリーン２０１に生じたユーザの指の影によるものと考えられる。そのため、この場合には、画像投影表示装置１は上記処理に引き続き、差分画像における上記画素群に基づいて、ユーザが実際にどのボタンを押下しようとしているかを判定することになる（Ｓ６０７〜Ｓ６１１）。このときの差分画像を図９に示す。図９に示すように、差分画像には、元画像領域２０７にユーザの指の影領域２０８が表示されている。

一方、画像処理部１３０は、差分画像の中に黒の画素が所定数以上存在しないと判定した場合（Ｓ６０６／ＮＯ）、スクリーン２０１に影は生じていないと考えられる。そのため、この場合には、差分画像の中に黒の画素が所定数以上存在するようになるまで（Ｓ６０６／ＹＥＳ）、即ち、スクリーン２０１にユーザの指の影２０６が生じるまでＳ６０２からの処理を繰り返し行う。

そこでまず、画像処理部１３０は、差分画像の中に黒の画素が所定数以上存在すると判定した場合（Ｓ６０６／ＹＥＳ）、差分画像から黒の画素群を抽出して（Ｓ６０７）、抽出した画素群を元画像座標系上で元画像に合成する（Ｓ６０８）。そして、画像処理部１３０は、元画像座標系において合成した画素群から最小二乗法により回帰直線を求める（Ｓ６０９）。ここで求められた回帰直線は、合成された画素群に含まれる各画素との距離の二乗の総和が最小となるように算出された直線である。そのため、この直線上にボタンが存在すれば、画像投影表示装置１は、ユーザがそのボタンを押下しようとしていると判定することができる。このときの合成画像と回帰直線を図１０に示す。図１０には、元画像座標系において、元画像領域２０９、ユーザの指の影領域、即ち、Ｓ６０８の処理で合成された画素群２１０、回帰直線２１１が表示されている。

次に、画像処理部１３０は、元画像座標系における合成画像において、回帰直線２１１上にボタンアイコンが存在するか否かを判定する（Ｓ６１０）。画像処理部１３０が回帰直線２１１上にボタンアイコンが存在すると判定した場合（Ｓ６１０／ＹＥＳ）、ユーザによりそのボタンが押下されようとしていると考えられるため、本実施形態に係る画像投影表示装置１は、そのボタンが押下されたときの対応として予め定められている所定の処理を行う（Ｓ６１１）。

ここで、予め定められている所定の処理とは例えば、投影装置１０１が光学機構制御部１２０の制御により、既に表示されている画像とは別の画像へ遷移させて表示したり、既に表示されているページのスクロール画面を表示したりする等、ユーザが所望する操作に対応する処理のことである。即ち、ここでは、光学機構制御部１２０は、指示情報出力部として機能する。また、Ｓ６０３〜Ｓ６１０の処理においては、画像処理部１３０は、画像取得部、影検知部、指示位置決定部として機能する。このように、本実施形態に係る画像投影表示装置１は、ユーザの指の影の形状に基づいて、ユーザが行おうとしている操作に対応した処理を素早く確実に行うことが可能であり、このことを要旨の一つとしている。

尚、投影画像に複数のボタンアイコンが表示されており、回帰直線２１１上に複数のボタンアイコンが存在する場合には、画像投影表示装置１は、どのボタンが押下されようとしているかの判定が困難となってしまう。そのため、投影画像において複数のボタンアイコンは、回帰直線２１１上に２つ以上が存在することがないように配置されることが望ましい。例えば、本実施形態に係る構成によれば、ユーザの指の影２０６はスクリーン２０１上において投影光の軸２０２と略平行な方向を向くように生じるため、図１０に示すように、回帰直線２１１の傾きも元画像座標系において投影光の軸２０２と略平行となる。従って、投影画像にボタンアイコンが複数表示されていても、それらを投影光の軸２０２に対して略垂直な方向に一直線上に並べておくことでこのような問題を回避することができる。

また、上記複数のボタンアイコンを必ずしも投影光の軸２０２に対して略垂直な方向に一直線上に並べておかなくても、投影光の軸２０２に対する略垂直な方向においてそれぞれの位置が異なるように配置しさえすれば、投影光の軸２０２と略平行な方向における位置には関係なく同様に上記のような問題を回避することができる。尚、例えば、投影画像の左右の端部寄りにボタンアイコンが配置される場合には、そのボタンアイコンを指し示すユーザの指の影２０６に基づく回帰直線２１１は、投影光の軸２０２に略平行とはならない場合がありうる。その場合には、複数のボタンアイコンが投影光の軸２０２に対する略垂直な方向において同じ位置に配置されていても、必ずしも回帰直線２１１上に複数のボタンアイコンが存在することにはならないので、そのような配置であっても良い。

また、画像処理部１３０が回帰直線２１１上にボタンアイコンが存在すると判定した場合（Ｓ６１０／ＹＥＳ）であっても、それが、ユーザが誤って動作した結果であったり、他の関係のない影がスクリーン２０１上に生じてしまった結果であったりする場合など、ユーザの意図しない操作が行われた結果である場合もある。そのため、このような場合、画像処理部１３０が回帰直線２１１上にボタンアイコンが存在すると判定したらすぐにボタン押下の処理（画像の切替え等）に移ると、画像投影表示装置１はユーザの意図に反した処理を行うことになってしまう。そこで、本実施形態に係る画像投影表示装置１は、画像処理部１３０が回帰直線２１１上にボタンアイコンが存在すると判定したらすぐにボタン押下の処理に移るのではなく、例えば、次のような方法により上記問題を回避することができる。

即ち、まず、１回目のＳ６１０の処理においては、画像処理部１３０は、回帰直線２１１上にボタンアイコンが存在すると判定した場合にはそのボタンアイコンの明度を上げる処理のみを行う。そして、Ｓ６０６の処理における判定の際の基準値である、黒の画素の所定数を変更し、そのあと再度Ｓ６０２からの処理を行う。その結果、再び画像処理部１３０が回帰直線２１１上にボタンアイコンが存在すると判定した場合に初めてボタン押下の処理に移るようにすれば良い。このような構成とすることにより、本実施形態に係る画像投影表示装置１は、ユーザの意図に反した処理を行うといった問題を回避することが可能となる。

また、Ｓ６０２〜Ｓ６１０の処理、即ち、スクリーン２０１上に投影された画像を撮像してユーザの操作を検知する処理は、１秒間に数回等、所定のレートで繰り返し実行される。従って、同一のボタンアイコンが押下されたことが複数回連続して検知された場合にそのアイコンの押下認識を確定するようにすれば、操作の信頼性を向上することが可能となる。

また、本実施形態に係る画像投影表示装置１は、ボタンが押下された際の処理（画像の切替え等）に移る直前に、ボタンアイコンをへこんだように表示させるように構成されていても良い。このような構成とすることにより、本実施形態に係る画像投影表示装置１は、ボタンが押下された際の処理が行われたことをユーザに明確に伝えることが可能となる。

一方、画像処理部１３０は、回帰直線２１１上にボタンアイコンが存在しないと判定した場合には（Ｓ６１０／ＮＯ）、ユーザはどのボタンも押下しようとしていないと考えられるため、回帰直線２１１上にボタンアイコンが存在するようになるまで（Ｓ６１０／ＹＥＳ）、Ｓ６０２からの処理を繰り返し行う。そして、画像投影表示装置１は、画像の投影を終了したら、ユーザにより押下されようとしているボタンを判定する際の処理及びボタンが押下されたと判定した後の処理を終了する。

尚、上記Ｓ６０６の処理においては、画像処理部１３０は、黒の画素が所定数以上存在する場合にスクリーン２０１上に影が生じたと判断することができることを説明したが、その他に、一定の領域に所定数以上存在する場合にスクリーン２０１上に影が生じたと判断するように構成されていても良い。このような構成により、画像処理部１３０は、ノイズ等により、黒の画素が分散して所定数以上存在するような場合でも誤った判断をすることがない。

また、本実施形態においては、画像表示に関する制御や処理は、画像処理部１３０におけるソフトウェア処理で行われる例について説明したが、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のような画像処理を行う専用の回路におけるハードウェア処理で行われても良い。

さらに、本実施形態においては、ユーザの指の影に基づいて画像投影表示装置１がどのような処理を行うかについて説明したが、ユーザが操作する指示棒やその他の指示器等の影に基づくものであっても良い。

さらにまた、本実施形態においては、画像投影表示装置１は、スクリーン２０１に投影表示された画像の中に生じた影を検知するように構成されている例について説明したが、図１１に示すように、投影装置１０１よりもユーザに近い位置に光源１０５を備え、その光源１０５からスクリーン２０１上における画像の投影領域外に光を照射し、その照射された光の中に生じた影を検知するように構成されていても良い。このような構成の場合、図１１に示すように、光源１０５から照射された光２１２は、スクリーン２０１において投影装置１０１から投影された画像の投影領域２０５の上部に光源領域２１３として照射されていることがわかる。そして、その光源領域２１３にはユーザの指の影２０６が生じている。

このような構成とすることにより、画像の投影領域２０５の外側にユーザの指の影２０６が生じることになり、その影が投影画像の邪魔にならないので、ユーザの視認性を向上させることが可能となる。また、本実施形態において説明した投影領域２０５の中に影が生じるような構成では、投影画像が低輝度の場合にはスクリーン２０１上に生じる影の色が薄くなってしまい、画像処理部１３０が誤った処理を行ってしまうといった問題が生じることになるが、このような構成とすることにより、投影画像の輝度に関係なく一定以上の濃さの影をスクリーン２０１上に生じさせることが可能となる。

また、他の構成として、図１２に示すように、図１１と同様に投影装置１０１よりもユーザに近い位置に光源１０５を備え、その光源１０５からスクリーン２０１が有する折れ曲がり部分２１４上に光を照射し、その照射された光の中に生じた影を検知するように構成されていても良い。このような構成の場合、図１２に示すように、光源１０５から照射された光２１２は、折れ曲がり部分２１４上に光源領域２１３として照射されていることがわかる。そして、その光源領域２１３にはユーザの指の影２０６が生じている。

このような構成とすることにより、ユーザの指の影２０６はユーザの視覚範囲外に生じることになるので、その影はより目立たなくなり、図１１において説明した構成による効果に加えてさらに視認性を向上させることが可能となる。

上記のような光源１０５は、画像投影表示装置１に備えられる以外に、単独で存在しても良い。このような場合には、光源１０５は、図１１、図１２に示したように画像の投影領域２０５の外側や折れ曲がり部分２１４にユーザの指の影２０６が生じる範囲であればその位置は限定されない。

以上においては、図３に示すように、画像投影表示装置１の上側に画像が投影されるようにスクリーン２０１と画像投影表示装置１とを配置する例について説明したが、図１３に示すように、画像投影表示装置１の左側に画像が投影されるようにスクリーン２０１と画像投影表示装置１とを配置しても同様の効果が得られる。この場合においても、図１４に示すように、投影光の軸２０２とスクリーン２０１とのなす角「θ」は鋭角となっている。尚、図１４は、図１３に示す状況を図１３に示す矢印方向から見た状況を表している。

さらに、図３に示すような配置とは反対に、画像投影表示装置１の下側に画像が投影されるようにスクリーン２０１と画像投影表示装置１とを配置しても、図１３に示すような配置とは反対に、画像投影表示装置１の右側に画像が投影されるようにスクリーン２０１と画像投影表示装置１とを配置しても同様の効果が得られる。尚、この場合においても、投影光の軸２０２とスクリーン２０１とのなす角は鋭角となっている。

（第１実施形態の変形例）
上述した第１実施形態では、複数のボタンアイコンを投影光の軸２０２に対して略垂直な方向（以下の説明では「Ｘ軸方向」と呼ぶ場合がある）に一直線上に並べているが、これに限らず、例えば図１５に示すように、複数のボタンアイコンを、Ｘ軸方向に直交する方向（投影光の軸２０２に略平行な方向、以下の説明では「Ｙ軸方向」と呼ぶ場合がある）に沿って並べてもよい。ここで、前述の投影光路２０３の形状は、略四角錐であるので、ユーザが、投影領域２０５の中央付近の領域以外の領域に対して指を差し出す場合、その指の高さ方向の位置（Ｙ軸方向の位置）に応じて、投影光路２０３のうち手が侵入してくる領域が異なり、前述の回帰直線２１１の傾きも異なってくる。特に、投影領域２０５の左右端部においては、差し出される指の高さ方向の位置に応じた回帰直線２１１の傾きの変化が顕著である。したがって、複数のボタンアイコンをＹ軸方向に沿って並べる場合であっても、前述の回帰直線２１１に基づいて、ユーザがどのボタンを押下しようとしているのかを判定することができる。すなわち、複数のボタンアイコンの配置は任意であり、投影光の軸２０２に対して略垂直な方向に一直線上に並べる形態に限られるものではない。

図１５の例では、ユーザが、番号「１」を表すボタンアイコンを押下しようとして投影領域２０５に指を差し出す場合の指の位置は「２０４ｄ」で表され、投影領域２０５（スクリーン２０１）上に生じる指の影は「２０６ｄ」で表される。また、ユーザが、番号「１」を表すボタンアイコンの直下に配置される番号「２」を表すボタンアイコンを押下しようとして投影領域２０５に指を差し出す場合の指の位置は「２０４ｅ」で表され、投影領域２０５（スクリーン２０１）上に生じる指の影は「２０６ｅ」で表される。さらに、ユーザが、番号「２」を表すボタンアイコンの直下に配置される番号「３」を表すボタンアイコンを押下しようとして投影領域２０５に指を差し出す場合の指の位置は「２０４ｆ」で表され、投影領域２０５（スクリーン２０１）上に生じる指の影は「２０６ｆ」で表される。

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、スクリーン２０１に投影された画像に表示される複数のボタンアイコンは、互いに異なる位置に配置される態様であればよく、上述の第１実施形態のように、投影光の軸２０２に対して略垂直な方向に一直線上に並べられる態様に限られるものではない。

また、第２実施形態では、前述の画像処理部１３０は、回帰直線２１１上に２以上のボタンアイコン（アイコンの一例）が存在すると判断した場合、スクリーン２０１に生じる影の伸びる速度に基づいて、ユーザが押下しようとしているボタンアイコンを判定（ユーザにより指し示された指示位置を決定）する機能を有する点で上述の第１実施形態と相違する。

ここで、例えば図１６および図１７に示すように、投影領域２０５（スクリーン２０１）に表示される２つのボタンアイコンが、投影光の軸２０２と略平行な方向（前述のＹ軸方向）に沿って一直線上に配置される場合を想定する。この例では、番号「Ｘ」を表すボタンアイコンの下に、番号「Ｙ」を表すボタンアイコンが配置されている。図１６は、ユーザが、番号「Ｘ」を表すボタンアイコンを押下しようとして投影領域２０５に指を差し出している様子を例示しており、ユーザの指の位置は「２０４ｘ」で表され、投影領域２０５（スクリーン２０１）に生じる影は「２０６ｘ」で表される。また、図１７は、ユーザが、番号「Ｙ」を表すボタンアイコンを押下しようとして投影領域２０５に指を差し出している様子を例示しており、ユーザの指の位置は「２０４ｙ」で表され、投影領域２０５に生じる影は「２０６ｙ」で表される。

ユーザが指を伸ばす速度を一定とすれば、図１６および図１７からも理解されるように、ユーザが、番号「Ｙ」を表すボタンアイコンを押下しようとして指を伸ばす場合の方が、番号「Ｘ」を表すボタンアイコンを押下しようとして指を伸ばす場合に比べて、投影領域２０５に生じる影２０６の伸びる速度は大きくなる。本実施形態では、ユーザが、ボタンアイコンを押下しようとして指を伸ばした場合に生じる影２０６が伸びる速度は、当該ボタンアイコンのＹ軸方向の位置に応じて異なることに着目し、前述の回帰直線２１１上に２以上のボタンアイコンが存在すると判断した場合は、影２０６の伸びる速度に基づいて、ユーザが押下しようとしているボタンアイコンを判定することを特徴の一つとする。以下、具体的な構成を説明する。なお、上述の第１実施形態と共通する部分については、適宜に説明を省略する。

図１８は、本実施形態に係る画像投影表示装置１０００の機能構成を模式的に示すブロック図である。図１８に示すように、本実施形態に係る画像投影表示装置１０００は、記憶制御部１６０と、記憶装置１０６とをさらに備える点で上述の第１実施形態と相違する。この例では、記憶制御部１６０は、コントローラ２００に搭載される。

記憶制御部１６０は、主制御部１１０の制御に従って、スクリーン２０１（投影領域２０５）に生じる影が伸びる速度と、投影面における高さとを対応付けて記憶装置１０６に記憶する制御を行う。本実施形態では、記憶装置１０６は、影が伸びる速度を示す第１情報ごとに、投影面上の高さ方向（上下方向）における所定の範囲を示す第２情報（例えば元画像の座標系の上下方向における所定の範囲を示す情報であってもよい）を対応付けて記憶する。

また、本実施形態では、画像処理部１３０は、前述の回帰直線２１１上に２以上のボタンアイコンが存在すると判断した場合、スクリーン２０１に生じる影２０６が伸びる速度に基づいて、指示位置を決定する。より具体的には、画像処理部１３０は、前述の回帰直線２１１上に２以上のボタンアイコンが存在すると判断した場合、スクリーン２０１に生じる影２０６が伸びる速度を検出する。例えば画像処理部１３０は、前述の合成画像における黒の画素群（影２０６に相当）の経時的変化に基づいて、影２０６が伸びる速度を検出することもできる。そして、画像処理部１３０は、検出した速度を示す第１情報に対応付けられた第２情報を記憶装置１０６から読み出し、読み出した第２情報が示す範囲に表示されるボタンアイコンを判定し、判定したボタンアイコンの表示位置を、指示位置として決定する。

図１９は、第２実施形態に係る画像投影表示装置１０００の動作例を示すフローチャートである。図１９に示すステップＳ６０１〜ステップＳ６１０の内容は、上述の第１実施形態と同様であるので、詳細な説明は省略する。ステップＳ６１０で、画像処理部１３０は、元画像座標系における合成画像において、回帰直線２１１上にボタンアイコンが存在すると判定した場合（ステップＳ６１０：ＹＥＳ）、回帰直線２１１上に複数のボタンアイコンが存在するかどうかを判定する（ステップＳ６２０）。

上述のステップＳ６２０において、複数のボタンアイコンが存在しない、つまり、回帰直線２１１上に存在するボタンアイコンは１つであると判定した場合（ステップＳ６２０：ＮＯ）、処理は、ステップＳ６１１に移行する。ステップＳ６１１の内容は、上述の第１実施形態と同様であるので、詳細な説明は省略する。

一方、上述のステップＳ６２０において、複数のボタンアイコンが存在すると判定した場合（ステップＳ６２０：ＹＥＳ）、画像処理部１３０は、スクリーン２０１に生じる影２０６が伸びる速度を検出する（ステップＳ６２１）。例えば画像処理部１３０は、前述のステップＳ６０２〜ステップＳ６０８の処理を所定のレートで繰り返し、元画像座標系上の合成画像における黒の画素群（影２０６に相当）の経時的変化に基づいて、スクリーン２０１に生じる影２０６が伸びる速度を検出することもできる。

次に、画像処理部１３０は、ステップＳ６２２で検出した影２０６の速度に基づいて、ユーザが押下しようとしているボタンアイコンを判定する（ステップＳ６２２）。より具体的には、画像処理部１３０は、前述のステップＳ６２１で検出した影２０６の速度を示す第１情報に対応付けられた第２情報を記憶装置１０６から読み出し、回帰直線２１１上に存在する複数のボタンアイコンのうち、読み出した第２情報が示す範囲に表示されるボタンアイコン（ユーザが押下しようとしているボタンアイコンに相当）を判定する。その後、処理は、ステップＳ６１１に移行する。ステップＳ６１１の内容は、上述の第１実施形態と同様であるので、詳細な説明は省略する。

以上に説明したように、本実施形態に係る画像処理部１３０は、回帰直線２１１上に２以上のボタンアイコンが存在すると判断した場合、スクリーン２０１に生じる影の伸びる速度に基づいて、ユーザが押下しようとしているボタンアイコンを判定する。これにより、例えばスクリーン２０１に投影された画像に表示される複数のボタンアイコンが、投影光の軸２０２と略平行な方向（前述のＹ軸方向）に一直線上に並べられる態様であっても、ユーザが押下しようとしているボタンアイコンを精度良く判定することができる。

以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明は、上述の各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、上述の各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

例えば画像処理部１３０は、スクリーン２０１（投影領域２０５）に生じる影２０６に基づいて、ユーザによるフリック操作を判定することもできる。なお、フリックとは、指で軽く払う動作を指す。例えば画像処理部１３０は、元画像座標系上の合成画像における黒の画素群（スクリーン２０１に生じる影２０６に相当）の長手方向の長さが閾値以内であり、かつ、その黒の画素群が、時間の経過に伴って、左から右へ向かって（あるいは右から左へ向かって）移動する場合は、ユーザによるフリック操作が行われたと判定することもできる。

図２０は、ユーザが、投影領域２０５に対して、左から右へ向けて指で軽く払う動作を行っている様子を例示した図である。図２０の例では、ユーザの指の位置が「２０４Ｇ」の場合、投影領域２０５には影２０６ｇが生じる。また、ユーザの指の位置が「２０４Ｈ」の場合、投影領域２０５には影２０６ｈが生じる。さらに、ユーザの指の位置が「２０４Ｉ」の場合、投影領域２０５には影２０６ｉが生じるといった具合である。

なお、上述の各実施形態および変形例は任意に組み合わせることが可能である。

１ 画像投影表示装置
１０ ＣＰＵ
２０ ＲＡＭ
３０ ＲＯＭ
４０ ＨＤＤ
５０ Ｉ／Ｆ
６０ ＬＣＤ
７０ 操作部
８０ バス
１００ コントローラ
１０１ 投影装置
１０２ 撮像装置
１０３ ディスプレイパネル
１０４ ネットワークＩ／Ｆ
１０５ 光源
１０６ 記憶装置
１１０ 主制御部
１２０ 光学機構制御部
１３０ 画像処理部
１４０ 操作表示制御部
１５０ 入出力制御部
１６０ 記憶制御部
２００ コントローラ
２０１ スクリーン
２０２ 投影光の軸
２０３ 投影光路
２０４ ユーザの指
２０５ 投影領域
２０６ スクリーン上のユーザの指の影
２０７ 差分画像における元画像領域
２０８ 差分画像におけるユーザの指の影領域
２０９ 合成画像における元画像領域
２１０ 合成画像におけるユーザの指の影領域
２１１ 回帰直線
２１２ 光
２１３ 光源領域
２１４ 折れ曲がり部
１０００ 画像投影表示装置

特許第３７２９５３３号公報 特開平０７−１２９３２２号公報 特開２００９−０７０２４５号公報

Claims (12)

1. 投影装置から投影される投影光の光軸と投影面とのなす角が鋭角となるように画像が投影された投影面及び前記投影面の周辺の少なくとも一方を撮像した撮像画像を取得する画像取得部と、
   前記投影光の光路に侵入した物体により前記投影面及び前記投影面の周辺の少なくとも一方に生じた影を前記撮像画像に基づいて検知する影検知部と、
   検知された前記影に基づき、前記投影面の影の位置とは異なる位置であり、かつ前記影の位置と所定の関係を有する位置をユーザにより指し示された指示位置と決定する指示位置決定部と、
   決定された前記指示位置に応じた情報を出力する指示情報出力部と、
   を備えることを特徴とする画像処理装置。
2. 前記指示位置決定部は、前記影に基づいて前記投影面上における直線を取得し、前記直線の軌跡に基づいて前記指示位置を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像には複数のアイコンが表示されており、前記複数のアイコンは、前記投影面に平行であり、かつ前記投影軸と垂直な方向において位置が異なるように配列されており、 前記指示位置決定部は、前記複数のアイコンのうち前記直線の軌跡が通るアイコンが表示された位置を前記指示位置と決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記撮像画像取得部、前記影検知部及び前記指示位置決定部は、所定の周期で同様の処理を繰り返し、
   前記指示情報出力部は、複数回連続して同一のアイコンが表示された位置が前記指示位置と決定された場合に、決定された前記指示位置に応じた情報を出力することを特徴とする請求項３に記載の画像処理装置。
5. 前記画像には、互いに位置が異なるように配列された複数のアイコンが表示され、
   前記指示位置決定部は、前記直線上に２以上のアイコンが存在すると判定した場合、前記影が伸びる速度に基づいて前記指示位置を決定する、
   ことを特徴とする請求項２に記載の画像処理装置。
6. 前記影が伸びる速度と、前記投影面における高さとを対応付けて記憶装置に記憶する記憶制御部をさらに備え、
   前記指示位置決定部は、前記直線上に２以上のアイコンが存在すると判定した場合、前記影が伸びる速度を検出し、検出した前記影が伸びる速度に対応付けられた高さに対応するアイコンの表示位置を、前記指示位置として決定する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記指示情報出力部は、前記アイコンのいずれかが前記指示位置に対応する場合に、既に投影されている前記画像の代わりに前記指示位置に対応するアイコンに応じた画像を前記投影面に新たに投影させるように、前記投影装置を制御することを特徴とする請求項３乃至６のうちの何れか１項に記載の画像処理装置。
8. 前記投影装置と、
   前記投影装置の投影部よりも前記投影面に近い位置に配置され、前記投影面及び前記投影面の周辺の少なくとも一方を撮像する撮像装置と、
   を備えることを特徴とする請求項１乃至７いずれか１項に記載の画像処理装置。
9. 前記影検知部は、前記投影面の周辺に一定光量の光を照射する光源から照射された光により生じた前記影を検知することを特徴とする請求項１乃至８いずれか１項に記載の画像処理装置。
10. 前記光源を備えることを特徴とする請求項９に記載の画像処理装置。
11. 投影装置から投影される投影光の光軸と投影面とのなす角が鋭角となるように画像が投影された投影面及び前記投影面の周辺の少なくとも一方を撮像した撮像画像を取得するステップと、
    前記投影光の光路に侵入した物体により前記投影面及び前記投影面の周辺の少なくとも一方に生じた影を前記撮像画像に基づいて検知するステップと、
    検知された前記影に基づき、前記投影面の影の位置とは異なる位置であり、かつ前記影の位置と所定の関係を有する位置をユーザにより指し示された指示位置と決定するステップと、
    決定された前記指示位置に応じた情報を出力するステップと、
    を実行することを特徴とする画像処理プログラム。
12. 投影装置から投影される投影光の光軸と投影面とのなす角が鋭角となるように画像が投影された投影面及び前記投影面の周辺の少なくとも一方を撮像した撮像画像を取得し、
    前記投影光の光路に侵入した物体により前記投影面及び前記投影面の周辺の少なくとも一方に生じた影を前記撮像画像に基づいて検知し、
    検知された前記影に基づき、前記投影面の影の位置とは異なる位置であり、かつ前記影の位置と所定の関係を有する位置をユーザにより指し示された指示位置と決定し、
    決定された前記指示位置に応じた情報を出力することを特徴とする画像処理方法。

Images