JP2019109273A - プロジェクタ - Google Patents

Abstract

【課題】投影される映像領域が広く、かつ、誤判定がされにくい、インタラクティブなシステムを提供する。【解決手段】プロジェクタとカメラとを含むシステムにおいて、カメラを用いて、スクリーンに投影されている映像領域と、投影されていない非映像領域とを撮像し、撮像された画像の映像領域と非映像領域における、境界の歪み、境界の輝度の差の変化等の境界の情報を用いることにより、スクリーンとプロジェクタとの間の物体の有無を判定する。【選択図】図１

Description

本発明は、プロジェクタ、および、プロジェクタを含むシステムに関する。

プロジェクタを含んだ、インタラクティブなシステムが知られている。
特許文献１では、プロジェクタを含んだインタラクティブなシステムが記載されている。上記のようなインタラクティブなシステムにおいては、人が指示を出したい際に、人が指示をすべき位置を表示するために、スクリーンにマーカーを投影することがある。また、マーカーと映像とは、異なる領域に同時に投影しておくことがある。

特開２０１５−２１５７２０号公報

しかしながら、マーカーを映像領域の外に表示すると、映像領域が狭くなるという課題があった。また、マーカーを出さないと、ユーザが指示を出す位置がわからず、ユーザが意図する指示が正しく判定されないという課題があった。

本発明は、上記課題を解決するために、投影される映像領域が広く、かつ、誤判定がされにくい、インタラクティブなシステムの提供を目的とする。

プロジェクタとカメラとを含むシステムであって、
前記カメラは、前記プロジェクタから映像を投影されている映像領域と、前記プロジェクタから映像を投影されていない非映像領域と、を撮像し、
撮像された画像の、前記映像領域と前記非映像領域の境界の情報を用いることにより、
前記映像領域または前記非映像領域と、前記プロジェクタとの間の物体の有無を判定することを特徴とするシステム、
である。

本発明に記載のプロジェクタを含むシステムでは、投影される映像領域が広く、かつ、誤判定がされにくい。

本発明のシステムを説明する図。 本発明のプロジェクタの全体の構成を示す図。 本発明のスクリーンと物体を含む図。 本発明の明るさの差の変化を説明する図。 本発明のフローチャートを説明する図。 本発明のスクリーンにおける図。

以下、本発明の実施形態について説明するが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

［第１の実施形態］
図１を用いて、本実施形態のシステムを説明する。プロジェクタ１００はスクリーン１０２に映像を投影している。スクリーン１０２において映像が映し出されている領域が映像領域１０３であり、その外側が非映像領域１０４である。不図示のカメラ１０１は、プロジェクタ１００の筐体の中にあり、プロジェクタ１００と一体となっている。カメラ１０１は、映像領域１０３と、非映像領域１０４の少なくとも一部を撮像することができる。スクリーン１０２近傍のユーザ１０５をカメラ１０１が撮像することができ、図１はプロジェクタ１００を含むインタラクティブなシステムとなっている。

次に、図２を用いてプロジェクタ１００について説明する。図２は、本実施形態のプロジェクタ１００の全体の構成を示す図である。

本実施形態のプロジェクタ１００は、ＣＰＵ１１０、ＲＡＭ１１１、ＲＯＭ１１２、操作部１１３、通信部１１４、画像入力部１２０、画像処理部１４０を有する。また、プロジェクタ１００は、さらに、光変調素子駆動部１５０、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂ、光源制御部１３０、光源１６０、色分離部１６１、色合成部１８０、投影光学系１８１、投影光学制御部１８２を有する。

ＣＰＵ１１０は、プロジェクタ１００の各動作ブロックを制御するものあり、ＲＯＭ１１２にはＣＰＵ１１０の処理手順を記述した制御プログラムが記憶されており、ＲＡＭ１１１は、ワークメモリとして一時的に制御プログラムやデータを格納されるものである。ＣＰＵ１１０は、通信部１１４より受信した静止画データや動画データを一時的に記憶し、ＲＯＭ１１２に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。

操作部１１３は、操作者の指示を受け付け、ＣＰＵ１１０に指示信号を送信するものであり、例えば、スイッチやダイヤルなどからなる。また、操作部１１３は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号をＣＰＵ１１０に送信するものであってもよい。また、ＣＰＵ１１０は、操作部１１３や、通信部１１４から入力された制御信号を受信して、上記制御プログラムに基づき、プロジェクタ１００の各動作ブロックを制御する。

画像入力部１２０は、外部装置から送信される画像を受信するものである。ここで、外部装置とは、画像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。さらには、ＵＳＢフラッシュメモリやＳＤカードのようなメディアに記録された画像を読み込むこともできる。

画像処理部１４０は、画像入力部１２０から受信した画像信号にフレーム数、画素数、画素値、画像形状などの変更処理を施して、光変調素子駆動部１５０に送信するものであり、例えば画像処理用のマイクロプロセッサからなる。なお、画像処理部１４０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、ＣＰＵ１１０が画像処理部１４０と同様の処理を実行しても良い。画像処理部１４０は、フレーム間引き処理、フレーム補間処理、解像度変換（スケーリング）処理、歪み補正処理（キーストン補正処理）、輝度補正処理、色補正処理といった機能を実行することが可能である。

また、画像処理部１４０は、所望のテストパターン画像を生成して光変調素子駆動部１５０に送信することもできる。また、画像処理部１４０は、画像入力部１２０から受信した画像信号以外にも、ＣＰＵ１１０によって再生された画像や映像に対して前述の変更処理を施すこともできる。

光変調素子駆動部１５０は、画像処理部１４０から出力される画像信号に基づいて、後述する光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂの画素の液晶に印可する電圧を制御して、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂの透過率を調整する。

光変調素子１７０Ｒは、赤色に対応する液晶素子であって、光源１６０から出力された光のうち、色分離部１６１で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整するためのものである。光変調素子１７０Ｇは、緑色に対応する光変調素子であって、光源１６０から出力された光のうち、色分離部１６１で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整するためのものである。

光変調素子１７０Ｂは、青色に対応する液晶素子であって、光源１６０から出力された光のうち、色分離部１６１で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整するためのものである。

光源制御部１３０は、光源１６０のオン／オフを制御や光量の制御をするものであり、制御用のマイクロプロセッサからなる。また、光源制御部１３０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、ＣＰＵ１１０が光源制御部１３０と同様の処理を実行しても良い。また、光源１６０は、不図示のスクリーンに画像を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであっても良い。

また、色分離部１６１は、光源１６０から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源１６０として、各色に対応するＬＥＤやレーザー等を使用する場合には、色分離部１６１は不要である。

また、色合成部１８０は、液晶素子１７０Ｒ、１７０Ｇ、１７０Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。そして、色合成部１８０により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１８１に送られる。このとき、液晶素子１７０Ｒ、１７０Ｇ、１７０Ｂは、画像処理部１４０から入力された画像に対応する光の透過率となるように、光変調素子駆動部１５０により制御されている。そのため、色合成部１８０により合成された光は、投影光学系１８１によりスクリーンに投影されると、画像処理部１４０により入力された画像に対応する画像がスクリーン上に表示されることになる。

投影光学制御部１８２は、投影光学系１８１を制御するものであり、制御用のマイクロプロセッサからなる。また、投影光学制御部１８２は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、ＣＰＵ１１０が投影光学制御部１８２と同様の処理を実行しても良い。また、投影光学系１８１は、色合成部１８０から出力された合成光をスクリーンに投影するためのものであり、複数のレンズ、レンズ駆動用のアクチュエータからなる。レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整などを行うことができる。

通信部１１４は、外部機器からの制御信号や静止画データ、動画データなどを受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１２０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであっても良い。ここで、外部装置は、プロジェクタ１００と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。

なお、本実施形態の画像処理部１４０、光変調素子駆動部１５０、光源制御部１３０、投影光学制御部１８２は、これらの各ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあっても良い。または、例えば、ＲＯＭ１１２に記憶されたプログラムによって、ＣＰＵ１１０が各ブロックと同様の処理を実行しても良い。

カメラ１０１はプロジェクタ１００の外を撮像することができる。ＣＰＵ１１０はカメラ１０１の撮像を制御することができる。撮像された画像はＲＡＭ１１１に保存することができ、ＣＰＵ１１０において画像の解析を行うこともできる。カメラ１０１はプロジェクタ１００の内部に限らず、外側にあってもよい。

次に、図１における、プロジェクタ１００とスクリーン１０２の間の物体の有無の判定方法について述べる。ここで言う物体とは、物に限らず、人や、人の体の一部を含む。

本発明においては、映像領域と非映像領域の境界の撮像情報から、物体の有無を判定することを特徴とする。

物体の有無の判定方法について、２つの方法を述べる。本発明においては、２つの方法のいずれを用いても構わないし、映像領域と非映像領域の境界の撮像情報を用いれば他の方法でも構わない。

１つ目の方法は、境界の歪みにより判定する方法である。図３（ａ）のように、スクリーン１０２には、プロジェクタ１００から映像が投影され、映像領域１０３が形成されている。映像領域１０３の外側は非映像領域１０４である。映像領域１０３と非映像領域１０４とは明るさが異なっている。カメラ１０１は、映像領域１０３と非映像領域１０４とを撮像することができて、映像領域１０３と非映像領域１０４の境界で明るさの段差をとらえることができる。プロジェクタ１００とスクリーン１０２の間に物体３０１が無い場合は、映像領域１０３と非映像領域１０４の境界３０２は直線になっている。

一方、プロジェクタ１００とスクリーン１０２の間に物体３０１が有る場合には、境界３０２の少なくとも一部が直線にならないように撮像されうる。この違いによって、物体３０１の有無を判定しうる。例えば、ある時刻に撮像した画像における直線が、別の時刻に撮像した画像において直線でないことにより判定をすればよい。ＣＰＵ１１０がこの判定を行うことができる。

２つ目の方法は、境界の明るさの差の変化により判定する方法である。図４（ａ）においてスクリーン１０２には、プロジェクタ１００から映像が投影され、映像領域１０３が形成されている。映像領域１０３の外側は非映像領域１０４である。図４（ａ）の一点鎖線で示されるＡ−Ｂ上の、各位置における明るさは図４（ｂ）のようになる。図４（ｂ）のように映像領域１０３と非映像領域１０４の境界において、明るさの段差がある。図４（ｃ）においては、図４（ａ）に加えて、物体４０１がある。カメラ１０１から見て物体４０１は、映像領域１０３と非映像領域１０４の境界をまたいでいる。

図４（ｃ）の一点鎖線で示されるＣ−Ｄ上の、各位置における明るさは、例えば図４（ｄ）のようになる。物体４０１やスクリーン１０２の反射率によって、各位置の明るさが決まる。物体４０１とスクリーン１０２の反射率が異なれば、映像領域１０３と非映像領域１０４の境界における明るさの段差は、物体４０１の有無によって異なる。したがって、映像領域１０３と非映像領域１０４の境界における明るさの差の変化により、物体４０１の有無を判定しうる。例えば、ある時刻に撮像した画像におけるコントラストが、別の時刻に撮像した画像において変化することにより判定をすればよい。ＣＰＵ１１０がこの判定を行うことができる。なお、境界の位置をカメラを用いて自動的に検出する方法については、公知であるため説明を割愛する。

次に、図５を用いて本発明におけるフローチャートを説明する。Ｓ５０１はフローチャートの開始である。ここでは、プロジェクタが起動している。Ｓ５０２ではユーザが映像の表示をプロジェクタ１００に指示する。Ｓ５０３では、ユーザが物体の検出後の指示内容を選択する。指示内容については後述する。Ｓ５０４では、ＣＰＵ１１０が終了処理を行うかを判定する。終了処理を行うかどうかはユーザがプロジェクタ１００に指定した内容に基づいてＣＰＵ１１０が判断することができる。終了処理を行った場合、後述のＳ５０６からＳ５０８のステップを行わなくなる。

Ｓ５０６では、ＣＰＵ１１０の指示に基づいてカメラが撮像を行う。撮像は所定の時間ごとに永続的に行ってもよいし、決められた回数だけ行っても良い。Ｓ５０７ではＣＰＵ１１０がカメラ１０１によって撮像された画像に基づいて物体の有無の判定を行う。物体の有無の判定には、先述したとおり、映像領域１０３と非映像領域１０４の境界の情報を用いる。

なお、映像領域１０３と非映像領域１０４の境界の情報を用いる方法であれば、方法は限定されるものではない。ＣＰＵ１１０により物体が無いと判定された場合には、Ｓ５０４に戻る。ＣＰＵ１１０により物体が有ると判定された場合には、Ｓ５０８に進む。Ｓ５０８では、Ｓ５０３において選択された指示内容に基づいてＣＰＵ１１０が内部ブロック各所へ指示を行った後にＳ５０４へと戻る。

Ｓ５０８の指示内容は、例えばスライドショーを投影している場合に、スライドショーを１つ送る、といった指示である。この場合、ユーザがスライドショーを送りたい場合に、映像領域１０３と非映像領域１０４の境界に手をかざすことによって操作できるため、プロジェクタやプロジェクタを操作するリモコンを操作する必要がない。指示内容は、スライドショーを送る操作に限らず、プロジェクタが実行できるものであれば、どのようなものであってもよい。

また、映像領域１０３と非映像領域１０４の境界の、変化している部分の数に応じて指示を出してもよい。図３（ｂ）のように、物体３０３、３０４、３０５がそれぞれ異なる位置において境界をまたいでいる場合には、図３（ａ）において説明した直線の歪みが、３箇所検出できる。３箇所で検出された場合と、１箇所で検出された場合とで、異なる指示内容としておくこともできる。このような選択は、図５のＳ５０３において設定できる。物体３０３、３０４、３０５が３本の指であれば、ユーザは指の本数によって異なる指示を出すことが可能になる。

また、物体の動きによって指示内容をかえてもよい。図５のＳ５０６で複数の撮像をおこなうため、例えば映像領域１０３と非映像領域１０４の境界をまたいだまま、物体を動かし、その動きによって指示を変えても良い。動く方向や、単位時間あたりに動く距離によって指示を変えても良い。また、指示内容が、映像領域へのアイコンの表示でもよい。アイコンが表示された後に、ユーザがアイコンに手をかざし、ユーザの手をカメラが検出して、アイコンの内容に応じた操作をプロジェクタが実行してもよい。

以上のように、本発明に記載のプロジェクタを含むシステムでは、映像領域の外にマーカーを投影しないでも、ユーザが指示を出す位置がわかるため、投影される映像領域が広く、かつ、誤判定がされにくいと言える。

［第２の実施形態］
第２の実施形態においては、映像に応じて物体の有無の判定方法を変えることを特徴とする。第１の実施形態と同じ部分については説明を割愛する。プロジェクタ１００から投影される元となる映像が、暗い映像である場合、映像領域１０３の明るさが暗くなることがある。このような場合、カメラ１０１の露光時間を増加させることが好ましい。投影される映像の明るさは、画像処理部１４０を通じて、ＣＰＵ１１０が得ることができる。映像に応じて、ＣＰＵ１１０は、カメラ１０１の露光時間、撮影回数、画角、撮影位置などの撮影条件を変えることができる。また、映像の一部が暗く、一部が明るいという場合は、映像領域の明るい場所と非映像領域の境界の情報に基づいて、物体の有無を判定してもよい。このようにして、映像によらず、物体の有無の判定しうる。

なお、投影される元となる映像が暗いかどうかは、予め設定された閾値を超えたかどうかによってＣＰＵ１１０が判定することができる。閾値は、映像全体に対して設定されるものであってもよいし、映像の端部など、映像の一部に対して設定されるものでもよい。映像の一部に設定される場合、各々の位置ごとに閾値が設定されてもよい。また、明るさごとに複数の閾値が設定されてもよく、各々の閾値ごとに、カメラ１０１の撮影条件を変更させてもよい。

＜第３の実施形態＞
第３の実施形態においては、映像が暗い場合に映像領域内の端部を明るくすることを特徴とする。第１の実施形態と同じ部分については説明を割愛する。

投影される映像が暗い場合、ユーザは手をかざす位置がわかりづらくなるということがある。すなわち、図６（ａ）のスクリーン１０２における、映像領域１０３と非映像領域１０４の境界がわかりづらいことがある。図６（ｂ）のように、映像領域１０３内の端部６０１を明るくすれば、ユーザは手をかざす位置がわかりやすくなる。このとき、映像そのものにゲインをかけて明るくしてもよいし、明るい線を映像に重畳させてもよい。

また、図６（ｃ）のように左右の端部６０２、６０３だけを明るくしてもよい。あるいは、左右の一方の端部だけを明るくしても良い。この場合、スクリーン１０２の左または右に立つユーザにとって手をかざしやすい。このようにして、映像が暗くてもユーザは手をかざすべき位置がわかりやすくなる。

なお、映像が暗いかどうかは、予め設定された閾値を超えたかどうかによってＣＰＵ１１０が判定することができる。映像の明るさは、ＣＰＵ１１０が画像入力部１２０から取得してもよいし、カメラ１０１を用いて撮影により取得してもよい。閾値は、映像全体に対して設定されるものであってもよいし、映像の端部など、映像の一部に対して設定されるものでもよい。映像の一部に設定される場合、各々の位置ごとに閾値が設定されてもよい。

また、明るさごとに複数の閾値が設定されてもよく、各々の閾値ごとに、明るくする端部の、表示条件を変更させてもよい。表示条件とは、明るくする端部の幅や長さや、または、明るくする端部の明るさである。明るくする端部の幅や長さを短くすれば、映像をそのまま投影できる領域が広くなり、映像の視聴者にとって好適となる。一方、明るくする端部の幅や長さを長くすれば、映像領域１０３と非映像領域１０４の境界に手をかざすユーザにとって、手をかざす位置がわかりやすくなる。明るくする端部の、明るさについても同様である。これらの閾値や表示条件の設定は、予めプロジェクタ１００に設定されておいてもよいし、ユーザが適宜変更できるものであってもよい。

＜その他の実施形態＞
上記の実施例において、プロジェクタ１００とカメラ１０１は一体に構成されていたが、それぞれ別体としてもよい。この場合、プロジェクタ１００とカメラ１０１は、何らかの通信手段によって通信していることが望ましい。そして、カメラ１０１は投影領域を撮影し画像データをプロジェクタに１００に送信するか、カメラが投影領域の画像を解析して、解析結果をプロジェクタに送信するようにすることが好ましい。

この時プロジェクタ１００は、カメラ１０１から受信した画像または解析結果に基づき、上記の実施例と同様に手かざし判定や、表示画像の切り替えなどを実行するようにすると良い。

１００・・プロジェクタ、１０１・・カメラ、１０２・・スクリーン、
１０３・・映像領域、１０４・・非映像領域

Claims (10)

1. プロジェクタとカメラとを含むシステムであって、
   前記カメラは、前記プロジェクタから映像を投影されている映像領域と、前記プロジェクタから映像を投影されていない非映像領域と、を撮像し、
   撮像された画像の、前記映像領域と前記非映像領域の境界の情報を用いることにより、
   前記映像領域または前記非映像領域と、前記プロジェクタとの間の物体の有無を判定することを特徴とするシステム。
2. 前記境界の情報は、前記映像領域と前記非映像領域の境界の歪みである、請求項１に記載のシステム。
3. 前記境界の情報は、前記映像領域と前記非映像領域の境界の輝度の差の変化である、請求項１に記載のシステム。
4. 投影される前記映像に応じて、前記カメラの露光時間、撮影回数、画角、撮影位置のいずれか１つ以上を変更する請求項１に記載のシステム。
5. 投影される前記映像の少なくとも一部の明るさが第一の値よりも低い場合に、前記映像領域の端部の明るさを第二の値にして投影する請求項１乃至４のいずれか１項に記載のシステム。
6. 投影される前記映像の少なくとも一部の明るさが第一の値よりも低い場合に、前記映像領域の左右いずれか、または、左右両側の、端部の明るさを第二の値にして投影する請求項１乃至４のいずれか１項に記載のシステム。
7. 明るさを第二の値にして投影される前記端部の幅、または、長さは、投影される前記映像の少なくとも一部の明るさに応じて決定される請求項５または６に記載のシステム。
8. 物体の有無の判定結果に基づいて指示を行う請求項１乃至７のいずれか１項に記載のシステム。
9. 物体が有ると判定された場合に、物体が前記境界を跨ぐ数に基づいて指示を行う請求項８に記載のシステム。
10. 前記プロジェクタとカメラとが一体となって構成されていることを特徴とする請求項１乃至９のいずれか１項に記載のシステム。