JP2016005055A - プロジェクター及び投写方法 - Google Patents

Abstract

【課題】プロジェクターによって電子ミラー装置を実現する。
【解決手段】プロジェクター１０は、撮影部１００により撮影され、被写体を含む映像を表す映像信号を取得する取得部２００と、被写体までの距離を測定する測距部３００と、取得部２００により取得された映像信号が表す映像のうちの被写体の部分について、測距部３００により測定された距離に応じた幾何学補正処理を実行する画像処理部５００と、画像処理部５００により補正された映像の鏡像を投写面に投写する投写部７００とを備える。
【選択図】図１

Description

本発明は、鏡像を表示する技術に関する。

表示装置を撮影装置と組み合わせ、鏡のように使用することがある。このような装置（又はシステム）のことを、以下においては「電子ミラー装置」という。電子ミラー装置を実現しようとすると、設備が大がかりになったり、専用の装置が必要になったりするのが一般的である（例えば、特許文献１、２参照）。

特開２００１−２５００４号公報 国際公開第２００９／１５３９７５号

本発明の目的の一つは、プロジェクターによって電子ミラー装置を実現することにある。

本発明は、一の態様において、撮影部により撮影され、被写体を含む映像を表す映像信号を取得する取得部と、前記取得部により取得された映像信号が表す映像のうちの前記被写体の部分について幾何学補正処理を実行する補正処理部と、前記補正処理部により補正された映像の鏡像を投写面に投写する投写部とを備えるプロジェクターを提供する。
この態様によれば、プロジェクターによって電子ミラー装置を実現することが可能である。

また、前記プロジェクターは、前記被写体までの距離を特定する特定部を備え、前記補正処理部は、前記取得部により取得された映像信号が表す映像のうちの前記被写体の部分について、前記特定部により特定された距離に応じた幾何学補正処理を実行してもよい。
このようにすれば、被写体までの距離が一定でなくても、そのときどきの距離に応じた幾何学補正処理を実行することが可能である。

また、前記特定部は、前記被写体までの距離と、当該被写体以外の背景までの距離とを特定し、前記補正処理部は、前記映像のうちの前記被写体の部分について、当該被写体までの距離に応じた幾何学補正処理を実行し、当該映像のうちの前記背景の部分について、当該背景までの距離に応じた幾何学補正処理を実行してもよい。
このようにすれば、被写体の歪みと背景の歪みをそれぞれ補正することが可能である。

また、前記プロジェクターは、前記補正処理部により補正された映像のうちの前記被写体の部分と前記背景の部分の相対的な位置関係を調整する位置調整部を備えてもよい。
このようにすれば、被写体と背景の位置関係を調整し、ユーザーの見た目に近付けることが可能である。

また、前記投写部は、光変調素子を備え、当該光変調素子を走査する順序を変えることにより元の映像の鏡像を投写してもよい。
このようにすれば、鏡像にするための画像処理が不要である。

また、前記投写部は、前記補正処理部により補正された映像のうちの前記被写体以外の部分について、あらかじめ決められた背景映像を投写してもよい。
このようにすれば、背景を補正する必要がなくなる。

また、前記プロジェクターは、当該プロジェクターから見て前記投写面がある側と反対側に前記撮影部を備えてもよい。
このようにすれば、プロジェクターをユーザーの前方に設置し、ユーザーの姿を確認することが容易になる。

また、前記撮影部は、ステレオカメラを備え、前記特定部は、前記撮影部により撮影された映像に基づいて距離を特定してもよい。
このようにすれば、測距する手段を別途設ける必要がなくなる。

また、前記取得部は、前記映像信号と、前記被写体の比較対象を表す比較データとを取得し、前記投写部は、前記補正処理部により補正された映像の鏡像と前記比較データが表す比較対象とを投写してもよい。
このようにすれば、被写体と比較対象とを同時に確認することが容易になる。

また、本発明は、別の態様において、被写体を含む映像を撮影し、前記撮影された映像のうちの前記被写体の部分について幾何学補正処理を実行し、前記幾何学補正処理が実行された映像の鏡像を投写面に投写するプロジェクターの投写方法を提供する。
この態様によっても、プロジェクターによって電子ミラー装置を実現することが可能である。

プロジェクターのハードウェア構成を示すブロック図 プロジェクターの設置状況を例示する図 視点の違いによる見え方の違いを説明するための模式図 画像処理部の構成を示すブロック図 プロジェクターが実行する処理を示すフローチャート

［実施例］
図１は、本発明の一実施例であるプロジェクター１０のハードウェア構成を示すブロック図である。本実施例において、プロジェクター１０は、電子ミラー装置として用いられる。プロジェクター１０は、被写体（ここではユーザー自身）を撮影し、撮影によって得られた映像に所定の画像処理を施してこれを投写面に投写する。プロジェクター１０は、撮影部１００と、取得部２００と、測距部３００と、制御部４００と、画像処理部５００と、操作部６００と、投写部７００とを含んで構成される。

撮影部１００は、被写体を撮影する手段である。撮影部１００は、ＣＣＤ（Charge Coupled Device）などの撮像素子によるイメージセンサーを備え、受光した光に応じた映像信号を生成して出力する。なお、撮影部１００は、プロジェクター１０と一体に構成されていてもよいし、プロジェクター１０の本体とは別に設けられてもよい。例えば、プロジェクター１０本体とは独立に構成されたデジタルスチルカメラが撮影部１００として機能することも可能である。

ここにおいて、映像信号は、撮影部１００により撮影された映像を表す信号である。映像信号が表す映像には、被写体の像とそれ以外の像とが含まれる。以下においては、映像信号が表す映像のうちの被写体以外の部分のことを「背景」と総称する。すなわち、本発明でいう被写体とは、撮影された物体の全てではなく、撮影された物体のうちの特定のものをいい、本実施例においてはユーザー自身である。なお、本実施例においては、被写体と背景との間には有意な距離差があり、これらが距離に基づいて識別可能であるとする。また、ここでは、背景は静物、すなわち動かない物体であるとする。

取得部２００は、映像信号を取得する手段である。取得部２００は、ＵＳＢ（Universal Serial Bus）ケーブルなどを介して撮影部１００と有線接続されるインターフェースを備えてもよいが、無線ＬＡＮ（Local Area Network）などを介して撮影部１００と無線接続されてもよい。また、取得部２００は、撮影部１００により生成された映像信号のほか、パーソナルコンピューターなどの外部機器からも映像信号を取得できるように構成されていてもよい。

測距部３００は、距離を計測する手段である。測距部３００は、赤外線や超音波を用いて対象物との距離を計測するセンサーを備える。測距部３００は、プロジェクター１０から被写体までの距離及びプロジェクター１０から背景までの距離をそれぞれ計測し、これらを測距データとして制御部４００に供給する。なお、測距部３００は、撮影部１００と一体に設けられてもよい。また、プロジェクター１０、被写体及び背景の位置関係（距離）があらかじめ決められていれば、測距部３００による測距は不要であり、この場合には後述する特定部５１０も不要である。

制御部４００は、プロジェクター１０の各部の動作を制御する手段である。制御部４００は、ＣＰＵ（Central Processing Unit）などの演算処理装置と、データを記憶するメモリーとを備える。画像処理部５００は、映像に対する各種の画像処理を実行する手段である。画像処理部５００は、専用の画像処理回路（すなわちハードウェア）によって実現されてもよいし、ソフトウェア処理によって実現されてもよい。なお、画像処理部５００は、制御部４００によって実現されてもよい。

操作部６００は、ユーザーの操作を受け付ける手段である。操作部６００は、例えば、プロジェクター１０に設けられ、複数のボタンを備えた操作パネルを含んで構成される。また、操作部６００は、リモートコントローラー及びリモートコントローラーからの信号を受信する受信部を含んで構成されてもよい。操作部６００は、ユーザーの操作を表す操作信号を制御部４００に供給する。

投写部７００は、映像を投写する手段である。投写部７００は、光源、光源から入射する光を映像信号に応じて変調する光変調素子（液晶パネル等）、投写光学系（レンズ等）などを備え、制御部４００を介して供給された映像信号に応じた映像を投写面に投写する。投写面は、特に限定されないが、例えば、白色の壁面やスクリーンである。

図２は、プロジェクター１０の設置状況を例示する図である。同図において、ＳＣは投写面の一例であるスクリーンを示している。また、ＵＳは被写体の一例であるユーザーを示し、ＢＧは背景を示している。ここにおいて、ユーザーＵＳは、前方にあるスクリーンＳＣを見ている。プロジェクター１０は、スクリーンＳＣに映像を投写する投写レンズ７１０を前方に向けたとき、ユーザーＵＳ及び背景ＢＧを撮影するための撮影レンズ１１０が後方を向くように構成されている。すなわち、撮影レンズ１１０は、プロジェクター１０から見てスクリーンＳＣがある側と反対側に設けられている。なお、撮影レンズ１１０は撮影部１００の一部であり、投写レンズ７１０は投写部７００の一部である。また、撮影レンズ１１０は、撮影方向を変えられるように構成されていてもよい。

図２に示す例において、プロジェクター１０は、床面に置かれている。したがって、プロジェクター１０によるユーザーＵＳの撮影は、いわゆるローアングルからの撮影となる。このようにプロジェクター１０を設置した場合、プロジェクター１０によって撮影された映像は、視点の位置が異なるため、ユーザーが姿見などの鏡で見た自身の姿とは大きく異なる。具体的には、ユーザー自身については、下半身が上半身よりも太く、かつ縦に長くなる。また、ユーザーと背景との相対的な位置関係も変化し、背景が相対的に低い位置に移動する（例えば、映像上では、天井がユーザーの実際の見た目よりも低い位置に表示される。）。

図３は、視点の違いによる見え方の違いを説明するための模式図である。なお、同図の記載は、見え方の違いを端的に示すためのものであるため、厳密なものではない。図３において、画像ＩＭ１、ＩＭ２は、物体Ｏ１、Ｏ２を異なる視点から見た場合の画像を示している。ここにおいて、物体Ｏ１は、視点の位置から見て物体Ｏ２よりも遠方にあるものとする。画像ＩＭ１は、物体Ｏ１、Ｏ２をユーザーの視点の高さから見た場合を示し、画像ＩＭ２は、物体Ｏ１、Ｏ２をユーザーの視点よりも低い位置から（すなわちローアングルで）見た場合を示している。

このように、ローアングルで撮影した場合、撮影された物体は、視点に起因する歪みが生じ、例えば長方形に見えていた物体が上底よりも下底が長い台形に見えるようになる。また、ローアングルで撮影した場合、近くにある物体と遠くにある物体の距離感が変化し、遠くにある物体が近くにある物体に接近したように見えるようになり、場合によっては近くにある物体に隠れて見えなくなってしまう。

そこで、プロジェクター１０は、撮影した映像をユーザーの見た目に近付けるために、視点に起因する歪みを補正する第１の処理と、被写体と背景の相対的な位置関係を調整する第２の処理とを実行する。これらの処理は、プロジェクターに通常備わっている機能を応用することで実現可能であり、専用の画像処理を実行する場合に比べ、画像処理の実現に要する負担を軽減することが可能である。

図４は、これらの処理を実行する画像処理部５００の構成を示すブロック図である。画像処理部５００は、より詳細には、特定部５１０と、補正処理部５２０と、位置調整部５３０とを含んで構成される。

特定部５１０は、距離を特定する手段である。本実施例において、特定部５１０は、測距部３００から供給される測距データに基づいて、プロジェクター１０（撮影部１００）から被写体までの距離及びプロジェクター１０（撮影部１００）から背景までの距離を特定する。なお、特定部５１０は、後述する他の方法でこれらの距離を特定することも可能である。

補正処理部５２０は、映像データに対して幾何学補正処理を実行する手段である。ここでいう幾何学補正処理とは、映像の形状（すなわち、各画素の位置）を幾何学的に変更する処理をいい、主として映像の歪みの補正に用いられる画像処理である。例えば、プロジェクターに一般的に備わっている台形歪補正処理（キーストーン補正処理ともいう。）は、ここでいう幾何学補正処理の一例に相当する。補正処理部５２０が実行する処理は、上述した第１の処理に相当する。

補正処理部５２０は、特定部５１０により特定された距離に応じた補正を映像に対して実行する。具体的には、補正処理部５２０は、映像データが表す映像のうちの被写体の部分については、被写体までの距離に応じた幾何学補正処理を実行する一方で、映像データが表す映像のうちの背景の部分については、背景までの距離に応じた幾何学補正処理を実行する。

位置調整部５３０は、補正処理部５２０により補正された映像のうちの被写体の部分と背景の部分の相対的な位置関係を調整する手段である。位置調整部５３０による調整は、これらの部分の一方（又は両方）を上下方向に移動させるものであり、これも幾何学補正処理の一例であるといえる。位置調整部５３０は、補正処理部５２０と同様に、特定部５１０により特定された距離に応じた調整を実行することができる。位置調整部５３０が実行する処理は、上述した第２の処理に相当する。

図５は、プロジェクター１０を電子ミラー装置として利用するための処理の一例を示すフローチャートである。図５に示す例は、背景をあらかじめ撮影し、これによって被写体と背景の区別を可能にするものである。ここにおいて、プロジェクター１０の制御部４００は、まず、背景を撮影する（ステップＳ１）。すなわち、被写体たるユーザーは、プロジェクター１０を所定の位置に設置し、自身を含まない状態で映像を撮影する。このとき、制御部４００は、測距部３００から供給された測距データに基づいて背景との距離を特定しておく。

次に、制御部４００は、背景用の第１の補正パラメーターを算出する（ステップＳ２）。補正パラメーターは、映像を構成する各画素の座標を変換するための係数である。この補正パラメーターは、背景を構成する各画素について求められるものであり、各画素に対応する背景の位置の距離によって一意的に定まる。制御部４００は、第１の補正パラメーターを算出したら、これに基づいて背景の補正を実行する（ステップＳ３）。この補正は、図３の例からもわかるように、周知の台形歪補正処理と同様のものとなる。すなわち、制御部４００は、映像のうちの背景に相当する部分の画素の座標に対して幾何学補正処理を実行するように画像処理部５００を制御する。画像の歪みを補正する方法は、例えば、特開２００５−１１５７１１号公報に記載されている。制御部４００は、背景の映像が得られたら、これをメモリーに記録しておく。

このようにして背景の映像が得られたら、制御部４００は、続いて被写体を撮影する（ステップＳ４）。このとき、ユーザーは、プロジェクター１０の位置や背景の構成を変えないようにしつつ、プロジェクター１０が撮影可能な位置に移動する。ここでも、制御部４００は、測距部３００から供給された測距データに基づいて被写体との距離を特定しておく。

次に、制御部４００は、被写体用の第２の補正パラメーターを算出する（ステップＳ５）。第２の補正パラメーターは、各画素に対応する距離が異なる点を除き、第１の補正パラメーターと同様のものである。そして、制御部４００は、このとき撮影している映像から被写体を抽出する（ステップＳ６）。制御部４００は、測距データが表す距離が所定の閾値未満の画素を被写体として抽出し、それ以外の画素を背景とする。

被写体が抽出されたら、制御部４００は、抽出した被写体を第２の補正パラメーターに基づいて補正する（ステップＳ７）。具体的には、制御部４００は、映像のうちの被写体に相当する部分の画素について、距離に応じた幾何学補正処理を実行するように画像処理部５００を制御する。このとき実行される処理は、補正パラメーターが異なる点を除き、ステップＳ３の処理と同様である。

このようにして補正した被写体が得られたら、制御部４００は、補正した被写体の映像に背景の映像を重畳する処理を実行する（ステップＳ８）。このとき重畳される背景の映像は、ステップＳ３において補正され、メモリーに記録された映像である。また、このとき制御部４００は、被写体と背景の相対的な位置関係を各々の距離に基づいて調整する。以下においては、このようにして得られた映像のことを「合成映像」という。すなわち、合成映像は、被写体と背景とを所定の処理を施した上で合成した映像である。

最後に、制御部４００は、投写部７００に合成映像の鏡像を投写させる（ステップＳ９）。鏡像を投写する機能は、プロジェクターに一般的に備わる機能であるが、例えば、光変調素子を走査する順序を変えることによって実現可能である。なお、制御部４００は、画像処理によって映像を反転させてもよい。

制御部４００は、図５に示した処理を、望ましくはフレーム毎に実行する。ただし、被写体の前後方向（奥行き方向）の移動が無視できる程度に小さい場合であれば、制御部４００は、補正パラメーターをフレーム毎に算出せずに、一度算出した補正パラメーターを繰り返し用いてもよい。すなわち、制御部４００は、あるフレームにおいてステップＳ２、Ｓ５において算出した補正パラメーターを記録し、これを読み出すことによって以降のフレームの補正を行ってもよい。

以上のとおり、本実施例によれば、プロジェクターに一般的に備わっている機能によって電子ミラー装置を実現することが可能である。また、本実施例によれば、プロジェクター１０をさまざまな場所に設置することが可能であるため、場所の制約を受けることなく電子ミラー装置を利用することが可能になる。

［変形例］
本発明は、上述した実施例に限らず、以下に例示する形態でも実施可能である。また、本発明は、必要に応じて、以下に示す変形例を複数組み合わせた形態でも実施することができる。

（１）本発明は、ローアングルからの撮影に限定されるものではなく、例えば、プロジェクター１０をいわゆる天吊りの状態（天井に取り付けられた状態）で用いる場合にも適用可能である。本発明は、このような場合であっても、補正パラメーターの値が異なるだけで、上述した実施例と同様の要領で実行可能である。

（２）本発明における背景は、実際の背景でなくてもよい。したがって、プロジェクター１０は、撮影部１００により撮影された背景に代えて、あらかじめ用意された適当な背景映像を被写体と合成させてもよい。ここでいう背景映像は、アニメーション映像であってもよいし、クロマキー合成に用いるような特定色の無地の映像（いわゆるブルーバックなど）であってもよい。無地の背景を用いる場合には、位置調整部５３０は不要である。

（３）本発明は、撮影部１００にステレオカメラを用いることも可能である。ここにおいて、ステレオカメラとは、対象物を複数（２以上）の方向から同時に撮影することができるカメラをいう。この場合、制御部４００は、ある方向から撮影された映像と別の方向から撮影された映像との差分に基づいて被写体や背景の距離を特定することが可能である。

また、本発明は、撮影部１００に距離画像センサーを用いることも可能である。ここにおいて、距離画像センサーとは、赤外線やレーザー光を用いて各画素の距離を特定することが可能なイメージセンサーをいう。撮影部１００にステレオカメラや距離画像センサーを用いた場合、撮影部１００自体によって距離の測定が可能であるため、測距部３００は不要である。

（４）プロジェクター１０は、背景を事前に撮影しなくてもよい。例えば、プロジェクター１０は、上述したステレオカメラや距離画像センサーを用いて被写体と背景をリアルタイムに分離することも可能である。また、プロジェクター１０は、背景がない映像、すなわち背景が無色の映像を投写してもよい。

（５）本発明は、スポーツや舞踊において、ユーザーが自身の姿（動き、フォーム）を確認する用途にも利用可能である。このような場合、プロジェクター１０は、被写体の映像の鏡像とともに、比較対象となる映像（手本など）を投写してもよい。この場合、プロジェクター１０は、比較対象を表す比較データを外部から取得してもよいし、比較データをあらかじめ記憶していてもよい。

（６）上述したように、プロジェクター１０の投写方向は、撮影部１００による撮影方向とは反対方向であると望ましい。一方、プロジェクターの中には、映像をミラーに反射させてから投写面に投写するものも存在する。このような場合における投写方向は、ミラーに反射する前の方向のことではなく、ミラーで反射した後の方向のことである。

（７）プロジェクター１０は、被写体を鏡像にすることなくそのまま投写してもよい。この場合、プロジェクター１０は、電子ミラー装置とはいえないが、ローアングルから撮影された映像をユーザーの視点からの映像により近い映像に補正して投写することが可能である。

（８）本発明は、プロジェクターそのもののほかに、プロジェクターの投写方法としても把握することができる。また、本発明は、本発明に係るプロジェクターとして機能させるためのプログラムの形態でも提供され得る。また、本発明に係るプログラムは、ネットワークやその他の通信手段を介してプロジェクターに供給され、これをインストールすることによって利用可能になるような形態で提供されてもよい。

１０…プロジェクター、１００…撮影部、１１０…撮影レンズ、２００…取得部、３００…測距部、４００…制御部、５００…画像処理部、５１０…特定部、５２０…補正処理部、５３０…位置調整部、６００…操作部、７００…投写部

Claims (10)

1. 撮影部により撮影され、被写体を含む映像を表す映像信号を取得する取得部と、
   前記取得部により取得された映像信号が表す映像のうちの前記被写体の部分について幾何学補正処理を実行する補正処理部と、
   前記補正処理部により補正された映像の鏡像を投写面に投写する投写部と
   を備えるプロジェクター。
2. 前記被写体までの距離を特定する特定部を備え、
   前記補正処理部は、前記取得部により取得された映像信号が表す映像のうちの前記被写体の部分について、前記特定部により特定された距離に応じた幾何学補正処理を実行する
   請求項１に記載のプロジェクター。
3. 前記特定部は、前記被写体までの距離と、当該被写体以外の背景までの距離とを特定し、
   前記補正処理部は、前記映像のうちの前記被写体の部分について、当該被写体までの距離に応じた幾何学補正処理を実行し、当該映像のうちの前記背景の部分について、当該背景までの距離に応じた幾何学補正処理を実行する
   請求項２に記載のプロジェクター。
4. 前記補正処理部により補正された映像のうちの前記被写体の部分と前記背景の部分の相対的な位置関係を調整する位置調整部を備える
   請求項３に記載のプロジェクター。
5. 前記投写部は、光変調素子を備え、当該光変調素子を走査する順序を変えることにより元の映像の鏡像を投写する
   請求項１ないし４のいずれか１項に記載のプロジェクター。
6. 前記投写部は、前記補正処理部により補正された映像のうちの前記被写体以外の部分について、あらかじめ決められた背景映像を投写する
   請求項１ないし５のいずれか１項に記載のプロジェクター。
7. 当該プロジェクターから見て前記投写面がある側と反対側に前記撮影部を備える
   請求項１ないし６のいずれか１項に記載のプロジェクター。
8. 前記撮影部は、ステレオカメラを備え、
   前記特定部は、前記撮影部により撮影された映像に基づいて距離を特定する
   請求項１ないし７のいずれか１項に記載のプロジェクター。
9. 前記取得部は、前記映像信号と、前記被写体の比較対象を表す比較データとを取得し、
   前記投写部は、前記補正処理部により補正された映像の鏡像と前記比較データが表す比較対象とを投写する
   請求項１ないし８のいずれか１項に記載のプロジェクター。
10. 被写体を含む映像を撮影し、
    前記撮影された映像のうちの前記被写体の部分について幾何学補正処理を実行し、
    前記幾何学補正処理が実行された映像の鏡像を投写面に投写する
    投写方法。

Images