JP2016054458A - 映像処理装置、映像処理方法、およびプログラム - Google Patents

Abstract

【課題】映像投影装置を用いた大画面映像の表示を、視聴者の位置や向きに応じて容易に最適化する。【解決手段】映像処理装置１は、センサ部１１、状態認識部１２、補正パラメータ生成部１３、および映像補正部１４、１５を備える。センサ部１１は、視聴者の位置および向きを取得する。状態認識部１２は、投影部１６、１７のそれぞれの位置および向きと、センサ部１１により取得された視聴者の位置および向きと、に基づいて、スクリーン１８のうち投影部１６、１７からの映像を表示させる領域の大きさを求める。補正パラメータ生成部１３は、状態認識部１２により求められた領域の大きさに基づいて、投影部１６、１７から投影させる映像を補正するための変換パラメータを決定する。映像補正部１４、１５は、補正パラメータ生成部１３により決定された変換パラメータを用いて入力映像ＳＩＧ２に対して変換処理を行う。【選択図】図１

Description

本発明は、映像処理装置、映像処理方法、およびプログラムに関する。

従来、スクリーン上に映像を投影して表示させる映像投影装置（例えば、プロジェクタ）が提案されている（例えば、特許文献１参照）。特許文献１には、視聴者の視点位置に応じてスクリーンをアクチュエータにより駆動して、歪みの無い映像を一定の視野角で視聴者に観察させる技術が示されている。

特開２００８−１０７５４０号公報

特許文献１に示されている技術では、上述のようにスクリーンをアクチュエータにより駆動させる。このため、特許文献１に示されている技術を、一般的なユーザ宅内で利用することは、困難であった。また、複数のプロジェクタを用いて大画面映像を表示させる場合に、特許文献１に示されている技術により複数のプロジェクタに合わせてスクリーンの駆動を制御することは極めて困難であった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、映像投影装置を用いた大画面映像の表示を、視聴者の位置や向きに応じて容易に最適化することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１） 本発明は、映像投影装置（例えば、図１の投影部１６、１７に相当）から映像をスクリーン（例えば、図１のスクリーン１８に相当）に投影させて表示させる映像処理装置（例えば、図１の映像処理装置１に相当）であって、視聴者の位置および向きを取得するセンサ手段（例えば、図１のセンサ部１１に相当）と、前記映像投影装置の位置および向きと、前記センサ手段により取得された視聴者の位置および向きと、に基づいて、前記スクリーンのうち前記映像投影装置からの映像を表示させる領域の大きさを求める状態認識手段（例えば、図１の状態認識部１２に相当）と、前記状態認識手段により求められた領域の大きさに基づいて、前記スクリーンのうち前記映像投影装置から映像を投影させる領域を決定し、決定した領域に基づいて入力映像を補正するための変換パラメータを決定する補正パラメータ生成手段（例えば、図１の補正パラメータ生成部１３に相当）と、前記補正パラメータ生成手段により決定された変換パラメータを用いて前記入力映像に対して変換処理を行って、前記映像投影装置から投影させる映像を生成する映像補正手段（例えば、図１の映像補正部１４、１５に相当）と、を備えることを特徴とする映像処理装置を提案している。

この発明によれば、映像処理装置に、センサ手段、状態認識手段、補正パラメータ生成手段、および映像補正手段を設け、センサ手段により、視聴者の位置および向きを取得することとした。また、状態認識手段により、映像投影装置の位置および向きと、センサ手段により取得された視聴者の位置および向きと、に基づいて、スクリーンのうち映像投影装置からの映像を表示させる領域の大きさを求めることとした。また、補正パラメータ生成手段により、状態認識手段により求められた領域の大きさに基づいて、スクリーンのうち映像投影装置から映像を投影させる領域を決定し、決定した領域に基づいて入力映像を補正するための変換パラメータを決定することとした。また、映像補正手段により、補正パラメータ生成手段により決定された変換パラメータを用いて入力映像に対して変換処理を行って、映像投影装置から投影させる映像を生成することとした。このため、映像投影装置から投影させる映像を視聴者の位置および向きに応じて補正して、スクリーンをアクチュエータにより駆動させることなく、スクリーン上の映像に歪みが生じてしまうのを抑制することができる。したがって、映像投影装置を用いた大画面映像の表示を、視聴者の位置や向きに応じて容易に最適化することができる。

（２） 本発明は、（１）の映像処理装置について、前記センサ手段は、視聴者の位置および向きとして、当該センサ手段が配置されている位置および向きを基準とした視聴者の相対的な位置および向き、または予め定められた特定の位置および向きを基準とした視聴者の絶対的な位置および向きを取得することを特徴とする映像処理装置を提案している。

この発明によれば、（１）の映像処理装置において、センサ手段により、視聴者の位置および向きとして、センサ手段が配置されている位置および向きを基準とした視聴者の相対的な位置および向き、または予め定められた特定の位置および向きを基準とした視聴者の絶対的な位置および向きを取得することとした。このため、視聴者の位置および向きを適切に取得して、映像投影装置から投影させる映像を視聴者の位置および向きに応じて適切に補正することができるので、映像投影装置を用いた大画面映像の表示を、視聴者の位置や向きに応じてさらに最適化することができる。

（３） 本発明は、（１）または（２）の映像処理装置について、前記補正パラメータ生成手段は、前記変換パラメータの決定に、前記センサ手段により取得された視聴者の向きに対する前記スクリーンの角度も用いることを特徴とする映像処理装置を提案している。

この発明によれば、（１）または（２）の映像処理装置において、補正パラメータ生成手段により、変換パラメータの決定に、センサ手段により取得された視聴者の向きに対するスクリーンの角度も用いることとした。このため、視聴者の向きに対するスクリーンの角度を考慮した上で映像投影装置から投影させる映像を補正することができるので、映像投影装置を用いた大画面映像の表示を、視聴者の位置や向きに応じてさらに最適化することができる。

（４） 本発明は、（１）から（３）のいずれかの映像処理装置について、前記映像投影装置は複数設けられ、当該複数の映像投影装置のそれぞれから投影させた映像を組み合わせて大画面映像を前記スクリーンに表示させ、前記補正パラメータ生成手段は、前記状態認識手段により求められた領域の大きさと、前記複数の映像投影装置のそれぞれの位置および向きと、に基づいて、前記複数の映像投影装置のそれぞれについて、前記スクリーンのうち映像を投影させる領域を決定することを特徴とする映像処理装置を提案している。

この発明によれば、（１）から（３）のいずれかの映像処理装置において、映像投影装置が複数設けられ、これら複数の映像投影装置のそれぞれから投影させた映像を組み合わせて大画面映像を前記スクリーンに表示させる場合に、補正パラメータ生成手段により、状態認識手段により求められた領域の大きさと、複数の映像投影装置のそれぞれの位置および向きと、に基づいて、複数の映像投影装置のそれぞれについて、スクリーンのうち映像を投影させる領域を決定することとした。このため、複数の映像投影装置からの映像を組み合わせて大画面映像を表示させる場合にも、大画面映像の表示を、視聴者の位置や向きに応じて容易に最適化することができる。

（５） 本発明は、（１）から（４）のいずれかの映像処理装置について、前記スクリーンは、複数の投影面（例えば、図３の第１のスクリーン１８１および第２のスクリーン１８２に相当）を連結して構成されており、前記状態認識手段は、前記スクリーンのうち前記映像投影装置からの映像を表示させる領域の大きさを、前記複数の投影面のそれぞれについて求め、前記補正パラメータ生成手段は、前記スクリーンのうち映像を投影させる領域を、前記複数の投影面のそれぞれについて決定することを特徴とする映像処理装置を提案している。

この発明によれば、（１）から（４）のいずれかの映像処理装置において、スクリーンが複数の投影面を連結して構成されている場合に、状態認識手段により、スクリーンのうち映像投影装置からの映像を表示させる領域の大きさを、複数の投影面のそれぞれについて求め、補正パラメータ生成手段により、スクリーンのうち映像を投影させる領域を、複数の投影面のそれぞれについて決定することとした。このため、スクリーンが複数の投影面を連結して構成されている場合にも、映像投影装置を用いた大画面映像の表示を、視聴者の位置や向きに応じて容易に最適化することができる。

（６） 本発明は、（１）から（５）のいずれかの映像処理装置について、前記映像投影装置の位置および向きの少なくともいずれかを駆動制御する駆動制御手段（例えば、図２の駆動制御部２１に相当）を備え、前記状態認識手段は、前記映像投影装置の位置および向きと、前記センサ手段により取得された視聴者の位置および向きと、に基づいて、前記映像投影装置の位置および向きの少なくともいずれかを前記駆動制御手段により駆動制御するための制御信号を生成することを特徴とする映像処理装置を提案している。

この発明によれば、（１）から（５）のいずれかの映像処理装置において、映像投影装置の位置および向きの少なくともいずれかを駆動制御する駆動制御手段を設けることとした。また、状態認識手段により、映像投影装置の位置および向きと、センサ手段により取得された視聴者の位置および向きと、に基づいて、映像投影装置の位置および向きの少なくともいずれかを駆動制御手段により駆動制御するための制御信号を生成することとした。このため、映像投影装置の位置および向きと、視聴者の位置や向きと、に応じて映像投影装置の位置や向きを駆動制御することができる。

（７） 本発明は、（６）の映像処理装置について、前記駆動制御手段は、前記映像投影装置の位置および向きの少なくともいずれかを駆動制御して、前記スクリーンに表示される映像の中央に視聴者の向きが向くようにすることを特徴とする映像処理装置を提案している。

この発明によれば、（６）の映像処理装置において、駆動制御手段により、映像投影装置の位置および向きの少なくともいずれかを駆動制御して、スクリーンに表示される映像の中央に視聴者の向きが向くようにすることとした。このため、大画面映像を視聴者が見やすいようにすることができる。

（８） 本発明は、（１）から（７）のいずれかの映像処理装置について、前記補正パラメータ生成手段は、視聴者の位置および向きを用いて変換パラメータを決定することを特徴とする映像処理装置を提案している。

この発明によれば、（１）から（７）のいずれかの映像処理装置において、補正パラメータ生成手段により、視聴者の位置および向きを用いて変換パラメータを決定することとした。このため、視聴者の位置および向きを、変換パラメータに的確に反映させることができ、映像投影装置を用いた大画面映像の表示を、視聴者の位置や向きに応じてさらに最適化することができる。

（９） 本発明は、（８）の映像処理装置について、前記補正パラメータ生成手段は、視聴者の位置および向きを用いて、台形補正パラメータを前記変換パラメータとして決定することを特徴とする映像処理装置を提案している。

この発明によれば、（８）の映像処理装置において、補正パラメータ生成手段により、視聴者の位置および向きを用いて、台形補正パラメータを変換パラメータとして決定することとした。このため、入力映像のうち手前に位置しているオブジェクトほど、大きく表示させることができるので、立体感を感じさせる視覚効果を視聴者に付与することができる。

（１０） 本発明は、センサ手段（例えば、図１のセンサ部１１に相当）、状態認識手段（例えば、図１の状態認識部１２に相当）、補正パラメータ生成手段（例えば、図１の補正パラメータ生成部１３に相当）、および映像補正手段（例えば、図１の映像補正部１４、１５に相当）を備え、映像投影装置（例えば、図１の投影部１６、１７に相当）から映像をスクリーン（例えば、図１のスクリーン１８に相当）に投影させて表示させる映像処理装置（例えば、図１の映像処理装置１に相当）における映像処理方法であって、前記センサ手段が、視聴者の位置および向きを取得する第１のステップと、前記状態認識手段が、前記映像投影装置の位置および向きと、前記第１のステップにより取得された視聴者の位置および向きと、に基づいて、前記スクリーンのうち前記映像投影装置からの映像を表示させる領域の大きさを求める第２のステップと、前記第２のステップにより求められた領域の大きさに基づいて、前記スクリーンのうち前記映像投影装置から映像を投影させる領域を決定し、決定した領域に基づいて、入力映像を補正するための変換パラメータを決定する第３のステップと、前記第３のステップにより決定された変換パラメータを用いて前記入力映像に対して変換処理を行って、前記映像投影装置から投影させる映像を生成する第４のステップと、を備えることを特徴とする映像処理方法を提案している。

この発明によれば、センサ手段により、視聴者の位置および向きを取得することとした。また、状態認識手段により、映像投影装置の位置および向きと、センサ手段により取得された視聴者の位置および向きと、に基づいて、スクリーンのうち映像投影装置からの映像を表示させる領域の大きさを求めることとした。また、補正パラメータ生成手段により、状態認識手段により求められた領域の大きさに基づいて、スクリーンのうち映像投影装置から映像を投影させる領域を決定し、決定した領域に基づいて入力映像を補正するための変換パラメータを決定することとした。また、映像補正手段により、補正パラメータ生成手段により決定された変換パラメータを用いて入力映像に対して変換処理を行って、映像投影装置から投影させる映像を生成することとした。このため、映像投影装置から投影させる映像を視聴者の位置および向きに応じて補正して、スクリーンをアクチュエータにより駆動させることなく、スクリーン上の映像に歪みが生じてしまうのを抑制することができる。したがって、映像投影装置を用いた大画面映像の表示を、視聴者の位置や向きに応じて容易に最適化することができる。

（１１） 本発明は、センサ手段（例えば、図１のセンサ部１１に相当）、状態認識手段（例えば、図１の状態認識部１２に相当）、補正パラメータ生成手段（例えば、図１の補正パラメータ生成部１３に相当）、および映像補正手段（例えば、図１の映像補正部１４、１５に相当）を備え、映像投影装置（例えば、図１の投影部１６、１７に相当）から映像をスクリーン（例えば、図１のスクリーン１８に相当）に投影させて表示させる映像処理装置（例えば、図１の映像処理装置１に相当）における映像処理方法を、コンピュータに実行させるためのプログラムであって、前記センサ手段が、視聴者の位置および向きを取得する第１のステップと、前記状態認識手段が、前記映像投影装置の位置および向きと、前記第１のステップにより取得された視聴者の位置および向きと、に基づいて、前記スクリーンのうち前記映像投影装置からの映像を表示させる領域の大きさを求める第２のステップと、前記第２のステップにより求められた領域の大きさに基づいて、前記スクリーンのうち前記映像投影装置から映像を投影させる領域を決定し、決定した領域に基づいて、入力映像を補正するための変換パラメータを決定する第３のステップと、前記第３のステップにより決定された変換パラメータを用いて前記入力映像に対して変換処理を行って、前記映像投影装置から投影させる映像を生成する第４のステップと、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、コンピュータを用いてプログラムを実行することで、センサ手段により、視聴者の位置および向きを取得することとした。また、状態認識手段により、映像投影装置の位置および向きと、センサ手段により取得された視聴者の位置および向きと、に基づいて、スクリーンのうち映像投影装置からの映像を表示させる領域の大きさを求めることとした。また、補正パラメータ生成手段により、状態認識手段により求められた領域の大きさに基づいて、スクリーンのうち映像投影装置から映像を投影させる領域を決定し、決定した領域に基づいて入力映像を補正するための変換パラメータを決定することとした。また、映像補正手段により、補正パラメータ生成手段により決定された変換パラメータを用いて入力映像に対して変換処理を行って、映像投影装置から投影させる映像を生成することとした。このため、映像投影装置から投影させる映像を視聴者の位置および向きに応じて補正して、スクリーンをアクチュエータにより駆動させることなく、スクリーン上の映像に歪みが生じてしまうのを抑制することができる。したがって、映像投影装置を用いた大画面映像の表示を、視聴者の位置や向きに応じて容易に最適化することができる。

本発明によれば、映像投影装置を用いた大画面映像の表示を、視聴者の位置や向きに応じて容易に最適化することができる。

本発明の第１実施形態に係る映像処理装置のブロック図である。 本発明の第２実施形態に係る映像処理装置のブロック図である。 本発明の第３実施形態に係る映像処理装置のブロック図である。 本発明の第４実施形態に係る映像処理装置のブロック図である。 本発明の第４実施形態に係る映像処理装置の処理を説明するための図である。 本発明の第４実施形態に係る映像処理装置の処理を説明するための図である。 本発明の第５実施形態に係る映像処理装置のブロック図である。 本発明の第５実施形態に係る映像処理装置の処理を説明するための図である。 本発明の第５実施形態に係る映像処理装置の処理を説明するための図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
［映像処理装置１の構成および動作］
図１は、本発明の第１実施形態に係る映像処理装置１のブロック図である。映像処理装置１は、センサ部１１、状態認識部１２、補正パラメータ生成部１３、映像補正部１４、１５、および投影部１６、１７を備え、投影部１６、１７のそれぞれからスクリーン１８上に映像を投影し、これら映像を組み合わせて大画面映像をスクリーン１８上に表示させる。

センサ部１１は、視聴者の位置に関する情報と、視聴者の向きに関する情報と、を取得して、視聴者状態情報ＳＩＧ３として出力する。視聴者の位置に関する情報とは、センサ部１１が配置されている位置を基準とした視聴者の相対的な位置や、予め定められた特定の位置を基準とした視聴者の絶対的な位置などのことである。また、視聴者の向きに関する情報とは、センサ部が配置されている向きを基準とした視聴者の相対的な向きや、予め定められた特定の向きを基準とした視聴者の絶対的な向きのことである。視聴者の向きについては、視聴者が加速度センサを装着している場合には、この加速度センサから求めることができる。また、センサ部１１に映像撮影部（カメラなど）が設けられている場合には、この映像撮影部により撮影した視聴者の顔の向きを、映像解析に基づく顔検出といった技術を用いて検出して、検出した視聴者の顔の向きを視聴者の向きとして求めることもできる。

状態認識部１２は、投影部１６、１７のそれぞれの位置および向きに関する情報と、スクリーン１８の位置および向きに関する情報と、を予め保持しており、表示パラメータＳＩＧ１および視聴者状態情報ＳＩＧ３を入力とする。この状態認識部１２は、スクリーン１８の位置および向きに関する情報と、視聴者状態情報ＳＩＧ３と、に基づいて、視聴者の向きに対するスクリーン１８の角度を取得する。また、表示パラメータＳＩＧ１は、視聴者に視聴させる表示領域のサイズに関する情報を含んでおり、状態認識部１２は、投影部１６、１７のそれぞれの位置および向きに関する情報と、表示パラメータＳＩＧ１と、視聴者状態情報ＳＩＧ３と、に基づいて、スクリーン１８上のうち大画面映像を表示させる領域の大きさを求める。

また、投影部１６の位置および向きにより、投影部１６からスクリーン１８上に投影させた際の映像の歪みが定まるとともに、投影部１７の位置および向きにより、投影部１７からスクリーン１８上に投影させた際の映像の歪みが定まる。そこで、状態認識部１２は、投影部１６の位置および向きに基づいて、投影部１６からスクリーン１８上に投影させた際の映像の歪みに対して補正するための角度を求めるとともに、投影部１７の位置および向きに基づいて、投影部１７からスクリーン１８上に投影させた際の映像の歪みに対して補正するための角度を求める。

状態認識部１２は、視聴者の向きに対するスクリーン１８の角度に関する情報と、スクリーン１８上のうち大画面映像を表示させる領域の大きさに関する情報と、歪みに対して補正するための角度に関する情報と、をスクリーン情報ＳＩＧ４として出力する。

補正パラメータ生成部１３は、投影部１６、１７のそれぞれの位置および向きに関する情報を予め保持しており、スクリーン情報ＳＩＧ４を入力とする。この補正パラメータ生成部１３は、まず、投影部１６、１７のそれぞれの位置および向きに関する情報と、スクリーン情報ＳＩＧ４と、に基づいて、スクリーン１８上の大画面映像を表示させる領域のうち、どの領域に投影部１６から映像を投影させ、どの領域に投影部１７から映像を投影させるのかを決定する。補正パラメータ生成部１３は、次に、どの領域に投影部１６から映像を投影させるのかについての決定結果と、投影部１６の位置および向きに関する情報と、スクリーン情報ＳＩＧ４に含まれている視聴者の向きに対するスクリーン１８の角度に関する情報と、スクリーン情報ＳＩＧ４に含まれている歪みに対して補正するための角度に関する情報と、に基づいて、投影部１６から投影する映像を補正するための第１の変換パラメータを決定する。また、どの領域に投影部１７から映像を投影させるのかについての決定結果と、投影部１７の位置および向きに関する情報と、スクリーン情報ＳＩＧ４に含まれている視聴者の向きに対するスクリーン１８の角度に関する情報と、スクリーン情報ＳＩＧ４に含まれている歪みに対して補正するための角度に関する情報と、に基づいて、投影部１７から投影する映像を補正するための第２の変換パラメータを決定する。次に、上述の第１の変換パラメータおよび第２の変換パラメータを、変換パラメータＳＩＧ５として出力する。なお、上述の第１の変換パラメータおよび第２の変換パラメータとは、例えば幾何学変換パラメータや射影変換パラメータのことである。

映像補正部１４は、入力映像ＳＩＧ２および変換パラメータＳＩＧ５を入力とする。この映像補正部１４は、変換パラメータＳＩＧ５に含まれている第１の変換パラメータを用いて入力映像ＳＩＧ２に対して変換処理を行って、投影部１６から投影させる映像ＳＩＧ６を生成して出力する。

映像補正部１５は、入力映像ＳＩＧ２および変換パラメータＳＩＧ５を入力とする。この映像補正部１５は、変換パラメータＳＩＧ５に含まれている第２の変換パラメータを用いて入力映像ＳＩＧ２に対して変換処理を行って、投影部１７から投影させる映像ＳＩＧ７を生成して出力する。

投影部１６は、映像ＳＩＧ６を入力とし、この映像ＳＩＧ６をスクリーン１８上に投影する。

投影部１７は、映像ＳＩＧ７を入力とし、この映像ＳＩＧ７をスクリーン１８上に投影する。

以上の映像処理装置１によれば、以下の効果を奏することができる。

映像処理装置１は、センサ部１１により、視聴者の位置および向きを取得する。また、状態認識部１２により、投影部１６、１７の位置および向きと、センサ部１１により取得された視聴者の位置および向きと、に基づいて、スクリーン１８のうち投影部１６、１７からの映像を表示させる領域の大きさを求める。また、補正パラメータ生成部１３により、状態認識部１２により求められた領域の大きさに基づいて、スクリーン１８のうち投影部１６、１７から映像を投影させる領域を決定し、決定した領域に基づいて入力映像ＳＩＧ２を補正するための変換パラメータを決定する。また、映像補正部１４、１５により、補正パラメータ生成部１３により決定された変換パラメータを用いて入力映像に対して変換処理を行って、投影部１６、１７から投影させる映像を生成する。このため、投影部１６、１７から投影させる映像を視聴者の位置および向きに応じて補正して、スクリーン１８をアクチュエータにより駆動させることなく、スクリーン１８上の映像に歪みが生じてしまうのを抑制することができる。したがって、投影部１６、１７を用いた大画面映像の表示を、視聴者の位置や向きに応じて容易に最適化することができる。

また、映像処理装置１は、センサ部１１により、視聴者の位置および向きとして、センサ部１１が配置されている位置および向きを基準とした視聴者の相対的な位置および向き、または予め定められた特定の位置および向きを基準とした視聴者の絶対的な位置および向きを取得する。このため、視聴者の位置および向きを適切に取得して、投影部１６、１７から投影させる映像を視聴者の位置および向きに応じて適切に補正することができるので、投影部１６、１７を用いた大画面映像の表示を、視聴者の位置や向きに応じて容易にさらに最適化することができる。

また、映像処理装置１は、補正パラメータ生成部１３により、変換パラメータの決定に、センサ部１１により取得された視聴者の向きに対するスクリーンの角度も用いる。このため、視聴者の向きに対するスクリーン１８の角度を考慮した上で投影部１６、１７から投影させる映像を補正することができるので、投影部１６、１７を用いた大画面映像の表示を、視聴者の位置や向きに応じてさらに最適化することができる。

また、映像処理装置１は、補正パラメータ生成部１３により、状態認識部１２により求められた領域の大きさと、投影部１６、１７のそれぞれの位置および向きと、に基づいて、投影部１６、１７のそれぞれについて、スクリーン１８のうち映像を投影させる領域を決定する。このため、投影部１６、１７からの映像を組み合わせて大画面映像を表示させる場合にも、大画面映像の表示を、視聴者の位置や向きに応じて容易に最適化することができる。

また、映像処理装置１は、補正パラメータ生成部１３により、視聴者の位置および向きを用いて、変換パラメータを決定する。このため、視聴者の位置および向きを、変換パラメータに的確に反映させることができ、投影部１６、１７を用いた大画面映像の表示を、視聴者の位置や向きに応じてさらに最適化することができる。

＜第２実施形態＞
［映像処理装置１Ａの構成および動作］
図２は、本発明の第２実施形態に係る映像処理装置１Ａのブロック図である。映像処理装置１Ａは、図１に示した本発明の第１実施形態に係る映像処理装置１とは、状態認識部１２の代わりに状態認識部１２Ａを備える点と、駆動制御部２１を備える点と、映像補正部１５および投影部１７を備えない点と、で異なる。なお、映像処理装置１Ａにおいて、映像処理装置１と同一構成要件については、同一符号を付し、その説明を省略する。

状態認識部１２Ａは、投影部１６の位置および向きに関する情報と、スクリーン１８の位置および向きに関する情報と、を予め保持しており、表示パラメータＳＩＧ１および視聴者状態情報ＳＩＧ３を入力とする。この状態認識部１２Ａは、状態認識部１２と同様に、視聴者の向きに対するスクリーン１８の角度を取得するとともに、スクリーン１８上のうち大画面映像を表示させる領域の大きさと、投影部１６からスクリーン１８上に投影させた際の映像の歪みに対して補正するための角度と、を求め、スクリーン情報ＳＩＧ４として出力する。また、状態認識部１２Ａは、投影部１６の位置および向きに関する情報と、スクリーン１８の位置および向きに関する情報と、表示パラメータＳＩＧ１に含まれている視聴者に視聴させる表示領域のサイズに関する情報と、視聴者状態情報ＳＩＧ３に含まれている視聴者の位置および向きに関する情報と、に基づいて、視聴者から大画面映像を表示させる領域の中央に向かう向きと、視聴者の向きと、が等しくなるように投影部１６の位置および向きの少なくともいずれかを駆動制御するための制御信号ＳＩＧ２１を生成して出力する。

駆動制御部２１は、制御信号ＳＩＧ２１を入力とし、制御信号ＳＩＧ２１に応じて投影部１６の位置および向きの少なくともいずれかを駆動制御して、大画面映像の中央に視聴者の向きが向くようにする。なお、投影部１６の現在の向きを駆動制御部２１が認識している場合には、駆動制御部２１は、この向きと、制御信号ＳＩＧ２１に含まれている向きと、の差分（変更分）を算出し、算出した変更分だけ投影部１６を駆動制御することとしてもよい。

以上の映像処理装置１Ａによれば、映像処理装置１が奏することのできる上述の効果に加えて、以下の効果を奏することができる。

映像処理装置１Ａは、駆動制御部２１により、投影部１６の位置および向きの少なくともいずれかを駆動制御する。また、状態認識部１２Ａにより、投影部１６の位置および向きと、センサ部１１により取得された視聴者の位置および向きと、に基づいて、投影部１６の位置および向きの少なくともいずれかを駆動制御部２１により駆動制御するための制御信号を生成する。このため、投影部１６の位置および向きと、視聴者の位置や向きと、に応じて、投影部１６の位置や向きを駆動制御することができる。

また、映像処理装置１Ａは、駆動制御部２１により、投影部１６の位置および向きの少なくともいずれかを駆動制御して、スクリーン１８に表示される映像の中央に視聴者の向きが向くようにする。このため、大画面映像を視聴者が見やすいようにすることができる。

＜第３実施形態＞
［映像処理装置１Ｂの構成および動作］
図３は、本発明の第３実施形態に係る映像処理装置１Ｂのブロック図である。映像処理装置１Ｂは、図１に示した本発明の第１実施形態に係る映像処理装置１とは、状態認識部１２の代わりに状態認識部１２Ｂを備える点と、補正パラメータ生成部１３の代わりに補正パラメータ生成部１３Ａ、１３Ｂを備える点と、映像補正部１４の代わりに映像補正部１４Ａを備える点と、映像補正部１５および投影部１７を備えない点と、で異なる。また、図１に示した本発明の第１実施形態に係る映像処理装置１は、スクリーン１８上に映像を投影するのに対して、映像処理装置１Ｂは、第１のスクリーン１８１および第２のスクリーン１８２の２つのスクリーンを連結して構成されるスクリーン１８Ａ上に映像を投影する。なお、映像処理装置１Ｂにおいて、映像処理装置１と同一構成要件については、同一符号を付し、その説明を省略する。

状態認識部１２Ｂは、投影部１６の位置および向きに関する情報と、第１のスクリーン１８１の位置および向きに関する情報と、第２のスクリーン１８２の位置および向きに関する情報と、を予め保持しており、表示パラメータＳＩＧ１および視聴者状態情報ＳＩＧ３を入力とする。この状態認識部１２Ｂは、第１のスクリーン１８１および第２のスクリーン１８２のそれぞれに対して状態認識部１２と同様の処理を行って、スクリーン情報ＳＩＧ４、ＳＩＧ３１を出力する。

具体的には、状態認識部１２Ｂは、状態認識部１２と同様に、視聴者の向きに対する第１のスクリーン１８１の角度を取得するとともに、第１のスクリーン１８１上のうち大画面映像を表示させる領域の大きさと、投影部１６から第１のスクリーン１８１上に投影させた際の映像の歪みに対して補正するための角度と、を求め、スクリーン情報ＳＩＧ４として出力する。また、状態認識部１２Ｂは、状態認識部１２と同様に、視聴者の向きに対する第２のスクリーン１８２の角度を取得するとともに、第２のスクリーン１８２上のうち大画面映像を表示させる領域の大きさと、投影部１６から第２のスクリーン１８２上に投影させた際の映像の歪みに対して補正するための角度と、を求め、スクリーン情報ＳＩＧ３１として出力する。

補正パラメータ生成部１３Ａは、投影部１６の位置および向きに関する情報を予め保持しており、スクリーン情報ＳＩＧ４を入力とする。この補正パラメータ生成部１３Ａは、まず、投影部１６の位置および向きに関する情報と、スクリーン情報ＳＩＧ４と、に基づいて、第１のスクリーン１８１上の大画面映像を表示させる領域のうちどの領域に、入力映像ＳＩＧ２のどの領域の映像を投影部１６から投影させるのかを決定する。補正パラメータ生成部１３Ａは、次に、この決定結果と、投影部１６の位置および向きに関する情報と、スクリーン情報ＳＩＧ４に含まれている視聴者の向きに対する第１のスクリーン１８１の角度に関する情報と、スクリーン情報ＳＩＧ４に含まれている歪みに対して補正するための角度に関する情報と、に基づいて、投影部１６から投影する映像を補正するための第１の変換パラメータを決定し、変換パラメータＳＩＧ５として出力する。なお、上述の第１の変換パラメータとは、例えば幾何学変換パラメータや射影変換パラメータのことである。

補正パラメータ生成部１３Ｂは、投影部１６の位置および向きに関する情報を予め保持しており、スクリーン情報ＳＩＧ３１を入力とする。補正パラメータ生成部１３Ａと同様に、補正パラメータ生成部１３Ｂは、まず、投影部１６の位置および向きに関する情報と、スクリーン情報ＳＩＧ３１と、に基づいて、第２のスクリーン１８２上の大画面映像を表示させる領域のうちどの領域に、入力映像ＳＩＧ２のどの領域の映像を投影部１６から投影させるのかを決定する。補正パラメータ生成部１３Ｂは、次に、この決定結果と、投影部１６の位置および向きに関する情報と、スクリーン情報ＳＩＧ３１に含まれている視聴者の向きに対する第２のスクリーン１８２の角度に関する情報と、スクリーン情報ＳＩＧ３１に含まれている歪みに対して補正するための角度に関する情報と、に基づいて、投影部１６から投影する映像を補正するための第２の変換パラメータを決定し、変換パラメータＳＩＧ３２として出力する。なお、上述の第２の変換パラメータとは、例えば幾何学変換パラメータや射影変換パラメータのことである。

映像補正部１４Ａは、入力映像ＳＩＧ２と、変換パラメータＳＩＧ５、ＳＩＧ３２と、を入力とする。この映像補正部１４Ａは、まず、変換パラメータＳＩＧ５に含まれている第１の変換パラメータを用いて入力映像ＳＩＧ２に対して変換処理を行って、第１の映像を生成する。これによれば、入力映像ＳＩＧ２のうち第１のスクリーン１８１上に投影される領域の画像に対して、変換処理が行われることになる。また、映像補正部１４Ａは、変換パラメータＳＩＧ３２に含まれている第２の変換パラメータを用いて入力映像ＳＩＧ２に対して変換処理を行って、第２の映像を生成する。これによれば、入力映像ＳＩＧ２のうち第２のスクリーン１８２上に投影される領域の画像に対して、変換処理が行われることになる。映像補正部１４Ａは、次に、上述の第１の映像と、上述の第２の映像と、を１つの映像に結合して、映像ＳＩＧ３３として出力する。

以上の映像処理装置１Ｂによれば、映像処理装置１が奏することのできる上述の効果に加えて、以下の効果を奏することができる。

映像処理装置１Ｂは、状態認識部１２Ｂにより、スクリーン１８Ａのうち投影部１６からの映像を表示させる領域の大きさを、第１のスクリーン１８１および第２のスクリーン１８２のそれぞれについて求め、補正パラメータ生成部１３Ａ、１３Ｂにより、スクリーン１８のうち映像を投影させる領域を、第１のスクリーン１８１および第２のスクリーン１８２のそれぞれについて決定する。このため、第１のスクリーン１８１および第２のスクリーン１８２を連結して構成されるスクリーン１８Ａへの大画面映像の表示を、視聴者の位置や向きに応じて容易に最適化することができる。

＜第４実施形態＞
［映像処理装置１Ｃの構成および動作］
図４は、本発明の第４実施形態に係る映像処理装置１Ｃのブロック図である。映像処理装置１Ｃは、図３に示した本発明の第３実施形態に係る映像処理装置１Ｂとは、立体感を感じさせる視覚効果を視聴者に付与することが可能な点で異なっており、具体的には、補正パラメータ生成部１３Ａの代わりに補正パラメータ生成部１３Ｃを備える点と、補正パラメータ生成部１３Ｂの代わりに補正パラメータ生成部１３Ｄを備える点と、で異なる。なお、映像処理装置１Ｃにおいて、映像処理装置１Ｂと同一構成要件については、同一符号を付し、その説明を省略する。

スクリーン１８Ｂは、第３のスクリーン１８３および第４のスクリーン１８４の２つのスクリーンを連結して構成される。本実施形態では、第３のスクリーン１８３は、天井であり、第４のスクリーン１８４は、天井から鉛直下方に立設する壁であるものとし、視聴者は、壁に向かって天井を少し見上げる向きを向いているものとする。なお、図４において、視聴者の向きをＸプラス方向とし、Ｘプラス方向と直交して天井に向かう向きをＹプラス方向とし、紙面奥向きをＺプラス方向とする。

図５は、視聴者から見たスクリーン１８Ｂを示す図である。図５において、図４に示した向きに合わせて、紙面奥向きがＸプラス方向であり、上方に向かう向きがＹプラス方向であり、右方に向かう向きがＺプラス方向である。

投影可能領域は、投影部１６が映像を投影させることが可能な領域を示しており、投影表示領域は、投影部１６から実際に映像を投影させる領域を示しており、投影表示領域に投影部１６から映像を投影させることで、立体感を感じさせる視覚効果を視聴者に付与することが可能であるものとする。また、図５において、Ｘ０からＸ５およびｕ_０’からｕ_５’は、視聴者が存在している３次元空間の所定の点を原点とした場合のＸ座標の値を示す。また、Ｙ０からＹ５およびｖ_０’からｖ_５’は、視聴者が存在している３次元空間の所定の点を原点とした場合のＹ座標の値を示す。また、Ｚ０からＺ５およびｓ_０’からｓ_５’は、視聴者が存在している３次元空間の所定の点を原点とした場合のＺ座標の値を示すものとする。

図６は、入力映像ＳＩＧ２のうち第３のスクリーン１８３上に投影させる領域の映像Ｐ１と、入力映像ＳＩＧ２のうち第４のスクリーン１８４上に投影させる領域の映像Ｐ２と、を示す図である。映像Ｐ１を、図５に示した投影表示領域のうち第３のスクリーン１８３上に表示させるとともに、映像Ｐ２を、図５に示した投影表示領域のうち第４のスクリーン１８４上に表示させるため、補正パラメータ生成部１３Ｃ、１３Ｄのそれぞれは、スクリーン情報ＳＩＧ４、ＳＩＧ３１のそれぞれに含まれている歪みに対して補正するための角度に関する情報を参照して視聴者の位置および向きを考慮しつつ、以下の数式（１）（２）にしたがって台形補正パラメータａ、ｂ、ｃ、ｄ，ｅ、ｆ、ｇを算出する。

補正パラメータ生成部１３Ｃは、第３のスクリーン１８３に対するパラメータを算出するものとし、ｎ＝０、１、４、５に関するパラメータを第１の変換パラメータとして決定し、変換パラメータＳＩＧ４１として出力する。また、補正パラメータ生成部１３Ｄは、第４のスクリーン１８４に対するパラメータを算出するものとし、ｎ＝２、３、４、５に関するパラメータを第２の変換パラメータとして決定し、変換パラメータＳＩＧ４２として出力する。

以上の映像処理装置１Ｃによれば、映像処理装置１Ｂが奏することのできる上述の効果に加えて、入力映像ＳＩＧ２のうち手前に位置しているオブジェクトほど大きく表示させたり、特定のオブジェクトを大きくまたは小さく表示させたりすることができるので、立体感を感じさせる視覚効果を視聴者に付与することができる。

＜第５実施形態＞
［映像処理装置１Ｄの構成および動作］
図７は、本発明の第５実施形態に係る映像処理装置１Ｄのブロック図である。映像処理装置１Ｄは、図４に示した本発明の第４実施形態に係る映像処理装置１Ｃとは、状態認識部１２Ｂの代わりに状態認識部１２Ｃを備える点と、補正パラメータ生成部１３Ｄを備えていない点と、で異なる。なお、映像処理装置１Ｄにおいて、映像処理装置１Ｃと同一構成要件については、同一符号を付し、その説明を省略する。

状態認識部１２Ｃは、投影部１６の位置および向きに関する情報と、スクリーン１８Ｃの位置および向きに関する情報と、を予め保持しており、表示パラメータＳＩＧ１および視聴者状態情報ＳＩＧ３を入力とする。この状態認識部１２Ｃは、スクリーン１８Ｃに対して状態認識部１２Ｂと同様の処理を行って、スクリーン情報ＳＩＧ５１を出力する。

本実施形態では、スクリーン１８Ｃは、天井であるものとし、視聴者は、天井を少し見上げる向きを向いているものとする。なお、図７において、視聴者の向きをＸプラス方向とし、Ｘプラス方向と直交して天井に向かう向きをＹプラス方向とし、紙面奥向きをＺプラス方向とする。

図８は、視聴者から見たスクリーン１８Ｃを示す図である。図８において、図７に示した向きに合わせて、紙面奥向きがＸプラス方向であり、上方に向かう向きがＹプラス方向であり、右方に向かう向きがＺプラス方向である。

図８において、Ｘ０からＸ３およびｕ_０’からｕ_３’は、視聴者が存在している３次元空間の所定の点を原点とした場合のＸ座標の値を示す。また、Ｙ０からＹ３およびｖ_０’からｖ_３’は、視聴者が存在している３次元空間の所定の点を原点とした場合のＹ座標の値を示す。また、Ｚ０からＺ３およびｓ_０’からｓ_３’は、視聴者が存在している３次元空間の所定の点を原点とした場合のＺ座標の値を示すものとする。

図９は、入力映像ＳＩＧ２を示す図である。入力映像ＳＩＧ２をスクリーン１８Ｃ上に表示させるため、補正パラメータ生成部１３Ｃは、スクリーン情報ＳＩＧ５１に含まれている歪みに対して補正するための角度に関する情報を参照して視聴者の位置および向きを考慮しつつ、上述の数式（１）（２）にしたがって台形補正パラメータａ、ｂ、ｃ、ｄ，ｅ、ｆ、ｇを算出する。

具体的には、補正パラメータ生成部１３Ｃは、スクリーン１８Ｃに対するパラメータを算出するものとし、ｎ＝０、１、２、３に関するパラメータを第１の変換パラメータとして決定し、変換パラメータＳＩＧ４１として出力する。

以上の映像処理装置１Ｄによれば、スクリーンが１つの平面で構成されている場合であっても、映像処理装置１Ｃが奏することのできる上述の効果と同様の効果を奏することができる。

なお、本発明の映像処理装置１、１Ａ、１Ｂ、１Ｃ、１Ｄの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを映像処理装置１、１Ａ、１Ｂ、１Ｃ、１Ｄに読み込ませ、実行することによって、本発明を実現できる。

ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、映像処理装置１、１Ａ、１Ｂ、１Ｃ、１Ｄに設けられたプロセッサによって行われる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した映像処理装置１、１Ａ、１Ｂ、１Ｃ、１Ｄから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を映像処理装置１、１Ａ、１Ｂ、１Ｃ、１Ｄにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の第２実施形態では、投影部は、投影部１６の１つのみとしたが、これに限らず、複数存在するものであってもよい。投影部が複数存在する場合には、それぞれの投影部の向きを制御するための制御信号を状態認識部１２Ａで生成し、これら制御信号に応じてそれぞれの投影部を駆動すればよい。

１、１Ａ、１Ｂ、１Ｃ、１Ｄ・・・映像処理装置
１１・・・センサ部
１２、１２Ａ、１２Ｂ、１２Ｃ・・・状態認識部
１３、１３Ａ、１３Ｂ、１３Ｃ、１３Ｄ・・・補正パラメータ生成部
１４、１４Ａ、１５・・・映像補正部
１６、１７・・・投影部
１８、１８Ａ、１８Ｂ、１８Ｃ・・・スクリーン
２１・・・駆動制御部

Claims (11)

1. 映像投影装置から映像をスクリーンに投影させて表示させる映像処理装置であって、
   視聴者の位置および向きを取得するセンサ手段と、
   前記映像投影装置の位置および向きと、前記センサ手段により取得された視聴者の位置および向きと、に基づいて、前記スクリーンのうち前記映像投影装置からの映像を表示させる領域の大きさを求める状態認識手段と、
   前記状態認識手段により求められた領域の大きさに基づいて、前記スクリーンのうち前記映像投影装置から映像を投影させる領域を決定し、決定した領域に基づいて、入力映像を補正するための変換パラメータを決定する補正パラメータ生成手段と、
   前記補正パラメータ生成手段により決定された変換パラメータを用いて前記入力映像に対して変換処理を行って、前記映像投影装置から投影させる映像を生成する映像補正手段と、を備えることを特徴とする映像処理装置。
2. 前記センサ手段は、視聴者の位置および向きとして、当該センサ手段が配置されている位置および向きを基準とした視聴者の相対的な位置および向き、または予め定められた特定の位置および向きを基準とした視聴者の絶対的な位置および向きを取得することを特徴とする請求項１に記載の映像処理装置。
3. 前記補正パラメータ生成手段は、前記変換パラメータの決定に、前記センサ手段により取得された視聴者の向きに対する前記スクリーンの角度も用いることを特徴とする請求項１または２に記載の映像処理装置。
4. 前記映像投影装置は複数設けられ、当該複数の映像投影装置のそれぞれから投影させた映像を組み合わせて大画面映像を前記スクリーンに表示させ、
   前記補正パラメータ生成手段は、前記状態認識手段により求められた領域の大きさと、前記複数の映像投影装置のそれぞれの位置および向きと、に基づいて、前記複数の映像投影装置のそれぞれについて、前記スクリーンのうち映像を投影させる領域を決定することを特徴とする請求項１から３のいずれかに記載の映像処理装置。
5. 前記スクリーンは、複数の投影面を連結して構成されており、
   前記状態認識手段は、前記スクリーンのうち前記映像投影装置からの映像を表示させる領域の大きさを、前記複数の投影面のそれぞれについて求め、
   前記補正パラメータ生成手段は、前記スクリーンのうち映像を投影させる領域を、前記複数の投影面のそれぞれについて決定することを特徴とする請求項１から４のいずれかに記載の映像処理装置。
6. 前記映像投影装置の位置および向きの少なくともいずれかを駆動制御する駆動制御手段を備え、
   前記状態認識手段は、前記映像投影装置の位置および向きと、前記センサ手段により取得された視聴者の位置および向きと、に基づいて、前記映像投影装置の位置および向きの少なくともいずれかを前記駆動制御手段により駆動制御するための制御信号を生成することを特徴とする請求項１から５のいずれかに記載の映像処理装置。
7. 前記駆動制御手段は、前記映像投影装置の位置および向きの少なくともいずれかを駆動制御して、前記スクリーンに表示される映像の中央に視聴者の向きが向くようにすることを特徴とする請求項６に記載の映像処理装置。
8. 前記補正パラメータ生成手段は、視聴者の位置および向きを用いて変換パラメータを決定することを特徴とする請求項１から７のいずれかに記載の映像処理装置。
9. 前記補正パラメータ生成手段は、視聴者の位置および向きを用いて、台形補正パラメータを前記変換パラメータとして決定することを特徴とする請求項８に記載の映像処理装置。
10. センサ手段、状態認識手段、補正パラメータ生成手段、および映像補正手段を備え、映像投影装置から映像をスクリーンに投影させて表示させる映像処理装置における映像処理方法であって、
    前記センサ手段が、視聴者の位置および向きを取得する第１のステップと、
    前記状態認識手段が、前記映像投影装置の位置および向きと、前記第１のステップにより取得された視聴者の位置および向きと、に基づいて、前記スクリーンのうち前記映像投影装置からの映像を表示させる領域の大きさを求める第２のステップと、
    前記第２のステップにより求められた領域の大きさに基づいて、前記スクリーンのうち前記映像投影装置から映像を投影させる領域を決定し、決定した領域に基づいて、入力映像を補正するための変換パラメータを決定する第３のステップと、
    前記第３のステップにより決定された変換パラメータを用いて前記入力映像に対して変換処理を行って、前記映像投影装置から投影させる映像を生成する第４のステップと、を備えることを特徴とする映像処理方法。
11. センサ手段、状態認識手段、補正パラメータ生成手段、および映像補正手段を備え、映像投影装置から映像をスクリーンに投影させて表示させる映像処理装置における映像処理方法を、コンピュータに実行させるためのプログラムであって、
    前記センサ手段が、視聴者の位置および向きを取得する第１のステップと、
    前記状態認識手段が、前記映像投影装置の位置および向きと、前記第１のステップにより取得された視聴者の位置および向きと、に基づいて、前記スクリーンのうち前記映像投影装置からの映像を表示させる領域の大きさを求める第２のステップと、
    前記第２のステップにより求められた領域の大きさに基づいて、前記スクリーンのうち前記映像投影装置から映像を投影させる領域を決定し、決定した領域に基づいて、入力映像を補正するための変換パラメータを決定する第３のステップと、
    前記第３のステップにより決定された変換パラメータを用いて前記入力映像に対して変換処理を行って、前記映像投影装置から投影させる映像を生成する第４のステップと、をコンピュータに実行させるためのプログラム。

Images