JP2018028625A - 虚像表示システム - Google Patents

Abstract

【課題】自然なコミュニケーションを行うことが可能な虚像表示システムを提供する。【解決手段】観客席７６と舞台７３との間にビームスプリッタ７４を配置して舞台７３の上に虚像を表示する虚像表示システム１において、観客席７６が配置された床７２と平行する面に配置され、虚像が投影される虚像投影面２０と、ビームスプリッタ７４を挟んで虚像投影面２０と対向する面に配置され、実像と虚像が投影される実像投影面６０とを備える。【選択図】図１

Description

本発明は、投影環境に虚像を投影する虚像表示システムに関する。

近年、映像の高精細化や映像投影技術の発達により、発表の現場や舞台上の投影環境に、別の場所で撮影された映像を、虚像として投影してプレゼンテーションを行う場合がある。例えば人物や物体を任意の空間上に虚像として投影する技術は、例えば非特許文献１に開示されている。

Hanyuool Kima, et al. MARIO:Mid-air Augmented Reality Interaction with Objects, Entertaiment Computing, 2014

しかし、従来の方法では、投影環境側にいる例えば舞台上の演者は、虚像を直接視認することができない。そのため演者は、虚像の状態や位置等を確認することができず、虚像と自身の間で自然なコミュニケーションを演出することが難しくなるという課題がある。

本発明は、この課題に鑑みてなされたものであり、演者が虚像の状態や位置を確認することができ、自然なコミュニケーションを行うことが可能な虚像表示システムを提供することを目的とする。

本実施形態の虚像表示システムは、観客席と舞台との間にビームスプリッタを配置して前記舞台の上に虚像を表示する虚像表示システムにおいて、前記観客席が配置された床と平行する面に配置され、虚像表示画像が投影される虚像投影面と、前記ビームスプリッタを挟んで前記虚像投影面と対向する面に配置され、実像と前記虚像が投影される実像投影面とを備えたことを要旨とする。

本実施形態によれば、演者は、虚像の状態や位置を確認することができ、自然なコミュニケーションを行うことが可能な虚像表示システムを提供することができる。

本実施形態の虚像表示システムの構成例を示す図である。 本実施形態の虚像表示システムを配置した舞台を正面から見た模式的側面図である。 本実施形態の虚像表示システムの画像処理部の機能構成例を示す図である。 演者から見た実像の表示例を示す図であり、（ａ）は撮影装置が撮影した画像そのまま、（ｂ）は画像の輪郭のみ、（ｃ）は特徴点のみ、（ｄ）は特徴点の一部のみの例を示す図である。 本実施形態の虚像表示システムの画像処理部の動作フローを示す図である。 本実施形態の虚像表示システムの画像処理部の動作フローを示す図である。

以下、本発明の実施の形態について図面を用いて説明する。複数の図面中同一のものに
は同じ参照符号を付し、説明は繰り返さない。

図１に、本実施形態の虚像表示システム１の構成例を示す。図１は、虚像表示システム１を、例えば講演会場に設置し、その講演会場を横方向から見た模式的側面図である。

虚像表示システム１は、観客席７６と舞台７３との間にビームスプリッタ７４を配置して舞台７３の上に虚像を表示する示システムである。虚像表示システム１は、観客席７６が配置された床７２と平行する面に配置され、虚像表示画像が投影される虚像投影面２０と、虚像投影面２０とビームスプリッタ７４を挟んで対向する面に配置され、実像と虚像が投影される実像投影面６０とを備える。

ビームスプリッタ７４は、光束を例えば２つに分割する光学装置である。ビームスプリッタ７４は、透過率と反射率とが等しいハーフミラー又はフィルムで有っても良い。

虚像とは、観客席７６から舞台７３を見た場合に、実在はしないが舞台の上に存在しているかのように見える画像のことである。この例では、床７２の面に配置された虚像投影面２０に映った虚像表示画像が、ビームスプリッタ７４の作用によって、演者７５とビームスプリッタ７４との間の第１結像面７８に、投影されているように見える虚像となる。

この虚像を投影する方法は周知である（例えば、特願平９−５１２３５０号公報）。よて、虚像を投影する原理についての詳しい説明は省略する。

実像は、舞台７３の上に存在する物を観客席７６から見た画像である。物には、プレゼンターや演技者である演者、及び舞台セットが含まれる。また、舞台７３の上に虚像が投影されている場合は、その虚像も含まれる。その実像と虚像は、虚像投影面２０とビームスプリッタ７４を挟んで反対側の面（天井７１）に配置された実像投影面６０に投影される。

天井７１に配置された実像投影面６０に映った画像は、ビームスプリッタ７４の作用によって、演者７５から見ると、観客席７６とビームスプリッタ７４との間の第２結像面７９に、投影されているように見える。したがって、演者７５は、自身の姿と虚像の両方を視認することができる。

以上説明したように、虚像表示システム１によれば、観客は演者と虚像による演出を鑑賞することができ、演者７５は自身と虚像の両方を見ることができる。したがって、本実施の形態の虚像表示システム１は、演者と虚像との間の自然なコミュニケーションの演出を可能にする。

ここで、図１と図２を参照して虚像表示システム１の構成を更に詳しく説明する。虚像表示システム１は、観客席７６と舞台７３との間にビームスプリッタ７４を配置して舞台７３の上に虚像を表示する虚像情報システムにおいて、虚像投影部１０、虚像投影面２０、撮影装置３０、画像処理部４０、実像投影部５０、及び実像投影面６０を備える。

ビームスプリッタ７４は、観客席７６と舞台７３との間に配置される。この例では、舞台７３の観客席７６の縁部付近から、約４５度の傾きで天井７１まで張られた反射率５０％のフィルムである。

虚像投影部１０は、虚像投影面２０とビームスプリッタ７４を挟んで対向する例えば天井７１に配置される。虚像投影部１０は、演出の脚本に合わせた虚像表示画像を投影する。

虚像投影部１０が投影する虚像表示画像は、虚像投影部１０とビームスプリッタ７４を挟んで反対側の床７２に配置された虚像投影面２０に映される。虚像投影面２０は、例えば、舞台７３の最前部の縁に沿う床７２の表面に配置される。虚像投影面２０に映された虚像表示画像は、観客席７６から見て、演者７５とビームスプリッタ７４との間の第１結像面７８（細い点線で示す位置）に、虚像として投影される。

撮影装置３０は、観客席７６の後ろから舞台７３の方向を撮影する。撮影装置３０は、舞台７３の上の演者７５、舞台７３の上の舞台セット、及び虚像を撮影する。

画像処理部４０は、舞台７３の上の演者７５に提供する演者提供画像情報を生成する。画像処理部４０は、撮影装置３０で撮影した実像と虚像の撮影情報を、例えば鏡面反転処理した演者提供画像情報を生成する。鏡面反転処理とは、左右の画像を反転する処理である。

実像投影部５０は、虚像投影面２０と観客席７６の最前列との間の床７２の上に配置される。実像投影部５０が投影する演者提供画像情報（実像と虚像）は、実像投影部５０とビームスプリッタ７４を挟んで反対側の天井７１に配置された実像投影面６０に映される。実像投影面６０に映された実像と虚像の画像は、ビームスプリッタ７４の作用によって、演者７５から見て、ビームスプリッタ７４と観客席７６との間の第２結像面７９（一点鎖線で示す位置）に結像する。

（画像処理部）
図３に、画像処理部４０の機能構成例を示す。画像処理部４０は、画像情報の動きベクトルを抽出し、動きベクトルの大きさに応じて演者提供画像情報の情報量を変化させる。画像処理部４０は、特徴抽出部４１、動きベクトル抽出部４２、及び鏡面反転処理部４４を備える。

特徴抽出部４１は、撮影装置３０で撮影した実像と虚像の撮影情報から、特徴点のみの画像情報を抽出する。特徴点は、例えば、演者７５と虚像の映像のみである。つまり、背景を除去した画像情報である。また、演者と虚像の輪郭のみを抽出しても良い。また、演者と虚像の特徴点のみを抽出しても良い。

特徴点の抽出は、例えば参考文献（http://www.buildinsider.net/small/kinect2dp/03）に記載された周知技術を用いる。図４に、特徴点を抽出した画像と、特徴点を抽出した画像の例を示す。

図４（ａ）は、撮影装置３０で撮影した実像と虚像の撮影情報を、そのまま実像投影面６０に投影した画像の例である。つまり、図４（ａ）は、特徴点を抽出していない画像である。太線で示す演者７５は実像である。細線で示す例えば人は、虚像８０である。また、舞台７３も投影されている。

なお、図４（ａ）の画像は、画像処理部４０によって鏡面反転処理のみが施されている。よって、撮影情報の画像に対して演者７５と虚像８０の位置は、左右が反転している。

演者７５は、図４（ａ）に示す画像を、舞台７３の上から視認することができる。したがって、演者７５は、虚像８０の状態や位置を確認することができるので自然なコミュニケーションを行うことが可能になる。

ただし、演者７５は、観客７７を背景にして自身（演者７５）と虚像８０の画像を視認することになるので、撮影情報をそのまま実像投影面６０に投影すると、虚像８０を視認し難くなる場合がある。つまり、演者７５が、舞台７３から観客席７６を見た時に、背景に重畳される情報量が少ない方が、演者提供画像情報を視認し易くなる場合がある。そこで、実像投影面６０に、実像と虚像８０の特徴点のみを表示するようにしても良い。

図４（ｂ）は、演者７５と虚像８０の輪郭のみを抽出した例である。図４（ｃ）は、演者７５と虚像８０の骨格データのみを抽出した例である。図４（ｄ）は、演者７５と虚像８０の骨格データの一部を抽出した例である。

このように、演者７５と虚像８０の特徴点のみを抽出して表示することで、演者７５は虚像８０を識別し易くなる。例えば、演者７５と虚像８０が握手するような場面を想定すると、演者７５と虚像８０の右手の手のひらのみの画像を、図４（ｄ）に示すように表示する。そうすることで、演者７５は必要な画像のみを視認することができる。

以上説明した複数の特徴点は、舞台７３の上の演者７５及び虚像８０の動きの大きさに対応させて切り替えるようにしても良い。その動きの大きさの検出は、動きベクトル抽出部４２が行う。特徴抽出部４１は、その動きの大きさに応じて複数の特徴点を切り替える。

次に、図５を参照してその方法について説明する。図５は、演者７５及び虚像８０の動きの大きさに対応させて特徴点を切り替えるようにした画像処理部４０の動作フローである。

動きベクトル抽出部４２は、撮影情報から動きベクトルＭを抽出する（ステップＳ１）。動きベクトルＭとは、ある基準となる画像フレームからもう一方の画像フレームとの間で特定の物体や領域移動した動きを、ベクトルで表現したものである。動きベクトルＭは、画像をブロック単位に分割した上で、変化の有ったブロックを検出して行くことで求めることができる。

動きベクトルＭは、画像フレームごとの動きベクトルＭの平均でも良いし、最大値でも良い。基準となる画像フレームは、例えば撮影装置３０が撮影を始めた最初の画像フレームとする。

次に、抽出した動きベクトルＭと閾値を比較する。閾値は、例えばＭ１とＭ２の２つを設け、Ｍ１＞Ｍ２の関係とする。閾値Ｍ１とＭ２は、予め設定しておく。

動きベクトルＭが閾値Ｍ１以上の場合（ステップＳ２のＹＥＳ）、画像処理部４０は、特徴点として例えば演者７５と虚像８０の輪郭のみを抽出し（ステップＳ３）、鏡面反転処理（ステップＳ８）をした演者提供画像情報（演者７５と虚像８０）を、実像投影面６０に投影する。この場合は、舞台７３の上の動きが大きいので、大きな演者提供画像情報を表示する。したがって、演者７５は容易に虚像８０の動きを視認することが可能になる。

動きベクトルＭが、閾値Ｍ１未満で且つ閾値Ｍ２以上の場合（ステップＳ４のＹＥＳ）、画像処理部４０は、特徴点として例えば演者７５と虚像８０の骨格データのみを抽出（ステップＳ５）する。この場合は、舞台７３の上の動きが普通（中程度）なので、表示する演者提供画像情報の情報量を少し絞って表示する。

動きベクトルＭが、閾値Ｍ２未満の場合（ステップＳ４のＮＯ）、画像処理部４０は、特徴点として例えば演者７５と虚像８０の骨格データの一部のみを抽出（ステップＳ６）する。この場合は、舞台７３の上の動きが小さいので、表示する演者提供画像情報を小さくして表示する。演者７５は、大きな画像が小さく移動するよりも、小さな画像が移動する方が、例えば虚像８０の動きを視認し易い。

このように、舞台７３の上の動きの大きさに応じて実像投影面６０に投影する演者提供画像情報を変化させることで、虚像８０の動きを視認し易くすることができる。

また、音の大きさに対応させて特徴点を切り替えるようにしても良い。その場合の虚像表示システム１は、舞台７３の上の音を集音するマイクロホン９０を備える。また、画像処理部４０は、音量検出部４３を備える。そして特徴抽出部４１は、音量検出部４３で検出した音の大きさに対応させて演者提供画像情報の情報量を変化させる。

図６に、舞台７３の上の音の大きさ（音量Ｂ）に対応させて演者提供画像情報の情報量を変化させる画像処理部４０の動作フローを示す。音量Ｂの大きさの程度を判別する閾値は、動きベクトルＭと同様に、例えばＢ１とＢ２の２つを設ける。

音量Ｂに対応させて演者提供画像情報の情報量を変化させる方法は、動きベクトルＭの場合と同じである。よって、詳しい説明は省略する。

動きベクトルＭと音量Ｂを用いる方法は、両者を併用しても良いし、一方のみを用いても良い。舞台７３の上の演者７５及び虚像８０の動きの大きさに対応させて演者提供画像情報の情報量を切り替えることで、虚像８０を視認し易くできる。

以上説明したように本実施の形態の虚像表示システム１によれば、演者が虚像の状態や位置を確認することができる。その結果、自身と虚像との間で自然なコミュニケーションを演出することを可能にする。

演者７５は、観客席７６側を向いた自然な姿勢で、虚像８０の情報を取得できる。また、演者７５は、舞台７３の上の現状を映像として視認できる。また、演者７５に提供する演提供画像の情報量を、行うコミュニケーションの種類に応じて変化させることで、観客７７の状況を視認しつつ虚像の情報を的確に取得できる。

なお、本実施の形態は、例示した講演会場に舞台７３を備える例で説明を行ったが、舞台７３は無くても良い。また、ビームスプリッタ７４は、舞台７３の全面をほぼ覆う大きさの例を示したが、舞台７３の一部に配置する小型なもので有っても良い。

また、虚像投影面２０に、虚像投影部１０から虚像表示画像を投影する例で説明を行ったが、虚像投影部１０は無くても良い。虚像投影面２０を、例えば表示パネルで構成し、虚像投影面２０が虚像表示画像を自ら表示するようにしても良い。実像投影面６０も同様である。つまり、虚像投影部１０と実像投影部５０は、無くても良い。

このように本発明は、上記の実施の形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

１：虚像表示システム
１０：虚像投影部
２０：虚像投影面
３０：撮影装置
４０：画像処理部
４１：特徴抽出部
４２：動きベクトル抽出部
４３：音量検出部
４４：鏡面反転処理部
５０：実像投影部
６０：実像投影面
７１：天井
７２：床
７３：舞台
７４：ビームスプリッタ
７５：演者
７６：観客席
７７：観客
７８：第１結像面
７９：第２結像面
８０：虚像
９０：マイクロホン

Claims (6)

1. 観客席と舞台との間にビームスプリッタを配置して前記舞台の上に虚像を表示する虚像表示システムにおいて、
   前記観客席が配置された床と平行する面に配置され、虚像表示画像が投影される虚像投影面と、
   前記ビームスプリッタを挟んで前記虚像投影面と対向する面に配置され、実像と前記虚像が投影される実像投影面と
   を備えたことを特徴とする虚像表示システム。
2. 前記観客席から、前記舞台の方向を撮影する撮影装置と、
   前記撮影装置が出力する画像情報から、前記舞台の上の演者に提供する演者提供画像情報を生成する画像処理部と
   を備え、
   前記画像処理部は、前記虚像と前記演者の画像情報のみを抽出した演者提供画像情報を生成することで前記画像情報の情報量を削減することを特徴とする請求項１に記載の虚像表示システム。
3. 前記観客席から、前記舞台の方向を撮影する撮影装置と、
   前記撮影装置が出力する画像情報から、前記舞台の上の演者に提供する演者提供画像情報を生成する画像処理部と
   を備え、
   前記画像処理部は、前記虚像と前記演者の輪郭を表す画像情報のみを抽出した演者提供画像情報を生成することで前記画像情報の情報量を削減することを特徴とする請求項１に記載の虚像表示システム。
4. 前記観客席から、前記舞台の方向を撮影する撮影装置と、
   前記撮影装置が出力する画像情報から、前記舞台の上の演者に提供する演者提供画像
   情報を生成する画像処理部と
   を備え、
   前記画像処理部は、前記虚像と前記演者の特徴点を表す画像情報のみを抽出した演者提供画像情報を生成することで前記画像情報の情報量を削減する請求項１に記載の虚像表示システム。
5. 前記画像処理部は、前記画像情報の動きベクトルを抽出し、前記動きベクトルの大きさに応じて前記演者提供画像情報の情報量を変化させることを特徴とする請求項２乃至４の何れかに記載の虚像表示システム。
6. 前記舞台の上の音を集音するマイクロホンを備え、
   前記画像処理部は、前記音の大きさに応じて前記演者提供画像情報の情報量を変化させることを特徴とする請求項２乃至５の何れかに記載の虚像表示システム。

Images