JP2018164168A - 表示装置、表示方法及びプログラム - Google Patents

Abstract

【課題】全天球タイプの画像表示に際して、観賞者が見易い画像を表示する。【解決手段】プロジェクタ１０は、画像を表示する投影系PIと、画像中から主要被写体を選択し、選択した主要被写体が投影系PIにおいて一定の方向に位置するように画像全体を水平方向に移動させるＣＰＵ17とを備える。動画像中での被写体の動きの速さ、被写体が占める大きさ、被写体の種類などによって点数化を行なうことで主要な被写体を選択する。これにより、ユーザの好みなどに応じて、より興味深いと思われる被写体を優先的に選択できる。【選択図】図１

Description

本発明は、表示装置、表示方法及びプログラムに関する。

画像表示装置の表示面の正面からずれた位置において、表示面を観察している観察者が歪みのない画像を観察することができる画像表示を行なうための技術が提案されている。（例えば、特許文献１）

特開２０１３−１２０３４７号公報

上記特許文献に記載された技術は、平面の画像を表示する際の観察者から見た画像の歪みを修正するようにした技術である。

ところで近年のビデオ鑑賞方法の多様化や、ＶＲ（仮想現実）技術を用いたゲームの製品化、家庭用プラネタリウムの普及等に伴い、一平面だけではなく多平面、例えば室内の天井面と４つの壁面、及び床面に連続した画像を投影させるような、所謂、全天球タイプと称される投影装置が提案されている。

この種の全天球タイプの投影装置では、例えば天井面に専用の金具で装置本体を固定して投影を実行することで、装置の取付基部方向を除くほとんど全ての面に連続した画像を投影することができる。

しかしながら、上記のような投影装置で画像を投影した場合、現実の投影環境となる室内では、家具やその他の調度品、窓などが投影画像と重なることもあり得るため、画像中で主要な被写体が移動する場合などには、見えづらい状態で投影されることも考えられる。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、全天球タイプの画像表示に際して、観賞者が見易い画像を表示することが可能な表示装置、表示方法及びプログラムを提供することにある。

本発明の一態様は、画像を表示する表示部と、上記画像中から主要被写体を選択する被写体選択部と、上記被写体選択部で選択した主要被写体が上記表示部において一定の方向に位置するように上記画像全体を水平方向に移動させる表示制御部と、を備える。

本発明によれば、全天球タイプの画像表示に際して、観賞者が見易い画像を表示することが可能となる。

本発明の第１の実施形態に係るプロジェクタの主として電子回路の機能構成を示すブロック図。 同実施形態に係るプロジェクタに供給する全天球タイプの動画像データの取得環境を例示する図。 同実施形態に係る投影動作時にＣＰＵが実行する処理内容を示すフローチャート。 同実施形態に係るプロジェクタの設置環境と投影状態とを例示した図。

以下、本発明を、室内の天井面の略中央に専用の金具で固定して使用する全天球タイプのプロジェクタに適用した場合の一実施形態について、図面を参照して詳細に説明する。
図１は、このプロジェクタ１０の主として電子回路の機能構成を説明する。同図中、データ記憶部１１から投影すべき画像データが読出され、バスＢを介して投影画像駆動部１２に送られる。

このデータ記憶部１１にはまた、後述する補正マスクデータや視点補正行列群データ等も記憶される。

上記投影画像駆動部１２は、送られてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば１２０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、表示素子であるマイクロミラー素子１３を表示駆動する。

このマイクロミラー素子１３は、アレイ状に配列された複数個、例えばＷＸＧＡ（横１２８０画素×縦８００画素）分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。

一方で、光源部１４から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。光源部１４は、半導体発光素子であるＬＥＤを有し、Ｒ，Ｇ，Ｂの原色光を時分割で繰返し出射する。光源部１４が有するＬＥＤは、広義でのＬＥＤとして、ＬＤ（半導体レーザ）や有機ＥＬ素子を含むものとしても良い。

この光源部１４からの原色光が、ミラー１５で全反射して上記マイクロミラー素子１３に照射される。そして、マイクロミラー素子１３での反射光で光像が形成され、形成された光像が投影レンズ部１６を介して外部に投射される。

この投影レンズ部１６は、所謂魚眼レンズと呼称される類いの超広角レンズにより、基部方向を除く全球画像を投影するもので、例えば投影光軸に沿った平面において投影画角２７０°、投影光軸と直交する平面において投影画角３６０°を実現するものとする。
上記投影画像駆動部１２、マイクロミラー素子１３、光源部１４、ミラー１５、及び投影レンズ部１６により投影系ＰＩを構成する。

上記各回路の動作すべてをＣＰＵ１７が制御する。このＣＰＵ１７は、メインメモリ１８及びプログラムメモリ１９と直接接続される。メインメモリ１８は、例えばＳＲＡＭで構成され、ＣＰＵ１７のワークメモリとして機能する。プログラムメモリ１９は、電気的書換可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ１７が実行する動作プログラム、その他各種定型データ等を記憶する。

ＣＰＵ１７は、上記プログラムメモリ１９に記憶されている動作プログラムや定型データ等を読出し、メインメモリ１８に展開して記憶させた上で当該プログラムを実行することにより、このプロジェクタ１０を統括して制御する。

上記ＣＰＵ１７は、操作部２０からの操作信号に応じて各種投影動作を実行する。この操作部２０は、プロジェクタ１０の本体に備えるいくつかの操作キー、及びこのプロジェクタ１０専用の図示しないリモートコントローラからのキー操作信号を実施する受信部を含み、受付けたキー操作信号に応じた信号を上記ＣＰＵ１７へ送出する。

上記ＣＰＵ１７は更に、上記バスＢを介して音声処理部２１、通信部２２と接続される。
音声処理部２１は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声信号をアナログ化し、スピーカ部２３を駆動して放音させ、あるいは必要によりビープ音等を発生させる。

通信部２２は、例えばＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ｎ／１１ａｃ規格に則った無線ＬＡＮ通信、及びＩＥＥＥ８０２．１５規格に則った近距離無線通信によりアンテナ２４を介してプロジェクタ１０外部の機器とデータの送受信を行なう。

本実施形態では、アンテナ２４、通信部２２を介してプロジェクタ１０の外部から送られてきた画像データを上記データ記憶部１１にいったん記憶させた上で、その記憶させた画像データに基づく上記投影系ＰＩでの投影動作を実行するものとする。

なお上記投影系ＰＩの投影レンズ部１６は、その基部の１箇所に、正面方向を示す記号、例えば「△」がマーキングされており、この記号の位置を、プロジェクタ１０を設置する際に、メインのスクリーンとする壁面に向けて設置することで、このプロジェクタ１０による投影画像の観賞者が、使用環境で正面となる方向を設定することができる。

また上記データ記憶部１１には、上述した如く、補正マスクデータ及び視点補正行列群データが記憶されているものとする。これら補正マスクデータ及び視点補正行列群データは、このプロジェクタ１０を設置する部屋の形状情報と、主となる観賞者の視線位置、主要な視線方向の情報とから生成される。

これら補正マスクデータ及び視点補正行列群データに基づいて、投影する画像に対する変形補正を行なうことで、プロジェクタ１０の設置場所である天井や壁面間の接合部等の屈曲による投影画像の変形を補正して、観賞者が壁面等の存在を意識することなく、自然な描写での投影画像を鑑賞することができる。

次に上記実施形態の動作について説明する。
本実施形態では、図２に示すように、三脚ＴＰを用いて定点設置された全天球カメラＰＢで撮影したライブ画像を、図示しないインターネットを含むネットワークを介して中継し、プロジェクタ１０のアンテナ２４及び通信部２２で受信して、適宜データ記憶部１１に記憶しながら、投影系ＰＩにより投影する場合の動作について例示する。

上記三脚ＴＰ及び全天球カメラＰＢは、例えばプライド（ライオンの群れ）、その他の動物が生息するようなサバンナ地帯、あるいはサファリパーク等に設置されており、プロジェクタ１０では常に、全天球カメラＰＢで得られるライブ画像を投影させることができるものとする。

図３は、プロジェクタ１０が実行する動画像データに対する一連の基本的な処理の流れを示す図である。この処理は、ＣＰＵ１７がプログラムメモリ１９に記憶されている動作プログラム等を読出してメインメモリ１８上に展開して記憶させた上で実行する。

その処理当初にＣＰＵ１７は、アンテナ２４及び通信部２２を介して、図示しないネットワーク経由で、上記全天球カメラＰＢで撮影された動画像データを受信し、データ記憶部１１に記憶させる（ステップＳ１０１）。

ＣＰＵ１７は、受信した動画像データで示される画像中を走査し、輪郭抽出処理及びパターンマッチング処理を含む画像処理により、被写体となる動物の画像部分を抽出し、その抽出結果それぞれに対応する点数化を行なう（ステップＳ１０２）。

すなわちＣＰＵ１７では、例えばライオンを含む複数種類の動物、それぞれの取り得るシルエットのパターンデータと、それら動物の顔認識を行なうための認識パラメータデータ等を用いて、画像中の被写体である動物の種類、画像中に占める大きさ、画像内での移動量を含む動きの量、パターンとのマッチング度（体全体のうち、どの程度が写っているか）、顔が正面（全天球カメラＰＢ側）を向いているかどうか等を、予め設定された条件に従って各被写体毎に点数化して保持する。

また同一の動物の種類であっても、例えば雄ライオンと雌ライオンとでは外形のシルエットのパターンが異なるので、それらを異なる種類として判断し、点数に差異を付けるものとしても良い。
更には、画像内で動きがあるものが、視聴者が観たいものであると判断し、画像として差分が大きい領域を、回転して視聴者の正面に持って来るようにしても良い。

なお、上記画像中から輪郭抽出処理及びパターンマッチング処理を含む画像処理によって被写体となる動物の画像部分を抽出する画像処理に代えて、所定の大きさの領域毎に同一位置における経時的な変化があるか否かを、例えば送られてきた動画像データ中のＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）におけるＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）の画像成分（過去、未来両方のフレームから予測したデータとの差分を符号化（エンコード）したもの）を利用するなどによって判断することで、データサイズが少なくなるので、より簡易に画像中で動きのある範囲を検出できる。

受信した動画像データの画像全体を走査して、画像中における全ての被写体に対して上述した点数化を行なうと、次にＣＰＵ１７は、それらの被写体の中で最も点数が高かった被写体を主要被写体として選択する（ステップＳ１０３）。

なお上記したように個々の被写体単位で点数化を行なうのではなく、予め設定した大きさの探索フレーム、例えば水平面での中心角度を３０°、垂直面での中心角度を１５°としたフレーム範囲で画像を走査し、当該フレーム内に入る個々の被写体を上述したように点数化した上で同一フレーム内に写っている被写体の点数を合算することで、複数の被写体が探索フレーム内に位置する場合を考慮して、フレーム単位での総合点が最も高かった探索フレーム位置を、トータルでの主要被写体として判断するものとしても良い。

主要被写体の選択を終えると、ＣＰＵ１７は次にその主要被写体の位置と、その時点で予め設定されている正面方向との相対角度とから、投影する画像を回転させる速度条件を取得する（ステップＳ１０４）。

ここで回転速度条件としては、上記した主要被写体の位置と正面方向との相対角度に加えて、画像内での主要被写体の移動量、プロジェクタ１０の電源投入タイミングからの経過時間、常に主要被写体を正面に位置させる主要被写体の優先モードが設定されているかどうかを勘案して、総合的に投影する画像を回転させる速度条件を取得しても良い。

画像を回転させる速度条件の具体的な例としては、例えばプロジェクタ１０の電源投入当初は、投影画像の不自然さを考慮せずに即時主要被写体が正面に位置するように投影画像を瞬間的に回転させる。
例えば、主要被写体が正面から(ｉ)４５度に位置する場合、(ii)９０度に位置する場合、(iii)１３５度に位置する場合、とでは、同じ速度で回転させると、正面に到達するまでの時間に差が出てしまう。そこで、正面からの角度の大小によって速度を変えることで、正面から主要被写体迄の角度が大きいか小さいかに関わりなく、ほぼ同一の時間で正面に動画像中の主要被写体を含む領域が回転移動して投影されるようにする。このように、正面と現時点での主要被写体と位置との角度に応じて、主要被写体の移動速度を変えることができる。
なお、主要被写体は動いているため、主要被写体を視聴者の正面（一定の方向）に位置合わせしようとした際に、主要被写体が正面より先の位置まで回転させてしまう場合がある。
この場合は、動画像を当初の回転方向（第１の回転方向）と反対の回転方向（第２の回転方向）に回転して主要被写体を正面に戻す制御が必要となる。動画像を第２の回転方向に回転させる速度は、第１の回転方向に回転させる速度に対して、遅くすることができる。
更に、動画像を回転して主要被写体を正面に移動させる際、最初、ゆっくりと回転させ、主要被写体が正面に近づくにつれて徐々に速度を速めて主要被写体が正面に位置させるようにしても良い。

その一方で、電源投入当初に主要被写体を正面に位置させた後は、上記主要被写体の優先モードが設定されている間、主要被写体の移動速度と上記相対角度等に応じて、観賞者に不自然な感じを与えない範囲内で、できるだけ早い回転速度の条件を取得する。
また、主要被写体が一定の方向（視聴者の正面）に位置するように投影画像を回転させる制御を開始してから１時間等、所定時間が経過したら、視聴者が主要被写体を見るのが飽きてきたと判断し、表示制御部は、主要被写体が視聴者の正面に位置するように画像全体を水平方向に移動させる制御を中断しても良い。

なお上記投影する画像を回転させる速度条件としては、順次その時点で必要な速度値を算出するものとしても良いし、各種の要因等に基づいて回転速度を段階的に設定するものとしても良い。

こうして投影する画像を回転させる速度条件を取得した上で、ＣＰＵ１７はその条件に基づいてマイクロミラー素子１３で表示する画像位置を回転移動させることで、全天球動画を投影系ＰＩにより投影するよう再生させ（ステップＳ１０５）、以上で一連の全天球動画像の再生を行なったものとして、これを続行するべく、再び上記ステップＳ１０１からの処理に戻る。

図４は、上記プロジェクタ１０の設置環境と投影状態とを例示した図である。同図で、プロジェクタ１０は部屋の天井面の略中央に専用の天吊り金具（図示せず）により設置され、投影レンズ部１６の投影光軸が直下方向に向けられる。

ここでは、図の右方の壁面が観賞者ＥＪの正面に位置し、メインスクリーンとなる壁面ＭＷとして設定されると共に、図の左方、窓ＷＤがある壁面は、観賞者ＥＪの背面側に位置した、主要被写体の投影にあまり適さないものとして設定されるものとする。

プロジェクタ１０は、壁面ＭＷに主要被写体を優先して投影させるよう動作することで、観賞者ＥＪにとって不自然な観賞姿勢を招くことのない投影環境を提供できる。

なお、上記右方の壁ＭＷに主要被写体を投影するに当たって、ＣＰＵ１７では、主要被写体の部分のみを拡大し、重複する周囲部分を含めて上書きするような画像の強調処理を実行しても良い。例えば、主要被写体を含む動画像を正面に移動させる際、主要被写体の大きさが正面に近づくにつれて大きくなるように制御する。また、主要被写体の大きさが閾値以下の場合、主要被写体が所定の大きさになるように、大きさを変更する。

また、主要被写体の部分の画像の輝度を上げること、及び反対に、主要被写体を含む周辺以外の領域の画像の輝度を下げること、の少なくとも一方を実行することで、相対的に主要被写体の部分の輝度を周囲よりも上げる強調処理を行なうなど、観賞者ＥＪからの主要被写体への注目度を上げるような処理を実施して、単調となる可能性の高いライブ画像などに対して変化を付けて、より見易いものとなるようにしても良い。

以上詳述した如く本実施形態によれば、全天球タイプの画像投影に際して、観賞者が見易い画像を投影することが可能となる。

また上記実施形態では、動画像中での被写体の動きの速さ、被写体が占める大きさ、被写体の種類などによって点数化を行なうことで主要な被写体を選択するものとしたので、ユーザの好みなどに応じて、より興味深いと思われる被写体を優先的に選択するような構成を容易に実現することが可能となる。

更に上記実施形態では、個々の被写体のみにより主要被写体を選択するのではなく、動画像中で一定の大きさに設定した探索範囲内に存在する被写体を点数化して、最も点数の高い探索範囲を主要被写体が存在する範囲として選択するものとしてもよく、主要な菱谷対する選択基準をより総合的に構築できる。

加えて上記実施形態では、動画像の方向を回転させる角度や、動画像中の主要被写体の動きの速さ、装置の電源投入時からの経過時間などに応じて、動画像の方向を回転させる速度を可変制御するものとしたので、ユーザが不自然な姿勢をとる必要なしに、見易い画像を正面にて観賞することができる。

なお上記実施形態では、外部から提供されるライブの動画像データを中継してプロジェクタ１０で再生させる場合について説明したが、プロジェクタ１０に入力する全天球タイプの動画像データは、ライブの動画像データに限るものではなく、例えば何らかの記録媒体で提供されるもの等であっても良い。

また上記実施形態では、全天球カメラを用いて説明したが、全天球カメラに限らない。カメラとしては、全周カメラであっても良い。或いは全周撮影できなくても、少なくとも、人間の視界の範囲である視野角よりも広いパノラマ撮影ができるカメラであれば良い。 また上記実施形態では、全天球投影部を用いて説明したが、全周投影部であっても良い。
更には、全周投影できなくても、人間の視界の範囲である視野角よりも広いパノラマ投影ができれば良い。また、投影部に限らず、ディスプレイ等の表示部であっても良い。

その他、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
画像を表示する表示部と、
上記画像中から主要被写体を選択する被写体選択部と、
上記被写体選択部で選択した主要被写体が上記表示部において一定の方向に位置するように上記画像全体を水平方向に移動させる表示制御部と、
を備える表示装置。
［請求項２］
全周カメラで撮像した動画像情報を取得する画像取得部を更に備え、
上記被写体選択部は、上記画像取得部で取得した動画像中から被写体を抽出し、抽出した被写体から予め設定された条件に従って主要被写体を選択し、
上記表示制御部は、上記画像取得部で取得した上記動画像全体を水平方向に移動させる、
請求項１記載の表示装置。
［請求項３］
上記被写体選択部は、動画像中での被写体の動きの速さ、被写体が占める大きさ、被写体の種類、の少なくとも１つに応じて主要被写体を選択する、請求項２記載の表示装置。
［請求項４］
上記被写体選択部は、動画像中で一定の大きさに設定した探索範囲内に存在する被写体を点数化しながら上記探索範囲を走査し、最も点数の高かった探索範囲を主要被写体が存在する範囲として選択する、請求項２又は３記載の表示装置。
［請求項５］
上記表示制御部は、動画像の方向を回転させる角度、動画像中の主要被写体の動きの速さ、及び装置の電源投入時からの経過時間、の少なくとも１つに応じて動画像の方向を回転させる速度を可変制御する、請求項２乃至４何れか記載の表示装置。
［請求項６］
上記表示制御部は、動画像中の主要被写体を含む範囲の拡大と、主要被写体を含む範囲のその他の周囲範囲と比して相対的な輝度の上昇との少なくとも一方を実行する、請求項２乃至５何れか記載の表示装置。
［請求項７］
画像を表示する表示部を備えた装置での表示方法であって、
上記画像中から主要被写体を選択する被写体選択工程と、
上記被写体選択工程で選択した主要被写体が上記表示部において一定の方向に位置するように上記画像全体を水平方向に移動させる表示制御工程と、
を有する表示方法。
［請求項８］
画像を表示する表示部を備えた装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
上記画像中から主要被写体を選択する被写体選択部、及び
上記被写体選択部で選択した主要被写体が上記表示部において一定の方向に位置するように上記画像全体を水平方向に移動させる表示制御部、
として機能させるプログラム。

１０…プロジェクタ
１１…データ記憶部
１２…投影画像駆動部
１３…マイクロミラー素子
１４…光源部
１５…ミラー
１６…投影レンズ部
１７…ＣＰＵ
１８…メインメモリ
１９…プログラムメモリ
２０…操作部
２１…音声処理部
２２…通信部
２３…スピーカ部
２４…アンテナ
Ｂ…バス
ＥＪ…観賞者
ＰＩ…投影系
ＷＤ…窓

Claims (8)

1. 画像を表示する表示部と、
   上記画像中から主要被写体を選択する被写体選択部と、
   上記被写体選択部で選択した主要被写体が上記表示部において一定の方向に位置するように上記画像全体を水平方向に移動させる表示制御部と、
   を備える表示装置。
2. 全周カメラで撮像した動画像情報を取得する画像取得部を更に備え、
   上記被写体選択部は、上記画像取得部で取得した動画像中から被写体を抽出し、抽出した被写体から予め設定された条件に従って主要被写体を選択し、
   上記表示制御部は、上記画像取得部で取得した上記動画像全体を水平方向に移動させる、
   請求項１記載の表示装置。
3. 上記被写体選択部は、動画像中での被写体の動きの速さ、被写体が占める大きさ、被写体の種類、の少なくとも１つに応じて主要被写体を選択する、請求項２記載の表示装置。
4. 上記被写体選択部は、動画像中で一定の大きさに設定した探索範囲内に存在する被写体を点数化しながら上記探索範囲を走査し、最も点数の高かった探索範囲を主要被写体が存在する範囲として選択する、請求項２又は３記載の表示装置。
5. 上記表示制御部は、動画像の方向を回転させる角度、動画像中の主要被写体の動きの速さ、及び装置の電源投入時からの経過時間、の少なくとも１つに応じて動画像の方向を回転させる速度を可変制御する、請求項２乃至４何れか記載の表示装置。
6. 上記表示制御部は、動画像中の主要被写体を含む範囲の拡大と、主要被写体を含む範囲のその他の周囲範囲と比して相対的な輝度の上昇との少なくとも一方を実行する、請求項２乃至５何れか記載の表示装置。
7. 画像を表示する表示部を備えた装置での表示方法であって、
   上記画像中から主要被写体を選択する被写体選択工程と、
   上記被写体選択工程で選択した主要被写体が上記表示部において一定の方向に位置するように上記画像全体を水平方向に移動させる表示制御工程と、
   を有する表示方法。
8. 画像を表示する表示部を備えた装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
   上記画像中から主要被写体を選択する被写体選択部、及び
   上記被写体選択部で選択した主要被写体が上記表示部において一定の方向に位置するように上記画像全体を水平方向に移動させる表示制御部、
   として機能させるプログラム。