JP2015231114A - 映像表示装置 - Google Patents

Abstract

【課題】自由視点映像を視聴する際に、体感品質の高い映像を表示することができるようにする。【解決手段】視点情報を取得する手段と、視点情報が所定の時間取得できない場合に注視モードであると判定し、視点情報が取得できた場合に遷移モードであると判定する手段と、遷移モードである場合には視点情報を表示視点位置と決定し、注視モードである場合には視点情報と実カメラ映像の撮影地点に対応するカメラ視点情報との距離が最小となるカメラ視点情報を表示視点位置と決定する手段と、遷移モードである場合には、表示視点位置に対応する自由視点映像を表示し、注視モードである場合には、表示視点位置に至る直線上に複数の仮想視点を設定し、該仮想視点に対応する自由視点映像を順次切り替えて表示することで視点情報に対応する自由視点映像からカメラ視点情報に対応する自由視点映像に変化させながら表示する手段とを備える。【選択図】図１

Description

本発明は、視聴者が自由視点映像を視聴するための映像表示装置に関する。

ユーザが好みの視点から対象物を見ることができる自由視点映像への需要は、極めて高い。自由視点映像合成では、複数のカメラにより撮影を行い、カメラのない視点を含む任意の視点からの映像を、視点の周辺のカメラ映像の合成により作成する（例えば、非特許文献１参照）。ここで、実際にカメラがある視点の映像と、合成された視点の映像とを比較すると以下の特性がある。

実カメラ映像は、高品質である。しかしながら、カメラ配置には物理的な限界がある。一方、仮想カメラ映像は、視点を自由に設定することが可能である。ただし、映像の品質は実カメラ映像より劣る。

このように、実カメラ映像と仮想カメラ映像の特性のため、自由視点映像の視聴時の体感品質は、視点の移動方法に大きく依存する。そのため、視点切り替えインタフェースは極めて重要である。

なお、配置したカメラから撮影した映像を実カメラ映像、実カメラ映像を用いて合成された、カメラの存在しない視点位置からの映像を仮想カメラ映像と呼ぶ。

前述したように、実カメラ映像は品質が高いが、物理的な制約やコストの観点から、配置可能な数には限りがある。そこで、実カメラ間の視点映像を表現するために仮想カメラ視点を想定し、近傍の実カメラ映像から仮想カメラ映像を合成する研究が多数行われている。

木全英明、北原正樹、上倉一人、八島由幸、"多視点映像符号化をベースとした自由視点映像通信"、ＮＴＴ技術ジャーナル２００５．２、ｐ１３−１６

しかしながら、遮蔽によるホールなどの課題があり、仮想カメラ映像の品質は、実カメラ映像の品質には及んでいない。そのため、実カメラ映像を選択すれば体感品質の良い映像の閲覧が可能であるが、仮想カメラ映像を選択した場合、実カメラ映像と比較して品質の劣る映像が表示されてしまう。短時間の表示であれば仮想カメラ映像を表示しても体感品質をあまり損なわずに済むが、長時間に渡る仮想カメラ映像の表示は映像視聴の体感品質を損なう恐れがあるという問題がある。

本発明は、このような事情に鑑みてなされたもので、視聴者が自由視点映像を視聴する際に、体感品質の高い映像を表示することができる映像表示装置を提供することを目的とする。

本発明は、複数のカメラにより撮影された実カメラ映像と、該実カメラ映像から生成される仮想カメラ映像とからなる自由視点映像を表示する映像表示装置であって、視点情報を取得する視点位置取得部と、前記視点情報が所定の時間取得できない場合に注視モードであると判定し、前記視点情報が取得できた場合に遷移モードであると判定する視聴モード判定部と、前記遷移モードである場合には前記視点情報を表示視点位置と決定し、前記注視モードである場合には前記視点情報と前記実カメラ映像の撮影地点に対応するカメラ視点情報との距離が最小となるカメラ視点情報を表示視点位置と決定する表示視点位置決定部と、前記遷移モードである場合には、前記表示視点位置に対応する前記自由視点映像を表示し、前記注視モードである場合には、前記表示視点位置に至る直線上に複数の仮想視点を設定し、該仮想視点に対応する前記自由視点映像を順次切り替えて表示することで前記視点情報に対応する前記自由視点映像から前記カメラ視点情報に対応する前記自由視点映像に変化させながら表示する映像表示部とを備えることを特徴とする。

本発明は、前記注視モードに入る直前の視点移動方向を取得する視点移動方向取得部をさらに備え、前記表示視点位置決定部は、前記視点移動方向取得部において得られた前記視点移動方向から閾値以内の方向に存在する最近傍のカメラ視点情報を前記表示視点位置と決定することを特徴とする。

本発明は、前記注視モードに入る直前の視点遷移速度を取得する視点移動速度取得部をさらに備え、前記映像表示部は、前記視点情報に対応する前記自由視点映像から前記カメラ視点情報に対応する前記自由視点映像に変化させながら表示する際に、変化速度が前記視点遷移速度になるように変化させることを特徴とする。

本発明は、前記視点位置取得部において取得した前記視点情報に遅延を加えた視点情報を取得する遅延視点取得部をさらに備え、前記遷移モードの際に、前記表示視点位置決定部は、前記遅延を加えた視点情報を前記表示視点位置と決定することを特徴とする。

本発明は、前記注視モードで表示するカメラ視点情報を決定する際の閾値を、直前の視点の自動遷移量に基づいて動的に決定する閾値決定部をさらに備え、前記表示視点位置決定部は、前記閾値決定部において決定される閾値以内の方向に存在するカメラ視点情報を前記表示視点位置と決定することを特徴とする。

本発明によれば、視聴者が自由視点映像を視聴する際に、体感品質の高い映像を表示することができるという効果が得られる。

本発明の第１実施形態の構成を示すブロック図である。 図１に示す映像表示装置における視点位置の遷移を示す説明図である。 本発明の第３実施形態による映像表示装置の構成を示すブロック図である。 図３に示す映像表示装置の動作を示す説明図である。 本発明の第４実施形態による映像表示装置の構成を示すブロック図である。 図５に示す映像表示装置の動作を示す説明図である。 本発明の第５実施形態による映像表示装置の構成を示すブロック図である。 図７に示す映像表示装置の動作を示す説明図である。 本発明の第６実施形態による映像表示装置の構成を示すブロック図である。 図９に示す映像表示装置の動作を示す説明図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像表示装置を説明する。図１は同実施形態の構成を示すブロック図である。図１に示す映像表示装置は、複数カメラにより撮影された映像と、この映像群から合成された任意視点映像とからなる自由視点映像を、ユーザからの視点位置情報の入力に基づいて視聴可能とするものである。映像表示装置は、ユーザ指定視点位置取得部１、視聴モード判定部２、表示視点位置決定部３、自由視点映像蓄積装置４及び映像表示部５を備える。複数のカメラの配置位置の関係について、特に制約はないが、実装上は、ユーザ指定視点位置と実カメラ視点位置との距離の計算を簡単にするために、配置位置と視点位置を表す配列の添え字が対応づいているのが好ましい。

ユーザ指定視点位置取得部１は、ユーザが指定した視点位置を取得する。視点の指定方法は、キーボードにより入力する方法、マウスにより入力する方法、ジャイロセンサ等による方法など様々なものが考えられるが、特にこれを制約するものではない。なお、ユーザの指定した視点位置と実カメラ視点位置は、事前調整により同一の座標系で表す。例えば、実カメラ視点位置を世界座標系で表し、その視点間映像である仮想視点位置（ユーザ指定視点位置）の座標も実カメラ視点位置の間をとるように世界座標で表す方法等が利用できる。両者を同一の座標系で表すことにより、ユーザ指定視点位置と実カメラ視点位置との距離を容易に求めることが可能である。

視聴モード判定部２は、ユーザの視点位置情報の指定が停止し、対象を注視している（注視モード）か、それとも視点・注視点を変更している最中なのか（遷移モード）を判定する。例えば、一定時間視点・注視点の移動がなければ注視モード、そうでなければ遷移モードと判定する。

自由視点映像蓄積装置４は、視点と、この視点に対応する映像の組を蓄積して記憶する。これは事前に全て蓄積されている必要はなく、視点の指定要求に応じて、対応する映像を提供可能であればよい。

表示視点位置決定部３は、ユーザ指定視点位置取得部１で取得したユーザが指定した視点位置と、視聴モードに基づいてユーザに表示するための映像の視点を決定する。ここで決定する映像の視点を、表示視点位置と呼ぶ。

映像表示部５は、注視モードの場合には表示視点位置決定部３により定めた表示視点位置の実カメラ映像を提示する。

＜第２実施形態＞
次に、本発明の第２実施形態による映像表示装置を説明する。第２実施形態による映像表示装置の構成は、図１に示す構成と同様であるため、ここでは詳細な説明を省略する。第２実施形態による映像表示装置が、第１実施形態による映像表示装置と異なる点は、表示視点位置決定部３において、最近傍の実カメラへと自動遷移する点である。

本実施形態の表示視点位置決定部３は、遷移モードの場合、ユーザ指定視点位置取得部１により取得した視点位置をそのまま表示視点位置とする。一方、注視モードの場合、ユーザ指定視点位置取得部１により取得した視点から最近傍に存在する実カメラ視点へ向かって遷移する視点位置を、表示視点位置とする。

次に、図２を参照して、表示視点位置決定部３の処理動作を説明ずる。図２は、視点位置の遷移を示す説明図である。図２では、縦軸は視点位置を示し、横軸は時刻ｔを示す。図２においては、ｎ（ｎは自然数）番目のカメラｎと、ｎ＋１番目のカメラｎ＋１を示している。注視モードの時刻ｔ’の場合、ユーザ指定視点位置取得部１から得られた視点位置ａ（ユーザ指定視点位置ａ）について、最も近い位置にある実カメラ（この例ではカメラｎ）の実カメラ視点位置ｂ（ユーザ指定視点位置ｂ）を求める。また、時刻が経過して時刻ｔ’’において、ユーザ指定視点位置ａになった場合、最も近い位置にある実カメラ（この例ではカメラｎ＋１）の実カメラ視点位置ｂを求める。

ここで、ａ，ｂは視点移動空間と次元数の等しいベクトルであり、例えば視点移動空間が二次元である場合、ａ＝（ａ_ｘ，ａ_ｙ），ｂ＝（ｂ_ｘ，ｂ_ｙ）のように二次元ベクトルで記述することができる。

映像表示部５は、ユーザ指定視点位置取得部１から得られたユーザ指定視点位置ａから、表示視点位置決定部３で得られた表示視点位置ｂまでの視点映像を、視点移動させながら表示する。映像表示部５は、ユーザ指定視点位置ａから表示視点位置ｂに至る直線上に複数の仮想視点を設定し、この仮想視点に対応する自由視点映像を順次切り替えて表示することにより視点移動を行う。

＜第３実施形態＞
次に、本発明の第３実施形態による映像表示装置を説明する。図３は、第３実施形態による映像表示装置の構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図３に示す映像表示装置が、図１に示す映像表示装置と異なる点は、新たに視点移動方向取得部６を設けた点である。図３に示す映像表示装置は、注視モードの時に、その直前の視点移動方向上にあって、かつユーザの指定した視点位置の最近傍にある実カメラ視点へと自動遷移するものである。

次に、図４を参照して、図３に示す映像表示装置の動作を説明する。図４は、図３に示す映像表示装置の動作を示す説明図である。図４では、縦軸は視点位置を示し、横軸は時刻ｔを示す。図４においては、ｎ（ｎは自然数）番目のカメラｎと、ｎ＋１番目のカメラｎ＋１を示している。視点移動方向取得部６は、ユーザが注視モードに入る直前の視点移動方向ベクトルｋを取得する。

表示視点位置決定部３は、時刻ｔ’において、ユーザ指定視点位置取得部１から得られた視点位置ａを起点として、視点移動方向取得部６で得られた移動方向ｋから一定閾値ｄ１以内の方向に存在する最近傍の実カメラ視点位置を、表示視点位置ｂとする。なお、ｄ１は移動方向ベクトルｋと次元数の等しいベクトルである。また、時刻が経過して時刻ｔ’’において、同様に実カメラ視点位置ｂを求める。

映像表示部５は、ユーザ指定視点位置取得部１から得られた視点位置ａから、表示視点位置決定部３で得られた視点位置ｂまでの視点映像を、視点移動させながら表示する。視点移動は、前述した処理動作と同様に行う。

＜第４実施形態＞
次に、本発明の第４実施形態による映像表示装置を説明する。図５は、第４実施形態による映像表示装置の構成を示すブロック図である。この図において、図３に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図５に示す映像表示装置が、図３に示す映像表示装置と異なる点は、新たに視点移動速度取得部７を設けた点である。図５に示す映像表示装置は、注視モードの時に、その直前の視点遷移方向上にあって、かつユーザの指定した視点位置から最も近い実カメラ映像へと、注視モード直前の視点遷移速度に合わせて自動遷移する視点変更するものである。

次に、図６を参照して、図５に示す映像表示装置の動作を説明する。図６は、図５に示す映像表示装置の動作を示す説明図である。図６では、縦軸は視点位置を示し、横軸は時刻ｔを示す。図６においては、ｎ（ｎは自然数）番目のカメラｎと、ｎ＋１番目のカメラｎ＋１を示している。視点移動速度取得部７は、注視モード直前の視点遷移速度ベクトルｖを取得する。

表示視点位置決定部３は、時刻ｔ’において、ユーザ指定視点位置取得部１から得られた視点ａを起点として、視点移動方向取得部で得られた移動方向ｋから一定閾値ｄ１以内の方向に存在するうち最近傍の実カメラ視点位置を表示視点位置ｂとする。また、時刻が経過して時刻ｔ’’において、同様に実カメラ視点位置ｂを求める。

映像表示部５は、ユーザ指定視点位置取得部１から得られた視点位置ａから、表示視点位置決定部３で得られた、表示視点位置ｂまでの視点映像を、速度ｖで自動遷移する。視点移動は、前述した処理動作と同様に行う。

＜第５実施形態＞
次に、本発明の第５実施形態による映像表示装置を説明する。図７は、第５実施形態による映像表示装置の構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図７に示す映像表示装置が、図１に示す映像表示装置と異なる点は、新たに遅延視点取得部８を備える点である。図７に示す映像表示装置は、表示する視点の制御に遅延を導入することで、スムーズな自動遷移を実現するものである。遅延視点取得部８は、実際のユーザの視点遷移に対し、若干の遅延を導入して自動遷移を実現する。

次に、図８を参照して、図７に示す映像表示装置の動作を説明する。図８は、図７に示す映像表示装置の動作を示す説明図である。図８では、縦軸は視点位置を示し、横軸は時刻ｔを示す。図８においては、ｎ（ｎは自然数）番目のカメラｎと、ｎ＋１番目のカメラｎ＋１を示している。遅延視点取得部８は、ユーザ指定視点位置取得部１で取得した視点位置ｐに遅延を加えた視点位置ｑを取得する。例えば、現在時刻をｔ、遅延幅をｒとしたとき、ｑ_ｔ＝ｐ_ｔ＋ｒを取得する。なお、ｐ、ｑ、ｑｔ、ｐ_ｔ＋ｒは、ａ，ｂと同様視点移動空間と次元数の等しいベクトルとなる。

表示視点位置決定部３ではユーザの視点の指定が移動している遷移モードの時は、遅延を導入した視点ｑを表示視点位置とし、注視モードでは、ユーザが注視モードに入った時の視点位置ｐに最も近い実カメラ視点を表示視点位置とする。

＜第６実施形態＞
次に、本発明の第６実施形態による映像表示装置を説明する。図９は、第６実施形態による映像表示装置の構成を示すブロック図である。この図において、図７に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図９に示す映像表示装置が、図７に示す映像表示装置と異なる点は、新たに閾値決定部９を設けた点である。図９に示す映像表示装置は、注視モードで表示する実カメラ視点を決定する際の閾値を、直前の視点の自動遷移量に基づいて動的に決定するものである。

次に、図１０を参照して、図９に示す映像表示装置の動作を説明する。図１０は、図９に示す映像表示装置の動作を示す説明図である。図１０では、縦軸は視点位置を示し、横軸は時刻ｔを示す。図１０においては、ｎ（ｎは自然数）番目のカメラｎと、ｎ＋１番目のカメラｎ＋１を示している。表示視点位置決定部３では、ユーザ指定視点位置取得部１から得られた視点ａを起点として、後述する閾値決定部９で決定される一定閾値ｄ以内の方向に存在する実カメラ視点位置を表示のための視点ｂとする。

閾値決定部９は、表示視点位置決定部３で得られた実カメラ視点位置を用いて、表示視点位置決定部３で用いる閾値を以下の手順（１）〜（３）により動的に決定する。この処理は、ユーザが注視モードに入るたびに行うものである。

（１）前回表示視点位置を決定するために用いた閾値をｄとする。
（２）ユーザ視点位置取得部から得られた視点ａとし、表示視点位置決定部３で得られた表示視点位置をｂとする。この時、ｄ’＝ｄ＋α（ｂ−ａ）と更新する。ただしαは０以上１以下の値を取る実数である。
（３）ユーザが注視モードに入るたびに（１）、（２）を繰り返す。

以上説明したように、人の角度の知覚感度が高くなく、ユーザの指定した視点位置の代わりに少し角度を変化させた実カメラ視点位置の映像を表示してもユーザには気づかれにくいことを利用して、ユーザの視点の指定が停止した場合には、現在の視点映像から少しずつ角度を変化させ、最終的に実カメラ映像を提示することにより、体感品質の高い自由視点映像を表示することができる。

前述した実施形態における映像表示装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

視聴者が自由視点映像を視聴する際に、体感品質の高い映像を表示することが不可欠な用途に適用できる。

１・・・ユーザ指定視点位置取得部、２・・・視聴モード判定部、３・・・表示視点位置決定部、４・・・自由視点映像蓄積装置、５・・・映像表示部、６・・・視点移動方向取得部、７・・・視点移動速度取得部、８・・・遅延視点取得部、９・・・閾値決定部

Claims (5)

1. 複数のカメラにより撮影された実カメラ映像と、該実カメラ映像から生成される仮想カメラ映像とからなる自由視点映像を視聴する映像表示装置であって、
   視点情報を取得する視点位置取得部と、
   前記視点情報が所定の時間取得できない場合に注視モードであると判定し、前記視点情報が取得できた場合に遷移モードであると判定する視聴モード判定部と、
   前記遷移モードである場合には前記視点情報を表示視点位置と決定し、前記注視モードである場合には前記視点情報と前記実カメラ映像の撮影地点に対応するカメラ視点情報との距離が最小となるカメラ視点情報を表示視点位置と決定する表示視点位置決定部と、
   前記遷移モードである場合には、前記表示視点位置に対応する前記自由視点映像を表示し、前記注視モードである場合には、前記表示視点位置に至る直線上に複数の仮想視点を設定し、該仮想視点に対応する前記自由視点映像を順次切り替えて表示することで前記視点情報に対応する前記自由視点映像から前記カメラ視点情報に対応する前記自由視点映像に変化させながら表示する映像表示部と
   を備えることを特徴とする映像表示装置。
2. 前記注視モードに入る直前の視点移動方向を取得する視点移動方向取得部をさらに備え、
   前記表示視点位置決定部は、前記視点移動方向取得部において得られた前記視点移動方向から閾値以内の方向に存在する最近傍のカメラ視点情報を前記表示視点位置と決定することを特徴とする請求項１に記載の映像表示装置。
3. 前記注視モードに入る直前の視点遷移速度を取得する視点移動速度取得部をさらに備え、
   前記映像表示部は、前記視点情報に対応する前記自由視点映像から前記カメラ視点情報に対応する前記自由視点映像に変化させながら表示する際に、変化速度が前記視点遷移速度になるように変化させることを特徴とする請求項２に記載の映像表示装置。
4. 前記視点位置取得部において取得した前記視点情報に遅延を加えた視点情報を取得する遅延視点取得部をさらに備え、
   前記遷移モードの際に、前記表示視点位置決定部は、前記遅延を加えた視点情報を前記表示視点位置と決定することを特徴とする請求項１に記載の映像表示装置。
5. 前記注視モードで表示するカメラ視点情報を決定する際の閾値を、直前の視点の自動遷移量に基づいて動的に決定する閾値決定部をさらに備え、
   前記表示視点位置決定部は、前記閾値決定部において決定される閾値以内の方向に存在するカメラ視点情報を前記表示視点位置と決定することを特徴とする請求項４に記載の映像表示装置。

Images