JP2021068943A - 映像供給装置、映像供給方法、表示システムおよびプログラム - Google Patents

映像供給装置、映像供給方法、表示システムおよびプログラム Download PDF

Info

Publication number
JP2021068943A
JP2021068943A JP2019190911A JP2019190911A JP2021068943A JP 2021068943 A JP2021068943 A JP 2021068943A JP 2019190911 A JP2019190911 A JP 2019190911A JP 2019190911 A JP2019190911 A JP 2019190911A JP 2021068943 A JP2021068943 A JP 2021068943A
Authority
JP
Japan
Prior art keywords
parallax
image
observer
screen
display system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019190911A
Other languages
English (en)
Other versions
JP7329794B2 (ja
Inventor
誉宗 巻口
Takamune Makiguchi
誉宗 巻口
高田 英明
Hideaki Takada
英明 高田
小野 哲雄
Tetsuo Ono
哲雄 小野
大介 坂本
Daisuke Sakamoto
大介 坂本
健悟 本田
Kengo Honda
健悟 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hokkaido University NUC
Nippon Telegraph and Telephone Corp
Original Assignee
Hokkaido University NUC
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hokkaido University NUC, Nippon Telegraph and Telephone Corp filed Critical Hokkaido University NUC
Priority to JP2019190911A priority Critical patent/JP7329794B2/ja
Publication of JP2021068943A publication Critical patent/JP2021068943A/ja
Application granted granted Critical
Publication of JP7329794B2 publication Critical patent/JP7329794B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】立体映像の品質低下を抑制する。【解決手段】本実施形態の表示システムは、リニアブレンディングを利用して立体映像を表示する表示システムである。本表示システムは、反射面を上方に向けて配置されたスクリーン30と、スクリーン30を囲んで配置され、スクリーン30に視差を持つ映像を投影する複数のプロジェクタ20と、仮想空間内の被写体を複数の仮想カメラで異なる方向から撮影した視差を持つ映像を複数のプロジェクタ20のそれぞれに供給する投影部13を有する。さらに、本表示システムは、観察者100の視点位置を算出する視点算出部11と、視点位置に基づいて観察者100の見る1つ以上の視差を持つ映像を特定し、視点位置における合成輝度に基づいて視差を持つ映像の輝度を調整する制御部12を有する。【選択図】図1

Description

本発明は、映像供給装置、映像供給方法、表示システムおよびプログラムに関する。
水平方向に視差を持つ複数の視点映像を複数のプロジェクタによって投影し、観察者の視点位置(両眼位置)に応じた映像を視認させることで、運動視差を伴う3D映像を裸眼で見ることができる技術が提案されている。
非特許文献1には、リニアブレンディングという知覚の視覚メカニズムを活用することで、疎なプロジェクタ間隔(少ないプロジェクタ数)で3D映像を投影する技術が開示されている。
M. Makiguchi, T. Kawakami, M. Sasai, and H. Takada, "Smooth Motion Parallax Glassless 3D Screen System Using Linear Blending of Viewing Zones and Spatially Imaged Iris Plane", SID, Vol. 48, Issue 1, pp. 903-906
リニアブレンディングでは、視点位置が移動しても視認される映像の輝度の和が一定となることが理想的である。映像を投影するスクリーンが理想的でない場合、プロジェクタの投影した映像の輝度が想定よりも高くなり、輝度の和が一定とならないことがある。この場合、観察者の移動に伴い、観察される立体映像の輝度が変動してしまうという問題があった。
また、リニアブレンディングでは、隣り合う視点映像の視差を融合限界以下にしなければならないという制約がある。隣り合う視点映像内のオブジェクトの視差間隔が融合限界を超えると、オブジェクトが分離して二重像が知覚されてしまい、立体映像の品質が低下してしまう。
プロジェクタの投影した映像の輝度が想定よりも高い場合、想定では視認できない位置において映像を視認できてしまう。視認される映像内のオブジェクトの視差間隔が融合限界を超えてしまうと、オブジェクトが多重に知覚されるという問題があった。
本発明は、上記に鑑みてなされたものであり、立体映像の品質低下を抑制することを目的とする。
本発明の一態様の表示システムは、リニアブレンディングを利用して立体映像を表示する表示システムであって、反射面を上方に向けて配置されたスクリーンと、前記スクリーンを囲んで配置され、前記スクリーンに視差を持つ映像を投影する複数のプロジェクタと、仮想空間内の被写体を複数の仮想カメラで異なる方向から撮影し、前記視差を持つ映像を前記複数のプロジェクタのそれぞれに供給する投影部と、観察者の視点位置および視距離を算出する視点算出部と、前記視点位置に基づいて前記観察者の見る1つ以上の前記視差を持つ映像を特定し、当該視差を持つ映像内の被写体の視差間隔が融合限界を超える場合は、前記被写体の視差間隔が融合限界を超えないように前記投影部を制御する制御部と、を有する。
本発明によれば、立体映像の品質低下を抑制することができる。
図1は、本実施形態の表示システムの構成例を示す図である。 図2は、リニアブレンディングを説明するための図である。 図3は、視点位置に応じた輝度分布を示す図である。 図4は、リニアブレンディングを説明するための図である。 図5は、理想的でない輝度分布を示す図である。 図6は、視点位置に応じた合成輝度の変化を示す図である。 図7は、方位角を示す図である。 図8は、視距離を示す図である。 図9は、スクリーンまでの距離、奥行き距離、視点間隔、および視差間隔の関係を説明するための図である。 図10は、融合限界の奥行き距離および飛び出し距離を説明するための図である。 図11は、本実施形態の表示システムの処理の流れを示すフローチャートである。 図12は、表示システムのハードウェア構成の一例を示す図である。
以下、本発明の実施形態について図面を用いて説明する。
図1に示す本実施形態の表示システムは、複数のプロジェクタ20から視差を持つ映像を円形テーブル状のスクリーン30に投影して立体画像を表示する。視差を持つ映像とは、被写体を異なる方向(視点)から撮影した映像である。本実施形態では、空間結合アイリス面が互いに重なり合う際に生じる視覚的な効果を利用した光学リニアブレンディング技術を用いて立体画像を表示する。
複数のプロジェクタ20は、スクリーン30を囲むように円形に並べられて配置される。例えば、72台のプロジェクタ20が天井から吊り下げられて5度間隔で円形に配置される。
プロジェクタ20のそれぞれには、投影部13が接続される。投影部13の数とプロジェクタ20の数は同数であり、1台のプロジェクタ20に1つの投影部13が接続される。複数の投影部13は、互いに視差を持つ複数の映像をプロジェクタ20のそれぞれに供給する。プロジェクタ20のそれぞれは、投影部13から供給された映像をスクリーン30に投影する。プロジェクタ20それぞれからの映像はスクリーン30の全面に投影される。投影部13のそれぞれは、仮想空間内の被写体を異なる方向から仮想カメラで撮影した映像をレンダリングし、レンダリングした映像をプロジェクタ20に供給する。
スクリーン30は、反射面(投影面)を天井方向に向けたテーブル状の反射型のスクリーンである。観察者100は、スクリーン30の周囲360度の方向からテーブル上の物体を見るようにスクリーン30に投影された映像を観察できる。観察者100の位置に応じて観察される映像の視点が変化するので、観察者100は、スクリーン30に投影された映像を360度の方向から観察できる。
スクリーン30は、投影された映像を反射し、スクリーン30から所定距離離れた位置に空間結合アイリス面を形成する。空間結像アイリス面とは、輝度が調整された結合面である。空間結像アイリス面では、空間結合アイリス面の中心から水平方向に離れるに従って徐々にリニアに近いかたちで輝度が低下する。スクリーン30は、非特許文献1に記載の空間結像アイリス面型スクリーンを用いることができる。
観察者100は、スクリーン30を挟んで反対側に配置されたプロジェクタ20が投影する映像を見ることができる。隣接するプロジェクタ20からの映像のそれぞれが形成する空間結合アイリス面は一部が重なり合う。空間結合アイリス面が重なり合う視点位置では、投影された映像のそれぞれを視認できる。視点位置に応じて混合される映像の輝度の比率が変化し、輝度の比率に応じて映像内のオブジェクトの位置が遷移する。これにより、観察者100には運動視差が生じ、スクリーン30の奥行き方向または手前方向にオブジェクトを知覚できる。また、観察者100が静止していても左右の眼のそれぞれで視認される映像は互いに異なる輝度の比率で混合された映像であり、左右の眼それぞれで映像内のオブジェクトを異なる位置で知覚するため、観察者100は、両眼視差によっても、スクリーン30の奥行き方向または手前方向にオブジェクトを知覚できる。
スクリーン30に投影された映像の輝度分布が理想的でない場合、観察者100の移動に伴って立体映像の輝度が変動して知覚されたり、映像内のオブジェクトが分離されて知覚されたりすることがある。本実施形態では、視点算出部11、制御部12、および蓄積部14を備えて、視点算出部11が観察者100の視点位置を検出し、投影された映像の合成輝度が一定となるように調整したり、視点位置に応じて制御部12が仮想カメラの位置を最適化したり、画像処理を行わせたりすることで、立体映像の品質低下を抑制する。視点算出部11、制御部12、投影部13、および蓄積部14の詳細については後述する。
図2を参照し、リニアブレンディングについて説明する。図2では、3台のプロジェクタ20−1,20−2,20−3とスクリーン30を図示している。
プロジェクタ20−1,20−2,20−3は、スクリーン30から距離a離れた位置に配置される。中央のプロジェクタ20−2は、スクリーン30にオブジェクト50−2を投影する。プロジェクタ20−2の投影する映像は、スクリーン30によって反射されて、スクリーン30から距離d離れた位置に空間結像アイリス面40−2を形成する。空間結合アイリス面が形成される距離dは、スクリーン30の焦点距離をfとした場合に、(1/a)+(1/d)=1/fの関係を満たす。
プロジェクタ20−2の図上で右側に配置されたプロジェクタ20−1は、スクリーン30から距離d離れた位置において、空間結像アイリス面40−2と一部が重なり合う空間結像アイリス面40−1を形成する。
プロジェクタ20−2の図上で左側に配置されたプロジェクタ20−3は、スクリーン30から距離d離れた位置において、空間結像アイリス面40−2と一部が重なり合う空間結像アイリス面40−3を形成する。
図3に、視点位置に応じたプロジェクタ20−1,20−2,20−3からの映像の輝度分布を示す。同図に示す輝度分布は、プロジェクタ20−1,20−2,20−3のそれぞれから輝度が均一な映像(例えば真っ白な映像)をスクリーン30に投影したときの空間結合アイリス面における輝度分布である。位置P1,P2,P3のそれぞれは、プロジェクタ20−1,20−2,20−3それぞれの真正面である。位置P2では、プロジェクタ20−2からの映像の輝度が最も高い。位置P2では、両側のプロジェクタ20−1,20−3からの映像は観察者が識別可能な輝度ではない。そのため、位置P2では、観察者はプロジェクタ20−2からの映像のみを視認することになる。位置P2から位置P1への視点移動に伴ってプロジェクタ20−2から投影された映像の輝度が徐々に低下するとともに、プロジェクタ20−1から投影された映像の輝度が徐々に上昇する。両方の映像の輝度の和は一定である。位置P1と位置P2の間では、プロジェクタ20−1,20−2からの映像が位置に応じた輝度比率で混合された映像を観察できる。
図3のような輝度分布において、図2に示すように、プロジェクタ20−2がスクリーン30にオブジェクト50−2を投影し、プロジェクタ20−1がオブジェクト50−2の左側にオブジェクト50−1を投影すると、観察者は、運動視差により、オブジェクト50がスクリーン30から奥行きSの位置にあるように知覚する。
また、図4に示すように、プロジェクタ20−2がスクリーン30にオブジェクト50−2を投影し、プロジェクタ20−1がオブジェクト50−2の右側にオブジェクト50−1を投影すると、観察者は、オブジェクト50がスクリーン30の手前S’の位置にあるように知覚する。
しかしながら、図5のように、空間結合アイリス面での輝度分布が理想的でない場合、視点移動により立体映像の輝度が変動したり、視差が大きい部分に多重像が知覚されて立体映像の画質が低下したりする。
図3のように輝度分布が理想的な場合は、図6の符号60で示すように、視点移動による合成輝度の変動が小さいが、図5のように輝度分布が理想的でない場合は、図6の符号61で示すように、視点移動による合成輝度の変動が発生してしまう。図6では、各視点位置における各映像の輝度の和を合成輝度として示している。
また、リニアブレンディングでは、同時に視認される映像の視差間隔vを融合限界以下にする必要がある。視差間隔vが融合限界を超えるとプロジェクタ20−1,20−2のそれぞれから投影したオブジェクト50−1,50−2が分離して二重像が知覚されてしまい、オブジェクト50は奥行きSまたは手前S’の位置にあるように知覚されない。
図5の位置P2では、想定していなかったプロジェクタ20−1,20−3からの映像が視認される。つまり、図2の位置P2では、オブジェクト50−1,50−2,50−3が視認される。オブジェクト50−1,50−2の視差間隔vおよびオブジェクト50−2,50−3の視差間隔vが融合限界を超えていない場合でも、オブジェクト50−1,50−3の視差間隔2vが融合限界を超えてしまうと、オブジェクト50−1,50−3が分離して多重像が知覚されてしまう。
そこで本実施形態では、各視点位置における合成輝度の強度および視認できる映像の情報を保持しておき、観察者100の視点位置を検出し、検出した視点位置に基づいて合成輝度の強度が一定となるように各映像の輝度を調整する。また、本実施形態では、視認できる映像に融合限界を超える視差間隔で表示されるオブジェクトが存在するか否かを判定し、オブジェクトの視差間隔が融合限界を超えないように仮想カメラの位置を最適化したり、レンダリングする映像に対して分離して知覚される画質低下成分を削除する画像処理を行ったりする。
図1に戻り、視点算出部11、制御部12、投影部13、および蓄積部14について説明する。
視点算出部11は、観察者100の視点位置を算出する。例えば、視点算出部11は、図7および図8に示すように、スクリーン30上のある方位を基準とした方位角と観察者100の視点からスクリーン30の中心までの視距離を求める。視点算出部11は、ステレオカメラを備えて視点位置を算出してもよいし、カメラとデプスセンサを備えて視点位置を算出してもよい。
制御部12は、方位角に基づいて観察者100の視点位置における合成輝度を求める。例えば、全てのプロジェクタ20からスクリーン30に映像を投影した状態で、スクリーン30の全周360度の各位置において、事前に輝度の強度を測定しておく。これにより、方位角がわかれば、その方位角の視点位置における合成輝度を求めることができる。なお、事前に測定した各視点位置における輝度の強度は、蓄積部14に格納しておく。
制御部12は、方位角に基づいて観察者100に提示される映像をレンダリングする仮想カメラ(投影部13)を特定する。図7に示すように、スクリーン30を挟んで観察者100の反対側に存在し、観察者100に映像を提供する1台以上のプロジェクタ20を特定する。特定したプロジェクタ20に接続された投影部13の制御する仮想カメラを制御対象カメラとする。制御対象カメラのうち、観察者100の真正面に近いプロジェクタ20に映像を提供する投影部13の制御する仮想カメラを主カメラとする。例えば前出の図5において、観察者100が位置P2にいるときは、プロジェクタ20−1,20−2,20−3に接続された投影部13の仮想カメラが制御対象カメラである。観察者100が位置P1にいるときは、プロジェクタ20−1,20−2に接続された投影部13の仮想カメラが制御対象カメラである。
プロジェクタ20のそれぞれについて、プロジェクタ20からスクリーン30に映像を投影した状態で、スクリーン30の各位置において輝度を測定する。所定以上の輝度であれば、その位置において当該プロジェクタ20からの映像を視認できる。これにより、方位角がわかれば、その方位角の視点位置に映像を提供するプロジェクタ20を特定できる。なお、事前に測定した各方位角において映像を提供するプロジェクタ20(投影部13)の情報は蓄積部14に格納しておく。
制御部12は、観察者100の視点位置における合成輝度が所定値となるように、制御対象カメラそれぞれの生成する映像の輝度を調整する。事前に測定した合成輝度が高い視点位置では、各映像の輝度をより大きく下げる。制御部12は、制御対象カメラの全ての映像の輝度を一律に下げてもよいし、主カメラ以外の制御対象カメラの映像の輝度を下げてもよい。
制御部12は、視距離に基づいて視差範囲を超えるオブジェクトを判定する。リニアブレンディングでは、視差間隔が融合限界を超えるオブジェクトは、スクリーン30の奥行き方向に知覚されずに、分離して知覚されてしまう。
図9を参照し、視差間隔が融合限界を超える場合について説明する。図9で示すスクリーン30から距離d離れた視点位置における融合限界の視差間隔vは次式で表される。
Figure 2021068943
ここで、Aは融合限界角度である。融合限界角度Aは、6〜8(min)の角度である。図9および式(1)で分かるように、視点位置がスクリーン30に近づくと視差間隔vは融合限界を超えてしまう。
観察者が知覚する奥行き方向の距離について説明する。視点位置dにおける視点間隔tは次式で表される。
Figure 2021068943
ここで、Pは仮想カメラの間隔(deg)である。
観察者が知覚する奥行き距離S、スクリーンまでの距離d、視点間隔t、および視差間隔vの関係は次式で表される。
Figure 2021068943
観察者が知覚する飛び出し距離S’、スクリーンまでの距離d、視点間隔t、および視差間隔vの関係は次式で表される。
Figure 2021068943
式(3),(4)で表される奥行き距離Sまたは飛び出し距離S’の位置を超えるオブジェクトは分離されて知覚される。
図10を参照し、図9に示す関係を本実施形態の表示システムに当てはめて考える。図10は、表示システムのスクリーン30を側面から見た側面図である。
融合限界の視差間隔vを持つオブジェクトつまり奥行きSの位置で知覚されるオブジェクトは、視距離dの視点位置から見ると、スクリーン30面から奥行き距離h離れた位置に知覚される。つまり、奥行き距離hよりも低い位置にあるオブジェクトは分離されて知覚されてしまう。融合限界の奥行き距離hは次式で表される。
Figure 2021068943
ここで、Hはスクリーン30から視点位置までの垂直距離である。
また、スクリーン30よりも手前に知覚されるオブジェクトの融合限界の飛び出し距離h’は次式で表される。
Figure 2021068943
制御部12は、奥行き距離hより低い位置および飛び出し距離h’より高い位置に表示されるオブジェクトが存在するか否かを判定することで、制御対象カメラで撮影する仮想空間内に視差間隔が融合限界を超えるオブジェクトが存在するか否かを判定できる。奥行き距離hおよび飛び出し距離h’に相当する仮想空間内での高さは既知であるので、制御部12は、仮想空間内に、奥行き距離hおよび飛び出し距離h’に相当する高さを超えるオブジェクトが存在するか否かを判定する。
制御対象カメラの台数が3台以上の場合、制御部12は、制御対象カメラの全ての組み合わせについて奥行き距離hおよび飛び出し距離h’を超える高さのオブジェクトが存在するか否かを判定する。制御対象カメラの組み合わせによって制御対象カメラの間隔が異なるので、制御対象カメラの組み合わせによって融合限界の奥行き距離hおよび飛び出し距離h’が異なる。
観察者100が視認できる映像間において、オブジェクトの視差間隔が融合限界を超えている場合、制御部12は、オブジェクトの視差間隔が融合限界を超えないように投影部を制御する。具体的には、制御部12は、制御対象カメラ(仮想カメラ)の配置を変更するように投影部13を指示したり、当該オブジェクトに対して画質低下成分を削除する画像処理を投影部13に指示したりする。
制御対象カメラの間隔を狭めると、観察者100の知覚できる奥行き距離および飛び出し距離が長くなる。制御部12は、オブジェクトが奥行き方向に知覚される最大の奥行き距離hに対して、制御対象カメラの間隔tつまり制御カメラの間隔P(deg)を次式を満たすように設定する。
Figure 2021068943
また、制御部12は、オブジェクトが手前方向に知覚される最大の飛び出し距離h’に対して、制御対象カメラの間隔tを次式を満たすように設定する。
Figure 2021068943
制御対象カメラの間隔を変える際、制御部12は、例えば、主カメラに他の制御対象カメラを近づける。
また、制御対象カメラの間隔P(deg)を変えずに、制御対象カメラをオブジェクトからより遠くに移動させて、投影部13がレンダリングする際のスケールを縮小してもよい。
画質低下成分を削除する画像処理とは、例えば、融合限界を超えるオブジェクトを非表示にする処理、オブジェクトの融合限界を超える部分をクロップしてレンダリングする処理、深度情報に応じてオブジェクトをフェードアウトさせる処理、あるいは、深度情報に応じてオブジェクトにブラーをかける処理である。オブジェクトを非表示にしたり、クロップしたりした場合は、映像内に融合限界を超える部分が存在しなくなる。オブジェクトをフェードアウトさせたり、ブラーをかけたりした場合は、オブジェクトの輪郭が不明確となって二重像が知覚されにくくなる。
投影部13は、制御部12の指示に基づいて仮想カメラを制御し、仮想カメラで仮想空間内を撮影した映像をレンダリングする。投影部13のそれぞれは、同じ仮想空間内をそれぞれ違う角度から撮影した映像をレンダリングする。プロジェクタ20は、スクリーン30を囲んで円形に配置されるので、仮想カメラのそれぞれは、仮想空間内の被写体を囲んで円形に配置される。
投影部13は、制御部12の指示に従ってレンダリングした映像の輝度を下げる。
投影部13がレンダリングした映像はプロジェクタ20に供給される。なお、1つの投影部13が複数の仮想カメラを制御し、複数のプロジェクタ20のそれぞれに映像を供給してもよい。
プロジェクタ20がスクリーン30に投影した映像は、スクリーン30で反射し、スクリーン30を挟んでプロジェクタ20の反対側にいる観察者100に提供される。
蓄積部14は、方位角のそれぞれにおける合成輝度の強度および方位角のそれぞれにおいて視認できる映像を投影するプロジェクタ20(投影部13または仮想カメラでもよい)の情報を格納する。これらの情報は、事前に測定しておく。
図11を参照し、本実施形態の表示システムが画質低下を抑制する処理の流れについて説明する。投影部13のそれぞれは、仮想空間内の被写体を異なる方向から仮想カメラで撮影した映像をレンダリングし、レンダリングした映像をプロジェクタ20に供給している。プロジェクタ20のそれぞれは、投影部13がレンダリングした映像をスクリーン30に投影している。
ステップS11にて、視点算出部11は、観察者100の視点位置を検出し、観察者100の方位角と視距離を求める。
ステップS12にて、制御部12は、方位角から観察者100に映像を提供する制御対象カメラを特定する。
ステップS13にて、制御部12は、視距離と制御対象カメラ同士の視差に基づいて、映像間のオブジェクトが融合限界に収まるか否かを判定する。
融合限界に収まらない場合、ステップS14にて、制御部12は、制御対象カメラの配置を変更する指示あるいは画質低下成分を削除する画像処理を行わせる指示を対応する投影部13へ送信する。
投影部13は、制御部12の指示に従って、仮想カメラの配置を変更したり、融合限界を超えるオブジェクトを非表示にしたり、オブジェクトの融合限界を超える部分をクロップしたり、深度情報に応じてオブジェクトをフェードアウトさせたり、あるいは、深度情報に応じてオブジェクトにブラーをかけたりする。
ステップとS15にて、制御部12は、観察者100の方位角に応じて、蓄積部14に格納された合成輝度に基づき、観察者100の観察する立体映像の輝度が一定となるように、制御対象カメラがレンダリングする映像の輝度を調整する指示を対応する投影部13へ送信する。
本実施形態では、テーブル状のスクリーン30に対して360度の方向から映像を投影する表示システムについて説明したが、垂直に立てられた矩形のスクリーンに対して複数のプロジェクタから映像を投影し、リニアブレンディングする表示システムにも本発明を適用できる。
また、本実施形態では、リニアブレンディングを実現する反射型のスクリーン30を用いた例で説明したが、プロジェクタ20の前面にレンズおよび拡散板などの光学部材を配置してリニアブレンディングを実現してもよい。
上記説明した視点算出部11、制御部12、および投影部13には、例えば、図12に示すような、中央演算処理装置(CPU)901と、メモリ902と、ストレージ903と、通信装置904と、入力装置905と、出力装置906とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPU901がメモリ902上にロードされた所定のプログラムを実行することにより、視点算出部11、制御部12、および投影部13が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。
以上説明したように、本実施形態の表示システムは、テーブル状の反射型のスクリーン30と、スクリーン30を囲むように円形に並べて配置された複数のプロジェクタ20と、複数のプロジェクタ20に接続された投影部13を有し、リニアブレンディングを利用して立体映像を表示する。視点算出部11が観察者100の視点位置を算出し、制御部12が観察者100の見る映像を撮影する仮想カメラ(制御対象カメラ)を特定する。制御部12は、観察者100の視点位置における合成輝度に基づいて、制御対象カメラがレンダリングする映像の輝度を調整する。これにより、観察者100の観察する立体映像の輝度を一定に保ち、立体映像の品質低下を抑制できる。
また、制御部12は、観察者100の視点位置において視認できる映像内のオブジェクトの視差間隔が融合限界を超えるか否かを判定する。融合限界を超える場合、制御部12は、制御対象カメラの配置を変えて間隔を狭めるように投影部13を指示したり、融合限界を超えるオブジェクトに対して画質低下成分を削除する画像処理を行うように投影部13に指示したりする。これにより、オブジェクトの二重像が知覚されず、立体映像の品質低下を抑制できる。
11…視点算出部
12…制御部
13…投影部
14…蓄積部
20…プロジェクタ
30…スクリーン

Claims (5)

  1. リニアブレンディングを利用して立体映像を表示する表示系に視差を持つ映像を供給する映像供給装置であって、
    仮想空間内の被写体を複数の仮想カメラで異なる方向から撮影し、前記視差を持つ映像を前記表示系に供給する投影部と、
    視点位置ごとの前記視差を持つ映像の合成輝度を蓄積する蓄積部と、
    観察者の視点位置を算出する視点算出部と、
    前記観察者の視点位置に基づいて前記観察者の視認する1つ以上の前記視差を持つ映像を特定し、前記観察者の視点位置における合成輝度に基づいて前記視差を持つ映像の輝度を調整する制御部と、を有する
    映像供給装置。
  2. 請求項1に記載の映像供給装置であって、
    前記視点算出部は、前記観察者の視距離を算出し、
    前記制御部は、前記視距離に基づいて前記視差を持つ映像内の被写体の視差間隔が融合限界を超えるか否か判定し、融合限界を超える場合は、前記被写体の視差間隔が融合限界を超えないように前記投影部を制御する
    映像供給装置。
  3. リニアブレンディングを利用して立体映像を表示する表示系に視差を持つ映像を供給する映像供給装置による映像供給方法であって、
    仮想空間内の被写体を複数の仮想カメラで異なる方向から撮影し、前記視差を持つ映像を前記表示系に供給するステップと、
    観察者の視点位置および視距離を算出するステップと、
    前記視点位置に基づいて前記観察者の見る1つ以上の前記視差を持つ映像を特定するステップと、
    前記視差を持つ映像内の被写体の視差間隔が融合限界を超える場合は、前記被写体の視差間隔が融合限界を超えないように前記仮想カメラを制御するステップと、を有する
    映像供給方法。
  4. リニアブレンディングを利用して立体映像を表示する表示システムであって、
    反射面を上方に向けて配置されたスクリーンと、
    前記スクリーンを囲んで配置され、前記スクリーンに視差を持つ映像を投影する複数のプロジェクタと、
    仮想空間内の被写体を複数の仮想カメラで異なる方向から撮影し、前記視差を持つ映像を前記複数のプロジェクタのそれぞれに供給する投影部と、
    観察者の視点位置および視距離を算出する視点算出部と、
    前記視点位置に基づいて前記観察者の見る1つ以上の前記視差を持つ映像を特定し、当該視差を持つ映像内の被写体の視差間隔が融合限界を超える場合は、前記被写体の視差間隔が融合限界を超えないように前記投影部を制御する制御部と、を有する
    表示システム。
  5. 請求項1または2に記載の映像供給装置の各部としてコンピュータを動作させるプログラム。
JP2019190911A 2019-10-18 2019-10-18 映像供給装置、映像供給方法、表示システムおよびプログラム Active JP7329794B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019190911A JP7329794B2 (ja) 2019-10-18 2019-10-18 映像供給装置、映像供給方法、表示システムおよびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019190911A JP7329794B2 (ja) 2019-10-18 2019-10-18 映像供給装置、映像供給方法、表示システムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2021068943A true JP2021068943A (ja) 2021-04-30
JP7329794B2 JP7329794B2 (ja) 2023-08-21

Family

ID=75637544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019190911A Active JP7329794B2 (ja) 2019-10-18 2019-10-18 映像供給装置、映像供給方法、表示システムおよびプログラム

Country Status (1)

Country Link
JP (1) JP7329794B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011519209A (ja) * 2008-04-10 2011-06-30 ポステック・アカデミー‐インダストリー・ファウンデーション 眼鏡なし3次元立体テレビのための高速多視点3次元立体映像の合成装置及び方法
JP2016513384A (ja) * 2013-02-06 2016-05-12 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 中間ビュー画像を生成するためのシステム
JP2018180508A (ja) * 2017-04-06 2018-11-15 日本電信電話株式会社 表示装置及び表示方法
JP2018195998A (ja) * 2017-05-18 2018-12-06 日本電信電話株式会社 立体画像表示装置
JP2019066560A (ja) * 2017-09-28 2019-04-25 日本電信電話株式会社 表示装置及び表示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011519209A (ja) * 2008-04-10 2011-06-30 ポステック・アカデミー‐インダストリー・ファウンデーション 眼鏡なし3次元立体テレビのための高速多視点3次元立体映像の合成装置及び方法
JP2016513384A (ja) * 2013-02-06 2016-05-12 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 中間ビュー画像を生成するためのシステム
JP2018180508A (ja) * 2017-04-06 2018-11-15 日本電信電話株式会社 表示装置及び表示方法
JP2018195998A (ja) * 2017-05-18 2018-12-06 日本電信電話株式会社 立体画像表示装置
JP2019066560A (ja) * 2017-09-28 2019-04-25 日本電信電話株式会社 表示装置及び表示方法

Also Published As

Publication number Publication date
JP7329794B2 (ja) 2023-08-21

Similar Documents

Publication Publication Date Title
JP3944188B2 (ja) 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
JP4328311B2 (ja) 三次元画像表示用多視点画像の作成方法およびプログラム
US8614738B2 (en) Stereoscopic image display method and stereoscopic image display apparatus
JP5456020B2 (ja) 情報処理装置および方法
US7633528B2 (en) Multi-viewpoint image generation apparatus, multi-viewpoint image generation method, and multi-viewpoint image generation program
RU2554299C2 (ru) Устройство формирования стереоскопических изображений
US8531454B2 (en) Display apparatus and stereoscopic image display method
JP2016529764A (ja) 指向性バックライトの光源の制御
WO2003081921A1 (fr) Procede de traitement d'images tridimensionnelles et dispositif
JPWO2012070103A1 (ja) 立体画像表示装置および方法
CN107111147B (zh) 立体观看装置
CN111212219B (zh) 使用虚拟相机生成多面图像的方法和系统
CN104620047A (zh) 用于会聚角切片真3d显示器的系统和方法
JP2004007395A (ja) 立体画像処理方法および装置
JP2004007396A (ja) 立体画像処理方法および装置
KR101917762B1 (ko) 가상현실 장치의 컨버전스를 조절하여 눈의 피로를 감소시키는 방법
US11012682B2 (en) Linearly actuated display
US9154771B2 (en) Apparatus for capturing stereoscopic image
KR20180048082A (ko) 집적영상 디스플레이의 화질 평가 장치 및 방법
JP6775220B2 (ja) 立体画像表示装置
JP2017199958A (ja) 撮像装置、その制御方法、および制御プログラム
JP7329795B2 (ja) 映像供給装置、映像供給方法、表示システムおよびプログラム
JP2012222549A (ja) 映像表示装置および映像表示方法
JP7329794B2 (ja) 映像供給装置、映像供給方法、表示システムおよびプログラム
US20230051252A1 (en) Method and display system for showing a stereoscopic image

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191031

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230731

R150 Certificate of patent or registration of utility model

Ref document number: 7329794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150