JP2019009700A - 多視点映像出力装置、および、多視点映像システム - Google Patents

Abstract

【課題】多視点映像出力装置、多視点映像システムを提供する。【解決手段】多視点映像出力装置MAIOは、複数の視点から撮影された映像を取得する取得部ACQと、映像を元映像データとして格納し、撮影装置の座標、複数の視点座標（ミラー座標）、被写体座標、および、歪み補正情報を含む入力系座標情報を格納する記憶部MEMと、入力系座標情報を参照して元映像データを視点別の映像データに分離し、ミラーおよび撮像装置レンズによる映像の歪みを修正した複数の視点別分離映像データを生成し、２つ以上の視点の視点別分離映像データに基づき、視点の間にある任意の仮想視点の映像データ、視点別分離映像データとしてさらに生成する視点別分離映像データ生成部IMGと、観察者の位置を検知する視点位置センシング部PSと、投影部PRJと、観察者の位置に対応する投影部に、当該位置に対応する視点別分離映像データを投影する再生部PLとを有する。【選択図】図５

Description

本発明は、多視点映像出力装置、および、多視点映像システムに関するものである。

映像を立体的に提示する技法、即ち、３Ｄ的表現は、２眼のステレオカメラを用いて３Ｄの映像を出力するという形式で発展してきた。しかしながら、このような従来の３Ｄ的表現は、１つの視点から見たものを立体的に観察できるが、異なる視点から見た場合には対応できない。例えば、映画館の座席や、家で椅子に座って見る場合、即ち、動かない１つの視点である「単一視点」から見るというものにしか対応できない。

最近では、展示会や博物館などで、人が移動したり、或いは、多様なアングルから見たり、するような状況で、様々な視点（多視点）から対象オブジェクト（被写体）を観察した場合に、対象オブジェクト（映像）を立体的に提示するといったニーズが増大しつつある。また、ゲームやＣＧなどの分野においても、ユーザの操作やゲームの展開において、任意の視点に移動して、その移動した視点から見た対象オブジェクト（映像）を提示（表現）するといったニーズが増大しつつある。

このような単一視点でなく多視点の画像を生成するための従来技術が開発されつつある。例えば、「撮像システム、撮像方法、画像再生装置及びプログラム」（特許文献１を参照されたい。）である。

特開２０１５−１８５９６５号公開公報

この従来技術は、
「画像データ生成システム１は、被写体Ｏを中心点とし、半径をＲとする同心円Ｃ上に等間隔にて設置された複数のカメラ１０と、各カメラ１０によって撮像された画像の出力の切り替えを行って画像データを生成する画像データ生成装置２０と、を有している。また、画像データ生成装置２０は、一のカメラ１０から出力された画像について画像解析を実行し、画像内の被写体Ｏの動きを検出し、特定のカメラ１０から同心円Ｃにおける予め定められた円周方向（例えば、時計回り）に沿って順番に各カメラ１０から出力された画像に切り替えて出力する。」
といった技法である。

上記の従来技術では、被写体の周囲に配置された「多数のカメラ」が必須であり、各カメラの制御や同期を取る必要があり、複雑で高価な構成となる。上述した諸課題を解決すべく、本願発明者らは、複数のミラーを周囲に配し、単一のカメラを利用して、簡易に多視点の映像を取得し、さらに、このようにして取得した多視点映像から任意の視点の映像を再生する技法に想到した。

そこで、本発明の目的は、多視点映像出力装置、および、多視点映像システムを提供することである。

第１の発明による多視点映像取得装置は、
被写体の周囲の少なくとも一部を囲むミラー支持体と、
該ミラー支持体の被写体側（内側）に支持されている、複数のミラーと、
該ミラー支持体に囲まれ、該複数のミラーを同時に撮影することによって、該複数のミラーの各々の異なる視点から見た前記被写体を撮影する撮像部と、
を有する。

また、第２の発明による多視点映像取得装置は、
前記複数のミラーの各々は、
平面鏡であり、
前記撮像部の位置と、前記被写体の位置との関係を考慮して、前記撮像部が、該ミラーの各々に映る前記被写体が映るように角度調整して配置される、
ことを特徴とする。
本構成によれば、光学系が平面鏡であるため、角度調整が必要であるが、出力時（再生時）の凸面から平面への変換処理などが不要である。

また、第３の発明による多視点映像取得装置は、
前記複数のミラーが、
凸面鏡である、
ことを特徴とする多視点映像取得装置。
本構成によれば、光学系が凸面鏡であるため、被写体を映るようするに角度調整が不要である、また、被写体の配置調整も不要であり、ミラー支持体のほぼ中央、即ち、被写体の近傍に配置すればよい。

また、第４の発明による多視点映像出力装置は、
複数の視点（方向、角度）から撮影された映像（例えば、多視点映像取得装置ＭＡＩＡで撮影された映像）を取得する取得部と、
取得した映像を元映像データとして格納し、撮影時の撮影装置の座標、複数の視点座標（ミラー座標）、被写体座標、および、歪み補正情報を含む入力系座標情報を格納する記憶部と、
入力系座標情報を参照して、元映像データを視点別の映像データに分離し、ミラーおよび撮像装置レンズによる映像の歪みを修正した、複数の視点別分離映像データを生成する視点別分離映像データ生成部と、
観察者の位置を検知する視点位置センシング部と、
複数の表示部と、
検知した観察者の位置に対応する前記表示部に、当該位置に対応する視点別分離映像データの映像を表示させる、再生部と、
を有する。
なお、表示部は１つでもよい。その場合は、表示部の対応する一部の領域に映像を表示させることが好適である。

また、第５の発明による多視点映像出力装置は、
前記複数の表示部が、
特殊プレート、ミラー、または、表示ディスプレイ（液晶ディスプレイ、プラズマディスプレイなど）のいずれかである、
ことを特徴とする。

また、第６の発明による多視点映像システムは、
多視点映像取得装置および多視点映像出力装置を含む多視点映像システムであって、
前記多視点映像取得装置は、
被写体の周囲の少なくとも一部を囲むミラー支持体と、
該ミラー支持体の被写体側（内側）に支持されている、複数のミラーと、
該ミラー支持体に囲まれ、該複数のミラーを同時に撮影することによって、該複数のミラーの各々の異なる視点から見た前記被写体を撮影する撮像部と、
を有し、
前記多視点映像出力装置は、
前記多視点映像取得装置により撮影された、映像を取得する取得部と、
取得した映像を元映像データとして格納し、撮影時の撮影装置の座標、複数の視点座標（ミラー座標）、被写体座標、および、歪み補正情報を含む入力系座標情報を格納する記憶部と、
入力系座標情報を参照して、元映像データを視点別の映像データに分離し、ミラーおよび撮像装置レンズによる歪みを修正した、複数の視点別分離映像データを生成する視点別分離映像データ生成部と、
観察者の位置を検知する視点位置センシング部と、
複数の表示部（投影部（ミラーや特殊プレートなど）、または、表示ディスプレイ（液晶ディスプレイ、プラズマディスプレイなど）と、
検知した観察者の位置に対応する前記表示部に、当該位置に対応する視点別分離映像データの映像を表示させる（投影する）、再生部と、
を有する。

また、第７の発明による多視点映像システムは、
前記複数の表示部が、
特殊プレート、ミラー、または、表示ディスプレイ（液晶ディスプレイ、プラズマディスプレイなど）のいずれかである、
ことを特徴とする。

また、第８の発明による多視点映像出力装置は、
複数の視点（方向、角度）から撮影された映像（例えば、多視点映像取得装置ＭＡＩＡで撮影された映像）を取得する取得部と、
取得した映像を元映像データとして格納し、撮影時の撮影装置の座標、複数の視点座標（ミラー座標）、被写体座標、および、歪み補正情報を含む入力系座標情報を格納する記憶部と、
入力系座標情報を参照して、元映像データを視点別の映像データに分離し、ミラーおよび撮像装置レンズによる映像の歪みを修正した、複数の視点別分離映像データを生成し、２つ以上の視点の視点別分離映像データに基づき、当該２つ以上の視点の間にある任意の仮想視点の映像データを、視点別分離映像データとしてさらに生成する、視点別分離映像データ生成部と、
観察者の位置を検知する視点位置センシング部と、
複数の表示部（投影部（ミラーや特殊プレートなど）、または、表示ディスプレイ（液晶ディスプレイ、プラズマディスプレイなど）と、
検知した観察者の位置に対応する前記表示部に、当該位置に対応する視点別分離映像データの映像を表示させる（投影する）、再生部と、
を有する。

また、第９の発明による多視点映像システムは、
前記複数の表示部が、
特殊プレート、ミラー、または、表示ディスプレイ（液晶ディスプレイ、プラズマディスプレイなど）のいずれかである、
ことを特徴とする。

また、第１０の発明による多視点映像システムは、
多視点映像取得装置および多視点映像出力装置を含む多視点映像システムであって、
前記多視点映像取得装置は、
被写体の周囲の少なくとも一部を囲むミラー支持体と、
該ミラー支持体の被写体側（内側）に支持されている、複数のミラーと、
該ミラー支持体に囲まれ、該複数のミラーを同時に撮影することによって、該複数のミラーの各々の異なる視点から見た前記被写体を撮影する撮像部と、
を有し、
前記多視点映像出力装置は、
複数の視点（方向、角度）から撮影された映像（例えば、多視点映像取得装置ＭＡＩＡで撮影された映像）を取得する取得部と、
取得した映像を元映像データとして格納し、撮影時の撮影装置の座標、複数の視点座標（ミラー座標）、被写体座標、および、歪み補正情報を含む入力系座標情報を格納する記憶部と、
入力系座標情報を参照して、元映像データを視点別の映像データに分離し、ミラーおよび撮像装置レンズによる映像の歪みを修正した、複数の視点別分離映像データを生成し、２つ以上の視点の視点別分離映像データに基づき、当該２つ以上の視点の間にある任意の仮想視点の映像データを、視点別分離映像データとしてさらに生成する、視点別分離映像データ生成部と、
観察者の位置を検知する視点位置センシング部と、
複数の表示部（投影部（ミラーや特殊プレートなど）、または、表示ディスプレイ（液晶ディスプレイ、プラズマディスプレイなど）と、
検知した観察者の位置に対応する前記表示部に、当該位置に対応する視点別分離映像データの映像を表示させる（投影する）、再生部と、
を有する。
本構成によれば、視点の間にある任意の視点に対応した映像を補間映像として生成できるため、より緻密に観察者の視点移動に対応してシステムを実現でき、よりリアルに立体的に被写体を見せることが可能となる。

また、第１１の発明による多視点映像システムは、
前記複数の表示部が、
特殊プレート、ミラー、または、表示ディスプレイ（液晶ディスプレイ、プラズマディスプレイなど）のいずれかである、
ことを特徴とする。

上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

本発明によれば、簡易に多視点の映像を取得することが可能となる。また、多視点の映像は、再生時に、ユーザの視点を切り替えることによって被写体を立体的に捉えさせることが可能となる。また、観察者は裸眼でありながら被写体があたかもそこに存在するかのように立体的に見せることが可能となる。また、視点の間にある任意の視点に対応した映像を補間映像として生成できるため、より緻密に観察者の視点移動に対応してシステムを実現でき、よりリアルに立体的に被写体を見せることが可能となる。

図１は、本発明の一実施態様による多視点映像取得装置の概要を示す模式図である。 図２は、図１に示した多視点映像取得装置により取得される映像を説明する模式図である。 図３は、図１に示した多視点映像取得装置で実行される処理の一例を示すフローチャートである。 図４は、本発明の一実施態様による多視点映像取得装置の概要を示すブロック図である。 図５は、本発明の一実施態様による多視点映像取得装置（入力系）および多視点映像取得装置（出力系）の概要を示すブロック図である。 図６は、図５に示した多視点映像取得装置および多視点映像取得装置における各視点の入力系と出力系を示す模式図である。 図７は、図５に示した多視点映像出力装置で実行される処理の一例を示すフローチャートである。 図８は、図５に示した多視点映像取得装置および多視点映像取得装置における各視点の入力系と出力系を示す模式図である。 図９は、図５に示した多視点映像出力装置で実行される処理の一例を示すフローチャートである。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。

図１は、本発明の一実施態様による多視点映像取得装置の概要を示す模式図である。
図に示すように、多視点映像取得装置ＭＡＩＡは、
被写体ＳＢＪの周囲の少なくとも一部を囲むミラー支持体ＳＰＴと、
ミラー支持体ＳＰＴの被写体側（内側）に支持されている、複数のミラーＣＭと、
ミラー支持体ＳＰＴに囲まれ、該複数のミラーを同時に撮影することによって、該複数のミラーの各々の異なる視点から見た前記被写体を撮影する撮像部ＣＡＭと、
被写体ＳＢＪを支持する被写体支持部ＳＳＰＴ（被写体が人物である場合は、椅子を使用することが好適である）と、
を有する。複数のミラーＣＭは、凸面ミラーとすることが好適である。撮像部ＣＡＭは、周囲をパノラマ撮影することが可能な１つまたは複数の魚眼レンズなどを使用することが好適である。

本構成によれば、アングル、即ち、視点の異なる２Ｄ映像（平面的な映像）の組み合わせにより、映像を立体的に取り込むこととで、コンパクトかつ簡易に３Ｄ的表現を行うための入力装置（映像取得装置）を実現させることが可能となった。

図２は、図１に示した多視点映像取得装置により取得される映像を説明する模式図である。図に示すように、被写体ＳＢＪの周囲に凸面ミラーＣＭ１、ＣＭ２，ＣＭ３，ＣＭ４というように複数個配置し、撮像部ＣＡＭにより凸面ミラーに映り込んだ被写体ＳＢＪを撮影することが可能となる。これによって、被写体を複数にアングル（視点）から見た映像を取得することが可能となる。また、このような複数の視点からの映像を取得するには、多数の撮像部が必要であるが、本構成では、単一の撮像部に、複数のミラーからの映像を集中させて、映像取得を実現させている。この例では、凸面ミラーＣＭ１は、方向Ａ１（アングルＡ１）から見た被写体ＳＢＪの映像を撮像部ＣＡＭに入力（取得）させる。同様に、凸面ミラーＣＭ２、ＣＭ３，ＣＭ４は、方向Ａ２（アングルＡ２）、Ａ３（アングルＡ３）、Ａ４（アングルＡ４）、から見た被写体ＳＢＪの映像を撮像部ＣＡＭに入力（取得）させる。もちろん、被写体ＳＢＪの正面のみならず、背後に配置された、凸面ミラーＣＭ７は、方向Ａ７（アングルＡ７）から見た被写体ＳＢＪの映像を撮像部ＣＡＭに入力（取得）させることが可能となる。この説明では、水平方向の映像を取得する場合を示したが、上方や下方、または斜め上方や斜め下方など、ミラーが配置された全ての方向（アングル）でも同様に映像を取得することが可能である。

図３は、図１に示した多視点映像取得装置で実行される処理の一例を示すフローチャートである。図に示すように、ステップＳ１１にて、撮影被写体をミラー支持体の中央に配置する。次に、ステップＳ１２にて、撮像部が各ミラーを同時に撮影することによって、各ミラーの異なる視点から見た撮影被写体を撮影する。最後に、ステップＳ１３にて、記憶部が、多視点から見た撮影被写体の映像を含む映像情報を格納したり、外部に送信したりする。

図４は、本発明の一実施態様による多視点映像取得装置の概要を示すブロック図である。図に示すように、多視点映像取得装置ＭＡＩＡは、
被写体ＳＢＪの周囲の少なくとも一部を囲むミラー支持体ＳＰＴと、
ミラー支持体ＳＰＴの被写体側（内側）に支持されている、複数のミラーＣＭと、
ミラー支持体ＳＰＴに囲まれ、該複数のミラーを同時に撮影することによって、該複数のミラーの各々の異なる視点から見た前記被写体を撮影する撮像部ＣＡＭと、
被写体ＳＢＪを支持する被写体支持部ＳＳＰＴ（被写体が人物である場合は、椅子を使用することが好適である）と、
撮影した映像情報を格納する記憶部ＭＥＭと、
映像情報を再生、または、出力する再生部ＰＬ（出力部）と、
を有する。複数のミラーＣＭは、凸面ミラーとすることが好適である。撮像部ＣＡＭは、周囲をパノラマ撮影することが可能な１つまたは複数の魚眼レンズなどを使用することが好適である。

上述した実施態様では、本発明を入力系の多視点映像取得装置として説明してきたが、本発明は、出力系（再生系）の多視点映像出力装置としても実現可能である。以降、図を参照しながら、出力系（再生系）の実施態様を説明する。

図５は、本発明の一実施態様による多視点映像取得装置（入力系）および多視点映像取得装置（出力系）の概要を示すブロック図である。図に示すように、多視点映像出力装置ＭＡＩＯは、
複数の視点（方向、角度）から撮影された映像（例えば、多視点映像取得装置ＭＡＩで撮影された映像）を取得する取得部ＡＣＱと、
取得した映像を元映像データとして格納し、撮影時の撮影装置の座標、複数の視点座標（ミラー座標）、および、被写体座標、各ミラーの曲率などを含む入力系座標情報を格納する記憶部ＭＥＭと、
入力系座標情報を参照して、視点別の映像データに分離し、凸面ミラーおよび撮像装置レンズによる歪みを修正した、複数の視点別分離映像データを生成する視点別分離映像データ生成部ＩＭＧと、
観察者の位置を検知する視点位置センシング部ＰＳと、
投影部ＰＲＪ（ミラーや特殊プレートなど）と、
検知した観察者の位置に対応する投影部に、当該位置に対応する視点別分離映像データを投影する、再生部ＰＬと、
を有する。

本実施態様では、表示部を、映像を投影する投影部として説明したが、表示ディスプレイ、例えば、液晶ディスプレイやプラズマディスプレイなどを使用してもよい。また、投影部や表示ディスプレイは１つでもよいし、複数であってもよい。その場合は、表示部の対応する一部の領域に映像を表示させる。

図に示すように、多視点映像取得装置（入力系）および多視点映像取得装置（出力系）で多視点映像システムＭＡＩＳを構成させることも可能である。

図６は、図５に示した多視点映像取得装置および多視点映像取得装置における各視点の入力系と出力系を示す模式図である。図に示すように、多視点映像取得装置の入力系ＡＱＳでは、当該方向に配置した凸面ミラーを利用して、被写体ＳＢＪを、疑似的に方向Ａ１（アングルＡ１）から撮影する。同様に、当該方向に配置した凸面ミラーを利用して、被写体ＳＢＪを、疑似的に方向Ａ２（アングルＡ２）から撮影する。

次に、出力系を説明する。出力系ＶＲＳでは、方向Ａ１に相当する方向Ａ１'に位置する観察者ＯＢＳ１の位置を、視点位置センシング部ＰＳ１が検知する。この検知を受けて、当該位置に対応する視点別分離映像データを再生部ＰＬが、検知した観察者の位置に対応する投影部の方向Ａ１'に配置されたミラーディスプレイＭＤ１（投影部）に、被写体ＳＢＪ−Ｇの虚像ＶＩ１を投影する。繰り返しになるが、この実施態様では、表示部の一例として、映像を投影する投影部である「ミラーディスプレイ」を挙げて説明したが、何らかの表示装置であればよく、表示ディスプレイ、例えば、液晶ディスプレイやプラズマディスプレイなどを使用してもよい。また、投影部や表示ディスプレイは１つでもよいし、複数であってもよい。その場合は、表示部の対応する一部の領域に映像を表示させる。また、表示装置は、２Ｄでも３Ｄでもよい。

同様に、方向Ａ２に相当する方向Ａ２'に位置する観察者ＯＢＳ２の位置を、視点位置センシング部ＰＳ２が検知する。この検知を受けて、当該位置に対応する視点別分離映像データを再生部ＰＬが、検知した観察者の位置に対応する投影部の方向Ａ２'に配置されたミラーディスプレイＭＤ２（投影部）に、被写体ＳＢＪ−Ｇの虚像ＶＩ２を投影する。

観察者が歩きながら視点をＡ１'からＡ２'に変えることで、裸眼でありながら被写体の視点が変わるため、被写体があたかもそこに存在して立体的に見えるような効果を奏する。なお、視点位置センシング部は、２つある形式で説明したが、１つのセンサーで３次元的に位置をセンシングしてもよい。同様に、ミラーディスプレイは２つ示したが、１つの投影部であってもよい。

繰り返しになるが、本構成は、モニタ―あるはプロジェクタ等による映像をミラーや特殊プレートにより虚像として表示する際に、観察者がモニタを見る視点を変えた場合、それに対応して、出力する映像も切替、裸眼でありながら被写体がそこに存在するかのように立体的に見せる。

図７は、図５に示した多視点映像出力装置で実行される処理の一例を示すフローチャートである。図に示すように、ステップＳ２１にて、取得部が、複数の視点（方向、角度）から撮影された映像（例えば、多視点映像取得装置で撮影された映像）を取得する。次に、ステップＳ２２にて、記憶部が、取得した映像を元映像データとして格納し、撮影時の撮影装置の座標、複数の視点座標（ミラー座標）、被写体座標、および、歪み補正情報を含む入力系座標情報を格納する。次に、ステップＳ２３にて、視点別分離映像データ生成部が、入力系座標情報を参照して、元映像データを視点別の映像データに分離し、ミラーおよび撮像装置レンズによる歪みを修正した、複数の視点別分離映像データを生成する。次に、ステップＳ２４にて、視点位置センシング部が、観察者の位置を検知する。最後に、ステップＳ２５にて、再生部が、検知した観察者の位置に対応する投影部（ミラーなど）に、当該位置に対応する視点別分離映像データを投影する。

図８は、図５に示した多視点映像取得装置および多視点映像取得装置における各視点の入力系と出力系を示す模式図である。図に示すように、多視点映像取得装置の入力系ＡＱＳ、および、出力系ＶＲＳは、図６のそれらと同様である。この例では、出力系ＶＲＳ１において、視点間の任意の仮想視点における補間映像を投影する。図に示すように、出力系ＶＲＳ１では、方向Ａ１と方向Ａ２との間に相当する方向Ａ１２'に位置する観察者ＯＢＳ１２の位置を、視点位置センシング部ＰＳ１２が検知する。この検知を受けて、当該位置に対応する補間され、生成された、視点別分離映像データを再生部ＰＬが、検知した観察者の位置に対応する投影部の方向Ａ１２'に配置されたミラーディスプレイＭＤ１２（投影部）に、被写体ＳＢＪ−Ｇの虚像ＶＩ２を投影する。なお、３点以上の視点の場合は、任意の仮想視点は、３点以上を点を結ぶ多角形の中に位置する点であればよい。また、２点の視点の間でなく、その直線上の外にある点を仮想視点にするいわゆる外挿法による補間映像を生成することも可能である。但し、外挿法による補間映像に適用し易いのは、直方体など比較的、単純な形状のもので数学的処理によって視点の変化による形状予測がし易いものに限定される。

これによって、補間された仮想映像を観察者が見ることによって、より、立体的、よりリアルに臨場感をもって被写体を観察することが可能となる。補間映像は、２点間に２以上設けることが可能である。また、三角形のような３点の間の仮想視点についても、１つまたは２以上の補間映像を生成することが可能である。なお、補間映像は、ＣＧ，ＣＡＤ，または、数学的な既知の技法を適用して生成することが好適である。図５のシステムのように、入力系と出力系とを組み合わせたシステムを構築することで、リアルタイムで投影することも可能である。

図９は、図５に示した多視点映像出力装置で実行される処理の一例を示すフローチャートである。図に示すように、ステップＳ３１にて、取得部が、複数の視点（方向、角度）から撮影された映像（例えば、多視点映像取得装置で撮影された映像）を取得する。次に、ステップＳ３２にて、記憶部が、取得した映像を元映像データとして格納し、撮影時の撮影装置の座標、複数の視点座標（ミラー座標）、被写体座標、および、歪み補正情報を含む入力系座標情報を格納する。次に、ステップＳ３３にて、視点別分離映像データ生成部が、入力系座標情報を参照して、元映像データを視点別の映像データに分離し、ミラーおよび撮像装置レンズによる映像の歪みを修正した、複数の視点別分離映像データを生成し、２つ以上の視点の視点別分離映像データに基づき、当該２つ以上の視点の間にある任意の仮想視点の映像データを、視点別分離映像データとしてさらに生成する。このステップＳ３３が、図７のステップＳ２３と異なる点であり、本ステップでは、補間映像を生成するものである。次に、ステップＳ３４にて、視点位置センシング部が、観察者の位置を検知する。最後に、ステップＳ３５にて、再生部が、検知した観察者の位置に対応する投影部（ミラーなど）に、当該位置に対応する視点別分離映像データを投影する。このように本フローでは、仮想視点の補間映像も投影されるため、ユーザである観察者は、よりリアルで臨場感がある立体的映像を鑑賞することが可能となる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部、各ステップなどに含まれる処理や機能などは論理的に矛盾しないように再配置可能であり、複数の手段／部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。或いは、本発明による装置、方法、プログラムなどの一部の構成要素、機能、処理、ステップなどを遠隔地のサーバなどに配置することも可能であることに注意されたい。

Ａ１…アングル
Ａ２…アングル
Ａ３…アングル
Ａ４…アングル
Ａ７…アングル
ＡＣＱ…取得部
ＡＱＳ…入力系
ＣＡＭ…撮像部
ＣＭ１…凸面ミラー
ＣＭ２…凸面ミラー
ＣＭ７…凸面ミラー
ＩＭＧ…視点別分離映像データ生成部
ＭＡＩＡ…多視点映像取得装置
ＭＡＩＯ…多視点映像出力装置
ＭＡＩＳ…多視点映像システム
ＭＤ１…ミラーディスプレイ
ＭＤ２…ミラーディスプレイ
ＭＥＭ…記憶部
ＯＢＳ１…観察者
ＯＢＳ２…観察者
ＰＬ…再生部
ＰＲＪ…投影部
ＰＳ…視点位置センシング部
ＰＳ１…視点位置センシング部
ＰＳ２…視点位置センシング部
ＳＢＪ…被写体
ＳＰＴ…ミラー支持体
ＳＳＰＴ…被写体支持部
ＶＩ１…虚像
ＶＩ２…虚像
ＶＲＳ…出力系

Claims (4)

1. 多視点映像出力装置であって、
   複数の視点から撮影された映像を取得する取得部と、
   取得した映像を元映像データとして格納し、撮影時の撮影装置の座標、複数の視点座標、被写体座標、および、歪み補正情報を含む入力系座標情報を格納する記憶部と、
   入力系座標情報を参照して、元映像データを視点別の映像データに分離し、ミラーおよび撮像装置レンズによる映像の歪みを修正した、複数の視点別分離映像データを生成し、２つ以上の視点の視点別分離映像データに基づき、当該２つ以上の視点の間にある任意の仮想視点の映像データを、視点別分離映像データとしてさらに生成する、視点別分離映像データ生成部と、
   観察者の位置を検知する視点位置センシング部と、
   複数の表示部と、
   検知した観察者の位置に対応する前記表示部に、当該位置に対応する視点別分離映像データの映像を表示させる、再生部と、
   を有する多視点映像出力装置。
2. 請求項１に記載の多視点映像出力装置において、
   前記複数の表示部が、
   特殊プレート、ミラー、または、表示ディスプレイのいずれかである、
   ことを特徴とする多視点映像出力装置。
3. 多視点映像取得装置および多視点映像出力装置を含む多視点映像システムであって、
   前記多視点映像取得装置は、
   被写体の周囲の少なくとも一部を囲むミラー支持体と、
   該ミラー支持体の被写体側に支持されている、複数のミラーと、
   該ミラー支持体に囲まれ、該複数のミラーを同時に撮影することによって、該複数のミラーの各々の異なる視点から見た前記被写体を撮影する撮像部と、
   を有し、
   前記多視点映像出力装置は、
   複数の視点から撮影された映像を取得する取得部と、
   取得した映像を元映像データとして格納し、撮影時の撮影装置の座標、複数の視点座標、被写体座標、および、歪み補正情報を含む入力系座標情報を格納する記憶部と、
   入力系座標情報を参照して、元映像データを視点別の映像データに分離し、ミラーおよび撮像装置レンズによる映像の歪みを修正した、複数の視点別分離映像データを生成し、２つ以上の視点の視点別分離映像データに基づき、当該２つ以上の視点の間にある任意の仮想視点の映像データを、視点別分離映像データとしてさらに生成する、視点別分離映像データ生成部と、
   観察者の位置を検知する視点位置センシング部と、
   複数の表示部と、
   検知した観察者の位置に対応する前記表示部に、当該位置に対応する視点別分離映像データの映像を表示させる、再生部と、
   を有する、多視点映像システム。
4. 請求項３に記載の多視点映像システムにおいて、
   前記複数の表示部が、
   特殊プレート、ミラー、または、表示ディスプレイのいずれかである、
   ことを特徴とする多視点映像システム。

Images