JP2017511057A - マルチプロジェクション映像の生成方法及びそのシステム - Google Patents

Abstract

ここではマルチプロジェクション映像の生成方法が開示される。マルチプロジェクション映像の生成方法は、複数の異機種の撮影装置を所定の角度に配置し、前記複数の異機種の撮影装置を制御するステップと、前記複数の異機種の撮影装置の同期化のために、前記複数の異機種の撮影装置のシャッタ動作を制御するステップと、前記複数の異機種の撮影装置が複数の視点方向に対して撮影動作を行うよう制御するステップと、を有する。【選択図】 図１

Description

本発明は、マルチプロジェクション映像の生成方法及びそのシステムに監視、特に、複数の異機種の撮影装置を所定の角度に配置し、複数の異機種の撮影装置のシャッタ動作を同期化させ、複数の異機種の撮影装置を用いて複数の視点方向に対する映像を取得して、いわゆる「マルチプロジェクション映像」を生成する方法及びそのシステムに関する。

従来は、劇場において映画、広告などの映像を再生するために、上映館の正面に配置される単一のスクリーンに２次元の映像を投射していた。
しかしながら、この種のシステム下において、観客は、平面的な２次元（２Ｄ）の映像しか鑑賞することができなかった。

最近では、観客に立体感のある映像を提供する３次元（３Ｄ）映像に関する技術が開発されているが、３次元（３Ｄ）映像技術は、人間の左眼及び右眼に異なる映像信号が入力され、この二つの映像信号が脳において一つに合わせられる場合に３次元（３Ｄ）の映像として知覚される原理を利用するものであり、映像の撮影に際して異なる偏光フィルタが取り付けられた２台のカメラを用い、映像の視聴に際して偏光フィルタ付き眼鏡などをかけて左眼及び右眼に異なる映像を注入することにより実現される。

しかしながら、このような３次元（３Ｄ）技術は、ユーザに立体感のある映像を提供することはできるとはいえ、依然として単一のスクリーンにおいて再生される映像を鑑賞することに過ぎないため、映像それ自体への没入度が低いという限界があった。
また、観客が感じる立体感の方向が単一のスクリーンが存在する方向に制限されてしまうという限界もあった。

さらに、従来の３次元（３Ｄ）技術は、映像の視聴に際して偏光フィルタ付き眼鏡などをかけることを余儀なくされるが故に、映像を視聴する観客に不便さを与えるおそれがあり、左眼及び右眼に人為的に異なる映像を強制的に注入するが故に敏感な観客は目眩いやむかつきを感じるおそれがあった。

この理由から、単一のスクリーンに基づく従来の上映システムの問題が解消可能ないわゆる「マルチプロジェクションシステム」が提案されたが、ここでいう「マルチプロジェクションシステム」とは、観客席の周りに複数の投射面（または、複数のディスプレイ装置）を配置し、複数の投射面（または、複数のディスプレイ装置）の上において同期化され、且つ、一体感のある映像を再生して、観客に立体感及び没入感を与える技術を意味する。
このような「マルチプロジェクションシステム」を用いて観客の没入感及び立体感を極大化させるためには、観客席の周りに配置される複数の投射面（又は、複数のディスプレイ装置）上において、各投射面（又は、各ディスプレイ装置）の視点方向とマッチングされた映像が再生されなければならない。

例えば、図１に示すように、観客席の正面、左側面、右側面に複数の投射面（又は、複数のディスプレイ装置）が配置される上映館が存在するとしたとき、正面の投射面（又は、ディスプレイ装置）には観客席を基準として正面を眺める視点とマッチングされる映像が再生され、左側の投射面（又は、ディスプレイ装置）には観客席を基準として左側を眺める視点とマッチングされる映像が再生され、右側の投射面（又は、ディスプレイ装置）には観客席を基準として右側を眺める視点とマッチングされる映像が再生されなければならない。

しかしながら、従来では、このような「マルチプロジェクションシステム」の複数の投射面（又は、複数のディスプレイ装置）において再生されるいわゆる「マルチプロジェクション映像」を生成する技術が存在しなかった。
上記理由から、このような技術的なニーズに応えられる新規な技術の開発が求められている。
本発明は、このような技術的な背景に基づいて案出されたものであり、上述した技術的なニーズに応えられることはもとより、この技術分野において通常の知識を有する者が容易に発明できない追加的な技術要素を提供するために案出された。

そこで、本発明は上記従来のマルチプロジェクションシステムにおける問題点に鑑みてなされたものであって、本発明の目的は、観客席を基準として複数の視点方向に配置される複数の投射面（又は、複数のディスプレイ装置）上において再生されるいわゆる「マルチプロジェクション映像」を生成する技術を提供することにある。
本発明が解決しようとする技術的な課題は上述した技術的な課題に制限されず、後述する内容から通常の技術者にとって自明な範囲内において様々な技術的な課題が含まれる。

上記目的を達成するためになされた本発明によるマルチプロジェクション映像の生成方法は、マルチプロジェクション（ｍｕｌｔｉ−ｐｒｏｊｅｃｔｉｏｎ）映像の生成方法であって、複数の異機種の撮影装置を所定の角度に配置し、前記複数の異機種の撮影装置を制御するステップと、前記複数の異機種の撮影装置の同期化のために、前記複数の異機種の撮影装置のシャッタ動作を制御するステップと、前記複数の異機種の撮影装置が複数の視点方向に対して撮影動作を行うよう制御するステップと、を有することを特徴とする。

前記複数の異機種の撮影装置を所定の角度に配置することにおいて、前記複数の異機種の撮影装置は、２７０°以上の画角を形成することが好ましい。
前記複数の異機種の撮影装置は、隣り合って配置される撮影装置の画角が重なり合うように配置されることが好ましい。
前記隣り合って配置される撮影装置間の画角の重なり合った領域は、各撮影装置の全体の画角の１３％〜１７％であることが好ましい。
前記複数の異機種の撮影装置は、複数のスライドベース（ｓｌｉｄｉｎｇ ｂａｓｅｓ）に設置（ｉｎｓｔａｌｌ）され、前記複数のスライドベースの相対的な運動により前記複数の異機種の撮影装置が前記所定の角度に配置されることが好ましい。
前記複数の異機種の撮影装置は、中央に配置されるメイン撮影装置と、前記メイン撮影装置の左側に配置される２つの左側撮影装置と、前記メイン撮影装置の右側に配置される２つの右側撮影装置と、を備えることが好ましい。
前記メイン撮影装置の焦点距離が長くなった場合、前記メイン撮影装置と前記左側撮影装置との間の夾角と、前記メイン撮影装置と前記右側撮影装置との間の夾角とが両方とも小さくなる方向に撮影装置は再配置されることが好ましい。
前記メイン撮影装置の焦点距離は２４ｍｍであり、前記左側撮影装置及び右側撮影装置の焦点距離は１６ｍｍであることが好ましい。

前記シャッタ動作を制御するステップにおいて、前記複数の異機種の撮影装置の作動速度が異なる場合、前記複数の異機種の撮影装置に時間差をおいて開始シャッタ信号が転送されることが好ましい。
前記複数の異機種の撮影装置に転送される開始シャッタ信号の時間差は、各撮影装置が備える中央処理装置（ＣＰＵ）の信号処理速度、各撮影装置がデータを送受信した時に用いられたネットワーク転送速度、及び各撮影装置間のローリングシャッタの処理速度の内の少なくともいずれか一つを考慮して演算されることが好ましい。
前記複数の異機種の撮影装置が撮影した各映像を球状の空間又はシリンダ状の空間に一緒にマッピングし、各面に対する映像を生成するステップと、さらに有することが好ましい。
前記マッピングするステップは、前記複数の異機種の撮影装置が撮影した映像の色空間及びフォーマットを統一した形に変換するステップを含むことが好ましい。

上記目的を達成するためになされた本発明によるマルチプロジェクション映像の生成システムは、所定の角度に配置され、互いに同期化された状態で複数の視点方向に対して撮影動作を実行する複数の異機種の撮影装置と、前記複数の異機種の撮影装置のシャッタ動作を制御することにより前記複数の異機種の撮影装置を互いに同期化させる同期化制御装置と、を備えることを特徴とする。

前記複数の異機種の撮影装置の隣り合う撮影装置は、所定の夾角をなすように配置され、前記複数の異機種の撮影装置のすべてを用い２７０°以上の画角を実現することが好ましい。
前記複数の異機種の撮影装置が設置される複数のスライドベース（ｓｌｉｄｉｎｇ ｂａｓｅｓ）と、前記複数のスライドベースが回転可能に配置、構成されるリッグ（ｒｉｇ）と、をさらに備え、前記複数の異機種の撮影装置は、前記複数のスライドベースの相対的な動きにより所定の角度に配置されることが好ましい。
前記リッグは、基本胴体を形成するベースプレートと、前記ベースプレートに形成され、前記複数のスライドベースが可動可能なよう設けられた複数の打ち抜き部と、を備えることが好ましい。
前記複数の異機種の撮影装置は、中央に配置されるメイン撮影装置と、前記メイン撮影装置の左側に配置される２つの左側撮影装置と、前記メイン撮影装置の右側に配置される２つの右側撮影装置と、を備えることが好ましい。
前記複数の異機種の撮影装置が撮影した映像を球状の空間又はシリンダ状の空間に一緒にマッピングし、各面に対する映像を生成する映像処理装置をさらに備えることが好ましい。
前記映像処理装置は、前記複数の異機種の撮影装置が撮影した映像の色空間及びフォーマットを統一された形に変換した後にマッピング動作を行うことが好ましい。

本発明によれば、「マルチプロジェクションシステム」の複数の投射面（又は、複数のディスプレイ装置）上において再生されて観客の立体感及び没入感を向上させるいわゆる「マルチプロジェクション映像」を生成することができる。具体的には、本発明によれば、複数の異機種の撮影装置を所定の角度に配置し、前記複数の異機種の撮影装置のシャッタ動作を同期化させて観客の立体感及び没入感を向上させる複数の視点方向に対する映像を取得することができ、取得された複数の視点方向に対する映像に基づいて「マルチプロジェクション映像」を生成することができる。

また、本発明によれば、複数の異機種の撮影装置を用いて観客の没入感を極大化させる「マルチプロジェクション映像」を生成することができる。具体的には、本発明によれば、複数の異機種の撮影装置を所定の角度に配置して、隣り合う撮影装置の画角が重なり合った状態で２７０°以上の統合的な画角を実現することができ、これに基づいて、観客の没入感を極大化させる「マルチプロジェクション映像」を生成することができる。
さらに、本発明によれば、複数の異機種の撮影装置同士の夾角を調節して、マルチプロジェクション映像の視点方向及び複数の異機種の撮影装置が実現する統合的な画角を調節することができる。具体的には、本発明によれば、回転運動可能な複数のスライドベースをリッグ（Ｒｉｇ）に設け、複数のスライドベースに前記複数の異機種の撮影装置を設けて、複数の異機種の撮影装置同士夾角を調節することができ、これにより、マルチプロジェクション映像の視点方向及び前記複数の異機種の撮影装置が実現する統合的な画角を調節することができる。

さらにまた、本発明によれば、たとえば、撮影過程においてメイン撮影装置の焦点距離が変わるとしても、各焦点距離に最適化されたマルチプロジェクション映像を生成することができる。具体的には、本発明によれば、メイン撮影装置の焦点距離の変化に対応して複数の異機種の撮影装置の夾角を調節して、各焦点距離に最適化されたマルチプロジェクション映像を生成することができる。
さらにまた、本発明によれば、複数の異機種の撮影装置が撮影した映像に基づいて、各上映館の構造に最適化されたマルチプロジェクション映像を生成することができる。具体的には、本発明によれば、複数の異機種の撮影装置が撮影した映像を球状の空間又はシリンダ状の空間にマッピングさせた後に、各上映館別のマルチプロジェクション映像を生成するので、各上映館の構造に最適化されたマルチプロジェクション映像を生成することができる。
本発明の効果は上述した効果に制限されるものではなく、後述する内容から通常の技術者にとって自明な範囲内において様々な効果が含まれる。

マルチプロジェクションシステムの例を示す例示図である。 本発明の一実施形態によるマルチプロジェクション映像の生成方法を説明するためのフローチャートである。 本発明の一実施形態による複数の異機種の撮影装置の例を示す例示図である。 本発明の一実施形態による複数の異機種の撮影装置を配置する過程を示す例示図である。 撮影装置の焦点距離及び夾角により発生する画角の重なり合った領域を示す図である。 撮影装置の焦点距離及び夾角により発生する画角の重なり合った領域を示す図である。 本発明の一実施形態による複数のスライドベース及びリッグを示す例示図である。 本発明の一実施形態による複数のスライドベースの相対的な動きを示す動作例示図である。 本発明の一実施形態による複数の異機種の撮影装置により撮影された映像が球状の空間にマッピングされたことを示す例示図である。 本発明の一実施形態による複数の異機種の撮影装置により撮影された映像がシリンダ状の空間にマッピングされたことを示す例示図である。 本発明の一実施形態によるマルチプロジェクション映像の生成システムの構成を示すブロック図である。

以下、添付図面に基づき、本発明の実施形態による「マルチプロジェクション映像の生成方法及びそのシステム」について詳細に説明する。ここで説明する実施形態は、本発明の技術思想を通常の技術者に容易に理解させるために提供するものであり、これらにより本発明が限定されることはない。なお、添付図面に示す事項は、本発明の実施形態を容易に説明するために図式化されたものであり、実際に実現される形態とは異なることもある。

以下で表現される各構成部は、本発明を実現するための一例に過ぎない。よって、本発明の他の実現においては、本発明の思想及び範囲を逸脱しない範囲内において他の構成部が使用可能である。
また、各構成部は、単にハードウェアまたはソフトウェアの構成により実現されてもよいが、同じ機能を行う様々なハードウェア及びソフトウェアの組み合わせにより実現されてもよい。なお、一つのハードウェアまたはソフトウェアにより２以上の構成部が一緒に実現されてもよい。
また、ある構成要素を「備える」という表現は、「開放型」の表現であり、単に当該構成要素が存在することを指し示すものに過ぎず、追加的な構成要素を排除するものであると理解されてはならない。

さらに、「マルチプロジェクション映像」という表現は、観客席の周りに配置される複数の投射面（又は、複数のディスプレイ装置）により再生されて、観客の没入感及び立体感を向上させる映像を意味する。

以下、図２から図１０を参照して、本発明の一実施形態による「マルチプロジェクション映像の生成方法」について説明する。
図２を参照すると、本発明の一実施形態による「マルチプロジェクション映像の生成方法」は、複数の異機種の撮影装置を所定の角度に配置するステップ（Ｓ１１）と、複数の異機種の撮影装置の同期化のために、複数の異機種の撮影装置のシャッタ動作を制御するステップ（Ｓ１２）と、複数の異機種の撮影装置が複数の視点方向に対する撮影動作を行うステップ（Ｓ１３）と、複数の異機種の撮影装置が撮影した映像が球状の空間、シリンダ状の空間にマッピングした後に各面に対する映像が生成するステップ（Ｓ１４）と、を含む。

ステップＳ１１は、複数の視点方向に対する撮影動作を行う複数の異機種の撮影装置を所定の角度に配置するステップである。
ここで、複数の異機種の撮影装置が「所定の角度に配置」されるということは、複数の異機種の撮影装置を構成する「各撮影装置が隣り合う撮影装置と所定の夾角をなす状態で配置」されることを意味する。
例えば、図３に示すように、複数の異機種の撮影装置を構成する各撮影装置が隣り合う撮影装置と所定の夾角をなす状態で配置されることを意味する。

また、複数の異機種の撮影装置は、異なる種類の撮影装置により構成される撮影装置群を意味する。
例えば、複数の異機種の撮影装置は、「ＲＥＤ Ｅｐｉｃ、５Ｄ Ｍａｒｋ２」などの異なる種類の撮影装置を同時に備えるように構成される撮影装置群を意味する。
これらの複数の異機種の撮影装置は、好ましくは、５つの撮影装置を備えるが、具体的に、中央に配置されるメイン撮影装置と、メイン撮影装置の左側に配置される２つの左側撮影装置と、メイン撮影装置の右側に配置される２つの右側撮影装置と、を備える。
図３には、複数の異機種の撮影装置が中央に配置されるメイン撮影装置と、２つの左側撮影装置及び２つの右側撮影装置を備えるように構成される撮影装置群の例が示す。

また、ステップＳ１１において、複数の異機種の撮影装置は、隣り合うように配置される撮影装置の画角が重なり合う状態で配置されることが好ましい。
これは、隣り合う撮影装置の画角が重なり合わなければ、隣り合う撮影装置により撮影される映像が重なり合わないためであり、映像の重なり合うことについての情報に基づいて、異機種の撮影装置により撮影される映像の相対的な位置関係情報が算出されるためである。

図３を参照すると、複数の異機種の撮影装置が、メイン撮影装置１１０と、左側撮影装置１２０及び右側撮影装置１３０を備え、隣り合う撮影装置（１１０−１２０）、及び隣り合う撮影装置（１１０−１３０）の画角が重なり合った状態で複数の異機種の撮影装置を配置することが確認できる。
このとき、隣り合う撮影装置の重なり合う領域は、撮影装置が設けられる場所又はレンズに応じて異なるが、好ましくは、１３〜１７％になるように撮影装置を配置する。
撮影映像の重なり合った領域を決定する方法としては、以下に示す、幾何学的な基準が活用される。

図４に示すように、複数の撮影装置（１１０、１２０、１３０）の平面図的視点において、各撮影装置の中心を通る直線軸（ｌ１〜ｌ５）の上に各撮影装置から同じ距離、例えば、各撮影装置のレンズから１０メートル離れている１点ずつを定める（Ｐ１〜Ｐ５）。
また、各撮影装置の画角をなす両線分が撮影装置の左右側面にある撮影装置の直線軸上の１点をそれぞれ通るように各撮影装置を配置する。
図４に示す方式を用いて撮影装置を配置する場合、各撮影装置間の重なり合う撮影映像領域を一定に維持することができ、各点の位置に応じて重なり合った領域の比率を調節することができる。

本発明の一実施形態においては、ステップＳ１１において、複数の異機種の撮影装置は、複数の異機種の撮影装置を用いて２７０°以上の画角を実現する状態で配置することが好ましい。
これは、複数の異機種の撮影装置が２７０°以上の画角を実現しなければ、その後、マルチプロジェクション映像を介して観客に２７０°以上の画面が提供されず、その結果、観客の立体感及び没入感が極大化されないためである。
図３を参照すると、メイン撮影装置１１０と、２つの左側撮影装置１２０及び２つの右側撮影装置１３０によって２７０°以上の画角を実現することが確認できる。

また、ステップＳ１１において、複数の異機種の撮影装置の夾角（隣り合う撮影装置間の夾角）は、特定の撮影装置の焦点距離に応じて調節される。
例えば、複数の異機種の撮影装置が、図３に示すように、メイン撮影装置と、２つの左側撮影装置及び２つの右側撮影装置を備えるように実現される場合、複数の異機種の撮影装置の夾角がメイン撮影装置の焦点距離に応じて調節される。

具体的には、
１）メイン撮影装置の焦点距離が長くなる場合、メイン撮影装置と左側撮影装置の夾角、メイン撮影装置と右側撮影装置の夾角、左側撮影装置間の夾角、右側撮影装置間の夾角がいずれも小さくなる方向に複数の異機種の撮影装置が再配置される。
２）また、メイン撮影装置の焦点距離が短くなる場合、メイン撮影装置と左側撮影装置の夾角、メイン撮影装置と右側撮影装置の夾角、左側撮影装置間の夾角、右側撮影装置間の夾角がいずれも大きくなる方向に複数の異機種の撮影装置が再配置される。
なお、シミュレーションによると、メイン撮影装置１１０と、左右の撮影装置１２０、１３０の焦点距離をそれぞれ２４ｍｍ、１６ｍｍに設定したときに撮影領域が広くなって、以後の映像が編集し易くなり、これと同時に、観客に視覚的に安定感を与えるという効果がある。

以下、メイン撮影装置１１０の焦点距離及び各撮影装置がなす夾角により、撮影された映像が重なり合うときに発生する死角の長さと、重なり合った領域を編集する作業であるいわゆるスティッチング作業の難度について説明する。

表１から表４は、それぞれメイン撮影装置の焦点距離により分類した表であり、それぞれの表は、撮影装置間の夾角により映像が重なり合うときに発生する死角の長さと、これによるスティッチング作業の難易度を記載している。
表１から表４を参照すると、上述したように、メイン撮影装置の焦点長さが長くなる場合には各撮影装置間の夾角が次第に小さくなり、逆に、焦点長さが長くなる場合には夾角が次第に大きくなることが分かる。

すなわち、メイン撮影装置の焦点距離が２４ｍｍであるときには、各撮影装置を夾角が５０°〜６０°になるように配置するのに対し、メイン撮影装置の焦点距離が５０ｍｍであるときには、夾角が２０°〜３０°になるように配置することが確認できる。
メイン撮影装置の焦点長さがある値に固定されたとしたとき、各撮影装置がなす夾角が小さくなればなるほど、映像が重なり合うときに発生する死角の長さはさらに短くなることが分かる。

図５は、撮影装置がなす夾角と、各撮影装置の画角が重なり合うときに発生する死角の長さを示すものであり、特に、図５は、メイン撮影装置の焦点長さが３２ｍｍであり、且つ、各撮影装置間の夾角が４５°であることを想定している。
複数の撮影装置により撮影される映像が重なり合うと、死角が発生するが、これは、撮影装置の間に夾角が存在すること及び各撮影装置の画角が正確に当接しないことに起因する現象である。

また、図５から明らかなように、撮影装置間の夾角が大きくなればなるほど、死角領域の幅は広くなるが、その長さは短くなり、逆に、夾角が小さくなればなるほど、死角領域の幅は狭くなるが、長さは長くなることが確認できる。
死角領域の長さは、複数の撮影装置により撮影される映像を編集する作業、いわゆるスティッチング作業と関連性がある。
スティッチング作業とは、各撮影装置の映像を一枚の画面に繋げる作業のことをいい、各映像の左右辺を互いに当接させることにより行われる。

このようなスティッチング作業の過程を考慮するとき、死角領域の長さが長くなればなるほど、すなわち、死角領域の幅が狭くなればなるほど、作業者にとっては編集すべき映像データの負担が軽減されてスティッチング作業を行い易くなる。
このように、表１から表４及び図５から明らかなように、死角領域の長さが増大するにつれて、すなわち、死角領域の幅が狭くなるにつれて、スティッチング作業の難易度が低くなる。

表５は、メイン撮影装置と、左右の撮影装置が特定の夾角をなすときに均一な幅の死角領域が発生することを示すものである。

図６は、メイン撮影装置の焦点長さが３２ｍｍであり、且つ、撮影装置間の夾角が４７°であるときの各撮影装置の画角及び死角領域を示すものであり、これによれば、上記の特定の撮影環境下においては、各撮影装置の画角をなす線分が平行をなしながら真っ直ぐに伸びるため、これにより、幅は一定しているが、交点のない死角領域が発生することが分かる。
このように、死角領域が均一な幅を有するように各撮影装置の焦点長さ及び夾角を設定する場合、撮影された映像を編集することがさらに容易になるという効果がある。

ステップＳ１１において、複数の異機種の撮影装置が所定の角度に配置（隣り合う撮影装置が所定の夾角をなすように配置）される動作は、様々な方式により行われるが、好ましくは、複数の異機種の撮影装置が設置される複数のスライドベース（ｓｌｉｄｉｎｇ ｂａｓｅｓ）及び複数のスライドベースが回転動作自在になるよう形成されるリッグ（ｒｉｇ）の構造的な特徴により実現される。

例えば、図７及び図８に示すように、複数の異機種の撮影装置（１１０、１２０、１２０、１３０、１３０）が複数のスライドベース（２１０、２２０、２２０、２３０、２３０）に設置され、複数のスライドベース（２１０、２２０、２２０、２３０、２３０）がリッグ２４０の上に回転自在になるよう設置された状態で、複数のスライドベース（２１０、２２０、２２０、２３０、２３０）に相対的な回転動作をさせ、複数の異機種の撮影装置（１１０、１２０、１２０、１３０、１３０）を所定の角度に配置（隣り合う撮影装置が所定の夾角をなすように配置）する動作が行われる。

この場合、リッグ２４０は、基本胴体をなすベースプレート２４２及びベースプレートに形成され、複数のスライドベースが回転自在になるよう設けられる複数の打ち抜き部２４４を備え、複数のスライドベース（２１０、２２０、２２０、２３０、２３０）は、打ち抜き部２４４が形成する経路に沿って運動することにより、夾角の形成のための相対的な回転動作が行われる。

ステップＳ１２は、複数の異機種の撮影装置の同期化のために、複数の異機種の撮影装置のシャッタ動作を制御するステップである。
具体的には、ステップＳ１２は、複数の異機種の撮影装置が互いに同期化され、開始フレームが一致された状態で撮影動作を行うように複数の異機種の撮影装置のシャッタ動作を制御するステップである。

この場合、シャッタ動作の制御は、複数の異機種の撮影装置間の作動速度差が考慮された状態で行われることが好ましい。
具体的には、撮影装置の機種別の作動速度差により、同期化された開始シャッタ信号（シャッタを動作させる信号）が転送されても、撮影装置の撮影動作が互いに同期化されず、開始フレームがずれることを防ぐために、撮影装置の機種別の作動速度差が考慮された状態でシャッタ動作を制御することが好ましい。

各撮影装置の作動速度差は、機種別に用いるハードウェアの差、ソフトウェアの差などにより発生し、具体的には、中央処理装置（ＣＰＵ）の信号処理速度、通信のためのハードウェアの性能差、信号及びデータを送受信するためのネットワークの差、撮影装置別のローリングシャッタの性能差（１秒当たりに記録するビデオの頻度／速度の差）などの要素により差が発生する。
このため、各撮影装置の同期化のためには、上述した要素を考慮して開始シャッタ信号を転送することが好ましい。

例えば、図３のメイン撮影装置のシャッタの作動速度が左側撮影装置及び右側撮影装置のシャッタの作動速度よりも速い場合、開始シャッタ信号をメイン撮影装置よりも左側撮影装置及び右側撮影装置に早く転送して、撮影装置の撮影動作を同期化させ（作動速度差を打ち消し）て開始フレームを一致させる。

ステップＳ１３は、複数の異機種の撮影装置が複数の視点方向に対して撮影動作を行うステップである。
具体的には、ステップＳ１３は、複数の異機種の撮影装置が所定の角度に配置され、互いに同期化された状態で（開始フレームが一致された状態で）複数の視点方向に対して撮影動作を行うステップである。

ステップＳ１４は、複数の異機種の撮影装置により撮影された映像に基づいて、マルチプロジェクション映像を生成するステップである。
具体的には、ステップＳ１４は、複数の異機種の撮影装置により撮影された映像に基づいて、「マルチプロジェクションシステム」が構築された上映館の各面（スクリーン）（各投射面又は各ディスプレイ装置が設けられた面）において再生されるべき映像を生成するステップである。

この場合、複数の異機種の撮影装置により撮影された映像データは、色空間及びフォーマットが統一された形に変換することが好ましい。
これは、後続する映像処理プロセス（例えば、映像データを特定の形状の空間に一緒にマッピングさせるプロセスなど）において複数の異機種の撮影装置により撮影映像データが統合的に又は同時に制御するためには、色空間及びフォーマットが統一されなければならないためである。
なお、複数の異機種の撮影装置により撮影された映像データは、コンバータプログラムを用いて撮影装置間のフォーマットを互換するように実現される。

また、ステップＳ１４において、複数の異機種の撮影装置により撮影された映像は、球状の空間又はシリンダ状の空間に一緒にマッピングすることが好ましく、このようなマッピング後に、上映館の各面（各投射面または各ディスプレイ装置が設けられた面）に対する映像を生成することが好ましい。

観客の没入感及び立体感が極大化されたマルチプロジェクション映像を生成するためには、上映館の構造が考慮された状態で各面に対する映像が生成されなければならないが、これは、ソース映像（本発明においては、複数の異機種の撮影装置により撮影された映像）を球状の空間又はシリンダ状の空間にマッピングさせた状態では、各面（各投射面又は各ディスプレイ装置が設けられた面）の３次元上の配置状態と対応する映像領域が手軽に特定され且つ割り当てられるためである。

図９には、複数の異機種の撮影装置により撮影された映像が球状の空間に一緒にマッピングされる例を示す。
具体的には、図９には、複数の異機種の撮影装置がメイン撮影装置と、２つの左側撮影装置及び２つの右側撮影装置を備える場合、メイン撮影装置により撮影された映像（Ａ映像）、２つの左側撮影装置により撮影された映像（Ｂ映像、Ｃ映像）、２つの右側撮影装置により撮影された映像（Ｄ映像、Ｅ映像）が球状の空間に一緒にマッピングされる例を示す。

また、図１０には、複数の異機種の撮影装置により撮影された映像がシリンダ状の空間に一緒にマッピングされる例を示す。
具体的には、図１０には、複数の異機種の撮影装置がメイン撮影装置と、２つの左側撮影装置及び２つの右側撮影装置を備える場合、メイン撮影装置により撮影された映像（Ａ映像）、２つの左側撮影装置により撮影された映像（Ｂ映像、Ｃ映像）、２つの右側撮影装置により撮影された映像（Ｄ映像、Ｅ映像）がシリンダ状の空間に一緒にマッピングされる例を示す。

上述した本発明の一実施形態による「マルチプロジェクション映像の生成方法」は、複数の異機種の撮影装置により撮影された映像に基づいて、マルチプロジェクションシステムが構築された上映館の各投射面（又は、各ディスプレイ装置）上において再生されるべき「マルチプロジェクション映像」を生成する。
より具体的には、「マルチプロジェクション映像の生成方法」は、複数の異機種の撮影装置を所定の角度に配置し、複数の異機種の撮影装置の動作を同期化させ、複数の異機種の撮影装置により撮影された映像を特定の空間に一緒にマッピングさせた後に、各投射面（又は、各ディスプレイ装置）の配置状態に対応する映像領域を特定して「マルチプロジェクション映像」を生成する。

以下、図１１を参照して、本発明の一実施形態による「マルチプロジェクション映像の生成システム」について説明する。
図１１を参照すると、本発明の一実施形態による「マルチプロジェクション映像の生成システム」は、所定の角度に配置され、互いに同期化された状態で複数の視点方向に対する撮影動作を行う複数の異機種の撮影装置と、複数の異機種の撮影装置のシャッタ動作を制御して、複数の異機種の撮影装置を互いに同期化させる同期化制御装置３００と、複数の異機種の撮影装置が撮影した映像を球状の空間又はシリンダ状の空間に一緒にマッピングさせた後に、各面に対する映像を生成する映像処理装置４００と、を備える。

複数の異機種の撮影装置は、異なる種類の撮影装置により構成される撮影装置群を意味する。
例えば、複数の異機種の撮影装置は、「ＲＥＤ Ｅｐｉｃ、５Ｄ Ｍａｒｋ２」などの異なる種類の撮影装置を同時に備えるように構成された撮影装置群を意味する。
これらの複数の異機種の撮影装置は、好ましくは、５つの撮影装置を備えるが、具体的には、中央に配置されるメイン撮影装置１１０と、メイン撮影装置の左側に配置される２つの左側撮影装置１２０及びメイン撮影装置の右側に配置される２つの右側撮影装置１３０を備える。
図１１には、複数の異機種の撮影装置が中央に配置されるメイン撮影装置と、２つの左側撮影装置及び２つの右側撮影装置を備えるよう構成された例を示す。

また、ここで、複数の異機種の撮影装置が「所定の角度に配置」されるということは、複数の異機種の撮影装置が「隣り合う撮影装置が所定の夾角をなす状態で配置」されることを意味する。
例えば、図１１に示すように、複数の異機種の撮影装置を構成する各撮影装置が隣り合う撮影装置と所定の夾角をなす状態で配置されることを意味する。
さらに、複数の異機種の撮影装置は、隣り合うように配置される撮影装置の画角が重なり合う状態で配置されることが好ましい。

さらにまた、複数の異機種の撮影装置は、複数の異機種の撮影装置によって２７０°以上の画角を実現する状態で配置することが好ましい。
さらにまた、複数の異機種の撮影装置の夾角（隣り合う撮影装置間の夾角）は、特定の撮影装置の焦点距離に応じて調節される。
具体的には、複数の異機種の撮影装置が、図３に示すように、メイン撮影装置と、２つの左側撮影装置及び２つの右側撮影装置を備えるように構成される場合、前記複数の異機種の撮影装置の夾角がメイン撮影装置の焦点距離に応じて調節される。

複数の異機種の撮影装置が所定の角度に配置（隣り合う撮影装置が所定の夾角をなすように配置）される動作は、様々な方式により行われるが、好ましくは、複数の異機種の撮影装置が設置される複数のスライドベース及び複数のスライドベースが回転動作自在に形成されるリッグの構造的な特徴により行われる。

例えば、図７及び図８に示すように、複数の異機種の撮影装置（１１０、１２０、１２０、１３０、１３０）が複数のスライドベース（２１０、２２０、２２０、２３０、２３０）に設置され、複数のスライドベース（２１０、２２０、２２０、２３０、２３０）がリッグ２４０の上に回転動作自在に設置された状態で、複数のスライドベース（２１０、２２０、２２０、２３０、２３０）が相対的な回転動作をして複数の異機種の撮影装置（１１０、１２０、１２０、１３０、１３０）が所定の角度に配置（隣り合う撮影装置が所定の夾角をなすように配置）する動作が行われる。

この場合、リッグ２４０は、基本胴体をなすベースプレート２４２及びベースプレートに形成され、複数のスライドベースが回転動作自在になるよう設けられる複数の打ち抜き部２４４を備え、複数のスライドベース（２１０、２２０、２２０、２３０、２３０）は、複数の打ち抜き部２４４が形成する経路に沿って動くことにより、夾角の形成のための相対的な回転動作が行われる。

同期化制御装置３００は、複数の異機種の撮影装置のシャッタ動作を制御して、複数の異機種の撮影装置を互いに同期化させるよう構成される。
具体的には、同期化制御装置３００は、複数の異機種の撮影装置が互いに同期化され、開始フレームが一致された状態で撮影動作を行うように複数の異機種の撮影装置のシャッタ動作を制御するよう構成される。
このために、同期化制御装置３００は、複数の異機種の撮影装置と有線又は無線にて接続され、各撮影装置に制御信号（シャッタ開始信号など）を転送する。

また、同期化制御装置３００は、複数の異機種の撮影装置間の作動速度差を考慮して、複数の異機種の撮影装置のシャッタ動作を制御することが好ましい。
例えば、同期化制御装置３００は、メイン撮影装置１１０のシャッタの作動速度が左側撮影装置１２０及び右側撮影装置１３０のシャッタの作動速度よりも速い場合、開始シャッタ信号をメイン撮影装置１１０よりも左側撮影装置１２０及び右側撮影装置１３０に早く転送して、撮影装置の撮影動作を同期化させ（作動速度差を打ち消し）て開始フレームを一致させる。

さらに、同期化制御装置３００は、少なくとも一つの演算手段と格納手段を備えるが、ここでは、演算手段は、汎用的な中央演算装置（ＣＰＵ）であるが、特定の目的に合うように実現されたプログラマブル素子（ＣＰＬＤ、ＦＰＧＡ）や注文型半導体演算装置（ＡＳＩＣ）又はマイクロコントローラチップであり得る。
なお、格納手段は、揮発性メモリ素子であるか、不揮発性メモリ又は不揮発性電磁気的格納素子であるか、演算手段の内部のメモリであり得る。

映像処理装置４００は、複数の異機種の撮影装置が撮影した映像に基づいて、マルチプロジェクション映像を生成するよう構成される。
具体的には、映像処理装置４００は、複数の異機種の撮影装置が撮影した映像に基づいて、映像処理プロセスを行ってマルチプロジェクションシステムが構築された上映館の各面（各投射面又は各ディスプレイ装置が設けられた面）において再生されるべき映像を生成するよう構成される。

この場合、映像処理装置４００は、複数の異機種の撮影装置により撮影された映像データの色空間及びフォーマットを変換する映像処理を行うことが好ましい。
具体的には、映像処理装置は、撮影された映像データの色空間及びフォーマットを統一された形に変換することが好ましい。
また、映像処理装置４００は、複数の異機種の撮影装置により撮影された映像を球状の空間又はシリンダ状の空間に一緒にマッピングさせることが好ましく、このようなマッピング後に、上映館の各面（各投射面又は各ディスプレイ装置が設けられた面）に対する映像が生成することが好ましい。

さらに、映像処理装置４００は、少なくとも一つの演算手段と格納手段を備えるが、ここで、演算手段は、汎用的な中央演算装置（ＣＰＵ）であるが、特定の目的に合うように実現されたプログラマブル素子（ＣＰＬＤ、ＦＰＧＡ）や注文型半導体演算装置（ＡＳＩＣ）又はマイクロコントローラチップであり得る。
なお、格納手段は、揮発性メモリ素子であるか、不揮発性メモリ又は不揮発性電磁気的格納素子であるか、演算手段の内部のメモリであり得る。

本発明によるマルチプロジェクション映像の生成システムは、上述した装置に加えて、マルチプロジェクション映像モニターリング装置又はマルチプロジェクション映像シミュレーション装置をさらに備え得る。
マルチプロジェクション映像モニターリング装置とは、複数の異機種の撮影装置により取得された映像を仮想的に再現された上映館上において再生する装置のことをいい、ユーザに撮影現場で取得したマルチプロジェクション映像を手軽にモニターリングさせる役割を果たす。

このとき、マルチプロジェクション映像モニターリング装置上において再現する仮想の上映館は、マルチプロジェクション映像モニターリング装置に組み込まれた上映館情報データベース（ＤＢ）、すなわち、マルチプロジェクション上映館の再現のための情報（スクリーン規格、上映館規格など）が格納されているデータベースを参照して実現する。
また、マルチプロジェクション映像モニターリング装置は、ユーザが仮想の上映館において様々な設定モードで映像を再生するように各種のモードを提供する。

例えば、マルチプロジェクション映像モニターリング装置は、基本モードにおいて仮想の上映館を再現してマルチプロジェクション映像を再生してもよく、マルチプロジェクション上映館の各面（左側投射面、右側投射面、中央投射面）に対する映像のみを再生してもよく、マルチプロジェクション映像が一つに繋ぎ合わせられたパノラマ映像を再生してもよい。
このとき、ユーザのこの装置の操作により、それぞれのマルチプロジェクション映像は、その大きさが拡大又は縮小されるか、あるいは、幅、高さが調節される。

さらに、マルチプロジェクション映像モニターリング装置は、異機種の撮影装置により取得された映像が後続するスティッチング処理を経るとき、各映像のどの部分をどれくらい重ね合わせるか、各映像が重なり合うときに映像間の配置角度はどのように設定するかなど映像のスティッチングに関する情報もユーザがモニターリングにより得られるようにする。
このとき、この装置上において実現された仮想のスティッチングの結果は、数値を含むデータとして格納されて、その後、実際のスティッチング作業に際して活用するように提供される。

このように、マルチプロジェクション映像モニターリング装置を活用する場合、ユーザにとっては、撮影現場で取得した映像を自ら仮想の上映館において再生することにより、リアルタイムにてモニターリングを行うことができ、特に、各映像の再生に際して各モード別に再生することができて、ユーザにとっては、自分が撮影した映像が演出意図に合うか否かを確認し続けることができるという効果がある。
なお、ユーザは、この装置を用いて実現したスティッチング作業の結果を実際のコンテンツの編集ステップにおいて活用することができて、コンテンツの編集ステップがなお一層手軽に行われるという効果がある。

また、マルチプロジェクション映像シミュレーション装置とは、製作済みのマルチプロジェクション映像を仮想的に再現された上映館上において再生する装置のことをいい、このマルチプロジェクション映像シミュレーション装置は、特に、マルチプロジェクション映像モニターリング装置と比較したとき、仮想の上映館において再現するときに上映館情報データベース（ＤＢ）内に格納されている情報を参照するという点では共通しているが、パラメータとして参照する情報（スクリーン規格、上映館規格、壁面に取り付けられたインテリア／構造物／装置など）がさらに多いので、より現実的、且つ精度よく上映館を再現することができるという点で相違する。

さらに、マルチプロジェクション映像モニターリング装置と同様に、マルチプロジェクション映像シミュレーション装置もまた、様々な設定モードにおいて再生可能な各種のモードを提供し、さらに、観客の視点、すなわち、座席の位置に応じてマルチプロジェクション映像が視認される様子を確認するように視点をも調節する。
このようなマルチプロジェクション映像シミュレーション装置を活用する場合、ユーザにとっては、実際の上映環境を仮想的に実現してマルチプロジェクション映像が再生される様子を確認することができ、また、広告主などの第３者にも実際のコンテンツの再生様子を手軽に確認させることができるという効果がある。

上述した本発明の一実施形態による「マルチプロジェクション映像の生成システム」は、カテゴリは異なるとはいえ、本発明の一実施形態による「マルチプロジェクション映像の生成方法」と実質的に同じ技術的な特徴を含む。
したがって、重複する記載を防ぐために詳細に記載はしなかったが、「マルチプロジェクション映像の生成方法」に関して上述した特徴は、本発明の一実施形態による「マルチプロジェクション映像の生成システム」にも当然のことながら類推して適用可能である。
逆に、「マルチプロジェクション映像の生成システム」に関して上述した特徴は、「マルチプロジェクション映像の生成方法」にも当然のことながら類推して適用可能である。

上述した本発明の実施形態は単なる例示のために開示されたものに過ぎず、これらにより本発明が限定されることはない。
また、本発明が属する技術分野における通常の知識を有する者であれば、本発明の思想及び範囲内において様々な修正及び変更を加えることができ、このような修正及び変更は、本発明の範囲に属するものと見なすべきである。

１１０ メイン撮影装置
１２０ 左側撮影装置
１３０ 右側撮影装置
２１０、２２０、２３０ スライドベース
２４０ リッグ
２４２ ベースプレート
２４４ 打ち抜き部
３００ 同期化制御装置
４００ 映像処理装置

Claims (19)

1. マルチプロジェクション（ｍｕｌｔｉ−ｐｒｏｊｅｃｔｉｏｎ）映像の生成方法であって、
   複数の異機種の撮影装置を所定の角度に配置し、前記複数の異機種の撮影装置を制御するステップと、
   前記複数の異機種の撮影装置の同期化のために、前記複数の異機種の撮影装置のシャッタ動作を制御するステップと、
   前記複数の異機種の撮影装置が複数の視点方向に対して撮影動作を行うよう制御するステップと、を有することを特徴とするマルチプロジェクション映像の生成方法。
2. 前記複数の異機種の撮影装置を所定の角度に配置することにおいて、前記複数の異機種の撮影装置は、２７０°以上の画角を形成することを特徴とする請求項１に記載のマルチプロジェクション映像の生成方法。
3. 前記複数の異機種の撮影装置は、隣り合って配置される撮影装置の画角が重なり合うように配置されることを特徴とする請求項２に記載のマルチプロジェクション映像の生成方法。
4. 前記隣り合って配置される撮影装置間の画角の重なり合った領域は、各撮影装置の全体の画角の１３％〜１７％であることを特徴とする請求項３に記載のマルチプロジェクション映像の生成方法。
5. 前記複数の異機種の撮影装置は、複数のスライドベース（ｓｌｉｄｉｎｇ ｂａｓｅｓ）に設置（ｉｎｓｔａｌｌ）され、
   前記複数のスライドベースの相対的な運動により前記複数の異機種の撮影装置が前記所定の角度に配置されることを特徴とする請求項１に記載のマルチプロジェクション映像の生成方法。
6. 前記複数の異機種の撮影装置は、中央に配置されるメイン撮影装置と、
   前記メイン撮影装置の左側に配置される２つの左側撮影装置と、
   前記メイン撮影装置の右側に配置される２つの右側撮影装置と、を備えることを特徴とする請求項１に記載のマルチプロジェクション映像の生成方法。
7. 前記メイン撮影装置の焦点距離が長くなった場合、
   前記メイン撮影装置と前記左側撮影装置との間の夾角と、前記メイン撮影装置と前記右側撮影装置との間の夾角とが両方とも小さくなる方向に撮影装置は再配置されることを特徴とする請求項６に記載のマルチプロジェクション映像の生成方法。
8. 前記メイン撮影装置の焦点距離は２４ｍｍであり、
   前記左側撮影装置及び右側撮影装置の焦点距離は１６ｍｍであることを特徴とする請求項６に記載のマルチプロジェクション映像の生成方法。
9. 前記シャッタ動作を制御するステップにおいて、前記複数の異機種の撮影装置の作動速度が異なる場合、
   前記複数の異機種の撮影装置に時間差をおいて開始シャッタ信号が転送されることを特徴とする請求項１に記載のマルチプロジェクション映像の生成方法。
10. 前記複数の異機種の撮影装置に転送される開始シャッタ信号の時間差は、各撮影装置が備える中央処理装置（ＣＰＵ）の信号処理速度、各撮影装置がデータを送受信した時に用いられたネットワーク転送速度、及び各撮影装置間のローリングシャッタの処理速度の内の少なくともいずれか一つを考慮して演算されることを特徴とする請求項９に記載のマルチプロジェクション映像の生成方法。
11. 前記複数の異機種の撮影装置が撮影した各映像を球状の空間又はシリンダ状の空間に一緒にマッピングし、各面に対する映像を生成するステップと、さらに有することを特徴とする請求項１に記載のマルチプロジェクション映像の生成方法。
12. 前記マッピングするステップは、前記複数の異機種の撮影装置が撮影した映像の色空間及びフォーマットを統一した形に変換するステップを含むことを特徴とする請求項１１に記載のマルチプロジェクション映像の生成方法。
13. 所定の角度に配置され、互いに同期化された状態で複数の視点方向に対して撮影動作を実行する複数の異機種の撮影装置と、
    前記複数の異機種の撮影装置のシャッタ動作を制御することにより前記複数の異機種の撮影装置を互いに同期化させる同期化制御装置と、を備えることを特徴とするマルチプロジェクション映像の生成システム。
14. 前記複数の異機種の撮影装置の隣り合う撮影装置は、所定の夾角をなすように配置され、前記複数の異機種の撮影装置のすべてを用い２７０°以上の画角を実現することを特徴とする請求項１３に記載のマルチプロジェクション映像の生成システム。
15. 前記複数の異機種の撮影装置が設置される複数のスライドベース（ｓｌｉｄｉｎｇ ｂａｓｅｓ）と、
    前記複数のスライドベースが回転可能に配置、構成されるリッグ（ｒｉｇ）と、をさらに備え、
    前記複数の異機種の撮影装置は、前記複数のスライドベースの相対的な動きにより所定の角度に配置されることを特徴とする請求項１３に記載のマルチプロジェクション映像の生成システム。
16. 前記リッグは、基本胴体を形成するベースプレートと、
    前記ベースプレートに形成され、前記複数のスライドベースが可動可能なよう設けられた複数の打ち抜き部と、を備えることを特徴とする請求項１５に記載のマルチプロジェクション映像の生成システム。
17. 前記複数の異機種の撮影装置は、中央に配置されるメイン撮影装置と、
    前記メイン撮影装置の左側に配置される２つの左側撮影装置と、
    前記メイン撮影装置の右側に配置される２つの右側撮影装置と、を備えることを特徴とする請求項１３に記載のマルチプロジェクション映像の生成システム。
18. 前記複数の異機種の撮影装置が撮影した映像を球状の空間又はシリンダ状の空間に一緒にマッピングし、各面に対する映像を生成する映像処理装置をさらに備えることを特徴とする請求項１３に記載のマルチプロジェクション映像の生成システム。
19. 前記映像処理装置は、前記複数の異機種の撮影装置が撮影した映像の色空間及びフォーマットを統一された形に変換した後にマッピング動作を行うことを特徴とする請求項１８に記載のマルチプロジェクション映像の生成システム。
    

Images