JP2007096951A - 多視点画像作成装置、多視点画像作成方法および多視点画像作成プログラム - Google Patents

Abstract

【課題】作成者が、コンテンツが三次元に表示されたイメージを直感的に把握しながら多視点画像を作成することのできる多視点画像作成装置を提供する。
【解決手段】三次元画像表示画面２１にコンテンツ３０を表示するための多視点画像を作成する多視点画像作成装置１０であって、コンテンツ３０の三次元画像表示画面２０における配置状態を示すイメージ画像を二次元画像表示画面に表示する作成画面表示手段１１８と、イメージ画像におけるコンテンツ３０の配置状態の変更指示を取得する変更指示取得手段１００と、変更指示に基づいて、前記多視点画像に対応するカメラの数、複数のカメラそれぞれの配置位置、複数のカメラそれぞれの投影面のサイズ、注視点および投影法のうち少なくとも一つを変更するカメラ制御手段１２２と、変更後の条件で設置された複数のカメラ５０により取得される多視点画像を作成する多視点画像作成手段１３２とを備えた。
【選択図】 図１

Description

本発明は、三次元画像表示画面にコンテンツを表示するための多視点画像を作成する多視点画像作成装置、多視点画像作成方法および多視点画像作成プログラムに関するものである。

三次元画像表示方法として、二次元平面上に画素がマトリクス状に並んだ液晶ディスプレイ（ＬＣＤ）に代表されるフラットパネルディスプレイと、光線制御素子とを組み合わせたものが知られている。これは、裸眼式三次元画像表示方法と呼ばれるものであり、光線制御子により、フラットパネルディスプレイの画素から射出した光線の方向を制限し、これらの画素に、射出方向に応じた視差情報を呈示することにより、観察者の水平または垂直位置に応じた画像を観察させ、三次元画像を認識させる。

光制御素子としては、光線方向制御のためのレンチキュラーシートやレンズアレイ、またはスリットや、ピンホールアレイなどがある。レンチキュラーシートやスリットは、レンズの稜線が観察者からみて垂直方向に伸張するものである。

裸眼式三次元画像表示方法で特徴的な点は、三次元画像を観察できる領域が制限されるということである。すなわち、光線制御子一つあたりに用意できる画素数が制限されるために、観察方向に応じた画像を用意できる領域（＝視域）も有限となり、この領域をはずれると、正しい三次元画像を観察することができない。

これ以外にも、観察者に眼鏡をかけさせ、左右の目のシャッタリングとディスプレイの表示の切り替えを同期させ、観察者の両眼に対応させた視差画像を認識させる眼鏡式三次元画像表示方法が知られている。また、ディスプレイに観察者の両眼の位置に相当する視差画像を同時に呈示しつつ、マイクロポール等を用いて偏光方向を直交させておき、偏光方向を直交させた偏光板を観察者の左右の目の前に設けることによって、両目に所望の視差画像を呈示する眼鏡式三次元画像表示方法も知られている。

眼鏡式三次元画像表示方法で特徴的な点は、三次元画像を観察できる領域は制限されないが、そのままでは、観察位置に応じた画像を表示できない（三次元画像を回り込んで観察できない＝運動視差がない）ことである。これに対しては、さらに観察者の頭の位置をトラッキングし、頭の位置に応じて、ディスプレイの表示を切り替えることで、運動視差を実現する方法もある。

いずれの三次元画像表示方法においても、三次元画像を観察者に認識させるためには、複数方向から取得した画像を、取得した方向に略一致した予め想定した観察位置において観察させる必要がある点では共通している。

観察位置に対応して観察させるべく、ディスプレイに光線制御子を組み合わせて観察位置に応じて画像が切り替わるようにしたものが裸眼式である。また、観察者に眼鏡をかけさせて、ディスプレイに交互に表示される視差画像をディスプレイの切り替えと同期して眼鏡をシャッタリングし、観察者の左右の目や観察位置に応じて切り変えるようにしたものが眼鏡式である。

以上述べた方式は、いずれも観察者に三次元画像を認識させるために、複数方向から取得した画像を用いる点で共通している。このように、複数の方向から画像を取得するため、考慮しなければならない事項がある。ここでは、二次元画像再生のための二次元画像取得と比較して説明する。

二次元画像を撮影・再生する場合、撮影範囲と再生される範囲の関係は容易に把握できる。すなわち、カメラの画角（＝投影面のサイズ）で規定される範囲が撮影され、再生される。また、被写界深度の範囲で焦点が合い、これから外れるとデフォーカスした画像になる。

これに対し、三次元画像の撮影・再生においては、カメラアレイの撮影範囲と、ディスプレイで規定される飛び出し・奥行き表示限界を考慮する必要がある。

最も単純なケースとしては、カメラアレイの画角をディスプレイ表面相当の範囲でオーバーラップさせた場合がある。この場合、最も外側に配置された二台のカメラの撮影範囲が重なる領域が、三次元画像を再生した場合に、観察者が視域の中にいる間、常にディスプレイに表示される領域に相当する。また、撮影範囲の重ならない領域が、観察者が視域の中で観察しても、ディスプレイの額縁に邪魔されて見えたり、見えなかったりする領域に相当する。

一方、飛び出し・奥行き限界は、裸眼立体表示装置においては、非特許文献１で規定される表示限界に相当する。この表示限界を指針に三次元画像を表示することで、観察に耐えうる画質を維持することができる。一方、メガネ式三次元画像表示装置においては、輻輳と調節の不一致に起因する疲れを防止する意味で規定された飛び出し量限界がある。

例えば、１００インチの２眼式プロジェクションタイプでは、視距離（Ｌ）を３ｍとしたときの飛び出し表示限界は５００ｍｍ、奥行き表示限界は１５００ｍｍとしているものがある。また、二眼式の携帯電話用画面においては、飛び出し表示限界を８０ｍｍ、奥行き表示限界を１６０ｍｍとしているものがある。このように、飛び出し表示限界については、視距離の１／６程度、奥行き表示限界については、視距離の１／２程度に抑えられることが多い。

しかしながら、これらはあくまでも三次元画像表示装置側の要請で決まるものであり、カメラアレイ側から操作できるものではない。透視投影度を変えたり、大きさを変えたりすることは、二次元画像の撮影・再生における効果として良く知られている。具体的には、再生時の観察する位置より対象に近い位置で撮影した画像は透視度が高い画像に、観察する位置より遠い位置で撮影した画像は、ズームレンズで撮影したような透視度の低い画像になる。このように、１台のカメラ越しのコンテンツの挙動は比較的直感的な理解が可能である。

一方、三次元画像表示においては、視差画像を取得した方向と、その視差情報を観察できる方向を完全に一致させることで、撮影したコンテンツがそのまま再生される。しかしながら、意図的にこの関係から逸脱させることで、コンテンツの透視度を変えたり、厚みを変えたり（非特許文献２）、大きさを変えたり、といった表現が可能である。

特開２００４−２１２６６６号公報 Ｈ．Ｈｏｓｈｉｎｏ，ｅｔ ａｌ．， Ｊ．Ｏｐｔ． Ｓｏｃ．Ａｍ．Ａ．，１５（８），２０５９（１９９８）． Ｔ．Ｓａｉｓｈｕ， ｅｔ ａｌ．，ＳＩＤ ０４ Ｄｉｇｅｓｔ，１４３８（２００４）．

ところが、カメラアレイで撮影した各視点画像と三次元画像表示装置における再生状態は、直感的に理解することが難しい。例えば、カメラアレイの撮影間隔を１／２にすると三次元画像表示装置に表示されたコンテンツの厚みは、撮影間隔を１／２にしないときの表示厚みを１とした場合に比較して、略１／２になる。また、透視度の低い三次元画像を再生する場合は、撮影距離を伸ばすとともに、これと比例してカメラ間隔を大きくしたり、同時に投影面のサイズを維持するように画角を変更したりする必要がある。

二次元画像撮影時の単カメラと違い、このようなカメラアレイの挙動は、例えばコンテンツ作成者等に直感的に理解させることは難しい。また、理解したとしても、カメラが増えた分だけ、カメラを移動・再配置する操作が煩雑になってしまう。

本発明は、上記に鑑みてなされたものであって、ＣＧモデルの多視点画像の作成者が、コンテンツが三次元に表示されたイメージを直感的に把握しながら多視点画像を作成することのできる多視点画像作成装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、三次元画像表示画面にコンテンツを表示するための多視点画像を作成する多視点画像作成装置であって、前記多視点画像作成時に、前記コンテンツの前記三次元画像表示画面における配置状態を示すイメージ画像を二次元画像表示画面に表示する作成画面表示手段と、前記作成画面表示手段が表示する前記イメージ画像における前記コンテンツの配置状態の変更指示を取得する変更指示取得手段と、前記変更指示取得手段が取得した前記変更指示に基づいて、前記多視点画像に対応するカメラの数、複数のカメラそれぞれの配置位置、複数のカメラそれぞれの投影面のサイズ、注視点および投影法のうち少なくとも一つを変更するカメラ制御手段と、前記カメラ制御手段により変更された条件で設置された前記複数のカメラにより取得される多視点画像を作成する多視点画像作成手段とを備えたことを特徴とする。

また、本発明の他の形態は、三次元画像表示画面にコンテンツを表示するための多視点画像を作成する多視点画像作成方法であって、前記多視点画像作成時に、前記コンテンツの前記三次元画像表示画面における配置状態を示すイメージ画像を二次元画像表示画面に表示する作成画面表示ステップと、前記二次元画像表示画面に表示される前記イメージ画像における前記コンテンツの配置状態の変更指示を取得する変更指示取得ステップと、前記変更指示取得ステップにおいて取得した前記変更指示に基づいて、前記多視点画像に対応するカメラの数、複数のカメラそれぞれの配置位置、複数のカメラそれぞれの投影面のサイズ、注視点および投影法のうち少なくとも一つを変更するカメラ制御ステップと、前記カメラ制御ステップにおいて変更された条件で設置された前記複数のカメラにより取得される多視点画像を作成する多視点画像作成ステップとを有することを特徴とする。

また、本発明の他の形態は、三次元画像表示画面にコンテンツを表示するための多視点画像を作成する多視点画像作成処理をコンピュータに実行させる多視点画像作成プログラムであって、前記多視点画像作成時に、前記コンテンツの前記三次元画像表示画面における配置状態を示すイメージ画像を二次元画像表示画面に表示する作成画面表示ステップと、前記二次元画像表示画面に表示される前記イメージ画像における前記コンテンツの配置状態の変更指示を取得する変更指示取得ステップと、前記変更指示取得ステップにおいて取得した前記変更指示に基づいて、前記多視点画像に対応するカメラの数、複数のカメラそれぞれの配置位置、複数のカメラそれぞれの投影面のサイズ、注視点および投影法のうち少なくとも一つを変更するカメラ制御ステップと、前記カメラ制御ステップにおいて変更された条件で設置された前記複数のカメラにより取得される多視点画像を作成する多視点画像作成ステップとを有することを特徴とする。

本発明にかかる多視点画像作成装置は、作成画面表示手段が多視点画像作成時にコンテンツの三次元画像表示画面における配置状態を示すイメージ画像を二次元画像表示画面に表示し、変更指示取得手段が作成者からの指示により前記作成画面表示手段が表示するイメージ画像におけるコンテンツの配置状態の変更指示を取得し、カメラ制御手段が変更指示に基づいて、前記多視点画像に対応するカメラの数、複数のカメラそれぞれの配置位置、複数のカメラそれぞれの投影面のサイズ、注視点および投影法のうち少なくとも一つを変更し、変更後のカメラから取得された多視点画像が作成されるので、作成者は、カメラアレイの挙動を理解しなくとも直感的な操作を行うことにより所望の三次元画像を再生する多視点画像を得ることができるという効果を奏する。

以下に、本発明にかかる多視点画像作成装置、多視点画像作成方法および多視点画像作成プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

図１は、実施の形態にかかる多視点画像作成用インタフェース１０の機能構成を示すブロック図である。多視点画像作成用インタフェース１０は、多視点画像の作成画面を二次元画像表示画面１２に表示し、作成者からの指示にしたがい作成者の所望の三次元画像に対応する多視点画像を作成する。

ここで、多視点画像作成用インタフェース１０により作成された多視点画像を表示する三次元画像表示装置について説明する。図２は、多視点画像作成用インタフェース１０により作成された多視点画像を表示する三次元画像表示装置２０を示す図である。三次元画像表示装置２０は、二次元画像表示画面２１と、レンチキュラーシート２４とを有している。

ここで、二次元画像表示画面２１の水平方向を右側をプラスとするｘ方向とする。二次元画像表示画面２１の垂直方向を上側をプラスとするｙ方向とする。二次元画像表示画面２１に垂直な方向、すなわち二次元画像表示画面２１の奥行き方向を二次元画像表示画面２１の手前方向をプラスとするｚ方向とする。以降、この右手系３軸により説明する。

図３は、多視点画像作成用インタフェース１０において多視点画像を作成する際に三次元画像表示装置２０に表示される作成画面を示す図である。作成画面は、後述の作成画面表示部１１８により作成される。作成画面には、三次元表示すべきコンテンツ３０に加えて、カメラセンターベクトル３２およびバウンダリボックス４０が表示される。

カメラセンターベクトル３２は、後述するカメラアレイ５０の中心座標を定める。カメラセンターベクトル３２の方向は、完成後の三次元画像の主な観察位置をも示している。バウンダリボックス４０は、三次元画像表示装置２０における三次元画像再生可能領域に一致する領域である。バウンダリボックス４０については、後述する。

さらに、作成画面にはコンテンツ３０を正面から見た図であるフロントビュー、上部から見た断面図であるトップビュー、側面から見た断面図であるサイドビュー、三次元画像の斜視図であるパースペクティブビューが含まれている。このビューの構成は一例であるが、ｘｙ面、ｙｚ面、ｚｘ面に該当するビューを設けることで、作成者は、三次元画像完成時の形状を容易に把握することができる。

図４は、バウンダリボックス４０を説明するための図である。ここでは、簡単のため多眼式を例に説明する。多眼式とは、透視投影的に取得した多視点画像を画像取得時と略一致した軌跡で透視投影的に再生する方式である。

バウンダリボックス４０は、二次元画像表示画面２１の水平断面に相当する水平断面４１と、多視点画像に対応するカメラアレイ５０のうち最も外側の２台のカメラ５１ａ，５１ｘの撮影範囲５２ａ，５２ｘにより定まる領域である。さらに、バウンダリボックス４０は、ｚ方向においては、水平断面４１を基準としカメラアレイ５０側、すなわち飛び出し方向に設定される飛び出し方向表示限界４２を境界とする。また、バウンダリボックス４０は、水平断面４１を基準としカメラアレイ５０と逆側すなわち奥行き方向に設定される奥行き方向表示限界４４を境界とする。

図５は、バウンダリボックス４０の両端の領域４６ａ，４６ｂおよび領域４７ａ，４７ｂを説明するための図である。領域４６ａ，４６ｂは、観察位置によっては三次元画像が額縁にかかってしまう可能性のある領域である。また、領域４７ａ，４７ｂは、観察位置によっては三次元画像が額縁の背後に見える可能性のある領域である。

領域４６ａ，４６ｂ、すなわち飛び出し領域に表示された三次元画像が額縁にかかると飛び出し位置が強制的に額縁位置まで引き込まれる（額縁効果）という表示不良が知られている。一方、領域４７ａ，４７ｂは観察位置によっては見える可能性がある。したがって、この領域まで見えてしまうことを考慮して三次元画像を作成する必要がある。このように、領域４６ａ，４６ｂおよび領域４７ａ，４７ｂは、三次元画像表示装置だからこそ考慮する必要のある表示領域であるといえる。

図６は、バウンダリボックス４０を−ｘ方向から見た断面図である。図６は、垂直方向、すなわちｙ方向に視差情報を与えない場合のバウンダリボックス４０を示している。ｙ方向に視差を与えないため、カメラ５３の位置は一箇所である。そして、カメラ５３の撮影範囲５４によりバウンダリボックス４０が定まる。視差情報を与えないため、図５で説明した領域４６ａ，４６ｂおよび領域４７ａ，４７ｂに対応する領域は生じない。

一般に、三次元画像表示装置において視差数を増加させると、三次元画像表示装置の解像度が低下したり（裸眼式）、ヘッドトラッキングレートをあげたりする必要がある（眼鏡式）。このため、デバイスへの負荷が高まってしまう。この対策として、図６に示す例のように立体を近くするのに必要な水平方向の視差情報のみを呈示する場合が多い。

なお、他の例としては、垂直方向にも多視点画像を取得することとしてもよい。図７は、この場合のバウンダリボックス４０をｘ方向から見た断面図である。ｘ方向から見たバウンダリボックス４０の形状は、図４および図５を参照しつつ説明した形状と同様である。

再び説明を図１に戻す。多視点画像作成用インタフェース１０は、ユーザから各種条件変更指示を取得する条件変更指示取得部１００と、条件変更指示取得部１００により取得した条件変更指示に基づいて、多視点画像作成の際の条件変更にかかる処理を行う変更処理部１１０とを備えている。

変更処理部１１０は、デフォルトパラメータ保持部１１２と、設定パラメータ保持部１１４と、バウンダリボックス処理部１１６と、作成画面表示部１１８と、描画方法設定部１２０と、カメラ制御部１２２と、メッシュ変形部１２４と、プレビュー画面作成部１２６と、プレビュー画面表示部１２８と、境界面処理部１３０と、多視点画像作成部１３２とを有している。

条件変更指示取得部１００は、外部から各種条件変更指示を受け付ける。具体的には、三次元画像の作成中に二次元画像表示画面１２に表示される作成画面において作成者が各種条件を入力すると、入力された内容を示す変更指示が条件変更指示取得部１００に送られる。

デフォルトパラメータ保持部１１２は、デフォルトとなる三次元画像表示装置のパラメータを保持している。これは、多視点画像作成用インタフェース１０が作成する三次元画像を表示する三次元画像表示装置のパラメータである。

設定パラメータ保持部１１４は、条件変更指示取得部１００を介して取得した三次元画像表示装置のパラメータを保持している。これは、ユーザからの入力により作成されたパラメータである。

デフォルトパラメータ保持部１１２に保持されているパラメータに対応する三次元画像表示装置とは異なる仕様の三次元画像表示装置に表示する三次元画像を作成する場合には、作成者は、二次元画像表示画面１２に表示された条件設定画面（後述）において三次元画像を表示する三次元画像表示装置のパラメータを入力することができる。これにより、入力された内容が条件変更指示取得部１００を介しデフォルトパラメータ保持部１１２に送られ、保持される。

バウンダリボックス処理部１１６は、デフォルトパラメータ保持部１１２が保持するデフォルトパラメータに基づいて、バウンダリボックス４０を描画する。また、条件変更指示取得部１００が取得した変更指示に示される条件にしたがいバウンダリボックス４０を描画する。作成画面表示部１１８は、バウンダリボックス処理部１１６により描画されたバウンダリボックス４０をコンテンツ３０と共に二次元画像表示画面１２に表示する。

描画方法設定部１２０は、条件変更指示取得部１００からの変更指示にしたがい描画方法を変更する。ここで、描画方法とは、二次元画像表示画面１２にコンテンツ３０およびバウンダリボックス４０を表示する際の線の太さ、色など二次元画像表示画面１２における表示方法である。作成画面表示部１１８は、描画方法設定部１２０により設定された描画方法で、コンテンツ３０等を表示する。

カメラ制御部１２２は、バウンダリボックス処理部１１６により描画されたバウンダリボックス４０に基づいて、作成すべき多視点画像に対応するカメラアレイ５０の配置位置を決定する。例えば、カメラアレイ５０を構成する複数のカメラの間隔や、カメラアレイの投影面からの距離を決定する。また、条件変更指示取得部１００が取得した変更指示により注視点の位置を変更する。ここで、注視点とは、バウンダリボックス４０の水平断面４１の面中心に対応する。

さらに、条件変更指示取得部１００が取得した変更指示によりカメラの解像度を変更する。さらに、条件変更指示取得部１００が取得した変更指示により多視点画像に対応するカメラの台数を変更する。さらに、条件変更指示取得部１００が取得した変更指示により投影面のサイズ（＝画角）を変更する。

メッシュ変形部１２４は、条件変更指示取得部１００からの指示によりコンテンツ３０のメッシュ変形を行う。これにより、撮影系におけるコンテンツ３０の形状と再生系におけるコンテンツ３０の形状の間の乖離、より具体的には、撮影のための光線の軌跡と再生のための光線の軌跡の非等方的な乖離によるひずみを是正することができる。非等方的な乖離の具体例としては、撮影のための光線の軌跡と再生のための光線の軌跡の乖離が垂直方向と投影方向で異なる場合があげられる（非特許文献２）。等方的な乖離は、再生時の透視度の変更として、積極的に利用される場合もある。詳細は後述する。

プレビュー画面作成部１２６は、プレビュー画面作成を作成する。プレビュー画面とは、カメラ制御部１２２により制御されたカメラアレイ５０から得られる多視点画像を三次元画像表示画面に表示した様子、すなわちコンテンツ３０の三次元イメージ画像を示す画面である。

具体的には、観察者の位置として仮定された観察基準位置に配置し、注視点に向けられれたビューカメラからのレンダリングを行う。ビューカメラは、カメラアレイのカメラセンターの初期値に相当する。ビューカメラおよびカメラセンターのいずれもカメラセンターベクトルの指し示す軌跡上に位置する。そして、カメラセンターの注視点からの距離が変更される操作は透視度変更のみである。また、コンテンツ３０がメッシュ変形されている場合には、メッシュ変形と逆の処理、すなわち逆メッシュ変形を行う。プレビュー画面表示部１２８は、プレビュー画面を三次元画像表示装置２０に表示する。

境界面処理部１３０は、条件変更指示取得部１００からの指示により表示可能領域の境界面の処理を行う。具体的には、背景ボードの作成やクリッピング処理を行う。多視点画像作成部１３２は、カメラ制御部１２２により配置されたカメラアレイ５０からの複数の視差画像を得る。すなわち多視点画像を作成する。このとき、境界面処理部１３０によるクリッピング処理の結果を用いる。さらに、メッシュ変形が行われている場合には、メッシュ変形後のコンテンツ３０に対する多視点画像を作成する。

多視点画像作成用インタフェース１０を起動すると、二次元画像表示画面１２には、デフォルトパラメータ保持部１１２が保持するデフォルトパラメータに基づいて、デフォルトの三次元画像表示装置に対応したバウンダリボックス４０が描画される。デフォルトの三次元画像表示装置は、１５．４インチＷ−ＵＸＧＡパネルと、レンチキュラーシートとを有している。詳細な仕様は表１の通りである。

表１より単一のレンズから射出する光線の射出角度は、±１５度すなわち合計３０度である。また、観察者が三次元画像を観察する位置として仮定した観察基準視距離（Ｌ＝６００ｍｍ）で集光点が発生し、すべてのレンズから射出する光線群が観察基準視距離（Ｌ）でオーバーラップするようになっている。集光点の間隔は、２６．７ｍｍ（＝ｐｓｐ×Ｌ／ｇ）と眼間距離（約６５ｍｍ）より十分狭い。したがって、この視距離近傍で運動視差を伴った三次元画像を観察することができる。

しかし、観察者はある程度自由に動く。このため、観察者が観察基準視距離（Ｌ）をはずれる場合が多い。また、光線間隔が狭いので、観察者は、同時に複数の視差情報を見ることに起因するクロストークを伴った三次元画像を観察すると考えられる。これらの事情を考慮すると、この三次元画像表示装置における飛び出し方向表示限界および奥行き方向表示限界は、ＩＰ方式の飛び出し奥行き限界として算出することができる。詳細については、非特許文献１に記載されている。

三次元画像表示装置に表示すべきコンテンツの最低空間周波数（β）は３２０ｃｐｒとした。この値は８〜３２インチのディスプレイに表示したときに観察者が粗すぎると感じる直前の周波数であることが経験的にわかっている。

３２０ｃｐｒが保証される飛び出し方向表示限界（ｚｎ）は、（式１）により得られる。

ｚｎ＝Ｌ／（２＊（（Ｌ＋ｇ）／Ｌ）＊ｐｓｐ／ｇ＊β＋１）
＝２０．３ｍｍ ・・・（式１）

また、奥行き方向表示限界（ｚｆ）は、（式２）により得られる。

ｚｆ＝−Ｌ／（２＊（（Ｌ＋ｇ）／Ｌ）＊ｐｓｐ／ｇ＊β−１）
＝−２１．７ ｍｍ ・・・（式２）

以上よりバウンダリボックス４０のｚ方向の幅は、（式３）により得られる。

ｚｎ−ｚｆ＝４２．０ｍｍ ・・・（式３）

このバウンダリボックス４０に対応するカメラアレイ５０は、集光点が発生する表示面、すなわち二次元画像表示画面２１から６００ｍｍ（＝Ｌ）の位置に配置される。さらに、集光点の間隔（２６．７ｍｍ ＝ ｐｓｐ×Ｌ／ｇ）おきに１２台のカメラが自動的に設置される。これが、カメラアレイ５０のデフォルトの配置位置である。そして、このカメラアレイの中央が、カメラセンターの初期値、すなわち、ビューカメラの配置位置となる。

この条件のまま変更がない場合には、次の操作に進む。すなわち、レンダリング処理に進み、多視点画像を作成すればよい。しかし、デフォルトパラメータ保持部１１２が保持するデフォルトとは異なる条件で多視点画像を作成したい場合には、二次元画像表示画面１２に表示される表示画面において変更したい条件を入力する。これにより、条件変更指示取得部１００は、入力された内容に対応する変更指示を取得し、変更処理部１１０により変更指示に対応する処理が行われる。

図８は、このように条件を変更する場合の多視点画像作成用インタフェース１０による多視点画像作成処理を示すフローチャートである。まず、多視点画像作成用インタフェース１０が起動すると上述のようにカメラ制御部１２２は、デフォルトの三次元画像表示装置の仕様に対応したカメラアレイ５０をデフォルト位置に配置する（ステップＳ１００）。次に、カメラアレイ５０に対応したバウンダリボックス４０が描画される（ステップＳ１１０）。さらに、カメラセンターベクトル３２も描画される（ステップＳ１２０）。これらは、作成画面表示部１１８により二次元画像表示画面１２に表示される。なお、カメラセンターベクトル３２は、図３に示すようにカメラアレイ５０の中心座標を向いた矢印状の記号で示される。

次に、変更処理部１１０は、条件変更指示取得部１００が取得した各種条件変更指示にしたがい、変更処理を行い（ステップＳ１３０）、変更後の条件でマルチカメラレンダリングを実施し、多視点画像を生成する（ステップＳ１４０）。次に、生成された多視点画像を外部に出力する（ステップＳ１５０）。

ステップＳ１３０において条件変更指示取得部１００が取得する各種条件変更指示は、作成画面において作成者から入力される。図９から図１４は、変更処理（ステップＳ１３０）において条件変更指示取得部１００が取得する各種条件変更指示に対応する内容を入力する条件設定画面を示す図である。

図９は、二次元画像表示画面１２に表示されるディスプレイパラメータ設定画面を示す図である。ディスプレイパラメータ設定画面は、多視点画像作成用インタフェース１０により作成された三次元画像を表示する三次元画像表示装置のパラメータを設定するための画面である。

このように、三次元画像表示装置のパラメータとして、三次元画像表示装置タイプ、射出瞳タイプ、視差数、二次元画像表示装置、視域設定条件、表示限界および視点数の設定欄が設けられており、三次元画像作成者は、この画面に所望の条件を入力することができる。

なお、ここで、三次元画像表示装置タイプとしては、三次元画像の表示形式を選択できる。本実施の形態においては、視差を提示する光線の軌跡が観察基準位置で集光点を与えないＩｎｔｅｇｒａｌ Ｉｍａｇｉｎｇ方式と、集光点を与えるＭｕｌｔｉ−Ｖｉｅｗ方式とを選択することができる。ＩＩ方式で典型的なのは、平行光線を利用するものである。水平方向にしか視差を提示しない場合（１Ｄ−ＩＩ：一次元Ｉｎｔｅｇｒａｌ Ｉｍａｇｉｎｇ方式）、水平方向は平行投影、垂直方向は透視投影で撮影した多視点画像を利用することにより、歪みの無い正しい三次元画像を表示することができる。一方、Ｍｕｌｔｉ−Ｖｉｅｗ方式は、観察基準位置で集光点が発生するように光線を設計することから、透視投影画像を利用することが可能である。

射出瞳タイプとしては、垂直、水平いずれにも視差情報を提示する場合はレンズアレイまたはピンホールアレイのいずれかを選択することができる。水平のみの場合には、レンチキュラーシートかスリット、そして、レンチキュラーシートの傾き（θ）を選択することができる。さらに、空気換算焦点距離、ひとつの射出瞳から射出する視差情報の数である視差数を指定することができる。視差数も、水平のみの場合は水平における値を指定する。さらに垂直方向にも視差情報を提示する場合は、水平方向における値に加えて垂直における値も指定する。

また、二次元画像表示装置のパラメータとして、解像度およびサイズを指定することができる。視域設定条件としては、観察基準視距離を与える。この距離で視域が最大になるようにカメラ台数が決定される(特許文献１)とともに、表現限界として飛び出し方向表示限界に対応する手前側および奥行き方向表示限界に対応する奥側の位置も算出される（非特許文献１）。

標準ディスプレイとして、予め各パラメータを設定したものを用意しておき、ユーザが用いる三次元画像表示装置に応じて選択させることで、ユーザのパラメータ入力の負担を軽減することができる。

さらに、ユーザが新たなパラメータの入力を行ない、図９に示す条件設定画面において「現在の設定を保存」を選択することにより、このパラメータを設定ファイルとして保存することができる。これらの設定ファイルは設定パラメータ保持部１１４に保持される。設定パラメータ保持部１１４に保持された設定ファイルは、図９に示す条件設定画面において「設定ファイルを読み込む」により選択が可能で、ユーザが登録したパラメータを再度呼び出すこともできる。これによって、同一の条件をユーザが繰り返し入力する負担をなくすことができる。

図１０は、二次元画像表示画面１２に表示されるバウンダリボックス操作画面を示す図である。基本設定として、三次元画像表示装置２０が縦置きか平置きかを設定することができる。ここでは、縦置きと平置きの代表的な２つを選ばせるようにしたが、任意の角度を選べるようにしてもよい。さらに、法線からのずれ角を設定することができる。ここで、法線からのずれ角とは、観察方向と三次元画像表示装置２０の法線との間の角度である。

ボックス形状としては、バウンダリボックス４０のｘ方向、ｙ方向およびｚ方向それぞれのサイズを設定できる。さらに、アスペクトも設定可能である。平行移動としては、バウンダリボックス４０の位置をｘ方向、ｙ方向およびｚ方向それぞれについての移動する距離を設定できる。回転は、ｘ，ｙ，ｚ軸のそれぞれについて指定することが可能である。さらに、最低空間周波数、カメラ水平移動の条件を設定することができる。

ここで、最低空間周波数とは、コンテンツ３０を三次元表示する際に保証する最低空間周波数である。また、カメラの平行移動とは、カメラアレイ５０の位置と注視点の両方を移動させることである。これにより、作成される多視点画像の中心が変更される。回転とは、注視点を固定したまま、カメラアレイ５０の位置を回転移動させることである。すなわち、投影面も回転する。これにより、多視点画像において正面に配置されるコンテンツ３０の面が変更される。

カメラ水平移動は、注視点を固定しつつ、カメラアレイ５０の位置のみを移動させることである。より具体的には、水平移動においては、カメラアレイ５０が投影面（＝三次元画像表示装置２０の表示面）の正面に位置する場合は、ｔａｎ（ｘ／Ｌ）を０と与える。０から数値が増加または減少するのに応じて、カメラアレイ５０は投影面から左右にずれることになる。

例えば、多視点画像を観察者の正面から右にずれた方向において表示させる場合には、これに合わせて右にずれた方向を観察した状態の多視点画像を作成するのが望ましい。個の場合には、カメラ水平移動により適切な方向を指定する。

図１１は、三次元画像表示画面２０に表示される投影法設定画面を示す図である。マルチカメラ属性として、透視投影法および平行投影法のいずれかを選択することができる。透視撮影カメラの場合と、平行投影カメラの場合とでは、最も外側の２台のカメラの撮影範囲のオーバーラップ範囲が異なる。このため、カメラ属性に応じてバウンダリボックス４０の形状が異なる。また、再生される三次元画像も、投影法を反映したものとなる。ここで、撮影するカメラの条件と再生するディスプレイの条件に乖離がある場合が考えられる。

より具体的には、平行光線を利用する１Ｄ−ＩＩ方式では、視差画像を垂直方向を透視、水平方向を平行で撮影すると歪みのない三次元画像を表示することができるが（非特許文献２）、このようなカメラが搭載されていない３Ｄ−ＣＧ作成ソフトウェアを利用する場合、コンテンツ自体を変形し、標準装備されている透視投影または平行投影カメラで同等の画像を取得することが可能である。例えば、平行投影カメラを利用する場合は、垂直方向を奥に向かってすぼまるように変形すればよく、透視投影カメラを利用する場合は、水平方向を手前に向かってすぼめるように変形することで、画像取得時と再生時の光線の乖離を背税することができる。このような再生時の画像歪みを自動的に除去する歪み除去処理の適用の有無を選択することができる。本実施の形態では透視投影がデフォルトになっており、平行投影が選択されるとバウンダリボックスが再描画される。メッシュ変形の詳細については後述する。

図１２は、二次元画像表示画面１２に表示される背景ボード設定画面を示す図である。背景ボード設定の有無、背景ボード設置位置および背景ボードとして利用する画像を設定することができる。図１３は、二次元画像表示画面１２に表示されるクリッピング設定画面を示す図である。クリッピングの適用の有無を選択することができる。また、近接クリップおよび遠方クリップにおける各種設定を行うことができる。図１４は、二次元画像表示画面１２に表示される出力サイズ設定画面を示す図である。この画面においては、多視点画像の出力サイズ、すなわち解像度を設定することができる。

図１５は、図８において説明した変更処理（ステップＳ１３０）における詳細な処理を示すフローチャートである。図８において説明したように、三次元画像表示装置のデフォルト値にあわせて、デフォルトのマルチカメラが設定され、これにあわせたバウンダリボックスが描画されている。このとき、条件変更指示取得部１００が三次元画像表示装置のパラメータの変更を指示するパラメータ変更指示を取得すると（ステップＳ１３０１，Ｙｅｓ）、バウンダリボックス処理部１１６は、パラメータ変更指示に示されるパラメータに基づいて、バウンダリボックス４０を再計算する。

なお、図９に示すディスプレイパラメータ設定画面において標準ディスプレイを変更した場合、作成者が条件を入力した場合、および「設定ファイルを読み込む」が選択された場合に、条件変更指示取得部１００は、入力内容を含む三次元画像表示装置パラメータ変更指示を取得する。

図９に示すディスプレイパラメータ設定画面において「設定ファイルを読み込む」が選択され、設定ファイルが指定されると、ステップＳ１３０２において選択肢ありと判断され（ステップＳ１３０２，Ｙｅｓ）、バウンダリボックス処理部１１６は、選択された設定ファイルのパラメータをデフォルトパラメータ保持部１１２から取得する（ステップＳ１３０３）。

一方、選択肢なしと判断された場合には（ステップＳ１３０２，Ｎｏ）、バウンダリボックス処理部１１６は、ディスプレイパラメータ設定画面において作成者により設定された内容を含むパラメータ変更指示を取得する（ステップＳ１３０４）。

次に、バウンダリボックス処理部１１６は、取得したパラメータ変更指示に示されるパラメータに基づいてバウンダリボックス４０を再計算する（ステップＳ１３０５）。次に、カメラ制御部１２２は、バウンダリボックス処理部１１６による計算結果に基づいてマルチカメラの数、各カメラの配置位置および注視点と投影面のサイズを決定し、決定された配置位置に決定された投影面のサイズを反映した画角に設定された各カメラを配置する（ステップＳ１３０６）。

バウンダリボックス処理部１１６が取得するパラメータ変更指示としては、具体的には、三次元画像表示装置２０を構成する二次元画像表示画面２１の解像度の変更を指示する解像度変更指示、二次元画像表示画面２１のサイズの変更を指示するサイズ変更指示および三次元画像表示装置２０における三次元表示形式の変更を指示する表示形式変更指示、空気換算焦点距離の変更を指示する空気換算焦点距離変更指示などがある。

例えば、解像度変更指示を取得し、二次元画像表示画面２１の解像度を前述のデフォルトの設定から垂直水平ともに２倍にしたとする。この場合には、飛び出し方向表示限界および奥行き方向表示限界は、それぞれ、９．２ｍｍ，−４５．１ｍｍとなる。すなわち、全体で８４．４ｍｍの奥行きを持つバウンダリボックス４０が再描画される。すなわち、バウンダリボックス４０の形状が変更される。ただし、この場合には、カメラアレイ５０の配置位置は変化しない。

また、サイズ変更指示を取得した場合には、バウンダリボックス４０の形状は変化しないが、バウンダリボックス４０のサイズが変更される。表示形式変更指示を取得した場合には、バウンダリボックス４０の形状が変更される。これに伴い、カメラアレイ５０の投影法および配置位置および投影面のサイズが変更される。

一方、空気換算焦点距離変更指示を取得し、空気換算焦点距離（ｇ）を１．９６ｍｍに変更した場合は、射出角度（θ）は、１０．０度となる。この場合、投影面を水平断面４１の位置に維持したまま、カメラ間隔が１７．６ｍｍ（＝ ｐｓｐ×Ｌ／ｇ）に自動的に変更される。

このときの飛び出し方向表示限界４２および奥行き方向表示限界４４は、３０．２ｍｍ，−３３．６ｍｍとなる。すなわち、全体で６３．９ｍｍの奥行きを持つバウンダリボックス４０が再描画される。

さらに、バウンダリボックスを再描画し、マルチカメラを再配置するのに加えて、マルチカメラの台数を変更する。レンチキュラーシートの傾き（θ）が、「０」の場合には、カメラ台数（Ｎ）は、（式４）により定まる。

Ｎ＝ＲＯＵＮＤ（ＲＯＵＮＤＤＯＷＮ（ｎｘ×３／２／（Ｎｐ×（Ｌ＋ｇ）／Ｌ））×（（Ｎｐ×（Ｌ＋ｇ）／Ｌ）−Ｎｐ）)×２＋Ｎｐ ・・・（式４）

ここで、「ＲＯＵＮＤ」は、四捨五入による整数化を示す。「ＲＯＵＮＤＤＯＷＮ」は、切捨てによる整数化を示す。

一方、レンチキュラーシートの傾き（θ）が、「ａｔａｎ（１／ｎ）≠０」（垂直方向を０度とした場合）の場合には、カメラ台数（Ｎ）は、（式５）により定まる。

Ｎ＝ ＲＯＵＮＤ（ＲＯＵＮＤＤＯＷＮ（ｎｘ×ｎ／２／（Ｎｐ×（Ｌ＋ｇ）／Ｌ））×（（Ｎｐ×（Ｌ＋ｇ）／Ｌ）−Ｎｐ））×２＋ Ｎｐ ・・・（式５）

次に、ステップＳ１３０７に進み、投影法変更指示を取得した場合には（ステップＳ１３０７，Ｙｅｓ）、ステップＳ１３０８へ進む。図１１に示す投影法設定画面において投影法として透視または平行が選択された場合に、条件変更指示取得部１００は、選択内容を含む投影法変更指示を取得する。

バウンダリボックス処理部１１６は、投影法変更指示に示される投影法に基づいて、バウンダリボックス４０を再描画する（ステップＳ１３０８）。さらに、カメラ制御部１２２は、カメラアレイ５０を再配置する（ステップＳ１３０９）。

ところで、視差情報を取得するために注視点と投影面を一定にしたままカメラアレイを配置するということは、視差画像を取得するためにはレンズシフト機能を必要とすることを意味する。３Ｄ−ＣＧ作成ソフトウェアによってはこのレンズシフト機能を有さない場合があるため、透視投影においてレンズシフトと同等の画像を得る方法として、広角で撮影して一部切り出すという手法をとる場合がある。

ここでは詳細は割愛するが、このケースにおけるマルチカメラの各注視点は、カメラと注視点を結ぶ線が投影面を含む平面に垂直になるように設定される。すなわち、ユーザからみると注視点が投影面に固定に見えても、レンズシフト相当の動作をするために、マルチカメラの注視点はカメラの配置に応じて移動させる場合がある。このような場合は、投影法の変更指示において、内部ではマルチカメラの注視点も再配置される。

図１６は、図１５の処理に続く処理を示すフローチャートである。条件変更指示取得部１００が最低空間周波数変更指示を取得すると（ステップＳ１３１０，Ｙｅｓ）、ステップＳ１３１１へ進む。なお、図１０に示すバウンダリボックス操作画面において、作成者が最低空間周波数（β）を入力すると、条件変更指示取得部１００は、入力内容を含む最低空間周波数変更指示を取得する。

最低空間周波数変更指示に示される最低空間周波数（β）が最大規定値（βｍａｘ）よりも小さい場合には（ステップＳ１３１１，Ｙｅｓ）、バウンダリボックス処理部１１６は、最低空間周波数変更指示に示される最低空間周波数（β）におけるバウンダリボックス４０を再描画する（ステップＳ１３１２）。ここで、最大規定値（βｍａｘ）とは、三次元画像表示装置のパラメータによって表現できる最大の空間周波数である。

一方、最低空間周波数変更指示に示される最低空間周波数が最大規定値（βｍａｘ）よりも大きい場合には（ステップＳ１３１１，Ｎｏ）、バウンダリボックス処理部１１６は、最大規定値（βｍａｘ）におけるバウンダリボックス４０を再描画する（ステップＳ１３１３）。

本実施の形態においては、バウンダリボックス４０の描画における最低空間周波数（β）は３２０ｃｐｒがデフォルト値になっている。この値が変更されると、バウンダリボックス４０は再描画される。

より具体的には、飛び出し方向表示限界４２および奥行き方向表示限界４４が再計算される。これに応じてバウンダリボックス４０が再描画される。すなわち、最低空間周波数（β）が大きいときは、飛び出し方向表示限界４２および奥行き方向表示限界４４のいずれも絶対値が減少する。βが小さいときは、飛び出し方向表示限界４２および奥行き方向表示限界４４のいずれも絶対値が増大する。

ただし、三次元画像表示装置のパラメータによって表現できる最大の空間周波数、すなわち最大規定値（βｍａｘ）が定まっている。なお、最大規定値（βｍａｘ）は、（式６）により定義される。最大規定値（βｍａｘ）については、詳しくは非特許文献１に記載されている。

βｍａｘ＝Ｌ／（２＊ｐｓｐ＊Ｎｐ) ・・・（式６）

最大規定値（βｍａｘ）よりも大きい値が最低空間周波数（β）として指定された場合には、最大規定値（βｍａｘ）におけるバウンダリボックス４０が再描画される。例えば、デフォルトパラメータ保持部１１２に保持される条件においては、最大規定値（βｍａｘ）は、４３４．８ｃｐｒと算出される。最低空間周波数（β）を３２０ｃｐｒとした場合のバウンダリボックス描画条件は前述のように飛び出し方向表示限界および奥行き方向表示限界はそれぞれ２０．３ｍｍ，−２１．７ｍｍである。

これに対し、最低空間周波数（β）を４００ｃｐｒに変更した場合には、飛び出し方向表示限界および奥行き方向表示限界はそれぞれ、１６．３ｍｍ,−１７．３ｍｍとなる。すなわち、全体で３３．６ｍｍの奥行きを持つバウンダリボックス４０が再描画される。すなわち、４００ｃｐｒのコンテンツを表示可能な領域は、３２０ｃｐｒのコンテンツが表示可能な領域に比較して狭くなることを意味する。

次にステップＳ１３１５へ進む。作成者からの入力に応じて、条件変更指示取得部１００が、描画方法設定指示を取得すると（ステップＳ１３１５，Ｙｅｓ）、描画方法設定部１２０は、描画方法設定指示に従い描画方法を変更し、作成画面表示部１１８は、変更後の描画方法で再描画されたコンテンツ３０、バウンダリボックス４０などを二次元画像表示画面１２に表示する（ステップＳ１３１６）。

具体的には、作成者からの入力に応じて、バウンダリボックス４０の境界を示す線の色や太さを変更することができる。また、境界面を半透明にすることができる。また、カメラセンターベクトル３２の色の変更、描画の太さの変更などを行うことができる。

図１７は、図１６の処理に続く処理を示すフローチャートである。条件変更指示取得部１００が原点一致指示を取得すると（ステップＳ１３２０，Ｙｅｓ）、ステップＳ１３２１へ進む。

原点一致指示とは、バウンダリボックス４０の原点と、コンテンツ３０を表示する際の原点とを一致させる旨の指示である。バウンダリボックス４０の原点とは、水平断面４１の中心点である。図３においては、バウンダリボックス４０の原点は、各ビュー画面の中心と一致している。また、コンテンツ３０を表示する際の原点とは、コンテンツ３０を含む三次元画像における中心位置である。

バウンダリボックス処理部１１６は、バウンダリボックス４０を平行移動する（ステップＳ１３２１）。さらに、カメラ制御部１２２は、平行移動されたバウンダリボックス４０に合わせてカメラアレイ５０を平行移動する（ステップＳ１３２２）。

コンテンツ３０の再生位置を調整するために、バウンダリボックス４０の原点と、コンテンツ３０を表示する際の原点とを一致させたい場合がある。バウンダリボックス４０の原点とコンテンツ３０の原点とを一致させるためには、バウンダリボックス４０を平行移動させるか、またはコンテンツ３０を平行移動させればよい。

ただし、バウンダリボックス４０の平行移動の方がバウンダリボックス４０の平行移動に比べて計算量が少ない場合が多い。そこで、本実施の形態においては、バウンダリボックス４０を平行移動させることとしている。

これ以外にも、図１０に示されるバウンダリボックス操作画面において作成者が各方向へのバウンダリボックス４０の平行移動距離を入力した場合には、条件変更指示取得部１００は、バウンダリボックスの配置位置の変更、すなわちコンテンツ３０における三次元可能領域におけるコンテンツ３０の配置位置の変更を指示する配置位置変更指示を取得する。この場合、バウンダリボックス処理部１１６は、配置位置変更指示に示される位置までバウンダリボックス４０を平行移動する。さらにカメラ制御部１２２は、バウンダリボックス４０の平行移動にしたがい、カメラアレイ５０を平行移動するとともに、注視点とこれを含む投影面を移動させる。

また、他の例としては、作成者は、図３に示す作成画面を見ながら、コンテンツ３０またはバウンダリボックス４０の配置位置の変更を指示してもよい。この場合には、条件変更指示取得部１００は、配置位置変更指示を取得する。そして、バウンダリボックス処理部１１６は、配置位置変更指示にしたがい、バウンダリボックス４０を再描画する。すなわち、三次元画像表示装置２０に表示されるコンテンツ３０は固定しつつ、配置位置変更指示にしたがい、コンテンツ３０の配置位置を基準としたバウンダリボックス４０の配置位置を変更する。

このように、コンテンツ３０の配置位置の変更を指示された場合であっても、コンテンツ３０の配置位置の変更に対応するようにバウンダリボックス４０のコンテンツ３０に対する配置位置を変更する。

次に、ステップＳ１３２４へ進み、条件変更指示取得部１００が配置角度変更指示を取得すると（ステップＳ１３２４，Ｙｅｓ）、ステップＳ１３２５へ進む。図１０に示すバウンダリボックス操作画面において作成者が基本設定として法線からのずれ角を入力すると、条件変更指示取得部１００は、入力内容を含む配置角度変更指示を取得する。

条件変更指示取得部１００が配置角度変更指示を取得すると、配置角度変更指示に示される角度に応じてバウンダリボックス４０のアッパーベクトルとコンテンツ３０表示時のアッパーベクトルの相対的な角度を変更する。すなわち、バウンダリボックス４０のアッパーベクトルとコンテンツ３０表示時のアッパーベクトルを一致させる。

具体的には、バウンダリボックス処理部１１６は、配置角度変更指示に示される角度に応じて三次元画像表示装置２０に表示されるバウンダリボックス４０を回転させる（ステップＳ１３２５）。さらに、カメラ制御部１２２は、バウンダリボックス４０の回転に応じてカメラアレイ５０を回転する（ステップＳ１３２６）。なお、バウンダリボックス４０の回転は、水平断面４１の面中心にある注視点を原点とする。

図１８は、縦置き型の三次元画像表示装置のためのバウンダリボックス４０を示す図である。アッパーベクトル３３は、略水平方向を向いている。図１９は、平置き型の三次元画面表示装置のためのバウンダリボックス４０を示す図である。アッパーベクトル３４は略垂直方向を向いている。例えば、縦置き型から平置き型に変更した場合には、アッパーベクトル３４は、９０度回転する。また、平置き型の場合の仰角に応じて角度を変更してもよい。本実施形態では、ｘｙ面はディスプレイ面に固定されており、絶対空間を意味するものではない。

これ以外にも、作成者からの入力に応じて条件変更指示取得部１００は、コンテンツ３０が三次元画像表示装置２０に表示される際の配置角度の変更を指示する配置角度変更指示を取得する。この場合には、バウンダリボックス処理部１１６は、配置角度変更指示に示される回転角度だけ、バウンダリボックス４０を回転させる。さらにカメラ制御部１２２は、カメラアレイ５０を回転させる。

バウンダリボックス４０の平行移動の場合と同様に、作成者は図３に示す作成画面を見ながら、コンテンツ３０の正面位置の変更、すなわちコンテンツ３０の配置角度の変更を指示してもよい。

この場合、条件変更指示取得部１００は、コンテンツ３０の配置角度の変更を指示する配置角度変更指示を取得する。そして、バウンダリボックス処理部１１６は、コンテンツ３０の配置角度変更指示にしたがい、コンテンツ３０に変えてバウンダリボックス４０を再描画する。すなわち、三次元画像表示装置２０に表示されるコンテンツ３０を固定しつつ、バウンダリボックス４０を回転させる。そして、バウンダリボックス４０の回転に伴い、カメラアレイ５０を回転させる。

図２０は、図１７に続く処理を示すフローチャートである。条件変更指示取得部１００がカメラセンターベクトル３２の変更を指示するカメラセンターベクトル変更指示を取得すると(ステップＳ１３３０，Ｙｅｓ)、バウンダリボックス処理部１１６は、カメラセンターベクトル３２の方向を変更し、変更後のカメラセンターベクトル３２を再描画する(ステップＳ１３３１)。

次に、カメラ制御部１２２は、再描画されたカメラセンターベクトル３２に基づいて、カメラアレイ５０を平行移動させる(ステップＳ１３３２)。図１７において説明した処理と異なるのは、図１７において説明した処理では、注視点を含む平面がセンターベクトルを法線とする関係を維持しているのに対し、図２０において説明した処理では、センターベクトルが注視点を含む平面に対して法線方向に平行でなくなることである。三次元画像表示装置の法線方向と観察方向とが一致しない場合には、この処理を行うことにより両方向を一致させることができる。

次に、ステップＳ１３３４へ進み、条件変更指示取得部１００がバウンダリボックス４０の形状の変更を指示する形状設定指示を受け付けると(ステップＳ１３３４，Ｙｅｓ)、設定指示にしたがいバウンダリボックス４０を再描画する(ステップＳ１３３５)。具体的には、ｘ，ｙ，ｚ軸にそった異方性のある拡大縮小や、バウンダリボックスの形状を維持したままの等方的な拡大縮小がある。図１０に示すバウンダリボックス操作画面において作成者がボックス形状の値を入力すると、条件変更指示取得部１００は、入力内容を含む形状変更指示を取得する。次に、カメラ制御部１２２は、再描画されたバウンダリボックス４０に基づいて、各カメラの間隔および投影面のサイズを変更する(ステップＳ１３３６)。

以上のように、本実施の形態にかかる多視点画像作成用インタフェース１０は、図３を参照しつつ説明したように三次元画像表示装置２０にコンテンツ３０のみならずバウンダリボックス４０を表示し、バウンダリボックス４０の形状、位置などを変更しながら多視点画像を作成していく。

図２１は、単純なＣＧモデルとしてコンテンツ３０を表示した表示画面例を示す図である。表示画面には、トップビュー、フロントビュー、レフトビュー、パースペクティブビューが含まれている。作成者がこの画面を見ながらコンテンツ３０を所望の見え方で三次元画像表示装置に再生させるためのカメラアレイ５０の配置位置を設定することは困難であり、特に初心者には不都合である。

これに対し、図３に示したようにコンテンツ３０とともにバウンダリボックス４０を表示した場合には、コンテンツ３０とバウンダリボックス４０の相対的な関係を把握することができるので、コンテンツ３０の再生時の形状の直感的な把握を助けることができる。さらに、バウンダリボックス４０を操作することにより、コンテンツ３０の再生時の形状を制御することができるので、容易に所望のコンテンツ３０を作成することができる。

さらに、バウンダリボックス４０が再描画されると、カメラ制御部１２２によりカメラ間隔が計算されカメラアレイ５０が再配置される。すなわち、作成者がバウンダリボックス４０を操作するとカメラアレイ５０が自動的に再配置される。したがって、作成者がカメラアレイ５０の配置位置とコンテンツ３０の再生時の形状との関係を把握していない場合であっても、カメラアレイ５０を意識せず、直感的に図２３−２に示すような三次元画像３１を得るための操作を行うことができる。

図２２−１から図２５−２を参照しつつバウンダリボックス４０の操作と、これにより定まる三次元画像表示装置２０における再生時のコンテンツ３０の形状との関係を説明する。

図２２−１は、二次元画像表示画面２１の水平断面４１と、バウンダリボックス４０と、ＣＧモデルであるコンテンツ３０とを示す図である。図２２−２は、三次元画像表示装置２０の水平断面２２と、三次元画像表示装置２０の再生可能範囲６０と、三次元画像表示装置２０に再生されるコンテンツ３０である三次元画像３１とを示す図である。三次元画像３１は、図２２−１に示すバウンダリボックス４０とコンテンツ３０の相対的な関係を満たすように配置されたカメラアレイ５０から取得した多視点画像に基づいて再生される画像である。

再生可能範囲６０は、三次元画像表示装置２０のスペックが決まると、これに応じて固定される。再生可能範囲６０とバウンダリボックス４０の形状は完全に一致している。これは、撮影系と再生系の条件が一致していることに相当する。この結果、コンテンツ３０は、三次元画像表示装置２０において、コンテンツ３０と形状、大きさともに正しい三次元画像３１として再生される。

図２３−１は、図２２−１に示す状態から、コンテンツ３０に対しバウンダリボックス４０の奥行き方向（ｚ方向）の幅を２倍に引き伸ばした様子を示す図である。図２３−２は、図２３−１に示すバウンダリボックス４０とコンテンツ３０の相対的な関係を満たすように配置されたカメラアレイ５０から取得した多視点画像に基づいて再生された三次元画像３１を示す図である。

三次元画像３１は、図２３−２に示すように図２２−２に示す状態からｚ方向に１／２につぶれた形状で再生される。前述のように再生可能範囲６０のサイズが固定であるので、このように、三次元画像３１が変形される。

カメラアレイ５０におけるカメラ間隔を狭めると、再生される三次元画像のｚ方向の厚みは薄くなる。極端な例では、カメラアレイ間隔をゼロとした場合には、再生される三次元画像は厚みはゼロとなる。すなわち二次元画像となる。なお、詳細については、非特許文献２に記載されている。

すなわち、図２２−１に示す状態から図２３−１にｚ方向の幅をｎ倍に変更した場合には、再生系の設計に対して、カメラアレイのカメラ間隔がｎ倍に変更される。これにより、図２３−２に示すような三次元画像３１が再生されるような多視点画像が作成される。

図２４−１は、図２２−１に示す状態からコンテンツ３０に対しバウンダリボックス４０の水平方向（ｘ方向）と図示していないが、垂直方向の幅を１／２に減らした様子を示す図である。図２４−２は、図２４−１に示すバウンダリボックス４０とコンテンツ３０の相対的な関係を満たすように配置されたカメラアレイ５０から取得した多視点画像に基づいて再生された三次元画像３１を示す図である。

このように、三次元画像３１は、図２２−２に示す状態からｘと、図示していないがｙ方向に２倍に引き伸ばされた形状で再生される。なお、図２４−１に示すようにバウンダリボックス４０のｘｙ方向の幅をｍ倍にした場合には、カメラ制御部１２２により、カメラアレイの間隔はｍ倍、および投影面のサイズはそれぞれ（１／ｍ）の二乗倍（水平方向と垂直方向にそれぞれ（１／ｍ）倍）に設定される。

図２５−１は、図２２−１に示す状態からコンテンツ３０に対しバウンダリボックス４０を等方的に縮小した様子を示す図である。図２５−２は、図２５−１に示すバウンダリボックス４０とコンテンツ３０の相対的な関係を満たすように配置されたカメラアレイ５０から取得した多視点画像に基づいて再生された三次元画像３１を示す図である。

このように、三次元画像３１を図２２−２に示す状態から等方的に拡大することができる。これは、二次元画像のズームに相当する操作である。なお、図２５−１に示すようにバウンダリボックス４０を等方的にｌ倍にした場合には、カメラ制御部１２２によりカメラアレイの投影面のサイズは（１／ｌ）の二乗倍（水平方向と垂直方向にそれぞれ（１／ｌ）倍）に設定される。

より具体的には、例えば、実施の形態１にかかる三次元画像表示装置において、バウンダリボックスを等方的に１／２に縮小したとする。この場合、カメラアレイの水平投影面のサイズが幅３３１．２ｍｍ×高さ２０７．０ｍｍから幅、高さがいずれも１／２倍の幅１６５．６ｍｍ×高さ１０３．５ｍｍになる。注視点は維持される。その結果、再生された三次元画像はコンテンツ３０に対して２倍に拡大されて表示される。

また、バウンダリボックスをｚ方向にだけ２（＝ｚ）倍に拡大したとする。この場合、バウンダリボックスの拡大に応じて、カメラアレイのカメラ間隔は、カメラセンターをそのままに、１／２（１３．４[ｍｍ]＝ｐｓｐ×Ｌ／ｇ／ｚ）に縮まる。その結果、再生されたモデルはｚ方向に１／２の厚みにつぶれて表示される。

バウンダリボックスをｘｙ方向に２（＝ｘ）倍に拡大した場合、カメラアレイのカメラ間隔は、カメラセンターをそのままに２倍（５３．５[ｍｍ] ＝ ｐｓｐ×Ｌ／ｇ×ｘ）に拡大される。さらに、カメラアレイの水平投影面のサイズが幅３３１．２ｍｍ×高さ２０７．０ｍｍから２倍の幅６６２．４ｍｍ×高さ４１４．０ｍｍになる。注視点は維持される。その結果、再生された三次元画像はモデルに対してｘ方向に１／２倍に縮小されて表示される。

以上のように、三次元画像表示装置２０に表示されたバウンダリボックス４０を操作することにより、コンテンツ３０を任意の大きさ、任意の厚み、任意の角度で表示することができる。

このような操作は、コンテンツ３０自体を拡大したり、つぶしたり、回転したりすることによっても達成可能である。ただし、コンテンツ３０の情報量は、バウンダリボックス４０の情報量に比べて多い。したがって、バウンダリボックス４０を操作することとした。これにより、より軽く動作するインタフェースを実現することができる。

図２６は、図２０に続く処理を示すフローチャートである。条件変更指示取得部１００が透視度変更指示を取得すると（ステップＳ１３４０，Ｙｅｓ）、ステップＳ１３４１へ進む。図１１に示す投影法設定画面において、作成者が「カメラ距離／視距離」の値を入力すると、条件変更指示取得部１００は、入力内容を含む透視度変更指示を取得する。作成者は、図１１に示す投影法設定画面においてスライダや倍数数値入力を行うことができる。なお、ここでカメラ距離とは、カメラアレイの中心であるセンターカメラから投影面に降ろされた法線の長さである。

カメラ制御部１２２は、透視度変更指示に基づいて、カメラ距離を変更する。すなわち、カメラアレイ５０の配置位置を変更する（ステップＳ１３４１）。具体的には、カメラ距離（Ｌ’）を観察基準視距離（Ｌ）より短くした場合には、より透視が低い（平行投影法に近い）像が再生される。さらに、カメラ距離の変更に応じて、バウンダリボックス４０を再描画する（ステップＳ１３４２）。

ここで注意しないといけないのは、観察者の観察位置として仮定されている観察基準視距離（Ｌ）と、このカメラ距離（Ｌ’）が個別に設定されることである。観察基準視距離はその位置を基準に視域が最大に確保されるようにカメラ数が決定される。すなわち、観察基準視距離が変動しても、画像は変化せず、どの距離で視域幅が最大に確保されるかだけが変化する。

これに対して、カメラ距離は、三次元画像を再生するための視差情報をどの位置から取得するかを定めるものであり、ハードウェア的に決まっている視差情報を担う光線の軌跡に対して、どのような情報を載せるかを決める。すなわち、カメラ距離を変動させると、観察者が見る三次元画像が変化する。ただし、観察者はあくまでも観察基準視距離から観察することから、後述するプレビュー画面はあくまでも観察基準視距離から取得する必要がある。

以上のように、作成者は投影法設定画面において数値入力を行うことにより、カメラ距離を意識することなく所望の透視度の三次元画像を得ることができる。また、バウンダリボックスの側面（最も外側の２台のカメラの撮影範囲から定まる）の傾きの変化により、作成者に透視度を直感的に把握させることができる。なお、詳細は、非特許文献２に記載されている。

また、条件変更指示取得部１００が再生歪み除去適用指示を取得した場合には（ステップＳ１３４３，Ｙｅｓ）、メッシュ変形部１２４は、メッシュ変形を行う（ステップＳ１３４４）。図１１に示す投影法設定画面において、作成者が再生歪み除去適用を選択すると、条件変更指示取得部１００は、再生歪み除去適用指示を取得する。

以下、メッシュ変形について説明する。非特許文献２に示されるように、水平方向にのみ視差を与えるＩｎｔｅｇｒａｌ Ｉｍａｇｉｎｇ方式三次元画像表示装置（１Ｄ−ＩＩ）において、垂直方向が透視投影、水平方向が平行投影のカメラ（垂直透視水平平行カメラ）で撮影することで、歪みのない三次元画像を再生することができる。

これを考慮すると、透視投影カメラアレイまたは平行投影カメラアレイで歪みのないモデルを再生しようとした場合、コンテンツ３０を変形する必要がある。すなわち、平行カメラにより得られた画像から、垂直透視水平平行カメラで得られるような画像を得るためには、コンテンツ３０の形状のうち垂直方向（ｘ方向）の幅を視点−注視点を結ぶ線（視線）に沿って奥行き方向に向かい徐々に狭くしていく必要がある。なお、ここで、視点とは、センターカメラの位置であり、注視点とは、三次元画像の中心点であり、投影面の中心である。

図２７および図２８は、平行カメラにおいて得られた画像を垂直透視水平平行カメラで得られるような画像に変形する処理を説明するための図である。図２７および図２８は、いずれもコンテンツ３０のｙｚ断面図である。図２７に示すようにカメラ位置５９からコンテンツ３０を平行光線７０で記録・再生した場合には、コンテンツ３０のｘｚ面に平行な面を表現することができない。そこで、コンテンツ３０を形成する頂点のひとつを通る透視光線７２とｘｙ平面（＝投影面）の交点の位置にこの頂点を記録できるようにコンテンツ３０を変形する。これにより、平行光線で撮影・再生した場合であっても、透視投影的に得られた画像を再生することができる。

すなわち、図２７で得られたｘｙ平面上（＝投影面）の記録点から、図２８に示すようにｘｙ平面の法線方向に引いた撮影・再生のための平行光線７０と、コンテンツ３０を形成する頂点のひとつを含む、投影面に平行な面（頂点のひとつのｚ座標を含むｘｙ平面）との交点が変形後のコンテンツ３０の頂点のひとつとなるように変形すればよい。

逆に、透視カメラにおいて得られた画像から垂直透視水平平行カメラで得られるような画像を得るためには、コンテンツ３０の形状のうち水平方向（ｘ方向）の幅を視線に沿って飛び出し方向に向かい徐々に狭くしていく必要がある。

図２９および図３０は、透視カメラにおいて得られた画像を垂直透視水平平行カメラで得られるような画像に変形する処理を説明するための図である。図２９および図３０は、いずれもコンテンツ３０のｘｚ断面図である。図２９に示すように、カメラ位置５９から透視光線７２で画像を取得し、平行光線７０で再生すると、コンテンツ３０を正しく再生することができない。

平行光線７０により例えばコンテンツ３０のｙｚ面に平行な面を正しく再生するには、図３０に示すように、カメラ位置５９とコンテンツ３０のｙｚ面に平行な面とｘｙ面（＝投影面）の交点を結ぶ透視光線面と、コンテンツ３０の面が平行になるようにｘｙ座標を変形すればよい。このときもｚ座標は維持する。

以上、投影面に対してカメラセンターが法線方向にある場合について、各視点画像を透視投影、または平行投影で取得する場合に、垂直透視水平平行の画像を得るための処理について述べた。カメラセンターが投影面の法線方向からずれる場合は、メッシュ変形をかけるための基準面（変形が行なわれない面、視点―注視点を結ぶ面を法線とし、注視点を含む面）と投影面（＝記録面）が乖離するので、処理は若干複雑になる。

このような変形はメッシュ変形をはじめとする複数の手法で実装が可能である。そして、カメラアレイで画像を取得する際だけモデルを変形し、画像取得が終了した場合には、モデル変形をリセットするようにするのが好ましい。これにより、作成者は、コンテンツ３０の変形を直接観察しないまま、歪のないコンテンツ３０を再生するための複数視点画像を取得することができる。

図３１は、図２６に続く処理を示すフローチャートである。条件変更指示取得部１００が背景ボード適用指示を取得すると（ステップＳ１３５０，Ｙｅｓ）、境界面処理部１３０は、背景ボード設置処理（ステップＳ１３５１〜ステップＳ１３５５）を行う。図１２に示す背景ボード設定画面において作成者により背景ボード設置が選択されると、条件変更指示取得部１００は、背景ボード適用指示を取得する。

多視点画像作成用インタフェース１０により作成された多視点画像を再生する三次元画像表示装置２０においては、飛び出し表示限界または奥行き表示限界により定まる三次元表示可能領域がある。三次元画像に含まれるコンテンツによっては、この領域内に納まらない場合もある。そこで、奥行き表示限界位置に背景ボードを設置し、奥行き限界以遠のコンテンツを二次元画像として表示することにより、表示限界において三次元画像が破綻するのを避けることができる。

図３２は、二次元画像表示画面２１と、バウンダリボックス４０およびバウンダリボックス４０の内側に配置されたコンテンツ３４ａ，３４ｂと、バウンダリボックス４０の外側に配置されたコンテンツ３５とを示す図である。コンテンツ３５は表示限界の外側に配置されているため、コンテンツ３５をそのままカメラアレイで撮影し等倍で再生した場合には、画質の悪い再生像になってしまう。

対処策としては、バウンダリボックス４０をｚ方向に拡大する方法もある。しかし、バウンダリボックス４０を拡大すると、すべてのコンテンツがｚ方向につぶれて再生されることになる。そこで、バウンダリボックス４０の内側に配置されたコンテンツ３４ａ，３４ｂの三次元表示の精度を重視し、これ以外のコンテンツは背景と見なすこともできる。背景ボードは、この場合に利用されるものである。

図３３は、図３２のようにバウンダリボックス４０の外側に配置されたコンテンツ３５を背景ボード３６に描画した様子を示す図である。このように、背景ボード３６をバウンダリボックス４０の奥行き方向表示限界の位置に設置する。カメラアレイ５０のセンターより取得した画像を背景ボード３６に貼り付ける。なお、このとき背景ボード３６に貼り付けるべき画像は、これに背景ボード３６以遠に配置すべきコンテンツの画像のみである。

再び説明を図３１に戻す。背景ボード設置処理ではまず背景ボード設置位置を決定する（ステップＳ１３５１）。次に、背景ボードのサイズを決定する（ステップＳ１３５２）。次に、背景ボード用画像を取得する（ステップＳ１３５３）。背景ボード用画像は、背景ボード以遠のコンテンツをカメラセンターから取得した二次元画像である場合と、コンテンツとはまったく関係のない、他の二次元画像である場合がある。次に、ステップＳ１３５１およびステップＳ１３５２において設置位置およびサイズが決定された背景ボードに対し、ステップＳ１３５３において取得した背景ボード用画像を貼付する（ステップＳ１３５４）。次に、背景ボード以遠のクリッピングを行う（ステップＳ１３５５）。この際、背景ボードにかかったコンテンツは残すこととする。

図３４は、図３３において説明した背景ボード用画像取得処理（ステップＳ１３５３）における詳細な処理を示すフローチャートである。背景ボード用画像を作成する場合には（ステップＳ３００，Ｙｅｓ）、背景ボードを得るためのセンターカメラの投影面のサイズを決定する（ステップＳ３０１）。

このサイズは、マルチカメラの最外の２台のカメラの撮影範囲を包含するように設定する必要がある。具体的には、背景ボードをバウンダリボックスの背面に一致させる場合は、図５の４７ａ，４７ｂをも含んだ背面のサイズにする必要があり、マルチカメラの投影面（＝ディスプレイ面）に比べてより水平に広い範囲になる。背景ボード用の投影面サイズは、背景ボードの位置が後方になるほどより水平に広い領域となる。

次に、後方クリップを適用する場合には（ステップＳ３０２，Ｙｅｓ）、まずクリップ範囲を決定する（ステップＳ３０３）。次に、クリップ面の働きを決める。クリップ面上のコンテンツもクリップする場合は（ステップＳ３０４，Ｙｅｓ）、クリップ面よりも遠い位置、すなわち奥行き方向に沿ってクリップ面にかかったコンテンツを含めて奥側に配置されたコンテンツを除去する（ステップＳ３０５）。

一方、クリップ面上のコンテンツはクリップしない場合には（ステップＳ３０４，Ｎｏ）、クリップ面よりも遠い位置に配置されたコンテンツを除去するが、クリップ面にかかるコンテンツは残しておく（ステップＳ３０６）。次に、センターカメラにより背景ボード用画像を撮影する（ステップＳ３０７）。

クリップ面とは異なり、背景ボードに一部でもかかったコンテンツは残しておき、コンテンツとしてカメラアレイより複数視点画像を取得する。これにより、背景ボードにかかったモデルは、背景ボードより後方が二次元画像に、手前が三次元モデルとして再生されることになる。これにより、正面から見たときに連続した情報として認識される。

一方、背景ボード用画像として他の画像を用いる場合には（ステップＳ３００，Ｎｏ）、背景ボード用画像として用いる画像を選択する（ステップＳ３１０）。

なお、背景ボード用画像のためのクリッピングは、近接クリップ（これより手前のモデルを削除）を背景ボード面に一致させればよい。

図３５は、図３１に示す処理に続く処理を示すフローチャートである。条件変更指示取得部１００が後方クリップ適用指示を取得すると（ステップＳ１３６０，Ｙｅｓ）、ステップＳ１３６１へ進む。なお、図１３に示すクリッピング設定画面において作成者がクリッピング適用を選択すると、条件変更指示取得部１００は、後方クリップ適用指示を取得する。

ステップＳ１３６１からステップＳ１３６４の処理は、図３４を参照しつつ説明したステップＳ３０３からステップＳ３０６の処理と同様である。

このように、背景ボード以外にも、奥行き方向表示限界の位置、またはその周辺位置よりも遠い位置に配置されたコンテンツをクリッピングすることもできる。

以上の操作により、図３３に示すようにコンテンツ３５が描画された二次元の背景ボード３６を作成することができる。さらに、背景ボード３６と、三次元に描画されたコンテンツ３４ａ，３４ｂの多視点画像をカメラアレイから取得する。こうして得られた多視点画像を三次元画像表示装置で再生することにより、コンテンツ３４ａ，３４ｂは、正しく表示され、さらに平面的ではあるものの背景にはコンテンツ３５が表示されており、高画質の表示が可能になる。

また、コンテンツに対する背景ボードの位置もしくはクリッピングの面の相対的な位置を直感的に認識できるように二次元画像表示画面１２に表示する作成画面には、バウンダリボックスとともに、背景ボード面もしくはクリッピング面をモデル空間に面として表示するのが好ましい。

次に、ステップＳ１３６６に進み、条件変更指示取得部１００が前方クリップ適用指示を取得すると（ステップＳ１３６６，Ｙｅｓ）、クリップ範囲を決定する（ステップＳ１３６７）。次に、クリップ面のコンテンツに対する処理を行う（ステップＳ１３６８）。このように飛び出し方向表示限界に対しても近接クリッピングを行ってもよい。この場合のクリッピング範囲も、三次元画像表示装置２０にモデル空間に面として表示するのが好ましい。これにより、クリッピングの状態を直感的に把握することができる。

なお、近接クリップ面にかかったコンテンツを近接クリップ面で単純に切り取った場合には、コンテンツの内側が見えるという不良が発生してしまう。したがって、近接クリップ面にかかったコンテンツに対しては、完全に除去するか、またはそのまま残すかのいずれかの処理を行う。

図３６は、図３５に続く処理を示すフローチャートである。条件変更指示取得部１００がトラッキング適用指示を取得すると（ステップＳ１３７０，Ｙｅｓ）、カメラ制御部１２２は、カメラアレイ台数を増加する（ステップＳ１３７１）。

ここで、カメラアレイ台数を増加する処理（ステップＳ１３７１）について詳述する。裸眼式および眼鏡式のいずれの場合においても、視差情報を観察できる位置を空間的に振り分けることにより、観察者に三次元画像を認識させることができる。

特に裸眼式において、レンズアレイ、スリットまたはピンホールアレイなどの構成を採用した場合、視差情報を提示できる範囲が限られる。ピンホールやスリットといった射出瞳に対して配分できる二次元画像表示用画素数が制限されるためである。

トラッキングの方法は、大きく分けて２種類ある。リアルタイムで観察方向からの多視点画像情報を取得して観察方向に視差情報として提示する方法と、トラッキングに対応するように、予めトラッキングする領域（観察者の位置を検出する範囲）の視差情報をすべて事前に用意しておく方法である。

本実施の形態においては、後者に対応するインタフェースを実現した。すなわち、射出角度（θ）に基づく視域ではなく、トラッキングを適用した場合の視域を予め設定しておく。そして、この観察範囲を実現するための複数視点画像が得られるようにカメラアレイを配する。すなわち、トラッキングパラメータを定めることによって、作成された多視点画像を表示させる三次元画像表示装置の仕様により定まるカメラ台数より多い数のカメラを自動的に設定する。例えば、トラッキングにより、視域が２倍の範囲に広がる場合には、カメラ台数を視差数分だけ増加させればよい。

図３７は、トラッキング非適用の場合のカメラアレイの配置位置８０と、トラッキングを考慮して増やしたカメラアレイの配置位置８１を示す水平断面図である。簡単のために光線制御子９０はスリットで示した。三次元画像表示装置２０を構成する二次元画像表示画面２１の各画素２３は、射出瞳ごとに割り振られている。そして、各画素２３の位置に応じて各カメラが配置位置８０に配置される。

トラッキングによって、射出瞳に対応した二次元画像表示画面２１の画素を再割り当てすることとし、カメラアレイの台数を配置位置８０に配置された４台から配置位置８１に配置された４台を含めた計８台に増加する。

これにより、観察者の位置に応じて視域８２〜８５を切り替えることにより、三次元画像を観察できる領域を広げることができる。

以上のように、何らかの手段で観察者の位置を検出し、その方向の視差情報を提示するようにすれば（トラッキング）、三次元画像を観察できる領域を広げることができる。観察者の位置を検出する方法としては、磁場検出、超音波検出または画像検出を採用する。

図３８は、図３６に続く処理を示すフローチャートである。条件変更指示取得部１００がプレビュー指示を取得すると（ステップＳ１３７２，Ｙｅｓ）、プレビュー処理（ステップＳ１３７３〜ステップＳ１３７５）を行う。

具体的には、再生歪み除去処理、すなわちメッシュ変形（ステップＳ１３４３）が行われている場合には（ステップＳ１３７３，Ｙｅｓ）、プレビュー画面作成部１２６は、コンテンツをそのままレンダリングする。一方、歪み除去処理がなされていない場合は、逆メッシュ処理を行う（ステップＳ１３７４）。

すなわち、平行投影で撮影する場合には、図２８の変形と逆の変形を、透視投影で撮影する場合には、図３０と逆の変形を適用する。これによって、各視点画像を水平平行垂直投影にしないことによる画像の歪を再現することができる。こうしてから観察基準位置におかれたビューカメラからレンダリングを行う（ステップＳ１３７５）。次に、プレビュー画面表示部１２８は、レンダリング結果を利用し、二次元画像表示画面１２にコンテンツ３０の三次元形状のイメージ画像を表示する（ステップＳ１３７６）。

このように、再生時の三次元画像をプレビュー表示することができるので、作成者は、多視点画像を作成する前に、再生時の三次元画像を直接確認することができる。

より具体的には、カメラセンターベクトルの方向における視距離（Ｌ）の位置であるビューカメラから透視投影的に取得した画像を生成する。これにより、視距離（Ｌ）から単眼で観察した状態を三次元画像表示装置２０に表示することができる。画像を生成する際には、コンテンツのみでもよいが、ディスプレイ面に相当する水平断面４１や、バウンダリボックス４０をさらに表示してもよい。

繰り返しになるが、プレビューのためのビューカメラは視距離（Ｌ）により定められる。透視度変換によりステップＳ１３４１においてカメラ距離が変更されている場合であっても、変更前の距離すなわち視距離（Ｌ）により定められる。

図３９は、図３８に続く処理を示すフローチャートである。条件変更指示取得部１００は、レンダリングにより作成される多視点画像の解像度の設定を指示するレンダリング解像度設定指示を取得すると（ステップＳ１３８０，Ｙｅｓ）、多視点画像作成部１３２は、作成すべき多視点画像の解像度を変更する（ステップＳ１３８１）。

三次元画像表示装置は、多様な機種が存在する。したがって、多視点画像を取得する際の負荷を考慮した場合、ある程度高い解像度で各視点画像を取得しておくことが望ましい。これにより、複数の三次元画像表装置に転用可能なアーカイブにすることができるからである。

一方、取得した画像を利用する三次元画像表示装置が確定している場合には、必要最低限の解像度でよいと考えられる。ただし、各視点画像の解像度を三次元画像表示装置の解像度の２倍〜数倍としておき、補完フィルタを用いたリサンプリングを行ってもよい。これにより、三次元画像を表示する際の画質を向上させることができる。

また、水平方向にだけ視差情報を与えるような三次元画像表示装置では、縦方向の解像度は用いている二次元画像表示装置の解像度を利用することが可能である。したがって、各視点画像の解像度のアスペクト比は１でない場合も多い。

以上のように、各種条件を鑑みた場合には、各視点画像の解像度を変えられるようにしておくことが望ましい。

次に、ステップＳ１３９２へ進み、条件変更指示取得部１００がカメラ移動画像設定指示を取得した場合には（ステップＳ１３９２，Ｙｅｓ）、ステップＳ１３９３へ進む。ここで、カメラ移動画像設定指示とは、コンテンツをそのままにカメラを移動させた画像を作成する旨の指示である。既存のＣＧモデルのアニメーションにおいては、コンテンツをそのままにカメラを移動させた際に撮影された画像が作成される場合がある。このようなコンテンツに対しても、バウンダリボックス４０という介在手段を適用する。

具体的には、カメラ制御部１２２は、まずビューカメラの軌跡を、コンテンツをそのままに移動させる単一カメラの軌跡と一致させる（ステップＳ１３９３）。さらに、カメラアレイ５０の注視点を含む投影面を単一カメラの注視点を含む投影面と一致させる（ステップＳ１３９４）。

以上で、変更処理（ステップＳ１３０）が完了し、カメラアレイレンダリングが実行される（ステップＳ１４０）。なお、バウンダリボックスやクリッピング面は、このプロセスにおいてレンダリングされることはない。

図４０は、実施の形態に係る多視点画像作成用インタフェース１０のハードウェア構成を示す図である。多視点画像作成用インタフェース１０は、ハードウェア構成として、多視点画像作成用インタフェース１０における多視点画像作成処理を実行する多視点画像作成プログラムなどが格納されているＲＯＭ５２０と、ＲＯＭ５２０内のプログラムに従って多視点画像作成用インタフェース１０の各部を制御するＣＰＵ５１０と、多視点画像作成用インタフェース１０の制御に必要な種々のデータを記憶するＲＡＭ５３０と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５７０と、各部を接続するバス６２０とを備えている。

先に述べた多視点画像作成用インタフェース１０における多視点画像作成プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。

この場合には、多視点画像作成プログラムは、多視点画像作成用インタフェース１０において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。

また、本実施の形態の多視点画像作成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。

そうした第１の変更例としては、本実施の形態にかかる多視点画像作成用インタフェース１０は、コンテンツの三次元画像表示画面における配置状態を示すイメージ画像としてコンテンツとバウンダリボックスとを含む作成画面を表示したが、イメージ画像は、コンテンツの三次元画像表示画面における配置状態を作成者に直感的に把握させることのできる画像であればよく、この観点からはバウンダリボックスに限定されるものではない。例えば、バウンダリボックスにかえてメッシュを表示させてもよい。コンテンツとメッシュとを共に表示させることにより、作成者は、三次元画像表示画面におけるコンテンツの配置状態をイメージすることができる。

また、第２の変更例としては、本実施の形態にかかる多視点画像作成用インタフェース１０においては、例えば、バウンダリボックス形状変更指示などバウンダリボックスの形状の変更を必要とする処理の指示を取得した場合には、まずバウンダリボックスの形状を変更し、これに応じてカメラを再配置していた。ただし、これに限定されるものではなく、まずカメラを再配置し、これに応じてバウンダリボックスの形状を変更してもよい。

実施の形態にかかる多視点画像作成用インタフェース１０の機能構成を示すブロック図である。 多視点画像作成用インタフェース１０により作成された多視点画像を表示する三次元画像表示装置２０を示す図である。 多視点画像作成用インタフェース１０において多視点画像を作成する際に三次元画像表示装置２０に表示される作成画面を示す図である。 バウンダリボックス４０を説明するための図である。 バウンダリボックス４０の両端の領域４６ａ，４６ｂおよび領域４７ａ，４７ｂを説明するための図である。 バウンダリボックス４０をｘ方向から見た断面図である。 垂直方向にも多視点画像を取得する場合のバウンダリボックス４０をｘ方向から見た断面図である。 条件を変更する場合の多視点画像作成用インタフェース１０による多視点画像作成処理を示すフローチャートである。 二次元画像表示画面１２に表示されるディスプレイパラメータ設定画面を示す図である。 二次元画像表示画面１２に表示されるバウンダリボックス操作画面を示す図である。 二次元画像表示画面１２に表示される投影法設定画面を示す図である。 二次元画像表示画面１２に表示される背景ボード設定画面を示す図である。 二次元画像表示画面１２に表示されるクリッピング設定画面を示す図である。 二次元画像表示画面１２に表示される出力サイズ設定画面を示す図である。 図８において説明した変更処理（ステップＳ１３０）における詳細な処理を示すフローチャートである。 図１５の処理に続く処理を示すフローチャートである。 図１６の処理に続く処理を示すフローチャートである。 縦置き型の三次元画像表示装置のためのバウンダリボックス４０を示す図である。 平置き型の三次元画面表示装置のためのバウンダリボックス４０を示す図である。 図１７に続く処理を示すフローチャートである。 単純なＣＧモデルとしてコンテンツ３０を表示した表示画面例を示す図である。 二次元画像表示画面２１の水平断面４１と、バウンダリボックス４０と、ＣＧモデルであるコンテンツ３０とを示す図である。 三次元画像表示装置２０の水平断面２２と、三次元画像表示装置２０の再生可能範囲６０と、三次元画像表示装置２０に再生されるコンテンツ３０である三次元画像３１とを示す図である。 図２２−１に示す状態から、コンテンツ３０に対しバウンダリボックス４０の奥行き方向（ｚ方向）の幅を２倍に引き伸ばした様子を示す図である。 図２３−１に示すバウンダリボックス４０とコンテンツ３０の相対的な関係を満たすように配置されたカメラアレイ５０から取得した多視点画像に基づいて再生された三次元画像３１を示す図である。 図２２−１に示す状態からコンテンツ３０に対しバウンダリボックス４０の水平方向（ｘ方向）の幅を１／２に減らした様子を示す図である。 図２４−１に示すバウンダリボックス４０とコンテンツ３０の相対的な関係を満たすように配置されたカメラアレイ５０から取得した多視点画像に基づいて再生された三次元画像３１を示す図である。 図２２−１に示す状態からコンテンツ３０に対しバウンダリボックス４０を等方的に縮小した様子を示す図である。 図２５−１に示すバウンダリボックス４０とコンテンツ３０の相対的な関係を満たすように配置されたカメラアレイ５０から取得した多視点画像に基づいて再生された三次元画像３１を示す図である。 図２０に続く処理を示すフローチャートである。 平行カメラにおいて得られた画像を垂直透視水平平行カメラで得られるような画像に変形する処理を説明するための図である。 平行カメラにおいて得られた画像を垂直透視水平平行カメラで得られるような画像に変形する処理を説明するための図である。 透視カメラにおいて得られた画像を垂直透視水平平行カメラで得られるような画像に変形する処理を説明するための図である。 透視カメラにおいて得られた画像を垂直透視水平平行カメラで得られるような画像に変形する処理を説明するための図である。 図２６に続く処理を示すフローチャートである。 二次元画像表示画面２１と、バウンダリボックス４０およびバウンダリボックス４０の内側に配置されたコンテンツ３４ａ，３４ｂと、バウンダリボックス４０の外側に配置されたコンテンツ３５とを示す図である。 図３２のようにバウンダリボックス４０の外側に配置されたコンテンツ３５を背景ボード３６に描画した様子を示す図である。 図３３において説明した背景ボード用画像取得処理（ステップＳ１３５３）における詳細な処理を示すフローチャートである。 図３１に示す処理に続く処理を示すフローチャートである。 図３５に続く処理を示すフローチャートである。 トラッキング非適用の場合のカメラアレイの配置位置８０と、トラッキングを考慮して増やしたカメラアレイの配置位置８１を示す水平断面図である。 図３６に続く処理を示すフローチャートである。 図３８に続く処理を示すフローチャートである。 実施の形態に係る多視点画像作成用インタフェース１０のハードウェア構成を示す図である。

符号の説明

１０ 多視点画像用インタフェース
１２ 二次元画像表示画面
２０ 三次元画像表示装置
２１ 三次元画像表示画面
２２ 水平断面
２３ 画素
２４ レンチキュラーシート
３０，３４ａ，４３ｂ コンテンツ
３１ 三次元画像
３２ カメラセンターベクトル
３３ アッパーベクトル
３５ コンテンツ
３６ 背景ボード
４０ バウンダリボックス
４１ 水平断面
４２ 飛び出し方向表示限界
４４ 奥行き方向表示限界
５０ カメラアレイ
５１ａ，５１ｘ，５３ カメラ
５２ａ，５２ｘ，５４ 撮影範囲
５４ 撮影範囲
５９ カメラ位置
６０ 再生可能範囲
７０ 平行光線
７２ 透視光線
８０，８１ 配置位置
９０ 光線制御子
１００ 条件変更指示取得部
１１０ 変更処理部
１１２ デフォルトパラメータ保持部
１１４ 設定パラメータ保持部
１１６ バウンダリボックス処理部
１１８ 作成画面表示部
１２０ 描画方法設定部
１２２ カメラ制御部
１２４ メッシュ変形部
１２６ プレビュー画面作成部
１２８ プレビュー画面表示部
１３０ 境界面処理部
１３２ 多視点画像作成部
５１０ ＣＰＵ
５２０ ＲＯＭ
５３０ ＲＡＭ
５７０ 通信Ｉ／Ｆ
６２０ バス

Claims (30)

1. 三次元画像表示画面にコンテンツを表示するための多視点画像を作成する多視点画像作成装置であって、
   前記多視点画像作成時に、前記コンテンツの前記三次元画像表示画面における配置状態を示すイメージ画像を二次元画像表示画面に表示する作成画面表示手段と、
   前記作成画面表示手段が表示する前記イメージ画像における前記コンテンツの配置状態の変更指示を取得する変更指示取得手段と、
   前記変更指示取得手段が取得した前記変更指示に基づいて、前記多視点画像に対応するカメラの数、複数のカメラそれぞれの配置位置、複数のカメラそれぞれの投影面のサイズ、注視点および投影法のうち少なくとも一つを変更するカメラ制御手段と、
   前記カメラ制御手段により変更された条件で設置された前記複数のカメラにより取得される多視点画像を作成する多視点画像作成手段と
   を備えたことを特徴とする多視点画像作成装置。
2. 前記カメラ制御手段は、前記カメラの配置位置として、注視点から前記カメラまでの距離を変更することを特徴とする請求項１に記載の多視点画像作成装置。
3. 前記カメラ制御手段は、前記カメラの配置位置として、各カメラ間の間隔を変更することを特徴とする請求項１または２に記載の多視点画像作成装置。
4. 前記作成画面表示手段は、前記イメージ画像として、前記コンテンツと前記三次元画像表示画面において三次元に表示可能な領域に対応するバウンダリボックスとを表示し、
   前記変更指示取得手段は、前記変更指示として、前記バウンダリボックスと前記コンテンツの相対的な配置状態の変更を指示する前記変更指示を取得し、
   前記カメラ制御手段は、前記変更指示取得手段が取得した前記変更指示に基づいて、前記多視点画像に対応する複数のカメラそれぞれの配置位置および注視点および投影面のサイズおよび数のうち少なくともひとつを変更することを特徴とする請求項１から３のいずれか一項に記載の多視点画像作成装置。
5. 前記作成画面表示手段は、前記変更指示取得手段が前記変更指示を取得した場合に、前記変更指示に示される相対的な配置状態に配置された前記コンテンツおよび前記バウンダリボックスを前記二次元画像表示画面に表示することを特徴とする請求項４に記載の多視点画像作成装置。
6. 前記変更指示取得手段が前記変更指示を取得した場合に、前記変更指示に基づいて、前記二次元画像表示画面に表示されている前記コンテンツの位置を基準とし、前記バウンダリボックスの配置状態を変更するバウンダリボックス処理手段をさらに備え、
   前記作成画面表示手段は、前記コンテンツと、前記バウンダリボックス処理手段により処理された後の前記バウンダリボックスとを前記二次元画像表示画面に表示することを特徴とする請求項５に記載の多視点画像作成装置。
7. 観察者の位置として仮定された観察基準位置に配置し、前記注視点に向けられたビューカメラから透視投影的に撮影された前記コンテンツの三次元形状イメージ画像を二次元画像表示画面に表示するプレビュー画面表示手段をさらに備えたことを特徴とする請求項１から６のいずれか一項に記載の多視点画像作成装置。
8. 前記バウンダリボックスは、前記三次元画像表示画面の飛び出し方向における表示限界および奥行き方向における表示限界を境界面とすることを特徴とする請求項４から７のいずれか一項に記載の多視点画像作成装置。
9. 前記バウンダリボックスは、前記注視点を内包することを特徴とする請求項４から７のいずれか一項に記載の多視点画像作成装置。
10. 前記バウンダリボックスは、前記複数のカメラのうち両端に配置される２台のカメラの撮影範囲の境界面を境界面とすることを特徴とする請求項４から９のいずれか一項に記載の多視点画像作成装置。
11. 前記変更指示取得手段は、前記変更指示として、前記三次元画像表示画面に表示される前記コンテンツの形状の変更を指示する形状変更指示を取得し、
    前記カメラ制御手段は、前記形状変更指示に示される前記コンテンツの形状に基づいて、前記多視点画像に対応する複数のカメラそれぞれの配置位置および前記投影面のサイズのうち少なくとも一方を変更することを特徴とする請求項４から１０のいずれか一項に記載の多視点画像作成装置。
12. 前記変更指示取得手段は、前記変更指示として前記三次元画像表示画面における前記コンテンツの配置位置の変更を指示する配置位置変更指示を取得し、
    前記カメラ制御手段は、前記配置位置変更指示に示される前記コンテンツの配置位置に基づいて、前記多視点画像に対応する複数のカメラそれぞれの位置および前記注視点の両方を平行移動させることを特徴とする請求項４から１１のいずれか一項に記載の多視点画像作成装置。
13. 前記変更指示取得手段は、前記変更指示として、前記三次元画像表示画面に対する前記コンテンツの配置角度の変更を指示する配置角度変更指示を取得し、
    前記カメラ制御手段は、前記配置角度変更指示に示される回転角度に基づいて、前記多視点画像に対応する複数のカメラそれぞれを、前記バウンダリボックスに内包される前記注視点を基準として回転移動させることを特徴とする請求項４から１２のいずれか一項に記載の多視点画像作成装置。
14. 前記作成画面表示手段は、前記コンテツおよび前記バウンダリボックスに加えて、前記複数のカメラの配置位置の中心位置の方向を示すカメラセンターベクトルをさらに表示し、
    前記変更指示取得手段は、前記変更指示として、前記カメラセンターベクトルの方向の変更を指示するカメラセンターベクトル変更指示をさらに取得し、
    前記カメラ制御手段は、前記注視点の位置を維持しつつ、かつ前記変更指示取得手段が取得した前記カメラセンターベクトル変更指示に示される前記カメラセンターベクトルの方向に基づいて、前記多視点画像に対応する複数のカメラそれぞれの配置位置を変更することを特徴とする請求項４から１３のいずれか一項に記載の多視点画像作成装置。
15. 前記変更指示取得手段は、前記変更指示として、前記多視点画像を表示させる前記三次元画像表示画面のサイズの変更を指示する三次元画像表示画面サイズ変更指示をさらに取得し、
    前記カメラ制御手段は、前記変更指示取得手段が取得した前記三次元画像表示画面サイズ変更指示に示される前記三次元画像表示画面サイズに基づいて、前記多視点画像に対応する複数のカメラそれぞれの前記投影面のサイズを変更することを特徴とする請求項４から１４のいずれか一項に記載の多視点画像作成装置。
16. 前記変更指示取得手段は、前記変更指示として、前記三次元画像表示装置の表示方式の変更を指示する表示形式変更指示をさらに取得し、
    前記カメラ制御手段は、前記変更指示取得手段が取得した前記表示方式変更指示に示される前記表示方式に基づいて、前記多視点画像に対応するカメラの数、複数のカメラそれぞれの配置位置、注視点および投影法のうち少なくとも一つを変更することを特徴とする請求項４から１５のいずれか一項に記載の多視点画像作成装置。
17. 前記変更指示取得手段は、前記変更指示として、前記複数のカメラにおける投影法の変更を指示する投影法変更指示を取得し、
    前記カメラ制御手段は、前記変更指示取得手段が取得した前記投影法変更指示に示される投影法に基づいて、前記多視点画像に対応する複数のカメラそれぞれの投影法および配置位置および投影面のサイズおよび注視点のうち少なくとも一つを変更することを特徴とする請求項４から１６のいずれか一項に記載の多視点画像作成装置。
18. 前記変更指示取得手段は、前記変更指示として、前記作成画面表示手段に表示される前記イメージ画像を描画するのに利用する空間周波数の変更を指示するコンテンツ空間周波数変更指示をさらに取得し、
    前記カメラ制御手段は、前記変更指示取得手段が取得した前記コンテンツ空間周波数変更指示に示される前記空間周波数に基づいて、前記作成画面表示手段に表示される前記イメージ画像を変更することを特徴とする請求項４から１７のいずれか一項に記載の多視点画像作成装置。
19. 前記変更指示取得手段は、前記変更指示として、前記三次元画像の観察基準位置と前記コンテンツとの間の観察基準視距離の変更を指示する観察基準視距離変更指示を取得し、
    前記カメラ制御手段は、前記変更指示取得手段が取得した前記観察基準視距離変更指示に示される前記観察基準視距離に基づいて、前記多視点画像に対応するカメラの数、および複数のカメラそれぞれの配置位置のうち少なくとも一方を変更することを特徴とする請求項４から１８のいずれか一項に記載の多視点画像作成装置。
20. 前記変更指示取得手段は、前記変更指示として、前記三次元画像における透視度の変更を指示する透視度変更指示を取得し、
    前記カメラ制御手段は、前記変更指示取得手段が取得した前記透視度変更指示に示される前記透視度に基づいて、前記多視点画像に対応する複数のカメラそれぞれの配置位置を変更することを特徴とする請求項４から１９のいずれか一項に記載の多視点画像作成装置。
21. 前記コンテンツを前記三次元画像表示画面に再生した際に生じる再生歪みの除去処理を行う旨を示す再生歪み除去適用指示を取得する再生歪み除去適用指示取得手段と、
    前記再生歪み除去適用指示取得手段が前記再生歪み除去適用指示を取得した場合に、前記コンテンツに対しメッシュ変形を行うメッシュ変形手段と
    をさらに備え、
    前記多視点画像作成手段は、前記メッシュ変形手段により変形された後の前記コンテンツに対する前記多視点画像を作成することを特徴とする請求項４に記載の多視点画像作成装置。
22. 前記作成画面表示手段は、前記再生歪み除去適用指示取得手段が前記再生歪み除去適用指示を取得した場合には、前記メッシュ変形が行われていない前記コンテンツの前記三次元画像表示画面における配置状態を示す前記イメージ画像を前記二次元画像表示画面に表示することを特徴とする請求項２１に記載の多視点画像作成装置。
23. 前記メッシュ変形手段によりメッシュ変形された前記コンテンツに対し、前記メッシュ変形の逆の処理である逆メッシュ変形を行う逆メッシュ変形手段と、
    前記コンテンツに前記メッシュ変形が行われている場合に、前記逆メッシュ変形手段により逆メッシュ変形された後の前記コンテンツであって、観察者の位置として仮定された観察基準位置に配置され、注視点に向けられたビューカメラから透視投影的に撮影された前記コンテンツの三次元形状イメージ画像を二次元画像表示画面に表示するプレビュー画面表示手段と
    をさらに備えたことを特徴とする請求項２１または２２に記載の多視点画像作成装置。
24. 前記カメラの解像度の変更を指示するカメラ解像度変更指示を取得するカメラ解像度変更指示取得手段をさらに備え、
    前記多視点画像作成手段は、前記カメラ解像度変更指示取得手段が取得した前記カメラ解像度変更指示に示されるカメラの解像度における前記多視点画像を作成することを特徴とする請求項１から２３のいずれか一項に記載の多視点画像作成装置。
25. 前記コンテンツに対し撮影カメラを移動させた場合に撮影されるカメラ移動三次元画像の作成を指示するカメラ移動三次元画像作成指示を取得するカメラ移動三次元画像作成指示取得手段をさらに備え、
    前記カメラ制御手段は、前記カメラ移動三次元画像作成指示取得手段が前記カメラ移動三次元画像作成指示を取得した場合に、三次元画像表示装置の観察者基準位置に配置されたビューカメラの軌跡を前記カメラ移動三次元画像を撮影する移動カメラの軌跡に一致させ、かつ前記移動カメラの注視点と投影面に、複数のカメラの注視点と投影面を一致させることを特徴とする請求項１に記載の多視点画像作成装置。
26. 前記三次元画像表示画面における奥行き方向に背景ボードを設置する背景ボード設置指示を取得する背景ボード設置指示取得手段と、
    前記背景ボード設置指示取得手段が前記背景ボード設置指示を取得した場合に、前記背景ボードを設置する背景ボード処理手段と
    をさらに備え、
    前記作成画面表示手段は、前記背景ボード処理手段により設置された前記背景ボードを前記イメージ画像として前記コンテンツおよび前記バウンダリボックスと共に表示することを特徴とする請求項４に記載の多視点画像作成装置。
27. 前記三次元画像表示画面における奥行き方向または飛び出し方向におけるクリッピング処理の指示を取得するクリッピング指示取得手段をさらに備え、
    前記作成画面表示手段は、前記クリッピング指示取得手段により決定されたクリッピング位置を前記イメージ画像として前記コンテンツおよび前記バウンダリボックスと共に表示することを特徴とする請求項１に記載の多視点画像作成装置。
28. 前記カメラ制御手段は、前記クリッピング指示取得手段が前記クリッピング処理の指示を取得した場合に、前記複数のカメラの投影面とクリッピング面を、前記三次元画像表示画面とクリッピング面に一致させることを特徴とする請求項１に記載の多視点画像作成装置。
29. 三次元画像表示画面にコンテンツを表示するための多視点画像を作成する多視点画像作成方法であって、
    前記多視点画像作成時に、前記コンテンツの前記三次元画像表示画面における配置状態を示すイメージ画像を二次元画像表示画面に表示する作成画面表示ステップと、
    前記二次元画像表示画面に表示される前記イメージ画像における前記コンテンツの配置状態の変更指示を取得する変更指示取得ステップと、
    前記変更指示取得ステップにおいて取得した前記変更指示に基づいて、前記多視点画像に対応するカメラの数、複数のカメラそれぞれの配置位置、複数のカメラそれぞれの投影面のサイズ、注視点および投影法のうち少なくとも一つを変更するカメラ制御ステップと、
    前記カメラ制御ステップにおいて変更された条件で設置された前記複数のカメラにより取得される多視点画像を作成する多視点画像作成ステップと
    を有することを特徴とする多視点画像作成方法。
30. 三次元画像表示画面にコンテンツを表示するための多視点画像を作成する多視点画像作成処理をコンピュータに実行させる多視点画像作成プログラムであって、
    前記多視点画像作成時に、前記コンテンツの前記三次元画像表示画面における配置状態を示すイメージ画像を二次元画像表示画面に表示する作成画面表示ステップと、
    前記二次元画像表示画面に表示される前記イメージ画像における前記コンテンツの配置状態の変更指示を取得する変更指示取得ステップと、
    前記変更指示取得ステップにおいて取得した前記変更指示に基づいて、前記多視点画像に対応するカメラの数、複数のカメラそれぞれの配置位置、複数のカメラそれぞれの投影面のサイズ、注視点および投影法のうち少なくとも一つを変更するカメラ制御ステップと、
    前記カメラ制御ステップにおいて変更された条件で設置された前記複数のカメラにより取得される多視点画像を作成する多視点画像作成ステップと
    を有することを特徴とする多視点画像作成プログラム。

Images