JP2003348621A

JP2003348621A - 二視点カメラの設定手段

Info

Publication number: JP2003348621A
Application number: JP2002151903A
Authority: JP
Inventors: Tomoaki Kawai; 智明河合; Yoshio Iizuka; 義夫飯塚; Taichi Matsui; 太一松井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-05-27
Filing date: 2002-05-27
Publication date: 2003-12-05

Abstract

(57)【要約】【目的】基線長と輻輳角、シフト量を経験的に手動設
定するという煩雑な手続きを要することなく、利用者に
分かり易く最適なカメラ設定を可能にすることができる
二視点カメラの設定手段を提供すること。【構成】立体表示デバイス指定手段と、撮影意図入
力手段と、立体表示デバイスの種類と撮影意図からカメ
ラパラメータに変換する手段を備え、変換して得られた
カメラパラメータを用いて、立体表示デバイス指定手段
で指定した立体表示デバイスに最適な形で表示するため
の立体画像を生成する。前記二視点カメラはＣＧシーン
撮影のための三次元空間中の仮想カメラである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、両眼立体視のため
のCGシーンや実写撮影時のカメラ設定に関するものであ
る。

【０００２】

【従来の技術】立体表示可能なデバイスとして、左右の
目にそれぞれ視差を持った別々の画像を見せる、所謂両
眼立体視の原理を用いたものが幾つか実用化されてい
る。基本的には、何れも左右の目に視差のある画像を提
示するという原理を用いている。或る点を見たときに両
眼の視線がなす角度、即ち輻輳角の違いによる立体視機
能を用いて物の奥行きを感じさせるものである。或る物
体上の１点を見たときに左右眼の視差が大きいと輻輳角
が大きくなり、近く感じる。一方、視差が小さいと輻輳
角が小さくなり遠く感じることになる。〜立体表示デバ
イス〜立体表示デバイスとして既に考案されている幾つ
かのデバイスには例えば次のようなものがある。

【０００３】ヘッドマウントディスプレイ（ＨＭＤ）
は、めがねのようにかけるタイプの立体表示デバイスで
あり、ＭＨＤ内の左右眼用にセットされた２つの小型液
晶モニタを別々の光学系を通して左右の目にそれぞれ見
せるものである。光学設計により物理的に限られたサイ
ズの中に例えば５０インチディスプレイが２ｍ先にある
ように見せるような設計になっていたりする。

【０００４】一方、液晶シャッタめがねタイプもある。
このタイプでは、ＣＲＴ等の表示デバイスの垂直同期周
波数に同期して左右のめがねのレンズの位置にセットさ
れた液晶シャッタを交互に開閉する。左右眼で逆位相で
どちらかが開き、どちらかが閉じているように交互に開
閉し、それに同期してＣＲＴ上の画像表示が左右交互に
切替えれば、常に左右の目は同じ位相の画像、即ち左眼
用画像を左眼で右眼用画像を右目で正しく見ることにな
り、立体視できるものである。

【０００５】偏光めがねを用いた立体プロジェクタスク
リーンでは、スクリーン上に９０度偏光軸を傾けた左右
の映像を合成して投射し、これを同じく左右で９０度偏
光軸の異なる偏光ガラスの入っためがねで見ることで、
左右の画像をそれぞれ左右で見るものである。

【０００６】他のタイプでも、基本的に左右の目でそれ
ぞれ左右用に用意された映像を見るという点で原理は同
じである。これらタイプの異なる立体表示デバイスにお
いては、目と立体映像を写す画面と間の物理的な距離と
スクリーンの大きさによって、同じ立体コンテンツであ
っても立体感が異なる。

【０００７】図６を用いて説明する。

【０００８】例えば、視差が無い（視差０）点を考え
る。通常、人が見る景色で視差が無いのは無限遠の場合
である。人間の眼間距離は約６ｃｍと狭いため、物体ま
での距離が数メートル以上離れると、視差は殆どなくな
る。従って、視差０の遠景と少し飛び出し方向に視差の
ある近景となる物体の同時に入ったコンテンツを数メー
トル先のプロジェクタに投射した場合、視差０の部分は
単なる数メートル以上遠方の景色として認識され、それ
程違和感は感じない。

【０００９】しかしながら、同じコンテンツを液晶シャ
ッタめがねタイプの１５インチ程度のＣＲＴに表示し、
６０ｃｍ程度の距離から見ると、視差０の映像はＣＲＴ
画面上に貼り付いていて、そこから近景が飛び出してい
るように見える。つまり、遠景はＣＲＴ画面上の６０ｃ
ｍの距離にあることになり、非常に違和感を感じる。こ
の場合、遠景は飛び出した近景と逆方向の視差を与える
ようにすると遠景は画面よりの奥側に見えるため、違和
感が和らぐ。尚、ことのき、丁度画面上までの距離の所
にある物体が目の焦点距離と輻輳角が一致するため、最
も自然に見えることになる。又、画面より近景は画面の
前で視線が交差するが、画面より遠景は視線が画面より
奥で交わることになる。〜立体コンテンツの作成方法〜
こうした立体表示デバイスに表示させるコンテンツに関
しては、一般に次のように作成する。

【００１０】実写の映像の場合、２台のカメラを水平方
向にある距離を隔てて並べ、２台のカメラで同時に同じ
対象を撮影する。勿論、動画ではなく対象も静止してい
る場合であれば、１台のカメラを水平方向に移動して２
度撮影しても良い。

【００１１】このとき、２台のカメラのレンズ系の光学
的な軸の間の距離を基線長と言い、光学的な軸の交わる
角度を輻輳角と言う。図５（基線長ＢＬ、輻輳角θ）に
示すレンズを人間の目に近い焦点距離のレンズを選び、
基線長を人間の瞳の間の距離とし、輻輳角を丁度注目し
ている対象物に光学的な軸が交わるように設定すると自
然に見えると言われている。

【００１２】尚、基線長を広げると遠景の立体感が増す
代わりに、近景の物体の視差が大きくなり過ぎて立体と
して融像できなくなることがある。又、逆に基線長を小
さくすると、全体に立体感に乏しくなる。

【００１３】輻輳角に関しては、輻輳角を大きくすると
寄り目の状態と同じになり、至近距離の立体感が増すこ
とができるが、背景の視差が大きくなり過ぎて遠景が融
像しにくくなる。逆に輻輳角を小さくしてほぼ両目の視
線が並行にすると、遠くをぼんやり見ている状態とな
り、近くは見難くなる。

【００１４】更に、撮影した画像の切り出す範囲を左右
にずらすことで、カメラのシフト操作（あおり量変更）
を行う場合もある。レンズ中心からフィルム面をずらし
たような画像を生成する処理に相当する。輻輳角を大き
く取った場合に、背景の上下側水平な直線が存在した場
合、レンズ歪みの影響により左右眼で水平にならなくな
ることがある。これを避けるためにシフト処理をする。
尚、このシフト操作により、同じ基線長・輻輳角で撮影
したシーンでも、奥行き感を全体に変更することができ
る。つまり、右目画像をより右に、左目画像をより左に
シフトすると、シーン全体が近づいて見え、逆にシフト
するとシーン全体が奥側に移動して見える。

【００１５】一方、コンピュータグラフィックス（Ｃ
Ｇ）で立体映像を生成する場合には、或る三次元空間に
おけるシーンに対して、２つの視点から見た画像を生成
する。尚、通常コンピュータグラフィックスにおいて、
或る静止した1 シーンを生成するためには、コンピュー
タ内に作られた仮想的な三次元空間内のシーンを同じ三
次元空間中に仮想的に配置されたカメラから撮影するこ
とで、二次元の静止画像として生成する（動画の場合
は、１コマずつシーン内のオブジェクトやカメラを移動
させながらコマ撮りしていく）。

【００１６】つまり、ＣＧであっても、空間が仮想であ
る点を除いて実写の場合と撮影方法に関する考え方は同
じであり、２つの視点に配置するカメラの設定に関して
実写と同様にすれば良い。

【００１７】

【発明が解決しようとする課題】実写においてもＣＧに
おいても、カメラレンズの焦点距離や基線長、輻輳角、
シフト量を変更することで、立体感や奥行き感、飛び出
し感、奥行き感が変化する。従来は、これらを基線長と
輻輳角、シフト量を固定的にするか、数値で設定してい
た。

【００１８】又、上記のように立体表示デバイスとして
は、様々な形態のものがあるが、実写、ＣＧ共に同じカ
メラ設定で撮影した同じコンテンツであっても、表示デ
バイスの種類が異なると、異なった立体感等で感じられ
る。従って、表示デバイスごとに基線長や輻輳角を変更
する必要があった。

【００１９】しかも、これらの設定は、経験に適切な数
値を試行錯誤によって探しておき、予め探しておきた数
値を用いて手動で設定し撮影するか、予め特定の設定に
固定されたカメラを用いて撮影していた。又、立体感を
強調したり、弱めたり、飛び出し感を強めたり、引っ込
ませたりといった設定に関しても、経験に頼って適切な
設定値を試行錯誤で探して撮影していた。

【００２０】即ち、立体表示デバイスの種類や撮影意図
に応じて基線長と輻輳角の値を経験的に手動設定すると
いう煩雑な手続きが必要であった。

【００２１】本発明は上記問題に鑑みてなされたもの
で、その目的とする処は、基線長と輻輳角、シフト量を
経験的に手動設定するという煩雑な手続きを要すること
なく、利用者に分かり易く最適なカメラ設定を可能にす
ることができる二視点カメラの設定手段を提供すること
にある。

【００２２】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、立体表示デバイス指定手段と、撮影意図
入力手段と、立体表示デバイスの種類と撮影意図からカ
メラパラメータに変換する手段を備え、変換して得られ
たカメラパラメータを用いて、立体表示デバイス指定手
段で指定した立体表示デバイスに最適な形で表示するた
めの立体画像を生成することを特徴とする。

【００２３】

【発明の実施の形態】以下に本発明の実施の形態を添付
図面に基づいて説明する。

【００２４】本実施の形態では、ＣＧで立体のシーンを
生成する方法について述べたものである。

【００２５】図１は本実施の形態の構成図である。

【００２６】１−１はレンダリング処理部、１−２はシ
ーン生成部、１−３はシーンデータ保存部、１−４はカ
メラ位置設定部である。１−２で仮想空間中に三次元の
シーンデータを生成する。一般に、シーン生成の手法に
関しては、様々な手法があるが、ここではシーン作成方
法に関してこだわるものではない。生成したシーンデー
タは、１−３のシーンデータ保存部に保存されるものと
する。

【００２７】１−１のレンダリング処理部では、１−２
で生成した三次元シーンに対して光源等の設定を行い、
或る二次元平面に投影を行う所謂レンダリング処理を行
う。二次元平面への投影は、三次元空間中に仮想的なカ
メラの位置を設定し、仮想的なカメラで撮影することで
レンダリング処理を行う。この仮想的なカメラ設定を行
うのがカメラ位置設定部１−４である。こうして生成さ
れたＣＧ画像は、画像データ保存部１−５に保存され
る。以上のモジュール群は一般的にＣＧデータ生成に用
いられるモジュール群と同様の処理を実現するものであ
る。

【００２８】ステレオ合成部１−６では、以上の手続き
で生成されたＣＧ画像からステレオペアを構成する２枚
を選んで、３Ｄ表示部１−７で表示するのに適した形式
に変換する。尚、３Ｄ表示部としては、液晶シャッタめ
がね方式や偏光プロジェクタ方式、３Ｄ−ＨＭＤ方式
等、幾つか方式があるが、どの方式をとっても構わない
ものとする。

【００２９】１−８は意図入力部であり、後述のような
撮影時の立体効果に関する意図を入力できるものとす
る。１−９は意図・パラメータ変換部であり、意図入力
部で入力した意図を、３Ｄ表示部１−７に合わせた形の
カメラパラメータに変換し、カメラ位置設定部１−４に
反映させるものである。

【００３０】以下、図１及び図２のフローチャートを用
いて動作を説明する。

【００３１】２０２でシーン生成部１−２でシーン生成
を行い、１−３のシーンデータ保存部に保存する。次
に、２０３で意図入力部１−８でステレオ画像の立体感
等の意図を入力する。

【００３２】尚、ここで意図入力部について説明してお
く。意図入力部では、図３のようなグラフィカルユーザ
インタフェース画面を表示して意図を入力するものとす
る。即ち、意図としては、空間の広がり（狭い、広
い）、立体感の強調（弱い、強い）、注目地点（手前、
奥）、奥行き（後退、前進）があり、これらをスクロー
ルバーで数値設定できるようになっているものとする。

【００３３】「空間の広がり」では、「狭い」、「広
い」が尺度となる。一般に、カメラ間の基線長を広く取
ると空間を狭く感じ、狭く取ると広く感ずる。これは、
見ている人の目の間が広がると自分が巨大化したのと同
じであり、狭まると小人化したのと同じことなのでその
ように感じる。極端に基線長を大きくしたり小さくした
りすると、立体として認識できなくなるので、認識可能
な最も狭い基線長及び広い基線長をパラメータの両端と
しておく。但し、ユーザからは基線長として見えるので
はなく、「空間の広がり」という感覚的な尺度として見
える。

【００３４】同様にして、「立体感の強調」に関して
は、輻輳角と基線長を適当に設定して弱めたり強めたり
するので、最も弱いところと、強いところをパラメータ
の両端としておく。尚、輻輳角を強める（寄目）と立体
感は強まり、弱める（遠くをぼんやり見ている状況）と
立体感は弱まる。但し、基線長も同時に適切に設定しな
いと融像しにくい画像となる場合がある。

【００３５】「注目地点」は、三次元シーン中でどの部
分を注目するかで、はやり輻輳角と基線長を変える必要
があるので、奥行き方向で手前か奥のどの部分に注目す
るかを設定できるようにするためである。奥の場合は、
輻輳角は弱くする。但し、奥を注目しつつ奥の立体感を
強調した場合は、基線長を大きくする必要がある。これ
は、遠くのシーンでは、基線長が狭いと左右の視差が小
さくなるためである。逆に近くの場合は、輻輳角と基線
長を見易く調整する必要がある。

【００３６】「奥行き」は、カメラのシフト量（あおり
量）を操作することに相当する。ＣＧにおいてシフト操
作とは、撮影時に左右方向に大き目に画像を生成してお
き、切り出す範囲を左右に変えることで、レンズ中心か
らずらした画像を生成することができる。シフト操作に
より、同じ基線長・輻輳角で撮影したシーンでも、奥行
き感を全体に変更することができる。つまり、右目画像
をより右に、左目画像をより左にシフトすると、シーン
全体が近づいて見え、逆にシフトするとシーン全体が奥
側に移動して見える。

【００３７】これらの意図パラメータは、予め３Ｄ表示
部に対応して適切なパラメータ範囲とスケールで設定さ
れているものとする。

【００３８】「注目地点」、「空間の広がり」、「立体
感の強調」、「奥行き」等のパラメータは相互に影響し
合うので、スクロールバーであるパラメータを操作する
と別なパラメータの値が変わることになる。

【００３９】以上のことを数式化すると次のようにな
る。感覚的なパラメータとして、ｆ，ｗ，ｓ，ｄを導入
する。ｗ：「空間の広がり」ｓ：「立体感の強調」ｆ：「注目地点」ｄ：「奥行き」それぞれの範囲を０〜１００の数値とする。ｗ＝０最も狭い（下限値）ｗ＝１００最も広い（上限値）ｓ＝０最も弱い（下限値）視差が最も少ない点ｓ＝１００最も強い（上限値）融像できる限界ｆ＝０最も手前（下限値）距離０ｆ＝１００最も奥（上限値）無限遠ｄ＝０最も手前（下限値）距離０ｄ＝１００最も奥（上限値）無限遠更に、基線長をＬ、輻輳角をθ、シフト量をｓとする
と、Ｌ＝Ｆ１（Ｄ，ｗ，ｓ，ｆ，ｄ） θ＝Ｆ２（Ｄ，ｗ，ｓ，ｆ，ｄ）ｓ＝Ｆ３（Ｄ，ｗ，ｓ，ｆ，ｄ）のような関係となる関数を予め実験等で作成しておく。
尚、Ｄは３Ｄ表示デバイスの種類を表す離散パラメータ
とする。又、Ｆ１，Ｆ２，Ｆ３は関数である。

【００４０】又、ｗ＝Ｆ４（Ｌ，θ，ｓ，Ｄ，ｓ，ｆ，ｄ）ｓ＝Ｆ５（Ｌ，θ，ｓ，Ｄ，ｗ，ｆ，ｄ）ｆ＝Ｆ６（Ｌ，θ，ｓ，Ｄ，ｗ，ｓ，ｄ）ｄ＝Ｆ７（Ｌ，θ，ｓ，Ｄ，ｗ，ｓ，ｆ）のような関係に関しても予め実験等で作成しておく。
尚、Ｆ３，Ｆ５，Ｆ６は関数である。

【００４１】以上のような予め計測実験等で作成した数
値関係を基にして、関数表等を作成しておき、これをベ
ースに基線長と輻輳角、シフト量を求めればよい。

【００４２】尚、本実施の形態では、意図入力部は４つ
のパラメータをスクロールバーで入力する形態とした
が、スクロールバーでなくても尺度を入れられるもので
あれば構わない。又、意図としても、他の意図を入力で
きるようになっていても構わない。

【００４３】意図の入力が終わると、次に、２０４で
は、片方（ここでは右側とする) の仮想カメラ位置を設
定する。カメラ位置は、代表的には図４のようなユーザ
インタフェースで三次元空間中のカメラの位置と方向を
設定できるものとする。こうしてカメラ位置を設定する
と、２０５で１−２で生成したシーンに対して、レンダ
リング処理部１−１でレンダリング計算を行い、１枚の
ＣＧ画像を生成し、これを画像データ保存部１−５に一
時的に保存する。

【００４４】次に、意図入力部１−８で入力された意図
から意図・パラメータ変換部１−９で基線長、輻輳角、
シフト量のカメラパラメータに変換し、このカメラパラ
メータ値で２０７においてもう片方（ここでは左側とす
る) の仮想カメラ位置を設定する。この仮想カメラから
見た画像を２０８で２０５同様に計算・生成し、画像デ
ータ保存部１−５に一時的に保存する。更に、２０９で
ステレオ合成を行い、２１０で３Ｄ表示を行う。尚、以
上の手続きを意図入力を修正しながら繰り返して、意図
通りの満足の行くシーンが得られるまで続け、最終的に
得られたステレオペア画像を画像データ保存部に保存す
る。

【００４５】尚、意図・パラメータ変換部は、３Ｄ表示
部の種類に合わせて、適切な変換処理モジュールに置き
換えることで、様々な表示デバイスに対応することが可
能である。又、表示デバイスに応じて自動的に適切な変
換モジュールが選択されるようになっていても良い。

【００４６】このように、意図入力部を備えることによ
り、直感的に分かりにくい基線長や輻輳角、シフト量等
のパラメータを設定することなしに、意図する立体画像
を得ることができる。

【００４７】尚、本実施の形態では、ＣＧシーンの生成
における仮想カメラの設定に関して述べたが、カメラを
２台用いる実写シーンの生成でも全く同様の意図設定が
可能である。この場合、意図・パラメータ変換部から変
換されたカメラパラメータで直接ステレオカメラの輻輳
角・基線長・シフト量が設定できるようになっているも
のとする。又、物理的に基線長、輻輳角、シフト量には
制約があるのが通常であるから、この物理的制約を考慮
の上、意図入力部の範囲が予め設定されているものとす
る。

【００４８】

【発明の効果】以上の説明で明らかなように、本発明に
よれば、意図入力部を備えることにより、直感的に分か
りにくい基線長や輻輳角、シフト量等のパラメータを設
定することなしに、意図する立体画像を得ることができ
る。

【図面の簡単な説明】

【図１】ブロック図である。

【図２】レンダリング処理のフローチャートである。

【図３】意図入力部の画面例である。

【図４】カメラ位置設定部の画面例を示す図である。

【図５】基線長と輻輳角を示す図である。

【図６】物体の奥行きと画面、輻輳角の関係を示す図で
ある。

【符号の説明】

１−１レンダリング処理部１−２シーン生成部１−３シーンデータ保存部１−４カメラ位置設定部１−５画像データ保存部１−６ステレオ合成部１−７３Ｄ表示部１−８意図入力部１−９意図・パラメータ変換部

───────────────────────────────────────────────────── フロントページの続き (72)発明者松井太一東京都大田区下丸子３丁目30番２号キヤノン株式会社内Ｆターム(参考） 2H059 AA07 AA13 5B050 AA08 AA09 BA09 DA01 EA27 FA02 FA06 FA13 FA19 5C061 AA21 AB04 AB08

Claims

【特許請求の範囲】

【請求項１】立体表示デバイス指定手段と、撮影意図
入力手段と、立体表示デバイスの種類と撮影意図からカ
メラパラメータに変換する手段を備え、変換して得られ
たカメラパラメータを用いて、立体表示デバイス指定手
段で指定した立体表示デバイスに最適な形で表示するた
めの立体画像を生成することを特徴とする二視点カメラ
の設定手段。
【請求項２】前記二視点カメラはＣＧシーン撮影のた
めの三次元空間中の仮想カメラであることを特徴とする
請求項１記載の二視点カメラの設定手段。
【請求項３】上記二視点カメラは輻輳角と基線長を制
御可能なカメラであることを特徴とする請求項１記載の
二視点カメラの設定手段。
【請求項４】カメラパラメータは、輻輳角、基線長、
シフト量であることを特徴とする請求項１〜３の何れか
に記載の二視点カメラの設定手段。
【請求項５】撮影意図入力手段で入力する意図は、立
体感に関する情報であることを特徴とする請求項１〜４
の何れかに記載の二視点カメラの設定手段。
【請求項６】撮影意図入力手段で入力する意図は、
「注目地点」、「空間の広がり」、「立体感の強調」、
「奥行き」であることを特徴とする請求項５記載の二視
点カメラの設定手段。