JP2001222723A - 立体視画像の生成方法及び同装置 - Google Patents

Abstract

(57)【要約】 【課題】 撮影画像をもとに、視点移動に対してもスム
ーズに表示を行うことができる立体視画像のための右眼
用および左眼用の画像を作成する方法およびそのための
装置を提供することを課題としている。 【解決手段】 撮影画像から物体が配置された３次元空
間内での３次元モデルの作成、入力手段からの視点の移
動、回転のデータ取得による新視点の設定、新視点から
３次元モデルをみた場合の左眼用画像と右眼用画像の作
成、を行うことで任意の視点からの立体視画像の生成を
行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、撮影画像から立
体視可能な画像を生成し，表示する装置の技術分野に属
し、更に詳細に言えば、既知の視点から撮影して得た画
像から被写体であるもとの３次元物体の座標データを求
め、そのデータに基づき任意の視点からの立体視可能な
右眼用と左眼用の画像を作成し、表示することにより立
体視可能な画像を生成する技術に関するものである。

【０００２】

【従来の技術】コンピュータの処理速度の高速化、メモ
リーの大容量化により、コンピュータにより複雑かつ多
量の画像処理を行うことができるようになり、現在で
は、設計段階での建造物の仮想体験や現実には見ること
のできない身体内部の立体視画像などのＶＲ（バーチャ
ルリアリティ）としての利用、航空写真からの三次元地
図の作製などの実際的な応用から身近な家庭用のゲーム
などのエンターテイメントに到るまで広く使われるに到
っている。

【０００３】立体視可能な画像（以下、「立体視画像」
と称する）をコンピュータで処理をする場合の原理的な
方法としては、３次元空間における全ての点の情報をメ
モリに記憶しておき、視点が与えられたとき、その視点
から左眼と右眼によりそれぞれ見える像を演算によって
求め、表示手段により、左眼用画像を左眼で、右眼用画
像を右眼で見るようにすることで、立体視画像を生成す
るものであるが、たとえコンピュータの発展が著しいと
いっても、対象とする３次元空間における全ての点に対
して演算を行い立体視画像を求めることは、ＣＰＵの処
理速度、メモリー容量の点から、現段階では現実的では
ない。

【０００４】現在、コンピュータにより立体視画像を生
成する現実的な方法の一つとして、キーボード、デジタ
イザ、マウス等により、コンピュータ上での基本的な幾
何学的図形作成のために３次元座標データを入力し、そ
のコンピュータ上で作成された図形データに基づき数学
的な計算により任意の視点からの立体視画像を生成する
ものがある。

【０００５】他の方法としては、視点を変えて撮影した
非常に多くの画像をコンピュータ上に蓄積し、視点の移
動に応じて対応する右眼用および左眼用の画像を選び出
して立体視画像を生成するものである。

【０００６】しかしながら、第１の方法では、立体視画
像として見る物体の特徴的な全ての点のデータを入力し
なければならず、非常に多くの座標データの手入力が必
要となり、多大な手間がかかる。また、作成されるのは
基本的には幾何学的な図形であり、実写においてよく見
られる複雑な形や複雑な表面の再現は難しいし、多くの
計算をも必要とする。

【０００７】一方、視点を変えて撮影した多くの画像に
基づき立体視画像を構成する方法では、視点が異なる数
多くの撮影画像が必要であり、コンピュータへの多量の
データ蓄積とデータ処理が必要となる。また、コンピュ
ータに蓄積された画像だけが利用できることから、任意
の視点に対応した画像を表示することが難しく、視点の
移動に応じたスムーズな表示を行うことは難しい。

【０００８】

【発明が解決しようとする課題】この発明は、上述のよ
うな背景の下になされたもので、カメラによる撮影画像
を使用し、できるだけ少ないデータ入力により、複雑な
形および表面を有する立体の立体視画像を表示しようと
するものであり、視点移動に対してもスムーズに表示を
行うことができる立体視画像の生成方法およびそのため
の装置を提供することを目的としている。

【０００９】

【課題を解決するための手段】上記課題を解決するため
に本発明は以下の手段を採用している。即ち、請求項１
記載の発明は、３次元空間における物体を指標と共に撮
影し、該撮影画像から該物体の３次元モデルを作成し、
入力手段により視点を変化させ、該視点変化に合わせて
左眼用画像と右眼用画像を作成し、表示手段で表示する
ことで、視点変化に応じた立体視画像を生成するもので
ある。

【００１０】この発明では、対象とする物体を撮影した
画像を使用することでデータ入力の手間を少なくして３
次元モデルを作成することができ、作成された３次元モ
デルに基づき任意の視点からの立体視画像用のデータを
演算により得ることができるので視点が移動した場合で
も立体視画像のスムーズな表示が可能となる。

【００１１】請求項２記載の発明では、請求項１記載の
発明に対して、３次元モデル作成の際のテクスチャのワ
ーピングは撮影画像モデルを３角形領域に分割し、該３
角形の部分テクスチャを３次元モデルの対応個所に貼り
付けるものであり、３次元モデルの表面のテクスチャと
して実際の撮影画像を使用するため、複雑なテクスチャ
も簡単に生成することができることを特徴とする。

【００１２】請求項３記載の発明では、請求項１および
請求項２の発明に対して、視点の移動と回転の入力を看
視者の顔の動きを検出して行うことにより、立体視画像
の看視者にとって自然な感じで安定した立体視画像を見
ることができることを特徴とする。

【００１３】請求項４記載の発明では、請求項１および
請求項２の発明に対して、視点の移動と回転をマウスの
上下左右方向の移動と左右のクリックにより行うこと
で、広い範囲にわたる視点の変更を行うことが可能な立
体視画像の生成方法であることを特徴とする。

【００１４】請求項５記載の発明では、請求項１から請
求項４の何れか１の発明に対して、左眼用画像と右眼用
画像の表示を交互に又は同時に同期させてさせて表示を
行う方法により、立体視画像を表示する種々の表示装置
に対応させたものである。

【００１５】さらに、請求項６記載の発明は、請求項１
記載の方法の発明を実施するためのメモリ、演算部、表
示部を備えた装置の発明であり、請求項７〜請求項９記
載の発明は入力手段として看視者が装着する眼鏡が入力
手段もしくは入力手段の一部を成し、使用者が特に意識
することなく、視点の移動に関する情報を入力できるも
のであるし、請求項１０記載の発明は、請求項６におけ
る入力手段としてマウスを使用するものであり、看視者
は動くことなく広い範囲に視点を移動して立体視画像を
見ることができるものである。

【００１６】請求項１１記載の発明では、左眼用画像と
右眼用画像を表示器に交互に表示し、表示に同期して看
視する者が着用している眼鏡の光学的シャッタが表示に
同期して動作することにより、左眼では左眼用画像だ
け、右眼では右眼用画像だけを見ることができため立体
視画像が生成されるもので、特別の眼鏡を装着した看視
者のみが立体視画像をみることができる。

【００１７】請求項１２記載の発明では、左眼用画像と
右眼用画像を表示する際に異なる特性を与えることで左
右の画像を選択的に左右の眼で見ることができるように
して立体視画像を生成するものであり、請求項１３記載
の発明では、その特性としては色彩であり、看視者は左
右の画像の色彩に対応したフィルタを有する眼鏡を着用
することで立体視画像を見ることができる。また、請求
項１４記載の発明では、その特性としては偏光であり、
看視者は左右の画像の偏光に対応したフィルタを有する
眼鏡を着用することで立体視画像を見ることができ、左
右の画像を特定の色とする必要がないのでカラー画像で
立体視画像を生成できる。これら請求項１２〜請求項１
４記載の発明では請求項１１記載の発明の装置と比べ
て、比較的簡単な眼鏡ですむため、多人数が立体視画像
を見るのに適している。

【００１８】請求項１５記載の発明では、看視者は小型
の眼鏡型表示器を着用するため、着用者以外では全く立
体視画像を見ることができないが、左眼用画像と右眼用
画像を完全に分離して表示しているため、色彩や偏光な
どの制限を設ける必要がない。

【００１９】

【発明の実施形態】図１は本発明の実施形態におけるア
ルゴリズムの全体フローチャートである。以下 図１に
示すフローチャートに従い、必要に応じ他の図面を参照
しながら本実施形態の方法を説明する。

【００２０】はじめに、ステップＳ１０では、３次元空
間にある対象物体を３次元座標の既知である基準点を有
している指標と共に撮影する。撮影は図２に示すように
異なる視点からの撮影画像を少なくとも２枚得られるよ
うに行う。図２で、３次元空間２０にＸＹＺ座標系２１
が規定されており、対象物体２２がキャリブレーション
ボックス２３の上に配置されている。キャリブレーショ
ンボックス２３には座標が既知の点X２６が付されてい
る。撮影画像２５a、２５ｂはカメラ２４a、２４ｂによ
る撮影画像を示す。なお、撮影画像は２枚に限られず、
種種の視点から撮影した撮影画像の枚数が多いほどいろ
いろな視点から見た３次元モデルを作成することができ
る。指標としては図に示したキャリブレーションボック
スの他に平面地図と建物の高さから座標を決定したビル
の角点を利用してもよい。基準点は同一平面上にない少
なくとも６個の点が必要であり、１０個ないし２０個の
基準点があることが好ましい。また、撮影カメラは同一
のカメラを使用するのが便利である。

【００２１】ステップＳ２０では対象物体の３次元モデ
ルを撮影画像２５ａ，２５ｂから作成する。なお、３次
元モデルの作成方法については本出願人の特許出願（平
成１０年特許願第３１２１３９号）にも記載されている
が、以下に要約を説明する。まず、撮影画像をコンピュ
ータに読み込んで、撮影画像中の基準点の座標を求め
る。この座標データと３次元空間の基準点の座標データ
から射影変換行列を求める。射影変換行列を求める方法
は公知であり、公知技術を利用する。なお、射影変換行
列は撮影画像によって異なるので、全ての撮影画像に対
して求める。

【００２２】次に、対象物体の形状の特徴を現している
点（例えば、建物の屋根、窓ガラスの角点、輪郭点等）
に対応する撮影画像の点をライトペン等のポインテング
デバイスで指示してその座標を読み取る。読み取ったデ
ータから射影変換行列を利用して３次元空間における座
標を求める。求められた複数の点から３次元モデルの点
モデルを作成し、この点を頂点とする３角形で全体をカ
バーする３次元線画モデルを作成する。得られた３角形
に対して撮影画像を適宜選択して、撮影画像のテクスチ
ャを逆ワーピングで３次元モデルに貼り付ける。

【００２３】３次元モデルの作成は実際にはコンピュー
タ内で行われ、得られた結果のデータがメモリに記憶さ
れる。即ち、３次元モデルの各点の座標、３角形を形成
した３点の組み合わせ、その３角形に貼り付けられるテ
クスチャのデータ等がメモリに蓄積される。

【００２４】本発明の立体視画像の生成方法はコンピュ
ータ内に作成された３次元モデルを、視点を変化（回転
又は移動）させたときに、その視点から見た左眼用の画
像と右眼用の画像を次々と作成し、表示部に表示するも
のである。このために撮影画像の射影変換行列のパラメ
ータから基準とする視点を定める。例えば、最初のカメ
ラ２４aの視点を基準にしてもよい。この基準視点から
の視点変化をステップＳ３０で検出する。なお、左眼と
右眼では視点が少し異なるので、図３に示すように、検
出された視点を挟んで左眼用視点と右眼用視点を定め
る。図３は、３次元モデル３０に対し、変化した新視点
３１と左眼用画像と右眼用画像の関係を示す。

【００２５】視点の変化を検出する方法としては、図４
に示すように、看視者の顔の動きを検出して視点の変化
を見いだす方法がある。その一つは看視者が装着した眼
鏡に取り付けた加速度センサ３５からの信号を２回積分
することにより移動量を検出する方法であり、比較的簡
単な装置で実現でき、直接電気信号として取り出すこと
ができる。他の方法は眼鏡に取り付けられた光学的マー
カーの位置を光学的センサにより検知するものであり、
装着する眼鏡には特別の装置を備える必要がない。

【００２６】また、視点の移動は、マウスを前後左右に
動かすことにより行い、その動きの方向と移動量に対応
した視点の移動を行ったとすることができる。左右のク
リックにより視点の回転の情報も入力できる。

【００２７】看視者の顔の動きを検出する場合も、マウ
スによる場合も、新視点に関する入力データの取り込み
から左及び右眼用画像の表示まで（ステップＳ３０から
ステップＳ８０まで）が、表示の切り替え周期（一例と
しては、１秒に３０回の割合）で行われるので、視点の
変化に伴う立体視画像はスムーズに生成される。

【００２８】視点の変化、すなわちカメラの位置の変化
Δが得られると新視点での射影変換行列Φ’は

【式１】 Φ’＝Φ・Δ により計算される（ステップＳ５０）ので、新視点を中
心にそのわずかに左右の点での射影変換行列

【式２】 Φ’Ｌ＝Φ・（Δ−ε）

【式３】 Φ’Ｒ＝Φ・（Δ＋ε） により、３次元線画モデルの射影を行い、左眼用線画と
右眼用線画を作成する（ステップＳ６０）。

【００２９】次に３次元線画モデル作成時に採取した３
角形毎の撮影画像のテクスチャを左眼用線画と右眼用線
画の対応する３角形の部分貼り付ける（ステップＳ７
０）ことにより新視点での左眼用画像と右眼用画像が完
成し、それを表示部で表示することで立体視画像を生成
する。図５は３次元線画モデル３７と左眼用画像３８と
右眼用画像との関係を示す。

【００３０】図６は立体視画像を生成する装置のブロッ
ク線図であり、３次元空間の物体を異なる視点から撮影
するカメラ１（図２のカメラ２４a）とカメラ２（図２
のカメラ２４ｂ）、撮影された画像を蓄積する撮影画像
メモリ３、撮影画像中の物体表面を３角形で切分け、各
３角形内のテクスチャーを記憶するテクスチャーメモリ
４、撮影画像を切分けた３角形の頂点の３次元座標で構
成される３次元線画モデルを記憶する３次元線画モデル
メモリ５、視点の移動を入力する入力手段６、入力手段
からの信号により決められた視点位置を記憶する視点位
置メモリ７、視点位置データと３次元線画モデルデータ
およびテクスチャデータにより作成される左眼用画像と
右眼用画像を記憶する左眼用画像メモリ８と右眼用画像
メモリ９、左右眼用画像メモリ８，９のデータに基づい
て表示を行う表示手段１０、およびこれらのデータの転
送および演算を行う制御装置（ＣＰＵ）１１、を備えた
ものである。

【００３１】新視点で作成された左眼用画像と右眼用画
像を立体視画像として表示する表示部の第１の形態を図
７に示す。図７において左眼用画像と右眼用画像は表示
器４０から左眼用信号と右眼用信号４２が交互に送出さ
れ、ディスプレイ４３に表示される。その表示と同期し
て看視者が装着した眼鏡の液晶シャッタ４１が表示器４
０からの信号でオンオフ動作し、左眼用画像が表示され
ているときは眼鏡の右眼側は液晶シャッタで遮断され、
左眼でしか見ることができない。同様に右眼用画像が表
示されているときは左眼側の液晶シャッタが光を遮断す
る。この動作の切り替えは数十回／秒の速度で行われ、
残像効果もあるため、看視者は左眼で左眼用画像を右眼
で右眼用画像を見ていることとなり、立体視画像と感じ
ることができる。

【００３２】表示器４０の第２の形態は図８に示すよう
に、左眼用画像は赤で、右眼用画像は青で表示され、看
視者は左右がそれぞれ青フィルタ４５ｂ、赤フィルタ４
５aを有する眼鏡４５をかけてディスプレイ４３を見る
ことで立体視画像を体験できる。また、図９には２台の
投光器４７aと４７ｂから偏向ＡとＢをスクリーン４８
に投射し、看視者は眼鏡４９を着用して立体視画像を見
る。左眼及び右眼用画像を投影する投光ＡとＢは偏光面
が９０度異なるものとし、看視者は左右の偏光面が９０
度異なる偏光ガラス４９a、４９ｂを使用した眼鏡４９
により見るものであり、図８のものに比べて表示色彩の
使用に制限がない点で優れている。さらに図１０で示す
ような、左眼用と右眼用が独立した眼鏡型小型表示器５
０を使用することでもできる。眼鏡型小型表示器５０の
左側には左眼用の画像が、右側には右眼用の画像が画像
同期して表示器４０から送られてくる。看視者はこれに
よって立体視された画像を見ることができる。

【００３３】以上、この発明の実施形態、実施例を図面
により詳述してきたが、具体的な構成はこの実施例に限
られるものではなく、この発明の要旨を逸脱しない範囲
の設計の変更等があってもこの発明に含まれる。例え
ば、視点変化の入力手段としてはトラックボール、ジョ
イステック等も可能であるし、表示装置としてはホログ
ラフィによることも可能である。

【発明の効果】以上説明したように、この発明の構成に
よれば、撮影画像を使用して３次元モデルを作成するの
で、複雑な形状や複雑な表面を有する物体の３次元モデ
ルを少ないデータ入力により容易に作成するができ、視
点を任意に移動させた場合でも、スムーズな立体視画像
の生成を高速に行うことができる。

【図面の簡単な説明】

【図１】 本発明の実施形態におけるアルゴリズムの全
体フローチャート。

【図２】 指標と共に３次元物体を撮影する方法の説
明、および３次元モデル。

【図３】 ３次元モデルから右眼用画像、左眼用画像を
作成する方法の説明。

【図４】 看視者の顔の動きにより視点の移動、回転を
行う方法。

【図５】 新視点と新左右方向から左眼用画像と右眼用
画像を生成する方法。

【図６】 立体視画像を生成する装置のブロックダイア
グラム。

【図７】 表示と同期して動作する液晶シャター眼鏡に
より立体視画像を見る装置。

【図８】 表示画像の色彩に対応じた眼鏡により立体視
画像を見る装置。

【図９】 表示画像の偏光に対応じた眼鏡により立体視
画像を見る装置。

【図１０】 左眼用画像を左眼で、右眼用画像を右眼で
見る装置。

【符号の説明】

１，２： カメラ ３ ： 撮影画像メモリ ４ ： テクスチャメモリ ５ ： ３次元線画モデルメモリ ６ ： 入力手段 ７ ： 視点位置メモリ ８ ： 左眼用画像メモリ ９ ： 右眼用画像メモリ １０ ： 表示手段 １１ ： 制御装置（ＣＰＵ）

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 BA07 BA09 CA07 EA26 FA09 5B057 BA02 CA12 CA16 CB13 5C061 AA03 AB04 AB06 AB08 AB12 AB17 AB20 5C082 AA04 AA06 AA11 AA34 BA20 BA47 BC07 BD06 CA01 CA42 CA52 CB03 DA76 DA86 EA14 MM02 MM10

Claims (15)

【特許請求の範囲】
1. 【請求項１】 ３次元空間における対象物体を指標と共
   に撮影し、該撮影画像から該対象物体の３次元モデルを
   作成し、入力手段により視点を変化させ、該視点変化に
   合わせて左眼用画像と右眼用画像を作成し、表示手段で
   表示することで、視点変化に応じた立体視画像を生成す
   ることを特徴とする立体視画像の生成方法。
2. 【請求項２】 前記３次元モデルの作成におけるテクス
   チャのワーピングは撮影画像のモデルを３角形の領域に
   分割し、該３角形の部分テクスチャを３次元モデルに貼
   り付けることを特徴とする請求項１記載の立体視画像の
   生成方法。
3. 【請求項３】 前記入力手段は看視者の顔の動きを検出
   し、顔の動きに対応したデータを入力する手段であり、
   顔の動きに合わせて視点の移動、回転などの変換を定め
   ることを特徴とする請求項１〜請求項２の何れか１に記
   載の立体視画像の生成方法。
4. 【請求項４】 前記入力手段はマウスの上下左右の移動
   と左右のクリック操作により視点の移動、回転などの変
   換を定めることを特徴とする請求項１〜請求項２の何れ
   か１に記載の立体視画像の生成方法。
5. 【請求項５】 前記表示手段は左眼用画像と右眼用画像
   を交互に又は同時に同期させて表示を行い、立体視可能
   とすることを特徴とする請求項１〜請求項４の何れか１
   に記載の立体視画像の生成方法。
6. 【請求項６】 ３次元空間における対象物体を撮影した
   画像に基づいて立体視画像を生成する装置であって、画
   像データを蓄積するメモリ、３次元モデルデータを生成
   する演算部および演算結果である３次元モデルデータを
   蓄積するメモリ、視点の移動量、回転量を指定するため
   の入力手段、入力手段からの入力に基づいて新視点を決
   定する演算部、新視点から３次元モデルをみた場合の左
   眼用画像と右眼用画像を作成する演算部、右眼用画像と
   左眼用画像を表示する表示部を有することを特徴とする
   立体視画像の生成装置。
7. 【請求項７】 前記入力手段は看視者に装着した眼鏡に
   取り付けられたものである請求項６に記載の立体視画像
   の生成装置。
8. 【請求項８】 前記看視者の装着した眼鏡に取り付けら
   れたものは、加速度センサである請求項７に記載の立体
   視画像の生成装置。
9. 【請求項９】 前記入力手段は看視者の装着した眼鏡に
   取り付けられた光学的なマーカーと眼鏡に取り付けられ
   た光学的マーカーの位置を検知する装置である請求項６
   に記載の立体視画像の生成装置。
10. 【請求項１０】 前記入力手段はマウスである請求項６
    に記載の立体視画像の生成装置。
11. 【請求項１１】 前記表示部は左眼用画像と右眼用画像
    を交互の表示する表示器と左眼用画像と右眼用画像の表
    示に同期して動作する光学的シャッタを有する眼鏡から
    なる請求項６〜請求項１０の何れか１に記載の立体視画
    像の生成装置。
12. 【請求項１２】 前記表示部は左眼用画像と右眼用画像
    を表示する際に各画像に異なる特性を与えて表示するも
    のである請求項６〜請求項１０の何れか１に記載の立体
    視画像の生成装置。
13. 【請求項１３】 前記特性は色彩である請求項１２記載
    の立体視画像の生成装置。
14. 【請求項１４】 前記特性は偏光である請求項１２記載
    の立体視画像の生成装置。
15. 【請求項１５】 前記表示部は左眼用画像と右眼用画像
    をそれぞれ独立に表示する眼鏡型表示器である請求項６
    〜請求項１０の何れか１に記載の立体視画像生成装置。