JP2003187261A

JP2003187261A - ３次元画像生成装置、３次元画像生成方法、立体画像処理装置、立体画像撮影表示システム、立体画像処理方法及び記憶媒体

Info

Publication number: JP2003187261A
Application number: JP2001382006A
Authority: JP
Inventors: Kotaro Yano; 光太郎矢野; Katsumi Iijima; 克己飯島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-12-14
Filing date: 2001-12-14
Publication date: 2003-07-04
Anticipated expiration: 2021-12-14
Also published as: JP4065488B2

Abstract

(57)【要約】【課題】画像間で比較的少ない対応点（画像間で同一
な被写体部分を点対点の対応として表した点）しか得ら
れない場合においても、より高画質の画像を生成するこ
とを可能とし、また、新しい視点の画像を生成する際
に、全画素において対応を必要としないので処理時間が
大幅に短縮すること等を可能とした３次元画像生成装
置、３次元画像生成方法及び記憶媒体を提供する。【解決手段】３次元画像生成装置は、同一な被写体部
分を点対点の対応として表す対応点の抽出結果に基づ
き、被写体を複数の視点から撮影した複数の画像をそれ
ぞれ部分領域に分割し、複数の画像における対応する部
分領域同士の対応関係を表す最適モデルを求め、最適モ
デルに基づき部分領域を変形して任意の視点から見た画
像を生成する画像処理部４を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影対象シーンま
たは被写体の３次元画像を生成する３次元画像生成装
置、３次元画像生成方法及び記憶媒体に関し、特に、複
数の２次元画像をもとに３次元画像を生成する場合に好
適な３次元画像生成装置、３次元画像生成方法及び記憶
媒体に関する。

【０００２】また、本発明は、撮影した画像に基づき立
体画像処理を行う立体画像処理装置、立体画像処理方法
及び記憶媒体に関し、特に、いわゆる「立体写真（ステ
レオペア）」のように撮影した画像を処理することで容
易に立体画像を観察可能とする場合に好適な立体画像処
理装置、立体画像撮影表示システム、立体画像処理方法
及び記憶媒体に関する。

【０００３】

【従来の技術】従来、カメラにより被写体を近接した多
くの視点から撮影した画像は、被写体の３次元的な構造
を表現する上で非常に有用である。例えば、被写体の回
りでカメラを移動させながら撮影した画像を順次再生す
ることにより、被写体が３次元的に回転した画像を観察
することができる。また、撮影対象シーンの中をカメラ
を移動させながら多くの画像を撮影し、アプリケーショ
ン上の仮想カメラの制御に追従して適切な画像を再生す
ることで、仮想シーンのウォークスルーを行うことがで
きる。しかしながら、上記のようなアプリケーションを
使用した場合、非常に多くの画像を撮影しシステムに記
憶しておくことが要求される。

【０００４】また、従来、立体画像を表示するシステム
としては、液晶シャッタ眼鏡を用いた時分割シャッタ眼
鏡方式による立体画像表示システムが知られている。該
立体画像表示システムは、左右２つの視点から撮影した
被写体の画像データを一旦コンピュータの記憶媒体に記
憶し、立体画像の表示プログラムにより、コンピュータ
のディスプレイに左右画像を時間をずらして交互に表示
するように動作する。このとき、それぞれの画像の表示
に同期して液晶シャッタ眼鏡のシャッタが開閉し、ディ
スプレイに左画像が表示されている時には左眼のみが見
え、ディスプレイに右画像が表示されている時には右眼
のみが見えるように動作する。従って、観察者は液晶シ
ャッタ眼鏡を介して、左画像を左眼のみで、右画像を右
眼のみで見ることで立体画像を観察することができる。

【０００５】また、従来、立体画像を撮影する方法とし
ては、２台のカメラを左右に並べて撮影する方法が知ら
れている。この場合、同一の特性を持つカメラを２台用
意する必要がある。また、１台のカメラを移動させて同
一被写体を２回撮影する方法もある。この場合には、動
被写体（動きのある被写体）を撮影できないという問題
がある。また、いずれの場合においても、撮影位置を水
平方向にのみずらした状態で撮影する必要があり、撮影
の設定が煩雑である。

【０００６】上記のような点に鑑みて、カメラにおける
撮影画面の左半分、右半分を、それぞれ左眼用の画像、
右眼用の画像に対応させた構造の立体写真アダプタがあ
る。従来の立体写真アダプタの構成例を図２４に示す。
図中、５０１は被写体、５０２はカメラ、５０３はアダ
プタである。また、５２１はカメラの撮影レンズ、５２
２は撮影面、５３１はプリズム、５３２、５３３はミラ
ーである。また、Ｏは撮影レンズ５２１のレンズ中心
（詳しくは入射瞳の中心、視点ともいう）、lは撮影レ
ンズ５２１の光軸、m、nはそれぞれ撮影面５２２で左眼
用画面、右眼用画面の中心を通る光束の主光線である。

【０００７】図２４に示すように、アダプタ５０３の構
成は撮影レンズの光軸1を中心に左右対称である。図２
４で、左眼用の被写体像は、ミラー５３２、プリズム５
３１で反射し、撮影レンズ５２１を通って撮影面５２２
の右半分の領域に達する。同様に、右眼用の被写体像
は、ミラー５３３、プリズム５３１で反射し、撮影レン
ズ５２１を通って撮影面５２２の左半分の領域に達す
る。このような仕組みにより、撮影面５２２に左眼用、
右眼用の画像を撮影することができる。

【０００８】

【発明が解決しようとする課題】しかしながら、上記従
来の、被写体を近接した多くの視点から撮影する技術に
おいては、次のような問題があった。即ち、上述した問
題を解消するために、従来から、新しい視点位置での画
像を生成するための数多くの方法が提案されてきた。新
しい視点位置での画像生成の実現に対する典型的なアプ
ローチとしては、被写体の３次元モデルをポリゴン（３
Ｄグラフィックスの基本単位とされる三角形）で形成
し、ポリゴンの各パッチにテクスチャ（要素をある規則
に従って配列し全体として一様に見えるもの）として対
応する画像の一部を貼り付けたモデルを生成し、テクス
チャマッピングにより任意視点位置の画像を生成するこ
とである。しかしながら、これを実現するには、被写体
の３次元モデルが必要である。そして、この３次元モデ
ルを得ることは、特に複雑な３次元構造を持つ被写体に
おいては困難である。

【０００９】一方、被写体の３次元モデルを使わずに新
しい視点の画像を生成する方法も提案されている。Chen
らは、コンピュータで生成した２つの視点の画像から、
モーフィング（画像の上に格子状に並んだ制御点を用意
し、その位置を動かすと、それに応じて画像が歪む効果
を得る手法）により中間画像を生成する方法を示した。
（”View Interpolation for Image Synthesis”，S
IGGRAPH 93 COMPUTERGRAPHICS Proceedings，pp．279-
288）。しかし、この従来例では、画像のモーフィング
には、撮影対象シーンの３次元構造を表すZバッファ
（表示しようとする面を視点から計ったとき、その奥行
き方向の大きさを示すＺ値を各画素毎に求める方法）が
使われている。

【００１０】また、Wernerらは、同様な方法をステレオ
カメラで撮影した画像に適用し、中間画像を生成した。
（”Rendering Real-World Objects Using View Int
erpolation ，Proceedings of International Confe
rence on Computer Vision 1995，pp．957-962）。この
従来例では、中間画像を生成する際に、ステレオ画像間
での画素ごとの対応関係を利用している。

【００１１】また、Laveauらは、異なる視点で撮影した
２つの画像から、コンピュータグラフィックスのレイト
レーシング（３次元の物体をグラフィックスとして表現
する手法）に基づくアルゴリズムにより中間画像を生成
する方法を示した。（”3-DScene Representation as a
Collection of images”，Proceedings of Internatio
nal Conference on Pattern Recognition 1994，pp．68
9-691）。この従来例では、画像間での画素ごとの対応
関係と２つの画像を撮影するカメラの位置関係から中間
画像を生成している。

【００１２】また、Avidanらは、近接した視点で撮影し
た２つの画像からテンソルを用いた座標変換により視点
の外挿を行い、任意の視点の画像を生成する方法を示し
た。（”Novel View Synthesis in Tenser Space”，Pr
oceedings of Computer Vision and Pattern Recogniti
on 1997，pp．1034-1040）。この従来例では、画像間で
の画素ごとの対応関係から新しい視点位置での画像を生
成している。尚、該文献は、左右画像の中間的な位置に
おける仮想の視点位置からの画像を生成できることを記
載した後で、左右の画像間でなく、本来の視点位置より
も被写体に近付いた仮想視点（内挿）からの画像だけで
なく、被写体に対し本来の視点位置よりも離れた仮想視
点（外挿）からも画像も生成可能であることを記載した
ものである。

【００１３】上記いずれの方法においても、異なる視点
の複数の画像から新しい視点の画像を生成する際に画素
ごとの対応が必要である。相関演算等によって画像間の
対応を自動的に求める方法が知られているが、画像中の
全画素において対応関係を得るには膨大な計算が必要と
される。また、被写体形状や画像パターン、撮影方法に
よっては正確な対応関係が得られないといった問題も生
じる。

【００１４】また、Seitzらは、画像間での対応関係を
指定してモーフィングにより中間画像を生成した。（”
View Morphing”,SIGGRAPH 96 COMPUTER GRAPHICS P
roceedings，pp．21-30）。この従来例では、画像間で
比較的少ない対応関係から未対応の対応関係を補間し
て、全画素での対応関係を求めている。被写体の形状に
よっては、補間した対応関係と実際の対応関係は大きく
ずれるので、特に撮影した視点の中点位置における視点
では画像が２重に重なったように見えるといった問題が
ある。

【００１５】また、上記従来の立体画像表示システムに
おいては、次のような問題があった。即ち、人間は左右
画像により生じる視差（ステレオ視差）だけでなく、観
察位置の移動により生じる視差（動体視差）によって
も、被写体に対して立体感を得ていると考えられてい
る。ところが、上記立体画像表示システムは、ステレオ
視差のみによる立体表示であるため、人間が被写体に対
して得ている立体感に比べると、容易に立体感が得られ
ない、リアルな立体感が得られないといった問題があ
る。また、動体視差による立体感を得るには、より多く
の観察位置での立体画像の撮影が必要であるという問題
があった。

【００１６】また、上記従来の立体写真アダプタにおい
ては、次のような問題があった。即ち、立体写真アダプ
タで撮影した立体画像には台形歪みがある。図２４に示
すように、ミラー５３２に入射する光線mと撮影レンズ
５２１の光軸1の方向とのなす角をα、撮影面５２２に
入射する光線mと撮影レンズ５２１の光軸1の方向とのな
す角をβとすると、撮影面では（α＋β）の分だけ、カ
メラを平面被写体に対して傾けて撮影した時に発生する
台形歪みが、撮影面５２２の左眼用画像において発生す
る。同様に、（α＋β）の分だけ、左眼用画像とは反対
方向にカメラを平面被写体に対して傾けて撮影した時に
発生する台形歪みが、撮影面５２２の右眼用画像におい
て発生する。

【００１７】このようにして撮影された立体画像を左右
の眼でそれぞれ観察すると、被写体の正確な立体感が得
られず、融像（左右の画像を融合して一つの画像とする
こと）しずらい、疲れるといった問題点がある。この現
象は、特にカメラの撮影レンズの焦点距離が短い、広い
視野角の撮影時に顕著である。

【００１８】例えば、左右画像の視点のミラー５３２、
５３３における虚像間の距離を６５ｍｍ、被写体までの
距離を１０００ｍｍとすると、αは約２度、撮影レンズ
５２１の焦点距離を２８ｍｍ（３５ｍｍ銀塩フィルム換
算）とすると、βは約１６度である。従って、このよう
な立体写真アダプタをカメラに装着して撮影する場合に
は、被写体距離に関わらず、少なくとも角度βの分だけ
台形歪みを補正することは必須である。

【００１９】また、被写体５０１が、カメラの撮影画面
内の左右画像の同じ位置に撮影される場合はよいが、被
写体５０１の位置がカメラに対して近すぎたり、遠すぎ
たりする場合には、撮影画面の左右画像内で被写体の撮
影される位置がずれる。このようにして撮影された立体
画像を左右の眼でそれぞれ観察すると、融像しずらい、
疲れるといった問題点がある。

【００２０】また、被写体が大きい場合には、左右それ
ぞれの画像で被写体の異なった一部が画面からはみ出し
てしまい、立体感の得られる左右画像間で重なり合っ
て、撮影される領域が少なくなるという問題がある。こ
の現象は、特にカメラの撮影レンズの焦点距離が長い、
狭い視野角の撮影時に顕著である。また、撮影レンズ５
２１の絞り径が大きい場合には、撮影される画面内の左
右画像の境界付近で左右２つの画像が重なり合い、見づ
らくなるといった問題がある。

【００２１】本発明は、上述した点に鑑みなされたもの
であり、画像間で比較的少ない対応点（画像間で同一な
被写体部分を点対点の対応として表した点）しか得られ
ない場合においても、より高画質の画像を生成すること
を可能とし、また、新しい視点の画像を生成する際に、
全画素において対応を必要としないので処理時間が大幅
に短縮すること等を可能とした３次元画像生成装置、３
次元画像生成方法及び記憶媒体を提供することを第一の
目的とする。

【００２２】また、本発明は、上述した点に鑑みなされ
たものであり、被写体の視差分布の抽出を簡単な処理で
確実に行うことを可能とし、被写体の撮影時の視点以外
での画像を簡単な処理で確実に生成すること等を可能と
した３次元画像生成装置、３次元画像生成方法及び記憶
媒体を提供することを第二の目的とする。

【００２３】また、本発明は、上述した点に鑑みなされ
たものであり、立体画像を処理して、ステレオ視差だけ
でなく動体視差も含めた立体画像表示を行い、より容易
に、リアルな被写体の立体像を観察できるようにするこ
と等を可能とした立体画像処理装置、立体画像撮影表示
システム、立体画像処理方法及び記憶媒体を提供するこ
とを第三の目的とする。

【００２４】また、本発明は、上述した点に鑑みなされ
たものであり、カメラに立体写真アダプタを装着して撮
影した画像を処理することで、容易に被写体の立体像を
観察できるようにすること等を可能とした立体画像処理
装置、立体画像撮影表示システム、立体画像処理方法及
び記憶媒体を提供することを第四の目的とする。

【００２５】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の発明は、被写体を複数の視点から撮
影した複数の画像間で、同一な被写体部分を点対点の対
応として表す対応点を抽出し、前記対応点の抽出結果に
基づき任意の視点から見た画像を生成する３次元画像生
成装置であって、前記対応点の抽出結果に基づき前記複
数の画像をそれぞれ部分領域に分割し、前記複数の画像
における対応する前記部分領域同士の対応関係を表すモ
デルを求め、前記モデルに基づき前記部分領域を変形し
て前記任意の視点から見た画像を生成する画像処理手段
を有することを特徴とする。

【００２６】上記目的を達成するため、請求項２記載の
発明は、前記画像処理手段は、前記部分領域同士の対応
関係を表す複数のモデル候補の整合性を画像変形結果に
基づき評価し、前記モデルを求めることを特徴とする。

【００２７】上記目的を達成するため、請求項３記載の
発明は、前記対応点の抽出結果に基づき前記複数の画像
をそれぞれ分割した前記部分領域、及び前記複数の画像
における対応する前記部分領域同士の対応関係を表す前
記モデルを記憶する記憶手段を有し、前記画像処理手段
は、前記記憶手段に記憶された前記部分領域と前記モデ
ルに基づき前記複数の画像を変形して３次元画像を生成
し、表示することを特徴とする。

【００２８】上記目的を達成するため、請求項４記載の
発明は、ステレオ画像から同一部分を点対点の対応とし
て表す対応点を抽出し、前記対応点の抽出結果に基づき
任意の視点から見た画像を生成する３次元画像生成装置
であって、前記対応点の抽出結果に基づき前記ステレオ
画像を部分領域に分割し、対応する前記部分領域同士の
対応関係を表すモデルを求め、前記モデルに基づき前記
部分領域を変形して連続した視点位置での画像を順次生
成することで動画像を生成する画像処理手段を有するこ
とを特徴とする。

【００２９】上記目的を達成するため、請求項５記載の
発明は、前記被写体の撮影は、撮像面の水平方向に沿っ
て配置された２つの撮像装置、或いは２つの撮像系を有
する複眼式の撮像装置、或いはステレオアダプタが装着
された撮像装置により行われることを特徴とする。

【００３０】上記目的を達成するため、請求項６記載の
発明は、被写体を複数の視点から撮影した複数の画像間
で、同一な被写体部分を点対点の対応として表す対応点
を抽出し、前記対応点の抽出結果に基づき任意の視点か
ら見た画像を生成する３次元画像生成方法であって、前
記対応点の抽出結果に基づき前記複数の画像をそれぞれ
部分領域に分割し、前記複数の画像における対応する前
記部分領域同士の対応関係を表すモデルを求め、前記モ
デルに基づき前記部分領域を変形して前記任意の視点か
ら見た画像を生成することを特徴とする。

【００３１】上記目的を達成するため、請求項７記載の
発明は、前記部分領域同士の対応関係を表す複数のモデ
ル候補の整合性を画像変形結果に基づき評価し、前記モ
デルを求めることを特徴とする。

【００３２】上記目的を達成するため、請求項８記載の
発明は、前記対応点の抽出結果に基づき前記複数の画像
をそれぞれ分割した前記部分領域、及び前記複数の画像
における対応する前記部分領域同士の対応関係を表す前
記モデルを一旦記憶しておき、記憶された前記部分領域
と前記モデルに基づき前記複数の画像を変形して３次元
画像を生成し、表示することを特徴とする。

【００３３】上記目的を達成するため、請求項９記載の
発明は、ステレオ画像から同一部分を点対点の対応とし
て表す対応点を抽出し、前記対応点の抽出結果に基づき
任意の視点から見た画像を生成する３次元画像生成方法
であって、前記対応点の抽出結果に基づき前記ステレオ
画像を部分領域に分割し、対応する前記部分領域同士の
対応関係を表すモデルを求め、前記モデルに基づき前記
部分領域を変形して連続した視点位置での画像を順次生
成することで動画像を生成することを特徴とする。

【００３４】上記目的を達成するため、請求項１０記載
の発明は、前記被写体の撮影は、撮像面の水平方向に沿
って配置された２つの撮像装置、或いは２つの撮像系を
有する複眼式の撮像装置、或いはステレオアダプタが装
着された撮像装置により行われることを特徴とする。

【００３５】上記目的を達成するため、請求項１１記載
の発明は、被写体を複数の視点から撮影した複数の画像
間で、同一な被写体部分を点対点の対応として表す対応
点を抽出し、前記対応点の抽出結果に基づき任意の視点
から見た画像を生成する３次元画像生成装置に適用され
る３次元画像生成方法を実行するプログラムを記憶した
コンピュータにより読み出し可能な記憶媒体であって、
前記３次元画像生成方法は、前記対応点の抽出結果に基
づき前記複数の画像をそれぞれ部分領域に分割するステ
ップと、前記複数の画像における対応する前記部分領域
同士の対応関係を表すモデルを求めるステップと、前記
モデルに基づき前記部分領域を変形して前記任意の視点
から見た画像を生成するステップとを有することを特徴
とする。

【００３６】上記目的を達成するため、請求項１２記載
の発明は、前記３次元画像生成方法は、前記部分領域同
士の対応関係を表す複数のモデル候補の整合性を画像変
形結果に基づき評価するステップと、前記評価に基づき
前記モデルを求めるステップとを有することを特徴とす
る。

【００３７】上記目的を達成するため、請求項１３記載
の発明は、前記３次元画像生成方法は、前記対応点の抽
出結果に基づき前記複数の画像をそれぞれ分割した前記
部分領域、及び前記複数の画像における対応する前記部
分領域同士の対応関係を表す前記モデルを一旦記憶して
おくステップと、記憶された前記部分領域と前記モデル
に基づき前記複数の画像を変形して３次元画像を生成す
るステップと、前記生成された前記３次元画像を表示す
るステップとを有することを特徴とする。

【００３８】上記目的を達成するため、請求項１４記載
の発明は、ステレオ画像から同一部分を点対点の対応と
して表す対応点を抽出し、前記対応点の抽出結果に基づ
き任意の視点から見た画像を生成する３次元画像生成装
置に適用される３次元画像生成方法を実行するプログラ
ムを記憶したコンピュータにより読み出し可能な記憶媒
体であって、前記３次元画像生成方法は、前記対応点の
抽出結果に基づき前記ステレオ画像を部分領域に分割す
るステップと、対応する前記部分領域同士の対応関係を
表すモデルを求めるステップと、前記モデルに基づき前
記部分領域を変形して連続した視点位置での画像を順次
生成することで動画像を生成するステップとを有するこ
とを特徴とする。

【００３９】上記目的を達成するため、請求項１５記載
の発明は、被写体に光パターンを投光する投光手段と、
被写体の画像を撮影する撮像手段とを有する３次元画像
生成装置であって、前記光パターンが投光された被写体
の画像に基づき被写体の視差分布を抽出する視差抽出手
段と、前記視差分布に基づき被写体画像を変形して被写
体の仮想的な視点位置での画像を生成する画像生成手段
とを有することを特徴とする。

【００４０】上記目的を達成するため、請求項１６記載
の発明は、前記撮像手段は、前記パターンを投光しない
被写体の画像及び前記光パターンを投光した被写体の画
像を撮影し、前記画像生成手段は、前記パターンを投光
しない被写体の画像に幾何学的変換を行い被写体の前記
仮想的な視点位置での画像を生成することを特徴とす
る。

【００４１】上記目的を達成するため、請求項１７記載
の発明は、前記撮像手段は、前記光パターンを投光した
被写体の画像を撮影し、前記画像生成手段は、前記パタ
ーンを投光した被写体の画像に幾何学的変換を行い被写
体の前記仮想的な視点位置での画像を生成することを特
徴とする。

【００４２】上記目的を達成するため、請求項１８記載
の発明は、前記画像生成手段で生成した画像を表示する
表示手段と、前記仮想的な視点位置を変更可能な入力手
段とを有し、前記画像生成手段は、前記入力手段からの
入力に応じてインタラクティブに被写体の前記仮想的な
視点位置での画像を生成し、前記表示手段は、前記生成
された前記仮想的な視点位置での画像を表示することを
特徴とする。

【００４３】上記目的を達成するため、請求項１９記載
の発明は、前記投光手段は、撮像装置に着脱可能に構成
されると共にストロボ光により所定の光パターンを被写
体に投光するアダプタであることを特徴とする。

【００４４】上記目的を達成するため、請求項２０記載
の発明は、前記仮想的な視点位置は、複数の連続した視
点位置として予め設定可能であり、前記仮想的な視点位
置での画像は、動画として記録可能であることを特徴と
する。

【００４５】上記目的を達成するため、請求項２１記載
の発明は、被写体に光パターンを投光する投光手段と、
被写体の画像を撮影する撮像手段とを有する３次元画像
生成装置で実行される３次元画像生成方法であって、前
記光パターンが投光された被写体の画像に基づき被写体
の視差分布を抽出し、前記視差分布に基づき被写体画像
を変形して被写体の仮想的な視点位置での画像を生成す
ることを特徴とする。

【００４６】上記目的を達成するため、請求項２２記載
の発明は、前記パターンを投光しない被写体の画像及び
前記光パターンを投光した被写体の画像を撮影し、前記
パターンを投光しない被写体の画像に幾何学的変換を行
い被写体の前記仮想的な視点位置での画像を生成するこ
とを特徴とする。

【００４７】上記目的を達成するため、請求項２３記載
の発明は、前記光パターンを投光した被写体の画像を撮
影し、前記パターンを投光した被写体の画像に幾何学的
変換を行い被写体の前記仮想的な視点位置での画像を生
成することを特徴とする。

【００４８】上記目的を達成するため、請求項２４記載
の発明は、外部からの前記仮想的な視点位置の入力に応
じてインタラクティブに被写体の前記仮想的な視点位置
での画像を生成し、前記生成された前記仮想的な視点位
置での画像を表示することを特徴とする。

【００４９】上記目的を達成するため、請求項２５記載
の発明は、前記仮想的な視点位置は、複数の連続した視
点位置として予め設定可能であり、前記仮想的な視点位
置での画像は、動画として記録可能であることを特徴と
する。

【００５０】上記目的を達成するため、請求項２６記載
の発明は、被写体に光パターンを投光する投光手段と、
被写体の画像を撮影する撮像手段とを有する３次元画像
生成装置に適用される３次元画像生成方法を実行するプ
ログラムを記憶したコンピュータにより読み出し可能な
記憶媒体であって、前記３次元画像生成方法は、前記光
パターンが投光された被写体の画像に基づき被写体の視
差分布を抽出するステップと、前記視差分布に基づき被
写体画像を変形して被写体の仮想的な視点位置での画像
を生成するステップとを有することを特徴とする。

【００５１】上記目的を達成するため、請求項２７記載
の発明は、前記３次元画像生成方法は、前記パターンを
投光しない被写体の画像及び前記光パターンを投光した
被写体の画像を撮影するステップと、前記パターンを投
光しない被写体の画像に幾何学的変換を行い被写体の前
記仮想的な視点位置での画像を生成するステップとを有
することを特徴とする。

【００５２】上記目的を達成するため、請求項２８記載
の発明は、前記３次元画像生成方法は、前記光パターン
を投光した被写体の画像を撮影するステップと、前記パ
ターンを投光した被写体の画像に幾何学的変換を行い被
写体の前記仮想的な視点位置での画像を生成するステッ
プとを有することを特徴とする。

【００５３】上記目的を達成するため、請求項２９記載
の発明は、前記３次元画像生成方法は、外部からの前記
仮想的な視点位置の入力に応じてインタラクティブに被
写体の前記仮想的な視点位置での画像を生成するステッ
プと、前記生成された前記仮想的な視点位置での画像を
表示するステップとを有することを特徴とする。

【００５４】上記目的を達成するため、請求項３０記載
の発明は、前記３次元画像生成方法は、前記仮想的な視
点位置として予め設定された複数の連続した視点位置で
の画像を生成するステップと、前記生成された前記仮想
的な視点位置での画像を動画として記録するステップと
を有することを特徴とする。

【００５５】上記目的を達成するため、請求項３１記載
の発明は、被写体を複数の視点で撮影した画像を処理し
て表示する立体画像処理装置であって、被写体を複数の
視点で撮影した画像から、所定軌跡上の視点に対応する
一連の左画像、及び前記所定軌跡上の視点から水平方向
へ所定位置だけ右側に移動した視点に対応する一連の右
画像を生成する画像生成手段と、前記生成された一連の
左画像及び一連の右画像を動画像として表示手段に順次
表示する表示制御手段とを有することを特徴とする。

【００５６】上記目的を達成するため、請求項３２記載
の発明は、前記複数の視点の画像は、撮像装置に立体写
真アダプタを装着して撮影した立体画像を左右２つに分
割した画像であることを特徴とする。

【００５７】上記目的を達成するため、請求項３３記載
の発明は、前記表示手段は、液晶シャッタ眼鏡を介して
前記動画像を左右それぞれの眼で独立に観察可能な表示
手段、或いはストライプ状に配列された前記一連の左右
画像を液晶シャッタ眼鏡なしで観察可能なパララックス
バリア方式の立体表示手段、或いはストライプ状に配列
された前記一連の左右画像を液晶シャッタ眼鏡なしで観
察可能なレンチキュラレンズ方式の立体表示手段である
ことを特徴とする。

【００５８】上記目的を達成するため、請求項３４記載
の発明は、撮像装置と、該撮像装置により被写体を複数
の視点で撮影された画像を処理して表示する立体画像処
理装置と、立体画像観察装置とを具備してなる立体画像
撮影表示システムであって、前記撮像装置は、立体写真
アダプタを装着した撮影が可能であり、前記立体画像処
理装置は、被写体を複数の視点で撮影した画像から、所
定軌跡上の視点に対応する一連の左画像、及び前記所定
軌跡上の視点から水平方向へ所定位置だけ右側に移動し
た視点に対応する一連の右画像を生成する画像生成手段
と、前記生成された一連の左画像及び一連の右画像を動
画像として表示手段に順次表示する表示制御手段とを有
し、前記立体画像観察装置は、前記表示手段に表示され
た前記動画像を左右それぞれの眼で独立に観察可能な液
晶シャッタ眼鏡であることを特徴とする。

【００５９】上記目的を達成するため、請求項３５記載
の発明は、被写体を複数の視点で撮影した画像を処理し
て表示する立体画像処理方法であって、被写体を複数の
視点で撮影した画像から、所定軌跡上の視点に対応する
一連の左画像、及び前記所定軌跡上の視点から水平方向
へ所定位置だけ右側に移動した視点に対応する一連の右
画像を生成し、前記生成された一連の左画像及び一連の
右画像を動画像として順次表示することを特徴とする。

【００６０】上記目的を達成するため、請求項３６記載
の発明は、前記複数の視点の画像は、撮像装置に立体写
真アダプタを装着して撮影した立体画像を左右２つに分
割した画像であることを特徴とする。

【００６１】上記目的を達成するため、請求項３７記載
の発明は、前記動画像を、液晶シャッタ眼鏡を介して左
右それぞれの眼で独立に観察可能な表示手段に表示す
る、或いはストライプ状に配列した前記一連の左右画像
を、液晶シャッタ眼鏡なしで観察可能なパララックスバ
リア方式の立体表示手段に表示する、或いはストライプ
状に配列した前記一連の左右画像を、液晶シャッタ眼鏡
なしで観察可能なレンチキュラレンズ方式の立体表示手
段に表示することを特徴とする。

【００６２】上記目的を達成するため、請求項３８記載
の発明は、被写体を複数の視点で撮影した画像を処理し
て表示する立体画像処理装置に適用される立体画像処理
方法を実行するプログラムを記憶したコンピュータによ
り読み出し可能な記憶媒体であって、前記立体画像処理
方法は、被写体を複数の視点で撮影した画像から、所定
軌跡上の視点に対応する一連の左画像、及び前記所定軌
跡上の視点から水平方向へ所定位置だけ右側に移動した
視点に対応する一連の右画像を生成するステップと、前
記生成された一連の左画像及び一連の右画像を動画像と
して順次表示するステップとを有することを特徴とす
る。

【００６３】上記目的を達成するため、請求項３９記載
の発明は、前記複数の視点の画像は、撮像装置に立体写
真アダプタを装着して撮影した立体画像を左右２つに分
割した画像であることを特徴とする。

【００６４】上記目的を達成するため、請求項４０記載
の発明は、前記立体画像処理方法は、前記動画像を、液
晶シャッタ眼鏡を介して左右それぞれの眼で独立に観察
可能な表示手段に表示するステップ、或いはストライプ
状に配列した前記一連の左右画像を、液晶シャッタ眼鏡
なしで観察可能なパララックスバリア方式の立体表示手
段に表示するステップ、或いはストライプ状に配列した
前記一連の左右画像を、液晶シャッタ眼鏡なしで観察可
能なレンチキュラレンズ方式の立体表示手段に表示する
ステップを有することを特徴とする。

【００６５】上記目的を達成するため、請求項４１記載
の発明は、撮像装置に立体写真アダプタを装着して撮影
した被写体の画像を左右２つの画像に分割し、分割した
前記左右２つの画像の少なくとも１つを処理可能な立体
画像処理装置であって、前記立体写真アダプタに装備さ
れた反射面により前記撮像装置の撮影面を互いに平行な
左右２つの仮想撮影面に分割し、前記撮像装置により左
右２つの視点で異なる方向から撮影された被写体の画像
を、前記左右２つの仮想撮影面で撮影した画像となるよ
うに台形歪みを補正する幾何学的変換を行う画像処理手
段を有することを特徴とする。

【００６６】上記目的を達成するため、請求項４２記載
の発明は、前記画像処理手段は、前記幾何学的変換後の
画像から部分領域を切り出すことを特徴とする。

【００６７】上記目的を達成するため、請求項４３記載
の発明は、前記部分領域の切り出し位置は、外部入力に
より調整可能であることを特徴とする。

【００６８】上記目的を達成するため、請求項４４記載
の発明は、前記左右２つの画像を左右それぞれの眼で独
立に観察可能な表示手段を有することを特徴とする。

【００６９】上記目的を達成するため、請求項４５記載
の発明は、前記立体写真アダプタは、画像を横方向に圧
縮するように作用する光学手段を有することを特徴とす
る。

【００７０】上記目的を達成するため、請求項４６記載
の発明は、撮像装置と、該撮像装置に立体写真アダプタ
を装着して撮影した被写体の画像を左右２つの画像に分
割し、分割した前記左右２つの画像の少なくとも１つを
処理可能な立体画像処理装置と、立体画像観察装置とを
具備してなる立体画像撮影表示システムであって、前記
撮像装置は、前記立体写真アダプタを装着して撮影した
被写体の画像を記録可能であり、前記立体画像処理装置
は、前記立体写真アダプタに装備された反射面により前
記撮像装置の撮影面を互いに平行な左右２つの仮想撮影
面に分割し、前記撮像装置により左右２つの視点で異な
る方向から撮影された被写体の画像を、前記左右２つの
仮想撮影面で撮影した画像となるように台形歪みを補正
する幾何学的変換を行う画像処理手段を有し、前記立体
画像観察装置は、前記立体画像処理装置で処理された前
記左右２つの画像を左右それぞれの眼で独立に観察可能
な液晶シャッタ眼鏡であることを特徴とする。

【００７１】上記目的を達成するため、請求項４７記載
の発明は、撮像装置に立体写真アダプタを装着して撮影
した被写体の画像を左右２つの画像に分割し、分割した
前記左右２つの画像の少なくとも１つを処理可能な立体
画像処理方法であって、前記立体写真アダプタに装備さ
れた反射面により前記撮像装置の撮影面を互いに平行な
左右２つの仮想撮影面に分割し、前記撮像装置により左
右２つの視点で異なる方向から撮影された被写体の画像
を、前記左右２つの仮想撮影面で撮影した画像となるよ
うに台形歪みを補正する幾何学的変換を行うことを特徴
とする。

【００７２】上記目的を達成するため、請求項４８記載
の発明は、前記幾何学的変換後の画像から部分領域を切
り出すことを特徴とする。

【００７３】上記目的を達成するため、請求項４９記載
の発明は、前記部分領域の切り出し位置は、外部入力に
より調整可能であることを特徴とする。上記目的を達成
するため、請求項５０記載の発明は、前記左右２つの画
像を左右それぞれの眼で独立に観察可能であることを特
徴とする。

【００７４】上記目的を達成するため、請求項５１記載
の発明は、前記立体写真アダプタに装備された光学手段
により、画像を横方向に圧縮することを特徴とする。

【００７５】上記目的を達成するため、請求項５２記載
の発明は、撮像装置に立体写真アダプタを装着して撮影
した被写体の画像を左右２つの画像に分割し、分割した
前記左右２つの画像の少なくとも１つを処理可能な立体
画像処理装置に適用される立体画像処理方法を実行する
プログラムを記憶したコンピュータにより読み出し可能
な記憶媒体であって、前記立体画像処理方法は、前記立
体写真アダプタに装備された反射面により前記撮像装置
の撮影面を互いに平行な左右２つの仮想撮影面に分割す
るステップと、前記撮像装置により左右２つの視点で異
なる方向から撮影された被写体の画像を、前記左右２つ
の仮想撮影面で撮影した画像となるように台形歪みを補
正する幾何学的変換を行うステップとを有することを特
徴とする。

【００７６】上記目的を達成するため、請求項５３記載
の発明は、前記立体画像処理方法は、前記幾何学的変換
後の画像から部分領域を切り出すステップを有すること
を特徴とする。

【００７７】

【発明の実施の形態】以下、本発明の第１〜第９の実施
の形態を図面に基づいて詳細に説明する。

【００７８】［第１の実施の形態］本発明の第１の実施
の形態は、２つの視点から被写体を撮影すると共に、撮
影した２つの画像の中間画像を生成し、表示するシステ
ムである。撮影は、撮像面の水平方向に沿って略平行に
取り付けられた２つのデジタルカメラによって行われ
る。第１の実施の形態では、２つのデジタルカメラを使
用して撮影を行う場合を例に挙げるが、２つの撮像系を
有する複眼カメラ（例えば公開特許公報特開平10-66106
号に開示されているもの）、或いは、ステレオアダプタ
（例えば公開特許公報特開平8-36229号に開示されてい
るもの）を装着したカメラを使用して撮影を行ってもよ
い。

【００７９】図１は本発明の第１の実施の形態に係る３
次元画像生成装置の構成例を示す概略ブロック図であ
る。３次元画像生成装置は、取込部３、画像処理部４、
表示部５、第一記憶部６、第二記憶部７、入力部８、制
御部９を備えている。３次元画像生成装置は具体的には
コンピュータシステムとして構成される。尚、本構成は
必須構成要素を機能別に示したものであり、図示の構成
に限定されるものではない。

【００８０】上記構成を詳述すると、取込部３は、デジ
タルカメラ１、２で各々撮影された２つの画像データを
３次元画像生成装置内へ取り込むインタフェースであ
り、デジタル１、２で撮影された画像が記録された記録
メディア（図示略）が装着可能である。画像処理部４
は、後述のフローチャートにおける、画像間で同一な被
写体部分を点対点の対応として表す対応点の抽出、対応
点の位置座標に基づく２次元のメッシュの生成、２次元
のメッシュの修正、２次元のメッシュのモデル化、画像
生成パラメータの取得、中間画像の生成等の処理を行
う。表示部５は、制御部９の制御に基づき、画像処理部
４の処理に対応した各種表示を行うディスプレイであ
る。

【００８１】第一記憶部６は、本発明の３次元画像生成
方法を実行するプログラムや固定データを記憶している
メモリである。第二記憶部７は、後述のフローチャート
に示す処理において、画像処理部４により生成される各
種データの記憶領域として使用されるメモリである。入
力部８は、各種データ入力や各種指示を行うためのもの
であり、キーボードやマウスから構成されている。制御
部９は、上記各部を制御する中央演算処理装置であり、
本発明の３次元画像生成方法を実行するプログラムに基
づき、下記のフローチャート（図２・図３・図６（第１
の実施の形態）、図７・図８（第２の実施の形態））に
示す処理を実行する。

【００８２】図２は本発明の第１の実施の形態に係る３
次元画像生成装置で実行される３次元画像生成方法のア
ルゴリズムを示すフローチャートである。本フローチャ
ートは３次元画像生成装置の制御部９の制御に基づき実
行されるものであり、対応点の抽出、２次元のメッシュ
の生成、２次元のメッシュの修正、２次元のメッシュの
モデル化、画像生成パラメータの取得、中間画像の生成
等の処理は画像処理部４により行われ、表示制御処理は
制御部９により行われる。

【００８３】図２のステップＳ１では、デジタルカメラ
１、２により各々撮影された２つの画像データを、３次
元画像生成装置の取込部（インタフェース）３を介して
装置内に取り込む。尚、本発明の第１の実施の形態で
は、画像データを、それぞれの画素値が輝度レベルを表
す２次元配列のデジタルデータとして処理を行う。

【００８４】ステップＳ２では、画像間で同一な被写体
部分を点対点の対応として表す対応点を抽出する。図３
に、図２のステップＳ２で行う対応点抽出処理のアルゴ
リズムを示す。

【００８５】図３のステップＳ２０１では、上記２つの
画像データのうち、撮影時における視点位置が左側に相
当する左画像（同様に、撮影時における視点位置が右側
に相当する画像を右画像とする）を、所定の分割数で縦
横方向にブロック分割する。

【００８６】ステップＳ２０２では、左画像における分
割された各ブロックから特徴点を抽出する。即ち、各ブ
ロックに相当する左画像の元のサイズの大きさの画像デ
ータの領域のうち、所定の部分領域中の画素に対して、
3×3のサイズのラプラス演算子により、その演算結果が
最も大きい画素を特徴点として抽出する。この結果、左
画像の各ブロックから、それぞれ最も輝度勾配が急峻な
点が特徴点として抽出され、その位置座標が第二記憶部
７に記憶される。上記輝度勾配が一律なブロック等にお
いては、輝度勾配の大きい点のうちブロック中心に最も
近い点が特徴点として抽出される。ここでは、ブロック
内で最も輝度勾配が急峻な点を特徴点として抽出してい
るが、特徴点として、画像中で特異な点、即ち、他の点
に対して区別が容易な点であればよい。

【００８７】ステップＳ２０３では、２つの画像データ
をそれぞれ1／2と1／4に縮小し、元のサイズの画像デー
タと合わせて３つの階層を持つ２つのピラミッド画像を
作成する。（ピラミッド画像については、長尾真著コ
ロナ社出版”画像認識論”，pp．107-108参照）。

【００８８】ステップＳ２０４では、左画像の各ブロッ
クで抽出された特徴点に対応する右画像中の点を抽出す
るために、左画像の抽出された特徴点を中心とした所定
のサイズの部分領域をテンプレートとして切り出し、右
画像中の対応点を探索するための所定の領域における画
素を中心として、テンプレートと同一のサイズの画像領
域との相関値を求める。この結果、右画像中に設定され
た所定の領域と同一のサイズを有する２次元の相関値の
分布が求まる。この相関演算をピラミッド画像の３つの
階層全てに対して行う。

【００８９】第１の実施の形態では、３つの階層におい
てテンプレートのサイズは同一のものを使用する。従っ
て、元のサイズの画像では、画像の大きさに対して比較
的小さなテンプレートで相関分布を計算し、縮小したサ
イズの画像では、縮小の比率に応じて画像の大きさに対
し比較的大きなテンプレートで相関分布を計算すること
になる。

【００９０】また、右画像中の対応点を探索するための
領域は、３つの階層において同一の被写体領域に相当す
る領域を設定する。従って、元のサイズの画像での探索
領域の大きさは、1／2のサイズの画像での探索領域の2
倍、1／4サイズの画像での探索領域の4倍となる。

【００９１】また、それぞれの探索領域は、左画像の特
徴点の画素位置と同一の右画像中の画素を中心に、水平
方向が垂直方向に対して比較的大きい矩形の領域とす
る。これは、左右画像がもともと水平方向に視点がずれ
ているものであるため、視差が原理的には水平方向にし
かずれないことを考慮したものである。以上の相関分布
の計算を各ブロックに対して行う。

【００９２】ステップＳ２０５では、上記ステップＳ２
０４で求めた３つの階層における相関分布を統合して１
つの相関分布にする。ここでは、３つの階層の相関値に
対して所定の重み付けを行って和を求める。

【００９３】ステップＳ２０６では、統合された２次元
の相関分布から相関値のピークの位置を求める。まず、
相関分布のうち最大の相関値を求める。この最大値が所
定の値より低い場合は、未対応として対応点の位置を出
力しない。また、最大の相関値をとる点が複数ある場合
も、未対応として対応点の位置を出力しない。それ以外
の場合は、最大値近傍での相関分布の鋭さを計算し、所
定の値より大きく分布が鋭いと判断した場合には、その
最大値をとる位置を対応点位置として出力する。それ以
外は、最大値近傍で相関値が所定の間値以上のものに対
して相関値を重みとした相関位置の加重平均により、相
関ピーク位置を推定し、対応点の位置として出力する。
以上の計算を各ブロックに対して行う。

【００９４】ステップＳ２０７では、各ブロックにおけ
る対応点の位置を、他のブロックにおける上記ステップ
Ｓ２０６で求まった対応点の位置から推定する。左画像
中での特徴点位置と、未対応以外の他のブロックでの左
画像中での特徴点位置との距離の２乗を重みとした、そ
のブロックの左右対応点のずれ量の加重平均により、各
ブロックにおける左右対応点のずれ量を補間し、左画像
中での特徴点位置に対してそのずれ量の分だけずらし
て、右画像中の対応点の位置を推定する。この対応点位
置の推定を各ブロックに対して行い、第二記憶部７に記
憶しておく。

【００９５】ステップＳ２０８では、探索領域での画素
位置と上記ステップＳ２０７で推定した対応点位置から
の距離に比例した値を、上記ステップＳ２０５で求めた
相関分布に足し込んで統合する。この結果、統合された
分布は、対応点の左右ずれ量が回りの結果に対して滑ら
かに変動する場合には、相関分布から変化しないが、変
動が急峻な場合には、対応点の左右ずれ量が滑らかに変
化する拘束を多少付加されたごとく分布が変化する。

【００９６】ステップＳ２０９では、上記ステップＳ２
０８で統合された分布に対して上記ステップＳ２０６と
同様の処理を行い、分布のピーク位置を求める。但し、
この結果、未対応と判断したブロックの対応点は、上記
ステップＳ２０７と同様の処理により対応点の位置を推
定する。

【００９７】一般に、画像間の相関から対応点の位置を
求める場合、テンプレートとする画像領域の大きさが大
きいと、視差の分布が滑らかになるが、被写体の視差分
布が急に変わるような所では対応点の位置がずれる、ま
た、テンプレートとする画像領域の大きさが小さいと、
被写体の視差分布が急に変わるような所でも対応点の位
置ずれはないが、信頼性が悪くなるといった問題点があ
る。

【００９８】第１の実施の形態では、上記ステップＳ２
０５においてピラミッド画像の３つの階層における相関
分布を統合して、上記ステップＳ２０６でそのピーク位
置を求めるようにしたので、異なった大きさの画像領域
に相当するテンプレートを総合的に考慮して対応点を抽
出することができ、対応点の信頼性、位置精度ともによ
い結果が期待できる。

【００９９】また、上記ステップＳ２０７で他のブロッ
クの対応点の位置から推定した位置情報を、上記ステッ
プＳ２０８で相関分布に滑らかさの拘束として統合し、
上記ステップＳ２０９でピーク位置を求めるようにした
ので、滑らかな視差分布が得られる。また、曖昧なピー
クが複数存在する場合に、他のブロックの対応点を参照
して対応点を推定することができる。

【０１００】以上、上記ステップＳ２０１からステップ
Ｓ２０９の処理の結果、左画像の各ブロック中の特徴点
に対応する右画像の対応点位置が抽出される。第１の実
施の形態では、相関値演算に基づき対応点の抽出を行っ
ているが、例えば左右画像のテンプレート内における画
素値の差分の絶対値の和に基づき、対応点の抽出を行っ
てもよい。

【０１０１】上記図２に戻って、ステップＳ３では、対
応点の位置座標をもとに２次元のメッシュ（以下メッシ
ュと略称）を生成し、元の左右画像の上に重ね合わせ
て、表示部５に表示する。メッシュの交点として、上記
ステップＳ２の処理に基づく出力である対応点の位置座
標を用いる。

【０１０２】ここまでの処理の内容を図４と図５を用い
て説明する。図４における左側の図は左画像を表したも
のであり、図中の破線によって区切られた領域が上記ス
テップＳ２０１で分割されたブロックを示す。この図で
は左画像を4×4のブロックに分けた例を示す。また、図
中の点は、上記ステップＳ２０２で各ブロック毎に抽出
された特徴点を示す。図４における右側の図は右画像を
表したものであり、図中の点は、上記ステップＳ２０３
から上記ステップＳ２０９の処理で抽出された右画像中
の対応点を示す。例えば図中の点bは、処理によって点a
と対応付けられた点である。

【０１０３】図５における左側の図は左画像を表したも
のであり、図中の破線及び点は、図４における左側の図
の破線及び点と同じ破線及び点である。上記ステップＳ
３では、図５に示すように、左画像中で抽出された特徴
点を交点としてメッシュが生成され、このメッシュが左
画像の上に重ね合わされて表示部５に表示される。ここ
で、メッシュの端点は、画像境界部の各ブロックのコー
ナーの点の中点である。

【０１０４】同様に、図５における右側の図は右画像を
表したものであり、図中の点は図４における左側の図の
点と同じ点である。上記ステップＳ３では、図５に示す
ように、上記ステップＳ２で抽出された対応点を交点と
して、メッシュが生成され、このメッシュが右画像の上
に重ね合わされて表示部５に表示される。同様に、メッ
シュの端点は、画像境界部の各ブロックのコーナーの点
の中点である。例えば、図５に示す領域Aと領域Bとが、
対応するメッシュを表す。ここまでの処理は、システム
（３次元画像生成装置）が全て自動で行う。

【０１０５】ステップＳ４では、ユーザが表示部５に表
示された図５に示す結果を画像とともに見ることで、特
に対応するメッシュの交点が正しいかどうかを確認す
る。ユーザがこれでよい（メッシュの交点が正しく対応
している）と判断した場合は、表示部５または入力部８
を介してシステム（３次元画像生成装置）に次の処理
（ステップＳ５）を行うよう指示する。また、修正が必
要な場合は、表示部５の画面上のカーソル等で修正すべ
きメッシュの交点を指示し、正しいと思われる位置に交
点を移動する。この修正の指示が行われた場合は、上記
ステップＳ３に処理を戻す。修正が行われた点の対応点
の位置座標は書き換えられ、上記ステップＳ３では、位
置座標に従って再びメッシュが生成され、元の左右画像
の上に重ね合わせて表示部５に表示される。

【０１０６】ステップＳ５では、それぞれのメッシュに
ついて、メッシュの交点である対応点座標と画像データ
をもとに、メッシュ同士の対応関係を表すモデルを求め
る。図６に、ステップＳ５で行うモデル化のアルゴリズ
ムを示す。

【０１０７】図６のステップＳ５０１では、メッシュの
交点である対応点座標を用いて、モデルパラメータを複
数セット、計算する。ここでは、メッシュ同士の対応関
係を表すモデルとして、双線形関数をベースとした以下
の式（1）に示す形式のモデルを考える。

【０１０８】ｘＲ＝ｋ０＋ｋ１×ｘＬ＋ｋ２×ｙＬ＋ｋ３×ｘＬ×ｙＬ＋ｋ×（ｘＬ-ｘａ）²×（ｙＬ-ｙａ）² ｙＲ＝ｋ４＋ｋ５×ｘＬ＋ｋ６×ｙＬ＋ｋ７×ｘＬ×ｙＬ（1）但し、（xL，yL）、（xR，yR）はそれぞれ左右画像の画
素座標、（xa, ya）は左画像のメッシュ交点の４組の対
応点座標の平均座標を表す。メッシュ交点の４組の対応
点座標を（xL，yL）、（xR，yR）に当てはめ、複数のk
の値に対して、それぞれ対応する複数セットのパラメー
タ｛kO，kl，k2，k3，k4，k5，k6，k7｝を方程式を解い
て求める。

【０１０９】ステップＳ５０２では、左画像のメッシュ
内の各画素に対応する右画像の画素をモデルパラメータ
を用いて求め、その画素値を比較することでモデルの整
合性を評価する。左画像のメッシュ内の各画素位置（x
L，yL）をメッシュ同士の対応関係を表す式（1）に代入
して、それに対応する右画像の画素位置（xR，yR）を計
算し、その画素値をそれぞれの画像データから求める。
そして、その差分絶対値の和を評価値として求める。こ
れを全てのモデルパラメータについて行う。この評価値
は、実質的に左画像のメッシュ画像を、モデルに基づき
右画像の対応するメッシュ画像に変形し、その変形した
画像と右画像との差に相当する値である。

【０１１０】ステップＳ５０３では、上記ステップＳ５
０２で計算した各々の評価値を比較し、その値が最も小
さいモデルをそのメッシュのモデルとして選択し、k及
び｛ko，kl，k2，k3，k4，k5，k6，k7｝をモデルパラメ
ータとして第二記憶部７に記憶しておく。

【０１１１】尚、第１の実施の形態では、メッシュ同士
の対応関係を表すモデルの候補として、上記双線形関数
をベースとしたモデルを採用しているが、別形式のモデ
ルであってもよい。また、それぞれ異なった関数をベー
スにした複数のモデルでパラメータを計算して、評価を
行い、最適なモデルを選択するようにしてもよい。ま
た、左画像のメッシュ画像と右画像のメッシュ画像を、
モデルに基づき中間画像の対応するメッシュに変形し、
その変形した左右画像の差で評価して最適なモデルを選
択するようにしてもよい。

【０１１２】第１の実施の形態では、パラメータkを複
数設定し、他のパラメータを計算することで各メッシュ
に対して複数のモデルを求め、それをもとに左画像を変
形して右画像と一致するようなモデルを選択しているの
で、結果的にメッシュ内の左右画像における画素の対応
分布を表す最適なモデルが得られたことになる。従って
各メッシュ内の画素ごとの対応を例えば輝度勾配から推
定し、その分布をもとにメッシュ内の対応関係を表すモ
デルを求めてもよい。

【０１１３】また、第１の実施の形態では、複数設定す
るパラメータｋを、上記（式１）に示したようにｘＲを
表す式のみに含めるようにしているが、これは、左右入
力画像の視点が撮像面に対して水平方向にずれているた
め、被写体の形状に依存する視差が水平方向に多く反映
されるためである。尚、ｘＲ、ｙＲの両方向成分を表す
式に対して、複数のパラメータを設定してもよい。

【０１１４】以上の処理を各メッシュについて行うこと
により、それぞれのメッシュで左右メッシュ同士の対応
関係を表すモデルが求まる。

【０１１５】上記図２に戻って、ステップＳ６では、メ
ッシュごとに中間画像を生成するためのパラメータを取
得する。ここでは、左右画像の丁度中点にあたる視点位
置での画像の生成を前提とする。この場合、中間画像を
生成するためのパラメータは、上記ステップＳ５で求め
たモデルパラメータの丁度1／2の値である。求めるパラ
メータを、｛k’，kO’，kl’，k2’，k3’，k4’，k
5’，k6’，k7’｝とすると、例えば、k’＝k／2，k0’
＝kO／2，kl’＝k1／2となる。

【０１１６】ステップＳ７では、上記ステップＳ６で求
めたパラメータに従い、左画像を変形して中間画像を生
成する。中間画像の生成はフォワードマッピングによ
る。（フォワードマッピングに関しては、Wolberg著、I
EEE Computer Socicty Press，”Digital Image Warpin
g”，pp．42-44参照）。フォワードマッピングは、左画
像の各画素に対して、その画素が属するメッシュの中間
画像生成パラメータを用いて、以下の（式2）の座標変
換による手法である。

【０１１７】ｘＭ＝ｋ０’＋ｋ１’×ｘＬ＋ｋ２’×ｙＬ＋ｋ３’×ｘＬ×ｙＬ＋ｋ’× （ｘＬ-ｘａ）²×（ｙＬ-ｙａ）² ｙＲ＝ｋ４’＋ｋ５’×ｘＬ＋ｋ６’×ｙＬ＋ｋ７’×ｘＬ×ｙＬ式（2）但し、（xM，yM）は中間画像の画素座標、（xa，ya）は
左画像のメッシュ交点の４組の対応点座標の平均座標を
表す。

【０１１８】ここでは、左画像を変形して中間画像を生
成したが、右画像を変形して中間画像を生成することも
できる。また、左右それぞれの画像を変形してブレンド
することにより、中間画像を生成することもできる。ま
た、左右画像の丁度中点にあたる位置以外の視点位置で
の、中間画像を生成することもできる。また、中間的な
位置での画像だけでなく、視点の外挿を含めた任意視点
位置での画像を生成するようにしてもよい。

【０１１９】ステップＳ８では、生成した中間画像を表
示部５に表示する。

【０１２０】第１の実施の形態では、所定の視点位置に
おける画像を生成し、表示するようにしたが、生成した
結果の画像を記録するようにしてもよい。また、複数の
連続した視点位置での画像を、上記ステップＳ６、上記
ステップＳ７を繰り返すことによって生成し、動画とし
て表示または記録するようにしてもよい。また、生成す
る視点位置やその移動方向を、上記ステップＳ８で表示
された「結果画像」をユーザが見ることで、ユーザが表
示部５の画面上でカーソル等によって指示し、その指示
に従って上記ステップＳ６、上記ステップＳ７、上記ス
テップＳ８を繰り返して、インタラクティブに表示して
もよい。

【０１２１】また、第１の実施の形態で生成した画像を
含めた複数の画像を用いて、例えばテレビジョン学会誌
Vol．45，No．4，pp．446-452に記載されている液晶シ
ャッタ眼鏡を用いた時分割式の表示装置や、多眼式レン
チキュラ式の表示装置に出力することで、立体画像を観
察できるようにしてもよい。

【０１２２】また、第１の実施の形態のシステム（３次
元画像生成装置）における図２の３次元画像生成方法
を、モデル部（ステップＳ１、ステップＳ２、ステップ
Ｓ３、ステップＳ４、ステップＳ５）と、再生部（ステ
ップＳ６、ステップＳ７、ステップＳ８）に分けて、モ
デル部における出力であるメッシュ及び各メッシュのモ
デルパラメータを一旦記録しておき、再生部において画
像データとともに読み出して、画像を生成するようにし
てもよい。このような構成にすることにより、一度モデ
ル化を行えば、再度モデル化しなくとも再生は随時行う
ことができる。

【０１２３】また、第１の実施の形態のシステム（３次
元画像生成装置）を通信回線を介して離れた場所に設置
した場合でも、受け手側に画像データ及びモデル部の出
カパラメータのみ送信すれば、受け手側において再生部
のみの構成で撮影した画像以外の新しい視点での画像を
観察することができる。

【０１２４】以上説明したように、本発明の第１の実施
の形態によれば、同一被写体の複数の視点からの画像を
取得し、複数の画像間で対応点（画像間で同一な被写体
部分を点対点の対応として表した点）を抽出し、対応点
抽出の結果に基づき任意の視点の画像を生成する３次元
画像生成方法において、対応点抽出の結果に基づき画像
を部分領域に分割し、対応する部分領域同士の対応関係
を表す最適なモデルを求め、そのモデルに基づきそれぞ
れの部分領域を変形して任意の視点の画像を生成するよ
うにしたので、画像間で比較的少ない対応点しか得られ
ない場合においても、より高画質の画像を生成すること
ができる。即ち、２つの視点から撮影した画像から自動
的に、或いは、２つの視点から撮影した画像に修正を加
えることで、新たな別の視点から見た画像を生成するこ
とができる。

【０１２５】また、新しい視点の画像を生成する際に、
全画素において対応を必要としないので、処理時間を大
幅に短縮することができる。

【０１２６】また、部分領域同士の対応関係を表す複数
のモデル候補の整合性を画像変形結果に基づき評価し、
最適なモデルを求めるようにしたので、生成する画像の
画質を確実に向上することができる。

【０１２７】また、複数の画像間での対応点抽出の結果
に基づき分割される画像の部分領域と、対応する部分領
域同士の対応関係を表すモデルを一旦記憶しておき、画
像の部分領域とモデルとを入力して、そのデータをもと
に画像を変形して３次元画像を生成し、表示するように
したので、被写体画像のモデル化は一度行えばよいこと
になる。

【０１２８】また、ステレオ画像から対応点を抽出し、
対応点抽出の結果に基づき任意の視点の画像を生成する
３次元画像生成方法において、対応点抽出の結果に基づ
き画像を部分領域に分割し、対応する部分領域同士の対
応関係を表す最適なモデルを求めて、そのモデルに基づ
きそれぞれの部分領域を変形して連続した視点の画像を
順次生成し、自動的に動画像を生成するようにしたの
で、ステレオ画像から３次元動画像を自動的に得ること
ができる。

【０１２９】［第２の実施の形態］本発明の第２の実施
の形態では、被写体の回りをより多くの視点（例えば３
つ以上）から撮影した画像に基づき中間画像を生成し表
示する方法について説明する。撮影は、被写体を中心に
水平方向に同心円上にデジタルカメラを移動して所定の
間隔で行う。

【０１３０】本発明の第２の実施の形態に係る３次元画
像生成装置は、上記第１の実施の形態と同様に、取込部
３、画像処理部４、表示部５、第一記憶部６、第二記憶
部７、入力部８、制御部９を備えている（上記図１参
照）。各部の構成は上記第１の実施の形態で詳述したの
で説明を省略する。

【０１３１】図７及び図８は本発明の第２の実施の形態
に係る３次元画像生成装置で実行される３次元画像生成
方法のアルゴリズムを示すフローチャートである。本フ
ローチャートは３次元画像生成装置の制御部９の制御に
基づき実行されるものであり、被写体部分切り出し〜中
間画像の生成等の処理は画像処理部４により行われ、表
示制御処理は制御部９により行われる。

【０１３２】ステップＳ１１では、デジタルカメラ１、
２で撮影された画像データを、３次元画像生成装置の取
込部（インタフェース）３を介して装置内に取り込む。

【０１３３】ステップＳ１２では、画像中の被写体領域
（被写体部分）を切り出す。被写体を中心にデジタルカ
メラ１、２を移動して撮影を行った場合、背景領域が画
像中で大きく移動する可能性があり、隣り合った画像間
で元々重なり合った画像が得られないため、予め被写体
領域を切り出して背景領域の画像を除去しておく。この
処理を全ての画像について行う。

【０１３４】以下、ステップＳ１３からステップＳ１８
の処理を、上記取り込んだ画像から隣り合った２つの画
像に対して順次適用していく。

【０１３５】ステップＳ１３では、隣り合った２つの画
像間での画像歪みを補正する。被写体を中心にデジタル
カメラ１、２を移動して撮影を行うと、２つの画像の撮
像面は平行にならず、ある程度の輻輳角を持つため、２
つの画像間で被写体画像はキーストーン歪みを持つ。こ
のため、被写体の同じ部分の形状が異なって撮影され
る。撮影時のデジタルカメラ１、２の回転角と焦点距離
から、２つの画像の撮像面を平行に配置した時に得られ
る画像となるよう、一方の画像を垂直方向を軸に回転変
換し、歪み補正画像を得る。ここでは、一方の画像のみ
歪み補正を行うようにしているが、それぞれの画像で２
つの画像の撮像面を平行に配置した時に得られる画像と
なるよう、歪み補正を行ってもよい。

【０１３６】ステップＳ１４では、歪み補正を行った画
像間で対応点を抽出する。この処理は、上記第１の実施
の形態のステップＳ２の処理と同様の処理である。但
し、第２の実施の形態では、上記ステップＳ１２の処理
で被写体領域を予め切り出しているので、被写体領域内
でのみ対応点を抽出するようにしてもよい。

【０１３７】ステップＳ１５では、抽出した対応点の位
置座標を、上記ステップＳ１３で歪み補正を行った時の
回転角をもとに、画像の歪み補正を行う前の元の座標系
に変換する。

【０１３８】ステップＳ１６では、対応点の位置座標を
もとに２次元のメッシュを生成し、歪み補正を行う前の
２つの画像に重ね合わせて表示部５に表示する。

【０１３９】ステップＳ１７では、ユーザが対応するメ
ッシュの交点が正しいかどうかを表示部５の表示を見る
ことで確認し、これでよいと判断した場合は、表示部５
または入力部８を介してシステム（３次元画像生成装
置）に対し次の処理を行うよう指示する。また、ユーザ
により修正の指示が行われた場合は、上記ステップＳ１
６に処理を戻す。

【０１４０】尚、上記ステップＳ１６、上記ステップＳ
１７の処理は、それぞれ上記第１の実施の形態の上記ス
テップＳ３、上記ステップＳ４の処理と同様の処理であ
る。

【０１４１】ステップＳ１８では、画像間の対応点位置
をもとに、２つの画像の間の被写体位置の左右ずれ量、
倍率関係を推定し、画像変換パラメータとして第二記憶
部７に記憶しておく。

【０１４２】以上のステップＳ１３からステップＳ１８
の処理を、隣り合った２つの画像に対して順次行う。

【０１４３】ステップＳ１９では、上記ステップＳ１８
で求まった全ての２つの画像間の変換パラメータから、
全ての画像における被写体領域の位置及び倍率が一定と
なるよう画像の再配置を行う。画像間の変換パラメータ
から、画像の再配置パラメータを計算し、その画像の再
配置パラメータに従い、全ての画像に対して、画像の上
下左右方向へのシフト、変倍を行う。また同時に、対応
点座標を再配置後の座標系に変換しておく。例えば、撮
影時に被写体を中心に水平方向に同心円上にデジタルカ
メラ１、２を移動する際、多少被写体位置や倍率がずれ
ていても、当該ステップＳ１９の処理を行った後では、
被写体の位置ずれや大きさの変動は最小限に抑えること
ができる。

【０１４４】ステップＳ２０では、隣り合った２つの画
像間でそれぞれのメッシュについて、メッシュの交点で
ある対応点座標と画像データをもとに、メッシュ同士の
対応関係を表すモデルを求める。この処理は、上記第１
の実施の形態のステップＳ５の処理と同様の処理であ
る。但し、第２の実施の形態では、上記ステップＳ１２
の処理で被写体領域を予め切り出しているので、被写体
領域内でのみメッシュ同士の対応関係を表すモデルを求
めるようにしてもよい。この処理を隣り合った２つの画
像に対して順次行う。

【０１４５】ステップＳ２１では、中間画像を生成する
ためのパラメータを取得する。このときのパラメータ
は、基準となる画像の番号、その画像と次の画像とのメ
ッシュ交点の位置座標、メッシュごとのモデルパラメー
タである。例えば、n番目の画像と（n＋1）番目の画像
との画像から丁度中点にあたる視点位置での画像を生成
する場合には、基準となる画像の番号はnで、n番目の画
像と（n＋1）番目の画像とのメッシュ交点の位置座標が
パラメータとなる。また、メッシュごとのモデルパラメ
ータは、上記第１の実施の形態のステップＳ６の処理と
同様にして求める。

【０１４６】ステップＳ２２では、上記ステップＳ２１
のパラメータに従い、基準画像を変形して中間画像を生
成する。ここで用いる基準画像は、被写体領域のみ切り
出した上記ステップＳ１２の処理の後の画像である。こ
の処理は、上記第１の実施の形態のステップＳ７の処理
と同様の処理である。

【０１４７】ステップＳ２３では、上記ステップＳ２２
で生成した中間画像をシステム（３次元画像生成装置）
の表示部５に表示する。そして、ユーザが表示部５の画
面でその結果を見て、画面上のカーソルにより被写体の
回転方向を指示すると、システムは、その指示された回
転方向に従い所定の移動量だけ視点位置をずらす。この
視点位置のデータが上記ステップＳ２１に再び渡される
と、システムは、新しい視点位置における被写体画像を
生成し、表示する。

【０１４８】第２の実施の形態では、上記ステップＳ２
２において台形歪み補正前の画像を基準画像として変形
を行い、中間画像を生成するようにしたが、台形歪み補
正を行う上記ステップＳ１３の処理の後の画像を基準画
像として、その座標系をベースにしたメッシュ交点の位
置座標及びメッシュごとのモデルパラメータを用いて変
形を行い、更に所定角度分回転変換（丁度中点にあたる
視点位置においては２つの画像間の回転角の1／2）を行
って、中間画像を生成してもよい。

【０１４９】また、第２の実施の形態では、被写体部分
のみ予め切り出した画像で中間画像を生成するようにし
たので、被写体以外の領域では画像が得られないが、本
発明の第２の実施の形態で一旦作成した画像を所望の背
景画像に貼り付けてもよい。

【０１５０】以上説明したように、本発明の第２の実施
の形態によれば、被写体の回りをより多くの視点（例え
ば３つ以上の視点）から撮影した画像から中間画像を生
成し、表示することができる。

【０１５１】尚、上記第１及び第２の実施の形態におい
ては、輝度レベルを表す画像データに対して処理を行っ
たが、カラー画像（例えば、RGB３つのチャンネルを持
つ画像データ）に対して同様の処理を適用することも可
能である。例えば、本発明の第１の実施の形態では、ス
テップＳ１からステップＳ６における対応点や画像生成
のためのパラメータ取得にはGチャンネルの左右画像に
おいて、本発明の第１の実施の形態で説明した処理を行
い、取得したパラメータに従って中間画像の生成をそれ
ぞれの３つのチャンネルで別々に行い、生成した３つの
チャンネルの画像を合成してカラー画像として表示する
ようにすればよい。

【０１５２】また、上記第１及び第２の実施の形態にお
いては、それぞれの画像の被写体部分の明るさや色が多
少異なっていても、中間画像ではその差が日立たない
が、予め被写体部分の明るさや色が一致するように入力
画像を補正しておいてもよい。

【０１５３】尚、上記第１及び第２の実施の形態におけ
る処理方法は、処理プログラムを磁気ディスクや光ディ
スク等の媒体に記録し、汎用のコンピュータシステムに
インストールし、実行することができる。

【０１５４】［第３の実施の形態］本発明の第３の実施
の形態は、カメラで撮影した被写体画像を変形して仮想
的にカメラを移動させることで、被写体を撮影した画像
を生成し、表示するシステムである。

【０１５５】図９は本発明の第３の実施の形態に係る撮
像／表示システムの構成を示すブロック図である。撮像
／表示システムは、被写体画像を取得する画像入力部５
１、被写体画像の視差分布を抽出する視差抽出部５２、
被写体の仮想的な視点での画像を生成し表示する視点変
換画像表示部５３を備えている。

【０１５６】上記構成を詳述すると、画像入力部５１
は、被写体に所定の光パターン（以下パターンと略称）
を投光するパターン投光部６１、被写体の光学像を電気
信号に変換する撮像レンズ、イメージセンサ等により構
成され、パターンが投光された被写体の画像を撮影する
撮像部６２、撮像部６２により出力される被写体像を表
す電気信号からデジタル画像データ（以下、画像データ
と称する）を形成する画像形成部６３、ユーザの操作に
従い画像入力部５１内部の動作を制御するカメラ制御部
６４から構成されている。

【０１５７】視点変換画像表示部５３は、視差分布を用
いて被写体画像に幾何学的変換を行い被写体の画像デー
タを変形することで被写体の仮想的な視点位置での画像
データを生成する画像生成部８１、生成された画像デー
タを表示する表示部８２、ユーザによるコマンドの入力
を受け付け画像生成部８１に伝えるユーザコマンド入力
部８３から構成されている。

【０１５８】次に、本発明の第３の実施の形態に係る撮
像／表示システムにより被写体を撮影して仮想的な視点
での被写体画像を表示するまでの動作を説明する。図１
０にその流れを示す。

【０１５９】撮影が開始されると、先ずステップＳ３１
で、画像入力部５１により被写体の画像が撮影される。
最初に、画像入力部５１の撮像部６２の初期状態におけ
る被写体の光学像について、画像形成部６３を介して被
写体の焦点状態や、明るさ、色調が検出され、最適な光
学像が得られるように、撮像部６２の撮像レンズの焦点
位置、絞り値、シャッタスピード、ホワイトバランスの
制御値が決定される。

【０１６０】そして、上記の初期状態で被写体像が撮像
部６２で取得され、画像形成部６３で被写体の画像デー
タが形成される（以下、このとき撮影された画像データ
を被写体画像と称する）。画像データはRGB３つのチャ
ンネルを持ち、その画素値が各色チャンネルの輝度レベ
ルを表す撮像面の水平方向、垂直方向に相当する２次元
配列のデジタルデータとして形成される。

【０１６１】ステップＳ３２では、被写体にパターンを
重畳した画像が画像入力部５１で撮影される。先ず、パ
ターン投光部６１において、光源からの光が照明レンズ
を介してパターンを照明し、投光レンズにより被写体に
投光される。投光するパターンは、図１１に示すよう
な、格子状にスポットを配置した平面パターンであり、
パターン中心部のスポットは他のスポットと区別するこ
とが可能になっている。図１１における点で示された部
分が、実際には被写体に高輝度部分として投光される。
このようなパターンを、構造化されたパターンと呼ぶ。

【０１６２】第３の実施の形態では、撮像部６２の撮像
面とパターン投光部６１の物体面（パターンの置かれる
面）とを、撮像面の水平方向に沿って平行に配置した。
また、撮像部６２の撮像レンズの視点位置とパターン投
光部６１の投光レンズの視点位置とを、撮像面の水平方
向に沿って平行に配置した。

【０１６３】パターンの投光は、撮像部６２の撮像面に
対向する所定の距離の平面において、撮像面の視野と投
光するパターンの視野とが略一致するように行われる。
従って、撮像レンズの焦点合わせのために変化する撮影
倍率に応じて、投光レンズの倍率も連動して変化するよ
うにカメラ制御部６４により制御される。そして、パタ
ーンが投光された被写体像が撮像部６２で取得され、画
像形成部６３で被写体の画像データが形成される（以
下、このとき撮影された画像データをパターン画像と称
する）。

【０１６４】光源の発光と画像の取得を同期させた状態
で撮像部６２で撮影できるように、カメラ制御部６４が
制御する。このとき、カメラ制御部６４により、カメラ
（画像入力部５１）の撮影パラメータのうち、撮影する
光学像の明るさを決定するための絞り値とシャッタスピ
ードの制御値が暗めに設定変更される。従って、撮影さ
れたパターン画像は、パターンが投光された部分は明る
いが、被写体部分は比較的暗い画像として撮影され、以
下の処理においてパターン画像中のスポット位置の抽出
が容易となる。以上の撮影時における画像入力部５１の
制御はカメラ制御部６４で行われる。

【０１６５】ステップＳ３３では、視差抽出部５２によ
り、画像入力部５１から取得したパターン画像に基づき
被写体の視差分布が抽出される。図１２に視差抽出部５
２で行う処理のアルゴリズムを示す。下記のステップＳ
６０１〜ステップＳ６０７の処理は視差抽出部５２が実
行する。

【０１６６】ステップＳ６０１では、画像入力部５１か
らパターン画像を取得する。

【０１６７】ステップＳ６０２では、パターン画像から
パターン中心点の位置を検出する。パターンの中心部の
スポットは他のスポットと区別できるようになっている
ので、パターン中心部のスポットの画像パターンをテン
プレートとして、パターン画像の中心付近の局所領域を
探索し、相関値の分布を求める。但し、この画像パター
ンは予め視差抽出部５２に記憶されている。そして、相
関値の分布から相関値が最も大きいピーク位置を推定
し、その位置座標をパターン中心点の位置として検出す
る。

【０１６８】ステップＳ６０３では、パターン画像中の
スポット位置を検出する。即ち、パターン画像の画素値
から輝度の高い部分を走査し、検出された部分それぞれ
について、その部分領域の輝度分布から輝度値が最大と
なるピーク位置を推定し、その位置座標をスポット位置
として検出する。

【０１６９】ステップＳ６０４では、上記ステップＳ６
０３で検出されたスポット位置が、パターンのどのスポ
ットに対応するかの同定を行う。視差抽出部５２には、
予め被写体に視差分布がない場合（即ち、被写体形状が
撮像面に対向する平行な平面の場合）の各スポットのパ
ターン中心点との相対位置が記憶されており、検出され
た全てのスポット位置と記憶されているスポット位置と
を照合し、位置関係に矛盾が生じないように対応付けを
行う。

【０１７０】ステップＳ６０５では、上記ステップＳ６
０２で検出されたパターン中心点の位置と上記ステップ
Ｓ６０３で検出されたスポット位置から、それぞれのス
ポットのパターン中心点に対する相対位置を求め、その
相対位置と、そのスポットに対応する予め記憶されてい
る被写体に視差分布がない場合のスポットのパターン中
心点との相対位置との差を視差として算出する。

【０１７１】ステップＳ６０６では、パターン画像中の
スポット位置での視差から、画素ごとの視差を補間によ
って求める。即ち、各画素位置から所定距離以下の画像
領域内に存在する上記ステップＳ６０３で検出されたス
ポットから、水平方向及び垂直方向の視差を画素位置と
スポット位置との距離の２乗の逆数を重みとして、荷重
平均によりそれぞれの方向の視差を計算する。パターン
画像中の全画素位置でこの視差補間を行い、視差マップ
を求める。

【０１７２】ステップＳ６０７では、上記ステップＳ６
０６で求めた視差マップを視点変換画像表示部５３に出
力する。

【０１７３】第３の実施の形態では、視差抽出部５２に
おいて、被写体に視差分布がない場合の各スポットのパ
ターン中心点との相対位置を予め記憶しておき、それに
基づき視差を求めるようにしているが、被写体画像を撮
影する前に平面にパターンを投光した画像を撮影し、そ
の画像からスポット位置を検出するようなキャリブレー
ションを行うようにしてもよい。

【０１７４】上記図１０に戻って、ステップＳ３４で
は、画像生成部８１により、画像生成パラメータを設定
する。画像生成パラメータは、被写体画像の各画素の移
動量の程度を表すものであり、その移動量は視差マップ
を比例倍したものである。即ち、画像生成パラメータ
は、視差マップの比例定数である。

【０１７５】第３の実施の形態では、初期状態で被写体
画像をそのまま表示するようにしている。従って、画像
生成パラメータの初期値は０である。画像生成パラメー
タの値が１の時には、被写体画像が投光レンズの視点位
置で撮影された仮想的な視点変換画像が得られるように
なる。

【０１７６】ステップＳ３５では、上記ステップＳ３４
で画像生成部８１により設定した画像生成パラメータ
と、上記ステップＳ６０６で視差抽出部５２で求めた視
差マップに従い、画像生成部８１により、被写体画像を
変形して視点変換画像を生成する。視点変換画像の生成
はフォワードマッピングによる。（フォワードマッピン
グに関しては、Wolberg著，IEEE Computer Society Pre
ss，”Digital Image Warping”，pp．42-44参照）。フ
ォワードマッピングは、被写体画像の各画素を視差マッ
プのその画素に対応する視差に、画像生成パラメータを
乗算した分だけずらした位置にマッピングするように行
う。

【０１７７】ステップＳ３６では、上記ステップＳ３５
で生成された視点変換画像を表示部８２に表示する。

【０１７８】ステップＳ３７では、ユーザコマンド入力
部８３により、ユーザコマンドの入力を受け付ける。本
発明の第３の実施の形態では、ユーザコマンド入力部８
３においては、ユーザが表示部８２に表示された画像を
見て仮想的な視点位置を水平方向に移動する操作を行え
るようになっており、視点を左右どちらの方向に移動す
るかをユーザからコマンドとして受け付ける。この時、
ユーザコマンド入力部８３では、同時に表示部８２の表
示を終了するかどうかも受け付け、ユーザが表示を終了
する旨を指示した場合には、処理を終了する。

【０１７９】上記ステップＳ３７でユーザにより視点の
左右移動が指示された場合には、ステップＳ３４に処理
を移す。ステップＳ３４では、ユーザによる視点移動の
指示に従い、画像生成部８１により、所定の量だけ画像
生成パラメータを変化させる。上記ステップＳ３４から
上記ステップＳ３７の処理を繰り返すことで、ユーザは
インタラクティブに仮想的な視点位置での被写体画像を
観察することができる。

【０１８０】第３の実施の形態では、水平方向の視点の
移動のみ操作できるようにしたが、水平方向及び垂直両
方向の移動を行えるようにしてもよい。この場合、上記
ステップＳ３５において、垂直方向の画素の移動量が、
各画素の水平方向の視差に垂直方向の視点移動量を乗算
した量の定数倍になるようにマッピングを行う。これ
は、本システムを画像入力部５１のパターン投光部６１
の投光レンズの視点と撮像部６２の撮像レンズの視点と
を、撮像面の水平方向に沿って平行に配置するように構
成しているため、水平方向の視差が被写体の表面形状の
分布を反映しているためである。

【０１８１】また、第３の実施の形態では、被写体画像
を変形して仮想的な視点の画像を生成するようにした
が、パターン画像を変形して仮想的な視点の画像を生成
するようにしてもよい。この場合、撮影は上記ステップ
Ｓ３２でのパターン画像についてのみ行う。但し、パタ
ーン画像を画像生成に使うので、パターン画像を最適な
光学像として取得できるようにカメラの制御値を設定し
た方がよい。また、パターン画像中のスポット部には被
写体の画像が得られないので、画像の被写体部分の回り
の画素値から補間によって求めるようにする。

【０１８２】また、第３の実施の形態では、仮想的な視
点位置における画像を生成し、表示するようにしたが、
生成した結果の画像を記録するようにしてもよい。

【０１８３】また、第３の実施の形態では、ユーザの指
示により視点を移動するようにしたが、予め定められた
視点の軌道に従い、複数の連続した視点位置での画像を
生成し、動画として表示または記録するようにしてもよ
い。

【０１８４】また、第３の実施の形態で生成した画像を
含めた複数の画像を、例えばテレビジョン学会誌Vol．4
5，No．4，pp．446−452に記載されている液晶シャッタ
眼鏡を用いた時分割式の表示装置や、多眼式レンチキュ
ラ式の表示装置に出力することで、立体画像を観察でき
るようにしてもよい。

【０１８５】また、第３の実施の形態では、画像入力部
５１のパターン投光部６１の投光レンズの視点と撮像部
６２の撮像レンズの視点とを、撮像面の水平方向に沿っ
て平行に配置するように構成したが、被写体にパターン
を投光してパターン画像を取得することができれば、特
に光学系の配置を限定するものではない。但し、画像入
力部５１のパターン投光部６１の投光レンズの視点と撮
像部６２の撮像レンズの視点とを、撮像面の水平方向に
沿って平行に配置するように構成することによって、仮
想的な視点での画像を、上記ステップＳ３５で示したよ
うな簡単なマッピングによって生成できるという効果が
ある。

【０１８６】また、第３の実施の形態に係るシステムの
うち、画像入力部５１をハードウェアで構成し、視差抽
出部５２と視点変換画像生成部５３の処理を汎用コンピ
ュータのプログラムで行ってもよい。

【０１８７】また、画像入力部５１の撮像部６２、画像
形成部６３、カメラ制御部６４をデジタルカメラで構成
し、パターン投光部６１をデジタルカメラのアダプタと
してデジタルカメラに装着できるようにしてもよい。

【０１８８】更に、パターン投光部６１の一部を図１３
に示すようなアダプタで構成し、デジタルカメラに装着
して使用できるようにしてもよい。図１３中、１１１は
デジタルカメラの一部であるストロボで、ストロボ以外
の部分はアダプタである。１１２はストロボ光によりパ
ターンを照明する照明レンズ、１１３はパターン、１１
４は投光レンズ、１１５、１１６はストロボ光をストロ
ボ開口部からパターン１１３、投光レンズ１１４に導く
ミラーである。

【０１８９】即ち、第３の実施の形態に係るシステム
を、市販のデジタルカメラと汎用コンピュータにより構
成することが可能である。

【０１９０】以上説明したように、本発明の第３の実施
の形態によれば、所定の光パターンを投光するパターン
投光部６１と、光パターンが投光された被写体の画像を
撮影する撮像部６２と、光パターンが投光された被写体
の画像を用いて被写体の視差分布を抽出する視差抽出部
５２と、視差分布を用いて被写体画像に幾何学的変換を
行って被写体の仮想的な視点位置での画像を生成する画
像生成部８１とを備えているため、被写体の視差分布の
抽出を簡単な処理で確実に行うことができ、被写体の撮
影時の視点以外での画像を簡単な処理で確実に生成する
ことができる。

【０１９１】また、撮像部６２は被写体のみの画像及び
光パターンが投光された被写体の画像を撮影し、画像生
成部８１は被写体のみの画像に幾何学的変換を行って被
写体の仮想的な視点位置での画像を生成するようにした
ので、画質のよい被写体画像をもとに被写体の仮想的な
視点位置での画像を生成することができ、その画質を向
上することができる。

【０１９２】また、画像生成部８１によって生成した画
像を表示する表示部８２と、仮想的な視点位置を制御可
能なユーザコマンド入力部８３とを備え、ユーザコマン
ド入力部８３からの入力に応じて、インタラクティブに
被写体の仮想的な視点位置での画像を生成し、表示する
ようにしたので、生成する被写体画像の視点位置をイン
タラクティブに移動し、被写体画像を観察することがで
きる。

【０１９３】また、パターン投光部６１を、カメラのス
トロボ光により所定の光パターンを被写体に投光するカ
メラに着脱可能なアダプタで構成したので、市販のデジ
タルカメラ等を利用することにより、簡単な構成で被写
体の撮影時の視点以外での画像を生成することができ
る。

【０１９４】［第４の実施の形態］本発明の第４の実施
の形態は、被写体を左右２つの撮像系で撮影し、撮影で
得た２つの画像から仮想的な視点での画像を生成し、表
示するシステムである。

【０１９５】図１４は本発明の第４の実施の形態に係る
撮像／表示システムの構成を示すブロック図である。撮
像／表示システムは、被写体画像を取得する画像入力部
２０１、被写体画像の視差分布を抽出する視差抽出部２
０２、被写体の仮想的な視点での画像を生成し表示する
視点変換画像表示部２０３を備えている。第４の実施の
形態において上記第３の実施の形態と同名の構成要素は
同等の機能を有する。

【０１９６】上記構成を詳述すると、画像入力部２０１
は、被写体に所定の光パターン（以下パターンと略称）
を投光するパターン投光部２１１、被写体の光学像を電
気信号に変換する撮像レンズ、イメージセンサ等により
構成され、パターンが投光された被写体の画像を撮影す
る左右の撮像部２１２Ｌ、２１２Ｒ、左右の撮像部２１
２Ｌ、２１２Ｒにより出力される被写体像を表す電気信
号からデジタル画像データ（以下、画像データと称す
る）を形成する画像形成部２１３、ユーザの操作に従い
画像入力部２０１内部の動作を制御するカメラ制御部２
１４から構成されている。

【０１９７】第４の実施の形態では、左右の撮像部２１
２Ｌ、２１２Ｒを同じ構成要素で構成するようにしてい
る。また、左右の撮像部２１２Ｌ、２１２Ｒの撮像レン
ズの視点位置とパターン投光部２１１の投光レンズの視
点位置とを、撮像面の水平方向に沿って平行になるよう
に、また、投光レンズの視点位置が左右の撮像部２１２
Ｌ、２１２Ｒの撮影レンズの視点位置の中点位置になる
よう配置している。

【０１９８】視点変換画像表示部２０３は、視差分布を
用いて被写体画像に幾何学的変換を行い被写体の画像デ
ータを変形することで仮想的な視点での画像データを生
成する画像生成部２３１、生成された画像データを表示
する表示部２３２、ユーザによるコマンドの入力を受け
付け画像生成部２３１に伝えるユーザコマンド入力部２
３３から構成されている。

【０１９９】次に、本発明の第４の実施の形態におい
て、被写体を撮影して仮想的な視点での被写体画像を表
示するまでの動作を説明する。第４の実施の形態におけ
る動作の流れは、上記第３の実施の形態の図１０に示し
たものと同様である。

【０２００】撮影が開始されると、先ずステップＳ３１
で、被写体の画像が撮影される。最初に左撮像部２１２
Ｌの初期状態における被写体の光学像について、画像形
成部２１３を介して被写体の焦点状態や、明るさ、色調
が検出され、最適な光学像が得られるように左撮像部２
１２Ｌの撮像レンズの焦点位置、絞り値、シャッタスピ
ード、ホワイトバランスの制御値が決定される。

【０２０１】そして、上記の初期状態で被写体像が左撮
像部２１２Ｌで取得され、画像形成部２１３で被写体の
左画像データが形成される。同時に同じ制御値により、
被写体像が右撮像部２１２Ｒで取得され、画像形成部２
１３で被写体の右画像データが形成される。

【０２０２】ステップＳ３２では、被写体にパターンを
重畳した画像が撮影される。先ず、光源からの光が照明
レンズを介してパターンを照明し、投光レンズにより被
写体に投光される。そして、パターンが投光された被写
体像が左右の撮像部２１２Ｌ、２１２Ｒで取得され、画
像形成部２１３で被写体の左右のパターン画像データが
形成される。

【０２０３】ステップＳ３３では、視差抽出部２０２に
より、画像入力部２０１で取得したパターン画像から被
写体の視差分布が抽出される。視差抽出部２０２で行う
処理のアルゴリズムは、上記第３の実施の形態の図１２
に示したものと同様である。下記のステップＳ６０１〜
ステップＳ６０７の処理は視差抽出部５２が実行する。

【０２０４】ステップＳ６０１では、画像入力部２０１
から左右のパターン画像を取得する。

【０２０５】ステップＳ６０２では、左右のパターン画
像からそれぞれパターン中心点の位置を検出する。

【０２０６】ステップＳ６０３では、左右のパターン画
像中のスポット位置を検出する。

【０２０７】ステップＳ６０４では、上記ステップＳ６
０３で検出されたスポット位置が、左右パターンのどの
スポットに対応するかの同定を行う。検出された全ての
スポット位置を左右で照合し、位置関係に矛盾が生じな
いように対応付けを行う。

【０２０８】ステップＳ６０５では、上記ステップＳ６
０２で検出された左右パターン中心点の位置と、上記ス
テップＳ６０３で検出された左右のスポット位置から、
それぞれのスポットのパターン中心点に対する相対位置
を左右で求め、左右スポット位置の相対位置の差を視差
として算出する。

【０２０９】ステップＳ６０６では、上記ステップＳ６
０５で求めた各スポット位置での視差から、画素ごとの
視差を補間によって求める。先ず、左画像の各画素位置
から所定距離以下の画像領域内に存在する、上記ステッ
プＳ６０３で検出された左パターン画像のスポットか
ら、水平方向及び垂直方向の視差を画素位置とスポット
位置との距離の２乗の逆数を重みとして、荷重平均によ
りそれぞれの方向の視差を計算する。パターン画像中の
全画素位置でこの視差補間を行い、視差マップを求め
る。同様に、右画像の各画素位置での視差マップも求め
る。但し、この時、補間に用いるスポット位置の視差
は、左画像で視差を求めたスポット位置の視差とは逆符
号の値を用いる。

【０２１０】ステップＳ６０７では、上記ステップＳ６
０６で求めた左右の視差マップを視点変換画像表示部２
０３に出力する。

【０２１１】上記図１０に戻って、ステップＳ３４で
は、画像生成部２３１により、画像生成パラメータを設
定する。画像生成パラメータの初期値は０である。画像
生成パラメータの値が０の時には左画像データが、画像
生成パラメータの値が１の時には右画像データが、その
まま得られるように、以下の処理で画像が生成される。

【０２１２】ステップＳ３５では、上記ステップＳ３４
で画像生成部２３１により設定した画像生成パラメータ
と、上記ステップＳ６０６で視差抽出部２０２により求
めた視差マップに従い、画像生成部２３１により、左右
被写体画像を変形して視点変換画像を生成する。左画像
データからの視点変換画像は、左被写体画像の各画素
を、視差マップのその画素に対応する視差に画像生成パ
ラメータを乗算した分だけずらした位置にマッピングす
るように行う。また、右画像データからの視点変換画像
は、右被写体画像の各画素を、視差マップのその画素に
対応する視差に画像生成パラメータの１からの差を乗算
した分だけずらした位置にマッピングするように行う。

【０２１３】そして、画像生成部２３１により、左右の
視点変換画像を、画像生成パラメータの１からの差と画
像生成パラメータの値との比率でプレンドして、視点変
換画像を生成する。但し、仮想視点の位置が左撮像部２
１２Ｌの視点より左側の場合は、左視点変換画像をその
まま視点変換画像とする。同様に、仮想視点の位置が右
撮像部２１２Ｒの視点より右側の場合は、右視点変換画
像をそのまま視点変換画像とする。

【０２１４】ステップＳ３６では、画像生成部２３１で
生成された視点変換画像を表示部２３２に表示する。

【０２１５】ステップＳ３７では、ユーザコマンド入力
部２３３からのユーザコマンドの入力を受け付ける。こ
の時、同時に表示部２３２の表示を終了するかどうかも
受け付け、ユーザがユーザコマンド入力部２３３を介し
て表示を終了すると指示した場合には、処理を終了す
る。

【０２１６】上記ステップＳ３７でユーザにより視点の
左右移動が指示された場合には、ステップＳ３４に処理
を移す。ステップＳ３４では、ユーザによる視点移動の
指示に従い、画像生成部２３１により、所定の量だけ画
像生成パラメータを変化させる。上記ステップＳ３４か
ら上記ステップＳ３７の処理を繰り返すことで、ユーザ
はインタラクティブに仮想的な視点位置での被写体画像
を観察することができる。

【０２１７】以上説明したように、本発明の第４の実施
の形態によれば、２つの離れた視点で得られる被写体画
像から仮想的な視点の画像を生成するようにしたので、
上記第３の実施の形態のように１つの視点で得られる被
写体画像では隠蔽される被写体領域も表示することがで
きる。また、第４の実施の形態を拡張することで、３つ
以上の複数の視点からの被写体画像から仮想的な視点の
画像を生成するようにしてもよい。

【０２１８】尚、上記第３及び第４の実施の形態におけ
る視差抽出部の処理、視点変換画像表示部の処理は、処
理プログラムとして磁気ディスクや光ディスク等の媒体
に記録し、汎用のコンピュータシステムにインストール
し、実行することができる。

【０２１９】［第５の実施の形態］本発明の第５の実施
の形態は、デジタルカメラに立体写真アダプタを装着し
て被写体を撮影し、時分割シャッタ眼鏡方式により立体
画像表示を行う立体画像撮影／表示システムである。

【０２２０】図１７は本発明の第５の実施の形態に係る
立体画像撮影／表示システムの構成を示す概略図であ
る。立体画像撮影／表示システムは、立体写真アダプタ
４５２、デジタルカメラ４５３、記録メディア４５４、
汎用のコンピュータ４５５、ディスプレイ４５６、同期
信号発生器４５７、液晶シャッタ眼鏡４５８を備えてい
る。

【０２２１】上記構成を詳述すると、立体写真アダプタ
４５２は、デジタルカメラ４５３に着脱自在に装着され
る。デジタルカメラ４５３は、立体写真アダプタ４５２
を介して被写体４５１を撮影することにより、水平方向
に視差を持つ被写体の立体画像を撮影する。記録メディ
ア４５４は、デジタルカメラ４５３及びコンピュータ４
５５に着脱自在に装着可能であり、水平方向に視差を持
つ被写体の立体画像が記録される。ディスプレイ４５６
は、立体画像を表示する。同期信号発生器４５７は、デ
ィスプレイ４５６上に表示されている左右画像のそれぞ
れの表示に同期した同期信号を液晶シャッタ眼鏡４５８
に出力する。液晶シャッタ眼鏡４５８は、観察者４５９
がディスプレイ４５６上に表示されている立体画像を観
察する場合に装着する。

【０２２２】コンピュータ４５５は、記録メディアイン
タフェース４６１、表示制御部４６２、記憶媒体４６
３、制御部４６４を備えている。記録メディアインタフ
ェース４６１は、記録メディア４５４に記憶された立体
画像データを制御部４６４へ出力する。表示制御部４６
２は、ディスプレイ４５６に対する立体画像の表示制御
を行う。記憶媒体４６３には、立体画像の処理プログラ
ムが記憶されている。制御部４６４は、記憶媒体４６３
に記憶された立体画像の処理プログラムをオペレーティ
ングシステムを介して実行する。尚、コンピュータ４５
５内の上記各部は必須構成要素を示したものであり、図
示の構成に限定されるものではない。

【０２２３】上記構成において、立体写真アダプタ４５
２をデジタルカメラ４５３に装着して被写体４５１を撮
影すると、水平方向に視差を持つ被写体の立体画像が、
デジタルカメラ４５３に装着されている記録メディア４
５４に記録される。記録メデイア４５４は、上述したよ
うにデジタルカメラ４５３に対し着脱可能であり、記録
メディア４５４を、汎用のコンピュータ４５５に記録メ
ディアインタフェース４６１を介して接続する。

【０２２４】そして、コンピュータ４５５の記憶媒体４
６３に記憶された立体画像の処理プログラムを、オペレ
ーティングシステムを介して制御部４６４で実行するこ
とにより、記録メディア４５４に記録された立体画像を
処理し、コンピュータ４５５に接続されたディスプレイ
４５６に、上記処理された立体画像をコンピュータ４５
５の表示制御部４６２を介して表示する。立体画像の処
理プログラムは、ディスプレイ４５６の所定の位置に、
立体画像の左眼用の画像（左画像）と右眼用の画像（右
画像）を時間をずらして交互に表示するように動作す
る。

【０２２５】また、上記の左右画像のそれぞれの表示に
同期して、同期信号発生器４５７が液晶シャッタ眼鏡４
５８に同期信号を出力する。液晶シャッタ眼鏡４５８
は、同期信号発生器４５７から同期信号を受け、ディス
プレイ４５６に左画像が表示されている時には、液晶シ
ャッタ眼鏡装着者の左眼のみが見え、ディスプレイ４５
６に右画像が表示されている時には、液晶シャッタ眼鏡
装着者の右眼のみが見えるように動作する。従って、観
察者４５９は左画像を左眼のみで、右画像を右眼のみで
見ることで、立体画像を観察することができる。

【０２２６】図１６は本発明の第５の実施の形態に係る
立体写真アダプタの構成を示す概略図である。図中、３
０１は被写体、３５３はデジタルカメラ（図１７の４５
３）、３５２は立体写真アダプタ（図１７の４５２）で
ある。また、３２１はデジタルカメラ３５３の撮影レン
ズ、３２２は撮影面、３３１はプリズム、３３２、３３
３はミラーである。また、Ｏは撮影レンズ３２１のレン
ズ中心（詳しくは入射瞳の中心、視点ともいう）、ｌは
撮影レンズ３２１の光軸、m、nはそれぞれ撮影面３２２
で左眼用画面、右眼用画面の中心を通る光束の主光線で
ある。

【０２２７】図１６に示すように、立体写真アダプタ３
５２の構成は撮影レンズ３２１の光軸1を中心に左右対
称である。図１６において、左眼用の被写体像はミラー
３３２、プリズム３３１で反射し、撮影レンズ３２１を
通って撮影面３２２の右半分の領域に達する。同様に、
右眼用の被写体像はミラー３３３、プリズム３３１で反
射し、撮影レンズ３２１を通って撮影面３２２の左半分
の領域に達する。このような仕組みにより、撮影面３２
２に左眼用、右眼用の画像を撮影することができる。

【０２２８】本発明の第５の実施の形態の特徴は立体画
像の処理プログラムにあり、以下、そのアルゴリズムを
説明する。図１５に本発明の第５の実施の形態に係る立
体画像の処理プログラムのアルゴリズムを示す。立体画
像の処理プログラムは、コンピュータ４５５の制御部４
６４の制御によりオペレーティングシステムを介して実
行される。

【０２２９】立体画像の処理プログラムが実行される
と、先ず、ユーザが立体画像データのファイル名をコン
ピュータ４５５のキーボード等の入力デバイス（図示
略）から入力する。これに伴い、コンピュータ４５５に
挿入された記録メディア４５４に記憶されている立体画
像データが、記憶メディアインタフェース４６１を介し
てコンピュータ４５５のシステムメモリ（図示略）に読
み込まれる（ステップＳ４１）。立体画像データは、通
常、コンピュータで扱う画像データと同様の形式のデー
タであり、例えば、RGB各色チャンネル毎に縦横２次元
のデータ配列と画像データの情報を表すヘッダからなる
ビットマップデータである。次に、立体画像データから
左右画像データが生成される（ステップＳ４２）。

【０２３０】図１８に左右画像データ生成のアルゴリズ
ムを示す。先ず、上記ステップＳ４１で読み込んだ立体
画像データを左右画像データに分割する（ステップＳ５
１）。例えば、立体画像データが水平垂直M×Nの２次元
配列をなす画像データの場合、画像中心を通る垂直ライ
ンを境界として、それぞれ水平垂直M／2×Nの画像デー
タに分割する。

【０２３１】次に、左右それぞれの画像データの台形歪
みを補正する（ステップＳ５２）。即ち、撮影した画像
の視野角を表すデジタルカメラの撮影レンズの焦点距離
と、左右それぞれの画像の輻輳角を含む撮影パラメータ
を用いて、それぞれの画像データの画面中心を中心とし
て、台形歪み補正後の仮想的な撮影面が互いに平行にな
るように、同じ角度だけ反対方向に台形歪み補正を行
う。デジタルカメラの撮影パラメータは、ユーザにより
キーボード等の入カデバイスから入力するようにしても
よいし、予めプログラム内に記憶しておいてもよい。そ
して、それぞれ補正された左右画像データから、画像デ
ータとして有効な領域から矩形領域を切り出し、左右画
像データとする（ステップＳ５３）。

【０２３２】上記図１５に戻り、次に、左右画像データ
から画像シーケンスを生成する（ステップＳ４３）。こ
こで、生成する画像に関してのデジタルカメラの位置及
び方向を図１９に示す。図１９に示す点と矢印がデジタ
ルカメラの位置及び方向を示し、v10、v20はそれぞれ左
画像、右画像のカメラの視点位置とその方向を表す。上
記ステップＳ４２で生成された左右画像は、図１９に示
すように、画像の水平方向にBだけ視点位置が離れた、
光軸方向が互いに平行な２つの画像である。

【０２３３】また、v5、v6、・・・、v9、v11、v12、・
・・、v19、v21、v22、・・・、v25は、上記ステップＳ
４３で生成する画像シーケンスについて、仮想的なカメ
ラの位置及び方向を表す。そして、上記ステップＳ４３
では、左右画像を含んだ画像シーケンスv5、v6、・・
・、v25を出力する。隣り合った画像間の視点間距離△
は、左右画像の視点間距離Bを等分割したものであり、
第５の実施の形態では、△＝B／10である。上記ステッ
プＳ４３では、左右画像から仮想視点画像の生成を順次
行う（仮想視点画像の生成の方法については後述す
る）。

【０２３４】次に、立体画像として表示する左右画像シ
ーケンスの設定を行う（ステップＳ４４）。第５の実施
の形態では、ディスプレイ４５６に立体画像として表示
する左右画像の視点間距離を２△とし、最初に表示する
左右画像をそれぞれv10、v12に設定する。そして、左画
像シーケンスとしてv5、v6、・・・、v23、右画像シー
ケンスとしてv7、v8、・・・、v25を設定し、表示時に
必ず視点間距離が２△となるようにする。また、表示す
る画像の視点移動の初期方向を右方向に設定する。

【０２３５】次に、ディスプレイ４５６に左右画像デー
タの立体表示を行う（ステップＳ４５）。本発明の第５
の実施の形態では、左右画像データを時間をずらして交
互に表示することにより、立体視表示を行う。このと
き、コンピュータ４５５のシステムメモリ（図示略）に
ある左右の画像、即ち、上記ステップＳ４５の出力画像
を一旦ビデオメモリ（図示略）に書き込み、表示制御部
４６２がビデオメモリの２つの画像データを切り替え
て、交互にディスプレイ４５６に表示するようにする。
本発明の第５の実施の形態では、先ず、v10、v12がそれ
ぞれ左右画像データとしてディスプレイ４５６に立体表
示される。

【０２３６】この切替え表示状態の間、ユーザが表示の
終了をコンピュータ４５５の入カデバイスを介して指示
した場合には（ステップＳ４６でＹＥＳ）、立体視表示
を終了する。他方、ユーザによる表示終了の指示がない
場合には（ステップＳ４６でＮＯ）、表示する立体画像
の視点が移動するように、立体画像の更新を行う（ステ
ップＳ４７）。即ち、v10、v12の画像を、立体表示中は
次にその右側の視点であるv11、v13を表示するようにす
る。また、右画像が右端のv25の画像である場合には、
視点の移動方向を左方向に切替え、左右画像としてv2
2、v24をそれぞれ表示するようにする。また、左画像が
左端のv5の画像である場合には、視点の移動方向を右方
向に切替え、左右画像としてv5、v7をそれぞれ表示する
ようにする。

【０２３７】このとき、コンピュータ４５５のシステム
メモリに記憶されている画像シーケンスから更新後の画
像を、一旦ビデオメモリに書き込む。この場合、立体視
表示も同時に行う必要があるので、前記画像シーケンス
から更新後の画像を、ビデオメモリ内の立体視表示が行
われている左右画像が記憶されている領域とは別の領域
に書き込むようにする。また、立体視表示の際における
左右画像の切替えが遅くなると、立体感が得られなかっ
たり、観察に不快感を感じたりするので、コンピュータ
４５５のシステムメモリからビデオメモリヘの書き込み
は、画像を所定の小領域ごとに分割して行い、小領域の
書き込み毎に左右画像の切替えを行うようにする。そし
て、コンピュータ４５５のシステムメモリからビデオメ
モリヘの書き込み終了後、左右画像の切替え表示は、ビ
デオメモリ内に新たに書き込んだ左右画像で行うように
変更する。以上の処理で、円滑に視点移動立体視表示を
行うことができる。

【０２３８】ここで、上記ステップＳ４３で処理され
る、左右画像から仮想視点画像の生成を行う方法につい
て説明する。そのアルゴリズムを図２０に示す。

【０２３９】ステップＳ６１では、左右画像間で同一な
被写体部分を点対点の対応として表す対応点を抽出す
る。先ず、左画像を所定の分割数で縦横方向にブロック
分割する。次に、左画像における分割された各ブロック
から特徴点を抽出し、抽出された特徴点に対応する右画
像中の点を抽出するために、左画像の抽出された特徴点
を中心とした所定のサイズの部分領域をテンプレートと
して切り出し、右画像中の対応点を探索するための所定
の領域における画素を中心として、テンプレートと同一
のサイズの画像領域との相関値を求める。そして、２次
元の相関分布から相関値のピークの位置を求め、右画像
中の対応点の位置として抽出する。

【０２４０】次に、ステップＳ６２では、対応点の位置
座標をもとに２次元のメッシュ（以下メッシュと略称）
を生成し、元の左右画像の上に重ね合わせて表示する。
メッシュの交点として、上記ステップＳ６１の処理に基
づく出力である対応点の位置座標を用いる。

【０２４１】ここまでの処理の内容を上記図４と上記図
５を用いて説明する。図４における左側の図は左画像を
表したものであり、図中の破線によって区切られた領域
が分割されたブロックを示す。この図では左画像を4×4
のブロックに分けた例を示す。また、図中の点は各ブロ
ック毎に抽出された特徴点を示す。図４における右側の
図は右画像を表したものであり、図中の点は上記ステッ
プＳ６１で抽出された右画像中の対応点を示す。例えば
図中の点bは、処理によって点aと対応付けられた点であ
る。

【０２４２】図５における左側の図は左画像を表したも
のであり、図中の破線及び点は図４における左側の図の
破線及び点と同じ破線及び点である。上記ステップＳ４
３では、図５に示すように左画像中で抽出された特徴点
を交点としてメッシュが生成され、このメッシュが左画
像の上に重ね合わされて表示される。ここで、メッシュ
の端点は画像境界部の各ブロックのコーナーの点の中点
である。

【０２４３】同様に、図５における右側の図は右画像を
表したものであり、図中の点は図４における右側の図の
点と同じ点である。上記ステップＳ６２では、図５に示
すように、上記ステップＳ６１で抽出された対応点を交
点としてメッシュが生成され、このメッシュが右画像の
上に重ね合わされて表示される。同様に、メッシュの端
点は画像境界部の各ブロックのコーナーの点の中点であ
る。例えば、図５に示す領域Aと領域Bとが、対応するメ
ッシュを表す。ここまでの処理はシステムが全て自動で
行う。

【０２４４】ステップＳ６３では、ユーザがディスプレ
イ４５６上で図５に示す結果を画像とともに見て、特に
対応するメッシュの交点が正しいかどうかを確認する。
ユーザがこれでよい（メッシュの交点が正しく対応して
いる）と判断した場合は、ディスプレイ４５６または入
力デバイスを介して、システムに次の処理（ステップＳ
６４）を行うよう指示する。また、修正が必要な場合
は、ディスプレイ４５６上のカーソル等で修正すべきメ
ッシュの交点を指示し、正しいと思われる位置に交点を
移動する。

【０２４５】この修正の指示が行われた場合は、上記ス
テップＳ６２に処理を戻す。修正が行われた点の対応点
の位置座標は書き換えられ、上記ステップＳ６２では、
それに従って、再びメッシュが生成され、元の左右画像
の上に重ね合わせて表示される。

【０２４６】ステップＳ６４では、それぞれのメッシュ
について、メッシュの交点である対応点座標と画像デー
タをもとに、メッシュ同士の対応関係を表すモデルを求
める。先ず、メッシュの交点である対応点座標を用い
て、モデルパラメータを複数セット計算する。ここで
は、メッシュ同士の対応関係を表すモデルとして、双線
形関数をベースとした以下の（式1）に示す形式のモデ
ルを考える。

【０２４７】 xR＝kO十kl×xL ＋k2×yL ＋ k3×xL×yL ＋ k×（xL一xa）² ×（yL一ya）² yR＝k4＋k5×xL ＋ k6×yL ＋k7×xL×yL 式（１）但し、（xL，yL）、（xR，yR）はそれぞれ左右画像の画
素座標、（xa，ya）は左画像のメッシュ交点の4組の対
応点座標の平均座標を表す。

【０２４８】メッシュ交点の４組の対応点座標を（xL，
yL）、（xR，yR）に当てはめ、複数のkの値に対してそ
れぞれ対応する複数セットのパラメータ｛kO，kl，k2，
k3，k4，k5，k6，k7｝を方程式を解いて求める。次に、
左画像のメッシュ内の各画素に対応する右画像の画素を
モデルパラメータを用いて求め、その画素値を比較する
ことで、モデルの整合性を評価する。左画像のメッシュ
内の各画素位置（xL，yL）をメッシュ同士の対応関係を
表す（式1）に代入して、それに対応する右画像の画素
位置（xR，yR）を計算し、その画素値をそれぞれの画像
データから求める。そして、その差分絶対値の和を評価
値として求める。これを全てのモデルパラメータについ
て行う。

【０２４９】この評価値は、実質的に左画像のメッシュ
画像をモデルに基づき右画像の対応するメッシュに変形
し、その変形した画像と右画像との差に相当する。そし
て、各々の評価値を比較し、その値が最も小さいモデル
をそのメッシュのモデルとして選択し、k及び｛kO，k
l，k2，k3，k4，k5，k6，k7｝をモデルパラメータとし
て記憶しておく。以上の処理を各メッシュについて行う
ことにより、それぞれのメッシュで左右メッシュ同士の
対応関係を表すモデルが求まる。

【０２５０】ステップＳ６５では、メッシュ毎に仮想視
点画像を生成するためのパラメータを取得する。例え
ば、カメラの視点位置が左画像からn△（n＝−5、−4、
…、15）離れた仮想視点画像を生成する場合には、パラ
メータは上記ステップＳ３４で求めたモデルパラメータ
のn△／B倍の値となる。従って、求めるパラメータを
｛k’，kO’，kl’，k2’，k3’，k4’，k5’，k6’，k
7’｝とすると、例えば、k’＝n△k／B，kO’＝n△kO／
B，kl＝n△k1／Bとなる。

【０２５１】ステップＳ６６では、上記ステップＳ６５
で取得したパラメータに従い、左画像を変形して仮想視
点画像を生成する。仮想視点画像の生成はフォワードマ
ッピングによる。（フォワードマッピングに関しては、
Wolberg著，IEEE Computer Society Press，”Digital
Image Warping”，pp．42-44参照）。フォワードマッピ
ングは、左画像の各画素に対して、その画素が属するメ
ッシュのパラメータを用いて、以下の（式2）の座標変
換を行うものであり、仮想視点画像を生成する。

【０２５２】 xM ＝ kO’＋kl’×xL ＋k2’×yL ＋k3’×xL×yL ＋ k’×（xL一xa）²× （yL一ya）² yM ＝ k4’＋ k5’×xL ＋k6’× yL ＋k7’×xL×yL 式（2）但し、（xM，yM）は仮想視点画像の画素座標、（xa，y
a）は左画像のメッシュ交点の4組の対応点座標の平均座
標を表す。

【０２５３】以上説明したように、本発明の第５の実施
の形態によれば、同一被写体の複数視点の画像から、所
定軌跡の視点で撮影された一連の左画像と、該一連の左
画像のそれぞれと水平方向に所定位置だけ視点が右側に
移動した一連の右画像を生成し、これら一連の左右画像
を動画像として順次表示し、左右それぞれの眼で独立に
観察するようにしたので、立体画像を処理して、ステレ
オ視差だけでなく動体視差も含めた立体画像表示を行
い、より容易に、リアルな被写体の立体像を観察するこ
とができる。

【０２５４】即ち、デジタルカメラ４５３に立体写真ア
ダプタ４５２を装着して撮影した立体画像から、左右の
画像シーケンスを生成し、それらの画像シーケンスを動
画として順次表示することにより、視点が連続的に移動
する動画立体画像を観察することができる。

【０２５５】［第６の実施の形態］本発明の第６の実施
の形態は、デジタルカメラに立体写真アダプタを装着し
て被写体を撮影し、時分割シャッタ眼鏡方式により立体
画像表示を行う立体画像撮影／表示システムである。

【０２５６】本発明の第６の実施の形態に係る立体画像
撮影／表示システムは、上記第５の実施の形態と同様
に、立体写真アダプタ４５２、デジタルカメラ４５３、
記録メディア４５４、コンピュータ４５５、ディスプレ
イ４５６、同期信号発生器４５７、液晶シャッタ眼鏡４
５８を備えている。更に、コンピュータ４５５は、記録
メディアインタフェース４６１、表示制御部４６２、記
憶媒体４６３、制御部４６４を備えている（上記図１７
参照）。

【０２５７】本発明の第６の実施の形態に係る立体画像
撮影／表示システムの構成は、上記第５の実施の形態と
同様であり、上記で詳述したので説明を省略する。ま
た、第６の実施の形態に係る立体画像の処理方法も、上
記第５の実施の形態の図１５に示した処理方法に準じる
ものであり、以下、立体画像の処理における差異のある
部分について説明する。

【０２５８】図２１に本発明の第６の実施の形態に係る
処理プログラムのアルゴリズムを示す。立体画像の処理
プログラムは、コンピュータ４５５の制御部４６４の制
御によりオペレーティングシステムを介して実行され
る。図２１のステップＳ７１〜Ｓ７２、ステップＳ７５
〜Ｓ７７は、上記図１５のステップＳ４１〜Ｓ４２、ス
テップＳ４５〜Ｓ４７と同等の処理を行うものとする。

【０２５９】立体画像の処理プログラムが実行される
と、先ず、ユーザが立体画像データのファイル名をコン
ピュータ４５５のキーボード等の入力デバイス（図示
略）から入力する。これに伴い、コンピュータ４５５に
挿入された記録メディア４５４に記憶されている立体画
像データが、記憶メディアインタフェース４６１を介し
てコンピュータ４５５のシステムメモリ（図示略）に読
み込まれる（ステップＳ７１）。次に、立体画像データ
から左右画像データを生成する（ステップＳ７２）。次
に、左画像データから左画像シーケンスを生成する（ス
テップＳ７３Ｌ）。また、右画像データから右画像シー
ケンスを生成する（ステップＳ７３Ｒ）。

【０２６０】ここで、上記生成する画像に関して、デジ
タルカメラの位置及び方向を図２２に示す。図２２で実
線は左画像についてのデジタルカメラの軌跡、破線は右
画像についてのカメラの軌跡を表し、vL、vRはそれぞれ
左画像、右画像についてのデジタルカメラの視点位置と
その方向を表す。但し、左画像についてのデジタルカメ
ラの軌跡と右画像についてのデジタルカメラの軌跡は、
同一直線上に存在するが、作図の都合上、分けて示し
た。

【０２６１】また、vL5m、vL4m、・・・、vLlm、vLl、v
L2、・・・、vL5は、上記ステップＳ７３Ｌで生成する
画像についての仮想的なカメラの位置及び方向を表し、
画像シーケンスvL5m、vL4m、・・・、vLlm、vL、vLl、v
L2、・・・、vL5を出力する。また、vR5m、vR4m、・・
・、vRlm、vRl、vR2、・・・、vR5は、上記ステップＳ
７３Ｒで生成する画像についての仮想的なカメラの位置
及び方向を表し、画像シーケンスvR5m、vR4m、・・・、
vRlm、vR、vRl、vR2、・・・、vR5を出力する。

【０２６２】ステップＳ７３Ｌでは、左右画像から左画
像に対する仮想視点画像のモデルパラメータを求め、左
画像を変形して仮想視点画像の生成を順次行い、ステッ
プＳ７３Ｒでは、左右画像から右画像に対する仮想視点
画像のモデルパラメータを求め、右画像を変形して仮想
視点画像の生成を順次行う。

【０２６３】次に、ディスプレイ４５６に左右画像デー
タの立体表示を行う（ステップＳ７５）。この立体表示
の間、ユーザが表示の終了をコンピュータ４５５の入カ
デバイスを介して指示した場合には（ステップＳ７６で
ＹＥＳ）、立体視表示を終了する。また、ユーザによる
表示終了の指示がない場合には（ステップＳ７６でＮ
Ｏ）、表示する立体画像の視点が移動するように、立体
画像の更新を行う（ステップＳ７７）。

【０２６４】以上説明したように、本発明の第６の実施
の形態によれば、左右画像シーケンスを動画として順次
表示することにより、視点が連続的に移動する動画立体
画像を観察することができる。本発明の第６の実施の形
態では、上記第５の実施の形態に比べて、画像シーケン
スの１コマあたりの生成する画像数は多くなるが、隣接
画像との視差移動量△に関係なく、左右画像の視差を任
意に設定することができる。

【０２６５】上記第５及び第６の実施の形態では、デジ
タルカメラに立体写真アダプタを装着して撮影した立体
画像から左右の画像シーケンスを生成するようにしたの
で、２台のカメラを左右に並べて立体画像を撮影する方
法や、１台のカメラを移動して立体画像を撮影する方法
に比べて、撮影の設定が容易であり、１ショットで立体
画像を撮影することができる利点があり、そのようにし
て撮影した立体画像から、コンピュータの処理プログラ
ムにより容易に立体画像を表示することができる。

【０２６６】また、上記第５及び第６の実施の形態にお
ける動体視差の効果は、左右の画像から発生したもので
あるため、実際に撮影位置を変えて撮影した画像に比
べ、特に被写体同士の遮蔽の様子等が多少異なる擬似的
なものではあるが、１ショットで簡単に撮影した画像か
らでも得ることができる。

【０２６７】また、上記第５及び第６の実施の形態にお
いて、被写体の奥行きのレンジが大き過ぎる場合には、
ディスプレイ画面での左右画像の視差が大きくなり、立
体画像の観察が難しくなる。逆に、被写体の奥行きのレ
ンジが小さ過ぎる場合には、ディスプレイ画面での左右
画像の視差が小さくなり、被写体の立体感が乏しくな
る。これらの不都合を解消するために、例えば、上記第
５の実施の形態では、左右視差を２△になるように立体
画像を表示するようにしたが、ディスプレイ画面での立
体感に応じて、画像シーケンス中の左右画像の設定を変
えることで、左右視差を調整できるようにしてもよい。

【０２６８】また、上記第５及び第６の実施の形態で
は、左右画像を時間的に切り替えて表示し、観察者が液
晶シャッタ眼鏡を介して立体画像を観察するシステムに
ついて説明したが、左右画像シーケンスの対応する画像
をストライプ状に分けて並べた画像を生成し、液晶シャ
ッタ眼鏡が不要なパララックスバリア方式の立体表示装
置や、レンチキュラレンズ方式の立体表示装置に表示す
るようにしてもよい。

【０２６９】上記第５及び第６の実施の形態の処理は、
デジタルカメラで撮影した立体画像に限定されるもので
はなく、例えば35mmフィルム方式のカメラに立体写真ア
ダプタを装着して撮影し、現像後のフィルムをスキャナ
でコンピュータに読み込んだ立体画像に対しても適用す
ることができる。

【０２７０】また、上記第５及び第６の実施の形態にお
いては、カメラで撮影された立体画像の処理をコンピュ
ータのプログラムで行うようにしたが、同等の処理を専
用のハードウェアで行ってもよい。

【０２７１】［第７の実施の形態］本発明の第７の実施
の形態に係る立体画像撮影／表示システムは、上記第
５、第６の実施の形態と同様に、立体写真アダプタ４５
２、デジタルカメラ４５３、記録メディア４５４、コン
ピュータ４５５、ディスプレイ４５６、同期信号発生器
４５７、液晶シャッタ眼鏡４５８を備えている。更に、
コンピュータ４５５は、記録メディアインタフェース４
６１、表示制御部４６２、記憶媒体４６３、制御部４６
４を備えている（上記図１７参照）。

【０２７２】本発明の第７の実施の形態に係る立体画像
撮影／表示システムの構成は、上記第５、第６の実施の
形態と同様であり、上記で詳述したので説明を省略す
る。

【０２７３】本発明の第７の実施の形態の特徴は立体画
像の処理プログラムにあり、以下、そのアルゴリズムを
説明する。図２３に立体画像の処理プログラムのアルゴ
リズムを示す。立体画像の処理プログラムは、コンピュ
ータ４５５の制御部４６４の制御によりオペレーティン
グシステムを介して実行される。

【０２７４】立体画像の処理プログラムが実行される
と、先ず、ユーザが立体画像データのファイル名をコン
ピュータ４５５のキーボード等の入力デバイス（図示
略）から入力し、これに伴い、立体画像データがコンピ
ュータのシステムメモリ（図示略）に読み込まれる（ス
テップＳ８１）。立体画像データは、通常、コンピュー
タ４５５で扱う画像データと同様の形式のデータであ
り、例えば、RGB各色チャンネルごとに縦横２次元のデ
ータ配列と画像データの情報を表すヘッダからなるビッ
トマップデータである。

【０２７５】次に、デジタルカメラ４５３の撮影パラメ
ータがユーザによりコンピュータ４５５のキーボード等
の入カデバイスから入力される（ステップＳ８２）。こ
こで、デジタルカメラ４５３の撮影パラメータとは、撮
影した画像の視野角を表すデジタルカメラ４５３の撮影
レンズの焦点距離と、左右それぞれの画像の輻輳角であ
る。デジタルカメラ４５３の撮影レンズの焦点距離は、
例えば35mm銀塩ステルカメラ相当の値であり、画像デー
タの視野角に相当する物理量を導出できるものであれば
よい。

【０２７６】従って、デジタルカメラ４５３の撮影レン
ズの実際の焦点距離と、撮影面に配置されるイメージセ
ンサの大きさ、画像データの縦横画素数を入力して、画
像データの視野角に相当する物理量を導出するようにし
てもよい。また、輻輳角は図２４に示す角度αの２倍に
相当する角度である。デジタルカメラ４５３や立体写真
アダプタ４５２の撮影パラメータが固定値であるなら
ば、コンピュータ４５５の入カデバイスから入力を行う
代わりに、予め撮影パラメータをプログラム内に記憶し
ておいてもよい。

【０２７７】次に、上記ステップＳ８１で読み込んだ立
体画像データを左右画像データに分割する（ステップＳ
８３）。例えば、立体画像データが水平垂直M×Nの２次
元配列をなす画像データである場合、画像中心を通る垂
直ラインを境界として、それぞれ水平垂直M／2×Nの画
像データに分割する。

【０２７８】次に、左右それぞれの画像データの台形歪
みを補正する（ステップＳ８４）。即ち、上記ステップ
Ｓ８２で入力された撮影パラメータを用いて、それぞれ
の画像データの画面中心を中心として、台形歪み補正後
の仮想的な撮影面が互いに平行になるように、同じ角度
だけ反対方向に台形歪み補正を行う。ここで、台形歪み
補正を行う角度は、図２４に示すように、それぞれの画
像データの画面中心を通る光線と撮影面とのなす角度β
と、輻輳角の半分の角度αとの和である。角度βはほぼ
水平視野角の1／4であり、撮影レンズの焦点距離より求
まる。台形歪み補正の処理は、よく知られた画像データ
の３次元の回転マトリクスによる幾何学的変換による処
理である。尚、図２４は上記図１６と同一構成のため、
説明を省略する。

【０２７９】次に、それぞれ補正された左右画像データ
から、画像データとして有効な領域から矩形領域を切り
出す（ステップＳ８５）。矩形領域を切り出す処理を行
う理由は、画像データとして有効な領域が、左右画像デ
ータで左右線対称な台形状になり、このまま立体視表示
すると、画像データとして有効な領域と有効でない領域
とが重なってしまい、見づらくなってしまうからであ
る。このとき、切り出す矩形領域の大きさは左右画像デ
ータで同じである。

【０２８０】また、画像データとして有効な領域から多
少余裕幅を持たせた領域を、それぞれの画像データの中
心に対称な領域として切り出す。この様子を図２５に示
す。図２５の破線で示した領域TL、TRが、それぞれ左右
画像データのうち画像データとして有効な台形状の領域
であり、図２５の実線で示した領域RL、RRが、それぞれ
左右画像データから切り出した矩形領域である。特に、
左右２つの画像の境界付近で左右２つの画像が重なり合
っている場合には、重なり合った領域も有効でない領域
として処理を行う。

【０２８１】次に、左右それぞれの矩形状に切り出され
た画像データをディスプレイ４５６に立体視表示する
（ステップＳ８６）。第７の実施の形態では、ディスプ
レイ４５６上で左右画像データを時間をずらして交互に
表示することにより、立体視表示を行う。このとき、コ
ンピュータ４５５のシステムメモリに記憶されている、
上記ステップＳ８５の処理で得られた左右の出力画像
を、一旦ビデオメモリに書き込み、表示制御部４６２が
ビデオメモリの２つの画像データを切り替えて交互にデ
ィスプレイ４５６に表示するようにする。

【０２８２】ディスプレイ４５６が上記の切替え表示状
態にある間、ユーザが表示の終了をコンピュータ４５５
の入カデバイスを介して指示した場合には（ステップＳ
８７でＹＥＳ）、立体視表示を終了する。

【０２８３】また、ユーザがコンピュータ４５５の入カ
デバイスを介して立体画像の調整を指示した場合には、
ユーザの指示に合わせて、制御部４６４の制御により立
体画像の調整を行う（ステップＳ8）。第７の実施の形
態では、ディスプレイ４５６における右画像からの矩形
領域を、ユーザがコンピュータ４５５の入カデバイスを
介して上下左右に移動することで、制御部４６４の制御
により上記立体画像の調整を行う。即ち、上記ステップ
Ｓ８５で切り出した左右画像データの矩形領域は、立体
写真アダプタ４５２の構成と被写体距離により決まる所
定視差だけずれるように設定されるが、立体写真アダプ
タ４５２の構成パラメータのずれや被写体距離の変化に
対応するように、ディスプレイ４５６上で立体画像を観
察しながらユーザが右画像からの矩形領域を上下左右に
移動することで、制御部４６４の制御により視差調整を
行うのである。

【０２８４】ユーザが視差調整の指示を行うと、コンピ
ュータ４５５のシステムメモリに記憶されている、右画
像データから調整後の矩形領域の画像を、一旦ビデオメ
モリに書き込む。この時、立体視表示も同時に行う必要
があるので、ビデオメモリ内の立体視表示が行われてい
る左右画像が記憶されている領域とは別の領域に書き込
むようにする。

【０２８５】また、立体視表示の際の左右画像の切替え
が遅くなると、立体感が得られなかったり、観察に不快
感を感じたりするので、コンピュータ４５５のシステム
メモリからビデオメモリヘの書き込みは、矩形領域の所
定の小領域毎に分割して行い、小領域への書き込み毎に
左右画像の切替えを行うようにする。また、コンピュー
タ４５５のシステムメモリからビデオメモリヘの書き込
み終了後、左右画像の切替え表示は、ビデオメモリ内の
左画像と新たに書き込んだ右画像とで行うように変更す
る。

【０２８６】以上の処理で、立体視表示を行う右画像中
の矩形領域の移動を円滑に行うことができる。視差調整
が終わった後、処理を上記ステップＳ８６に戻し、通常
の立体視表示が行われる。

【０２８７】以上説明したように、本発明の第７の実施
の形態によれば、デジタルカメラ４５３に立体写真アダ
プタ４５２を装着して撮影した立体画像を左右２つの画
像に分割し、分割した左右それぞれの画像の少なくとも
１つを処理する立体画像の処理方法において、立体写真
アダプタ４５２は、ミラー（反射面）を有し、ミラー
（反射面）により、デジタルカメラ４５３の撮影面を左
右２つの画面に分割し、左右２つの視点で異なる方向か
ら被写体をそれぞれの画面に撮影するためのアダプタで
あり、立体画像の処理は、左右２つの視点で異なる方向
から撮影された画像を互いに平行な撮影面で撮影した画
像になるように台形歪みを補正する幾何学的変換による
処理であるため、デジタルカメラ４５３に立体写真アダ
プタ４５２を装着して撮影した画像を処理することで、
良好な状態で容易に被写体の立体像を観察できる立体画
像表示システムを提供することができる。

【０２８８】また、上記幾何学的変換後の画像から部分
領域を切り出すようにしたので、デジタルカメラ４５３
に立体写真アダプタ４５２を装着して撮影した画像を処
理することで、容易に被写体の立体像を観察できる立体
画像表示システムを提供することができる。

【０２８９】また、上記部分領域の切り出し位置を、ユ
ーザインタフェースを介して調整するようにしたので、
デジタルカメラ４５３に立体写真アダプタ４５２を装着
して撮影した画像を処理することで、容易に被写体の立
体像を観察できる立体画像表示システムを提供すること
ができる。

【０２９０】また、上記立体画像処理を行った左右画像
を、左右それぞれの眼で独立に観察するようにしたの
で、デジタルカメラ４５３に立体写真アダプタ４５２を
装着して撮影した画像を処理することで、容易に被写体
の立体像を観察できる立体画像表示システムを提供する
ことができる。

【０２９１】第７の実施の形態では、適度な奥行きを持
つ被写体を撮影した場合には適度な立体感で立体画像を
観察することができるが、例えば、被写体の奥行きのレ
ンジが大き過ぎる場合には、ディスプレイ画面での左右
画像の視差が大きくなり、立体画像の観察が難しくな
る。このような場合には、表示する画像の大きさを適度
に縮小するようにすればよい。逆に、被写体の奥行きの
レンジが小さ過ぎる場合には、ディスプレイ画面での左
右画像の視差が小さくなり、被写体の立体感が乏しくな
る。このような場合には、表示する画像の大きさを適度
に拡大するようにすればよい。上記ステップＳ８８にお
ける立体画像の調整に、このような調整機能を付加する
ようにしてもよい。

【０２９２】また、表示する画像の大きさを縮小して立
体画像表示を行うと大きな画面で観察できない、表示す
る画像の大きさを拡大して立体画像表示を行うと画像の
一部しか観察できない、等の制約が生ずる。被写体の奥
行きのレンジが大き過ぎたり、小さ過ぎたりする場合
に、一定サイズの画面で立体画像を観察するには、撮影
した左右画像の視点の間隔を狭めたり、広げたりすれば
よい。例えば、台形歪み補正後の左右画像から視差分布
を抽出し、視点間を結ぶ直線上で中間視点位置の画像を
視差分布を利用して生成し、左右どちらかの画像と置き
換えることにより、左右画像の視点の間隔を狭めた立体
画像を表示することができる。また、視点間を結ぶ直線
上の外側の視点位置の画像を、視差分布を利用して生成
し、左右どちらかの画像と置き換えることにより、左右
画像の視点の間隔を広げた立体画像を表示することがで
きる。上記ステップＳ８８における立体画像の調整に、
このような調整機能を付加するようにしてもよい。

【０２９３】また、以上の立体画像の調整（上下左右の
視差調整、被写体の奥行きのレンジ調整）を、左右画像
間で相関等によるマッチング演算を行いその結果を利用
して、自動的に行うようにしてもよい。

【０２９４】また、表示する立体画像の彩度、輝度、コ
ントラストや鮮鋭度が低かったりすると、良好な立体感
が得られない場合がある。このような場合には、上記ス
テップＳ８４の処理で台形歪みが補正された左右画像デ
ータに対して、彩度、輝度、コントラスト、鮮鋭度の調
整を行うようにすればよい。

【０２９５】以上の立体画像に、コンピュータ４５５で
生成した視差を持つ画像を合成して重ね合わせてディス
プレイ４５６に表示してもよい。例えば、遠距離の風景
のような立体感の乏しい被写体画像に、近距離に相当す
る視差を持つ画像を重ね合わせることで、立体感を強調
することができる。また、適度な視差を持つ写真フレー
ム画像を合成すれば、奥行き感のある立体写真を演出す
ることができる。

【０２９６】第７の実施の形態では、左右画像を時間的
に切り替えて表示し、波晶シャッタ眼鏡４５８を介して
立体画像を観察するシステムについて説明したが、上記
ステップＳ８５の処理で切り出された左右画像の矩形領
域を、眼鏡なしのパララックスバリア方式の立体表示装
置や、レンチキュラレンズ方式の立体表示装置に表示す
るようにしてもよい。この場合には、上記ステップＳ８
６の左右画像の切替え表示による立体視表示の代わり
に、切り出された左右画像データから立体表示装置に適
したフォーマット（例えばストライプ状に合成された二
眼像）に変換して表示するようにする。

【０２９７】また、立体視表示を行う左右画像を、コン
ピュータ４５５に接続されたプリンタから印刷出力する
ようにしてもよい。左右画像を所定の間隔で左右並べ
て、適当なサイズに印刷を行えば、左右画像を別々に覗
いて所定倍率に拡大して観察することができるステレオ
ビューワにより、立体画像を観察することができる。

【０２９８】また、立体視表示を行う左右画像を、コン
ピュータ４５５に装備された磁気ディスクに記録するよ
うにしてもよい。例えば、左右画像データを別々にJPEG
（Joint Photographic Expert Group）等のフォーマッ
トで圧縮を行い、記録する。

【０２９９】以上の処理は、デジタルカメラ４５３で撮
影した立体画像に限定されるものではなく、例えば35mm
フィルム方式のカメラに立体写真アダプタを装着して撮
影し、現像後のフィルムをスキャナでコンピュータ４５
５に読み込んだ立体画像に対しても適用できる。

【０３００】また、第７の実施の形態においては、デジ
タルカメラ４５３で撮影された立体画像の処理をコンピ
ュータ４５５の立体画像処理プログラムで行うようにし
たが、同等の処理を専用のハードウェアで行ってもよ
い。また、デジタルカメラ４５３で上記ステップＳ８５
までの処理（左右画像の分割、台形歪み補正、矩形領域
の切り出し）を行って、処理された左右画像データをそ
れぞれ記録メディアに記録し、上記ステップＳ８６以降
の処理をコンピュータ４５５の立体画像処理プログラム
で行うようにしてもよい。また、デジタルカメラ４５３
に限鏡なしの立体表示装置を装備し、全ての処理をデジ
タルカメラ４５３内で行い、立体画像を表示するように
してもよい。

【０３０１】［第８の実施の形態］本発明の第８の実施
の形態は、別方式の立体写真アダプタをデジタルカメラ
に装着した場合の実施形態である。

【０３０２】本発明の第８の実施の形態に係る立体画像
撮影／表示システムは、立体写真アダプタ４５２、デジ
タルカメラ４５３、記録メディア４５４、コンピュータ
４５５、ディスプレイ４５６、同期信号発生器４５７、
液晶シャッタ眼鏡４５８を備えている。更に、コンピュ
ータ４５５は、記録メディアインタフェース４６１、表
示制御部４６２、記憶媒体４６３、制御部４６４を備え
ている（上記図１７参照）。但し、立体写真アダプタ４
５２は上記第５〜第７の実施の形態とは別方式のもので
あり、詳細は後述する。

【０３０３】本発明の第８の実施の形態に係る立体画像
撮影／表示システムの構成は、上記第５〜第７の実施の
形態と同様であり、上記で詳述したので説明を省略す
る。また、立体画像の処理方法も上記第７の実施の形態
の図２３に示す処理方法に準じ、以下、立体画像の処理
における差異のある部分について説明する。

【０３０４】図２６は本発明の第８の実施の形態に係る
立体写真アダプタの構成を示す概略図である。図中、６
０１は被写体、６０２はデジタルカメラ（図１７の４５
３）、６０４は立体写真アダプタ（図１７の４５２）、
６２１は撮影レンズ、６２２は撮影面、６４１はプリズ
ム、６４２はミラーである。図２６において、左眼用の
被写体像は、そのまま撮影レンズ６２１を通って撮影面
６２２の右半分の領域に達する。一方、右眼用の被写体
像は、ミラー６４２、プリズム６４１で反射し、撮影レ
ンズ６２１を通って撮影面６２２の左半分の領域に達す
る。

【０３０５】上記のような構成の立体写真アダプタ４５
２を介してデジタルカメラ４５３で撮影した立体画像に
おいては、反射面を介して撮影した右眼用の被写体像に
のみ台形歪みが発生する。従って、右眼用の被写体像の
台形歪みを補正するように立体画像に対して処理を行
う。以下、そのアルゴリズムを上記図２３に基づき説明
する。上記図２３のアルゴリズムは、コンピュータ４５
５の制御部４６４の制御によりオペレーティングシステ
ムを介して実行される。

【０３０６】立体画像の処理プログラムが実行される
と、先ず、ユーザが立体画像データのファイル名をコン
ピュータ４５５のキーボード等の入力デバイス（図示
略）から入力し、これに伴い、立体画像データがコンピ
ュータ４５５のシステムメモリ（図示略）に読み込まれ
る（ステップＳ８１）。次に、デジタルカメラ４５３の
撮影パラメータがユーザによりキーボード等の入カデバ
イスから入力される（ステップＳ８２）。次に、上記ス
テップＳ８１で読み込んだ立体画像データを左右画像デ
ータに分割する（ステップＳ８３）。次に、右画像デー
タの台形歪みを補正する（ステップＳ８４）。

【０３０７】次に、台形歪みが補正された右画像データ
から、画像データとして有効な領域から矩形領域を切り
出す（ステップＳ８５）。また、同じ大きさの矩形領域
を左画像データから切り出す。次に、左右それぞれの矩
形状に切り出された画像データをディスプレイ４５６に
立体視表示する（ステップＳ８６）。ディスプレイ４５
６におけるこの立体視表示の間、ユーザが表示の終了を
コンピュータ４５５の入カデバイスを介して指示した場
合には（ステップＳ８７でＹＥＳ）、立体視表示を終了
する。

【０３０８】他方、ユーザがコンピュータ４５５の入カ
デバイスを介して立体画像の調整を指示した場合には
（ステップＳ８７でＮＯ）、ユーザの指示に合わせて、
立体画像の調整を行う（ステップＳ８８）。立体画像の
調整が終わった後、処理を上記ステップＳ８６に戻し、
ディスプレイ４５６に通常の立体視表示が行われる。

【０３０９】以上説明したように、本発明の第８の実施
の形態によれば、デジタルカメラ４５３に立体写真アダ
プタ４５２を装着して撮影した画像を処理することで、
良好な状態で容易に被写体の立体像を観察することがで
きる。

【０３１０】［第９の実施の形態］本発明の第９の実施
の形態は、左右の開口部にアナモルフィックレンズを装
備した立体写真アダプタをデジタルカメラに装着した場
合の実施形態である。

【０３１１】本発明の第９の実施の形態に係る立体画像
撮影／表示システムは、立体写真アダプタ４５２、デジ
タルカメラ４５３、記録メディア４５４、コンピュータ
４５５、ディスプレイ４５６、同期信号発生器４５７、
液晶シャッタ眼鏡４５８を備えている。更に、コンピュ
ータ４５５は、記録メディアインタフェース４６１、表
示制御部４６２、記憶媒体４６３、制御部４６４を備え
ている（上記図１７参照）。但し、立体写真アダプタ４
５２は上記第５〜第８の実施の形態とは別方式のもので
あり、詳細は後述する。

【０３１２】本発明の第９の実施の形態に係る立体画像
撮影／表示システムの構成は、上記第５〜第８の実施の
形態と同様であり、上記で詳述したので説明を省略す
る。

【０３１３】図２７は本発明の第９の実施の形態に係る
立体写真アダプタの構成を示す概略図である。図中、７
０１は被写体、７０２はデジタルカメラ（図１７の４５
３）、７０３は立体写真アダプタ（図１７の４５２）、
７２１は撮影レンズ、７２２は撮影面、７３１はプリズ
ム、７３２、７３３はミラーである。また、７６１、７
６２は互いに同等の特性を持つアナモルフィックレンズ
であり、立体写真アダプタ７０３の左右の開口部に装着
される。アナモルフィックレンズ７６１、７６２は、そ
の光軸がそれぞれ左眼用画面、右眼用画面の中心を通る
光束の主光線ｍ、ｎと一致するように、立体写真アダプ
タ７０３に装着される。

【０３１４】アナモルフィックレンズ７６１、７６２
は、画像の縦方向と横方向の倍率が異なる像を生じるよ
うに作用するレンズであり、第９の実施の形態では、画
像の横方向のみ1／2に圧縮する作用を持つものとする。
アナモルフィックレンズ７６１、７６２は、例えば、凹
状のシリンドリカルレンズと凸状のシリンドリカルレン
ズを組み合わせて構成される。図２７において、左眼用
の被写体像は、アナモルフィックレンズ７６１を介し
て、ミラー７３２、プリズム７３１で反射し、撮影レン
ズ７２１を通って撮影面７２２の右半分の領域に達す
る。一方、右眼用の被写体像は、アナモルフィックレン
ズ７６２を介して、ミラー７３３、プリズム７３１で反
射し、撮影レンズ７２１を通って撮影面７２２の左半分
の領域に達する。

【０３１５】上記のような構成の立体写真アダプタ７０
３で撮影した立体画像においては、被写体画像が左右方
向に圧縮され、更に台形歪みが発生する。従って、左右
画像の被写体像の台形歪みを補正し、更に左右方向にの
み像を伸長するように処理を行う。以下、そのアルゴリ
ズムを上記図２３に基づき説明する。上記図２３のアル
ゴリズムは、コンピュータ４５５の制御部４６４の制御
によりオペレーティングシステムを介して実行される。

【０３１６】立体画像の処理プログラムが実行される
と、先ず、ユーザが立体画像データのファイル名をコン
ピュータ４５５のキーボード等の入力デバイス（図示
略）から入力し、これに伴い、立体画像データがコンピ
ュータ４５５のシステムメモリ（図示略）に読み込まれ
る（ステップＳ８１）。次に、デジタルカメラ４５３の
撮影パラメータがユーザによりキーボード等の入カデバ
イスから入力される（ステップＳ８２）。次に、上記ス
テップＳ８１で読み込んだ立体画像データを左右画像デ
ータに分割する（ステップＳ８３）。次に、左右画像デ
ータの台形歪みを補正する（ステップＳ８４）。そし
て、台形歪み補正後の画像データを左右方向に２倍に伸
長する。

【０３１７】次に、台形歪みが補正された左右画像デー
タにおいて、画像データとして有効な領域から矩形領域
を切り出す（ステップＳ８５）。次に、左右それぞれの
矩形状に切り出された画像データをディスプレイ４５６
に立体視表示する（ステップＳ８６）。ディスプレイ４
５６におけるこの立体視表示の間、ユーザが表示の終了
をコンピュータ４５５の入カデバイスを介して指示した
場合には（ステップＳ８７でＹＥＳ）、立体視表示を終
了する。

【０３１８】他方、ユーザがコンピュータ４５５の入カ
デバイスを介して立体画像の調整を指示した場合には
（ステップＳ８７でＮＯ）、ユーザの指示に合わせて、
立体画像の調整を行う（ステップＳ８８）。立体画像の
調整が終わった後、処理を上記ステップＳ８６に戻し、
通常の立体視表示が行われる。

【０３１９】以上説明したように、本発明の第９の実施
の形態によれば、立体写真アダプタ４５２を介してデジ
タルカメラ４５３で撮影した画像においては、デジタル
カメラ４５３の水平方向の視野が三分され、例えば、通
常撮影におけるアスベクト比が4：3の横長の視野が2：3
の縦長の視野になる。第９の実施の形態では、アナモル
フィックレンズ７６１、７６２により左右画像で4：3の
横長の視野の画像を水平方向に1／2に圧縮して撮影し、
コンピュータ４５５の立体画像処理プログラムにより、
台形歪みを補正し、水平方向に2倍に伸長することで、
4：3のアスペクト比の立体画像を容易に観察することが
できる。

【０３２０】尚、本発明は、複数の機器から構成される
システムに適用しても、１つの機器からなる装置に適用
してもよい。上述した実施形態の機能を実現するソフト
ウエアのプログラムコードを記憶した記憶媒体等の媒体
をシステム或いは装置に供給し、そのシステム或いは装
置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体
等の媒体に格納されたプログラムコードを読み出し実行
することによっても、達成されることは言うまでもな
い。

【０３２１】この場合、記憶媒体等の媒体から読み出さ
れたプログラムコード自体が上述した実施形態の機能を
実現することになり、そのプログラムコードを記憶した
記憶媒体等の媒体は本発明を構成することになる。プロ
グラムコードを供給するための記憶媒体等の媒体として
は、例えば、フロッピー（登録商標）ディスク、ハード
ディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯ
Ｍ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、
ＲＯＭ、或いはネットワークを介したダウンロードなど
を用いることができる。

【０３２２】また、コンピュータが読み出したプログラ
ムコードを実行することにより、上述した実施形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼動しているＯＳなどが
実際の処理の一部または全部を行い、その処理によって
上述した実施形態の機能が実現される場合も含まれるこ
とは言うまでもない。

【０３２３】更に、記憶媒体等の媒体から読み出された
プログラムコードが、コンピュータに挿入された機能拡
張ボードやコンピュータに接続された機能拡張ユニット
に備わるメモリに書き込まれた後、そのプログラムコー
ドの指示に基づき、その機能拡張ボードや機能拡張ユニ
ットに備わるＣＰＵなどが実際の処理の一部または全部
を行い、その処理によって上述した実施形態の機能が実
現される場合も含まれることは言うまでもない。

【０３２４】

【発明の効果】以上説明したように、請求項１の発明に
よれば、被写体を複数の視点から撮影した複数の画像間
で、同一な被写体部分を点対点の対応として表す対応点
を抽出し、前記対応点の抽出結果に基づき前記複数の画
像をそれぞれ部分領域に分割し、対応する前記部分領域
同士の対応関係を表すモデルを求め、前記モデルに基づ
き前記部分領域を変形して前記任意の視点から見た画像
を生成するようにしたので、画像間で比較的少ない対応
点しか得られない場合においても、より高画質の画像を
生成することができる。また、新しい視点の画像を生成
する際に、全画素において対応を必要としないので、処
理時間を大幅に短縮することができる。

【０３２５】請求項２の発明によれば、前記部分領域同
士の対応関係を表す複数のモデル候補の整合性を画像変
形結果に基づき評価し、前記モデルを求めるようにした
ので、生成する画像の画質を確実に向上することができ
る。

【０３２６】請求項３の発明によれば、前記対応点の抽
出結果に基づき前記複数の画像をそれぞれ分割した前記
部分領域、及び前記複数の画像における対応する前記部
分領域同士の対応関係を表す前記モデルを一旦記憶して
おき、記憶された前記部分領域と前記モデルに基づき前
記複数の画像を変形して３次元画像を生成し、表示する
ようにしたので、被写体画像のモデル化は一度行えばよ
く、再度モデル化しなくとも再生は随時行うことができ
る。

【０３２７】請求項４の発明によれば、ステレオ画像か
ら同一部分を点対点の対応として表す対応点を抽出し、
前記対応点の抽出結果に基づき前記ステレオ画像を部分
領域に分割し、対応する前記部分領域同士の対応関係を
表すモデルを求め、前記モデルに基づき前記部分領域を
変形して連続した視点位置での画像を順次生成すること
で動画像を生成するようにしたので、ステレオ画像から
３次元動画像を自動的に得ることができる。

【０３２８】また、上記の本発明の３次元画像生成装置
と対応する本発明の３次元画像生成方法、本発明の記憶
媒体においても、上記と同様の効果が得られる。

【０３２９】請求項１５の発明によれば、被写体に光パ
ターンを投光する投光手段と、被写体の画像を撮影する
撮像手段と、前記光パターンが投光された被写体の画像
に基づき被写体の視差分布を抽出する視差抽出手段と、
前記視差分布に基づき被写体画像を変形して被写体の仮
想的な視点位置での画像を生成する画像生成手段とを備
えているので、被写体の視差分布の抽出を簡単な処理で
確実に行うことができ、被写体の撮影時の視点以外での
画像を簡単な処理で確実に生成することができる。

【０３３０】請求項１６の発明によれば、前記撮像手段
は、前記パターンを投光しない被写体の画像及び前記光
パターンを投光した被写体の画像を撮影し、前記画像生
成手段は、前記パターンを投光しない被写体の画像に幾
何学的変換を行い被写体の前記仮想的な視点位置での画
像を生成するようにしたので、画質のよい被写体画像を
もとに被写体の仮想的な視点位置での画像を生成するこ
とができ、その画質を向上することができる。

【０３３１】請求項１８の発明によれば、前記画像生成
手段で生成した画像を表示する表示手段と、前記仮想的
な視点位置を変更可能な入力手段とを有し、前記画像生
成手段は、前記入力手段からの入力に応じてインタラク
ティブに被写体の前記仮想的な視点位置での画像を生成
し、前記表示手段は、前記生成された前記仮想的な視点
位置での画像を表示するようにしたので、生成する被写
体画像の視点位置をインタラクティブに移動し、被写体
画像を観察することができる。

【０３３２】請求項１９の発明によれば、前記投光手段
は、撮像装置に着脱可能でストロボ光により所定の光パ
ターンを被写体に投光するアダプタで構成したので、撮
像装置として市販のデジタルカメラ等を利用することに
より、簡単な構成で被写体の撮影時の視点以外での画像
を生成することができる。

【０３３３】また、上記の本発明の３次元画像生成装置
と対応する本発明の３次元画像生成方法、本発明の記憶
媒体においても、上記と同様の効果が得られる。

【０３３４】請求項３１の発明によれば、被写体を複数
の視点で撮影した画像から、所定軌跡上の視点に対応す
る一連の左画像、及び前記所定軌跡上の視点から水平方
向へ所定位置だけ右側に移動した視点に対応する一連の
右画像を生成する画像生成手段と、前記生成された一連
の左画像及び一連の右画像を動画像として表示手段に順
次表示する表示制御手段とを備えているので、立体画像
を処理して、ステレオ視差だけでなく動体視差も含めた
立体画像表示を行い、より容易に、リアルな被写体の立
体像を観察することができる。

【０３３５】請求項３２の発明によれば、前記複数の視
点の画像は、撮像装置に立体写真アダプタを装着して撮
影した立体画像を左右２つに分割した画像であるので、
立体画像表示システムを容易に提供することができる。

【０３３６】また、上記の本発明の立体画像処理装置と
対応する本発明の立体画像撮影表示システム、本発明の
立体画像処理方法、本発明の記憶媒体においても、上記
と同様の効果が得られる。

【０３３７】請求項４１の発明によれば、撮像装置に立
体写真アダプタを装着して撮影した被写体の画像を左右
２つの画像に分割し、分割した前記左右２つの画像の少
なくとも１つを処理可能な立体画像処理装置において、
前記立体写真アダプタに装備された反射面により前記撮
像装置の撮影面を互いに平行な左右２つの仮想撮影面に
分割し、前記撮像装置により左右２つの視点で異なる方
向から撮影された被写体の画像を、前記左右２つの仮想
撮影面で撮影した画像となるように台形歪みを補正する
幾何学的変換を行う画像処理手段を備えているので、容
易に被写体の立体像を観察できる立体画像表示システム
を提供することができる。

【０３３８】請求項４２の発明によれば、前記画像処理
手段は、前記幾何学的変換後の画像から部分領域を切り
出すようにしたので、撮像装置に立体写真アダプタを装
着して撮影した画像を処理して、容易に被写体の立体像
を観察できる立体画像表示システムを提供することがで
きる。

【０３３９】請求項４３の発明によれば、前記部分領域
の切り出し位置は、外部入力により調整可能であるの
で、撮像装置に立体写真アダプタを装着して撮影した画
像を処理して、容易に被写体の立体像を観察できる立体
画像表示システムを提供することができる。

【０３４０】請求項４４の発明によれば、前記左右２つ
の画像を左右それぞれの眼で独立に観察可能な表示手段
を備えているので、撮像装置に立体写真アダプタを装着
して撮影した画像を処理して、容易に被写体の立体像を
観察できる立体画像表示システムを提供することができ
る。

【０３４１】また、上記の本発明の立体画像処理装置と
対応する本発明の立体画像撮影表示システム、本発明の
立体画像処理方法、本発明の記憶媒体においても、上記
と同様の効果が得られる。

【図面の簡単な説明】

【図１】本発明の第１、第２の実施の形態に係る３次元
画像生成装置の構成を示すブロック図である。

【図２】第１の実施の形態に係る３次元画像生成方法の
アルゴリズムを示すフローチャートである。

【図３】第１の実施の形態に係る対応点抽出処理のアル
ゴリズムを示すフローチャートである。

【図４】左画像、右画像を示す概略図である。

【図５】左画像のメッシュ、右画像のメッシュを示す概
略図である。

【図６】第１の実施の形態に係るモデル化のアルゴリズ
ムを示すフローチャートである。

【図７】第２の実施の形態に係る３次元画像生成方法の
アルゴリズムを示すフローチャートである。

【図８】第２の実施の形態に係る３次元画像生成方法の
アルゴリズムを示すフローチャートである。

【図９】第３の実施の形態に係る撮像／表示システムの
構成を示すブロック図である。

【図１０】第３の実施の形態に係る被写体画像表示処理
のアルゴリズムを示すフローチャートである。

【図１１】投光パターンを示す概略図である。

【図１２】第３の実施の形態に係る視差抽出部で行う処
理のアルゴリズムを示すフローチャートである。

【図１３】デジタルカメラの要部の構成を示す概略図で
ある。

【図１４】第４の実施の形態に係る撮像／表示システム
の構成を示すブロック図である。

【図１５】第５の実施の形態に係る立体画像処理プログ
ラムのアルゴリズムを示すフローチャートである。

【図１６】第５〜第９の実施の形態に係る立体写真アダ
プタ、デジタルカメラの構成を示す概略図である。

【図１７】第５の実施の形態に係る撮像／表示システム
の構成を示す概略図である。

【図１８】第５の実施の形態に係る左右画像データ生成
のアルゴリズムを示すフローチャートである。

【図１９】デジタルカメラの位置及び方向を示す概略図
である。

【図２０】第５の実施の形態に係る左右画像から仮想視
点画像の生成方法のアルゴリズムを示すフローチャート
である。

【図２１】第６の実施の形態に係る立体画像処理プログ
ラムのアルゴリズムを示すフローチャートである。

【図２２】デジタルカメラの位置及び方向を示す概略図
である。

【図２３】第７の実施の形態に係る立体画像処理プログ
ラムのアルゴリズムを示すフローチャートである。

【図２４】第７の実施の形態に係る立体写真アダプタ、
デジタルカメラの構成を示す概略図である。

【図２５】画像データにおける台形状領域、矩形状領域
を示す概略図である。

【図２６】第８の実施の形態に係る立体写真アダプタ、
デジタルカメラの構成を示す概略図である。

【図２７】第９の実施の形態に係る立体写真アダプタ、
デジタルカメラの構成を示す概略図である。

【符号の説明】

１、２デジタルカメラ（撮像装置）４画像処理部（画像処理手段）７第二記憶部（記憶手段）５２、２０２視差抽出部（視差抽出手段）６１、２１１パターン投光部（投光手段）６２、２１２Ｒ、２１２Ｌ撮像部（撮像手段）８１、２３１画像生成部（画像生成手段）８２、２３２表示部（表示手段）８３、２３３ユーザコマンド入力部（入力手段）４５２立体写真アダプタ４５３デジタルカメラ（撮像装置）４５５コンピュータ（画像生成手段、表示制御手段）４５６ディスプレイ（表示手段）４５８液晶シャッタ眼鏡（立体画像観察装置）５０２デジタルカメラ（撮像装置）５０３立体写真アダプタ５３２、５３３ミラー（反射面）７６１、７６２アナモルフィックレンズ（光学手段）

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 BA02 CA08 CA13 CA16 CB08 CB13 CB16 CC01 CH08 CH11 CH12 DA07 DB03 DB09 DC05 DC34 5B080 AA15 BA02 BA05 5C061 AA03 AA11 AA21 AB04 AB06 AB14

Claims

【特許請求の範囲】

【請求項１】被写体を複数の視点から撮影した複数の
画像間で、同一な被写体部分を点対点の対応として表す
対応点を抽出し、前記対応点の抽出結果に基づき任意の
視点から見た画像を生成する３次元画像生成装置であっ
て、前記対応点の抽出結果に基づき前記複数の画像をそれぞ
れ部分領域に分割し、前記複数の画像における対応する
前記部分領域同士の対応関係を表すモデルを求め、前記
モデルに基づき前記部分領域を変形して前記任意の視点
から見た画像を生成する画像処理手段を有することを特
徴とする３次元画像生成装置。
【請求項２】前記画像処理手段は、前記部分領域同士
の対応関係を表す複数のモデル候補の整合性を画像変形
結果に基づき評価し、前記モデルを求めることを特徴と
する請求項１記載の３次元画像生成装置。
【請求項３】前記対応点の抽出結果に基づき前記複数
の画像をそれぞれ分割した前記部分領域、及び前記複数
の画像における対応する前記部分領域同士の対応関係を
表す前記モデルを記憶する記憶手段を有し、前記画像処
理手段は、前記記憶手段に記憶された前記部分領域と前
記モデルに基づき前記複数の画像を変形して３次元画像
を生成し、表示することを特徴とする請求項１又は２記
載の３次元画像生成装置。
【請求項４】ステレオ画像から同一部分を点対点の対
応として表す対応点を抽出し、前記対応点の抽出結果に
基づき任意の視点から見た画像を生成する３次元画像生
成装置であって、前記対応点の抽出結果に基づき前記ステレオ画像を部分
領域に分割し、対応する前記部分領域同士の対応関係を
表すモデルを求め、前記モデルに基づき前記部分領域を
変形して連続した視点位置での画像を順次生成すること
で動画像を生成する画像処理手段を有することを特徴と
する３次元画像生成装置。
【請求項５】前記被写体の撮影は、撮像面の水平方向
に沿って配置された２つの撮像装置、或いは２つの撮像
系を有する複眼式の撮像装置、或いはステレオアダプタ
が装着された撮像装置により行われることを特徴とする
請求項１記載の３次元画像生成装置。
【請求項６】被写体を複数の視点から撮影した複数の
画像間で、同一な被写体部分を点対点の対応として表す
対応点を抽出し、前記対応点の抽出結果に基づき任意の
視点から見た画像を生成する３次元画像生成方法であっ
て、前記対応点の抽出結果に基づき前記複数の画像をそれぞ
れ部分領域に分割し、前記複数の画像における対応する
前記部分領域同士の対応関係を表すモデルを求め、前記
モデルに基づき前記部分領域を変形して前記任意の視点
から見た画像を生成することを特徴とする３次元画像生
成方法。
【請求項７】前記部分領域同士の対応関係を表す複数
のモデル候補の整合性を画像変形結果に基づき評価し、
前記モデルを求めることを特徴とする請求項６記載の３
次元画像生成方法。
【請求項８】前記対応点の抽出結果に基づき前記複数
の画像をそれぞれ分割した前記部分領域、及び前記複数
の画像における対応する前記部分領域同士の対応関係を
表す前記モデルを一旦記憶しておき、記憶された前記部
分領域と前記モデルに基づき前記複数の画像を変形して
３次元画像を生成し、表示することを特徴とする請求項
６又は７記載の３次元画像生成方法。
【請求項９】ステレオ画像から同一部分を点対点の対
応として表す対応点を抽出し、前記対応点の抽出結果に
基づき任意の視点から見た画像を生成する３次元画像生
成方法であって、前記対応点の抽出結果に基づき前記ステレオ画像を部分
領域に分割し、対応する前記部分領域同士の対応関係を
表すモデルを求め、前記モデルに基づき前記部分領域を
変形して連続した視点位置での画像を順次生成すること
で動画像を生成することを特徴とする３次元画像生成方
法。
【請求項１０】前記被写体の撮影は、撮像面の水平方
向に沿って配置された２つの撮像装置、或いは２つの撮
像系を有する複眼式の撮像装置、或いはステレオアダプ
タが装着された撮像装置により行われることを特徴とす
る請求項６記載の３次元画像生成方法。
【請求項１１】被写体を複数の視点から撮影した複数
の画像間で、同一な被写体部分を点対点の対応として表
す対応点を抽出し、前記対応点の抽出結果に基づき任意
の視点から見た画像を生成する３次元画像生成装置に適
用される３次元画像生成方法を実行するプログラムを記
憶したコンピュータにより読み出し可能な記憶媒体であ
って、前記３次元画像生成方法は、前記対応点の抽出結果に基
づき前記複数の画像をそれぞれ部分領域に分割するステ
ップと、前記複数の画像における対応する前記部分領域
同士の対応関係を表すモデルを求めるステップと、前記
モデルに基づき前記部分領域を変形して前記任意の視点
から見た画像を生成するステップとを有することを特徴
とする記憶媒体。
【請求項１２】前記３次元画像生成方法は、前記部分
領域同士の対応関係を表す複数のモデル候補の整合性を
画像変形結果に基づき評価するステップと、前記評価に
基づき前記モデルを求めるステップとを有することを特
徴とする請求項１１記載の記憶媒体。
【請求項１３】前記３次元画像生成方法は、前記対応
点の抽出結果に基づき前記複数の画像をそれぞれ分割し
た前記部分領域、及び前記複数の画像における対応する
前記部分領域同士の対応関係を表す前記モデルを一旦記
憶しておくステップと、記憶された前記部分領域と前記
モデルに基づき前記複数の画像を変形して３次元画像を
生成するステップと、前記生成された前記３次元画像を
表示するステップとを有することを特徴とする請求項１
１又は１２記載の記憶媒体。
【請求項１４】ステレオ画像から同一部分を点対点の
対応として表す対応点を抽出し、前記対応点の抽出結果
に基づき任意の視点から見た画像を生成する３次元画像
生成装置に適用される３次元画像生成方法を実行するプ
ログラムを記憶したコンピュータにより読み出し可能な
記憶媒体であって、前記３次元画像生成方法は、前記対応点の抽出結果に基
づき前記ステレオ画像を部分領域に分割するステップ
と、対応する前記部分領域同士の対応関係を表すモデル
を求めるステップと、前記モデルに基づき前記部分領域
を変形して連続した視点位置での画像を順次生成するこ
とで動画像を生成するステップとを有することを特徴と
する記憶媒体。
【請求項１５】被写体に光パターンを投光する投光手
段と、被写体の画像を撮影する撮像手段とを有する３次
元画像生成装置であって、前記光パターンが投光された被写体の画像に基づき被写
体の視差分布を抽出する視差抽出手段と、前記視差分布
に基づき被写体画像を変形して被写体の仮想的な視点位
置での画像を生成する画像生成手段とを有することを特
徴とする３次元画像生成装置。
【請求項１６】前記撮像手段は、前記パターンを投光
しない被写体の画像及び前記光パターンを投光した被写
体の画像を撮影し、前記画像生成手段は、前記パターン
を投光しない被写体の画像に幾何学的変換を行い被写体
の前記仮想的な視点位置での画像を生成することを特徴
とする請求項１５記載の３次元画像生成装置。
【請求項１７】前記撮像手段は、前記光パターンを投
光した被写体の画像を撮影し、前記画像生成手段は、前
記パターンを投光した被写体の画像に幾何学的変換を行
い被写体の前記仮想的な視点位置での画像を生成するこ
とを特徴とする請求項１５記載の３次元画像生成装置。
【請求項１８】前記画像生成手段で生成した画像を表
示する表示手段と、前記仮想的な視点位置を変更可能な
入力手段とを有し、前記画像生成手段は、前記入力手段
からの入力に応じてインタラクティブに被写体の前記仮
想的な視点位置での画像を生成し、前記表示手段は、前
記生成された前記仮想的な視点位置での画像を表示する
ことを特徴とする請求項１５乃至１７の何れかに記載の
３次元画像生成装置。
【請求項１９】前記投光手段は、撮像装置に着脱可能
に構成されると共にストロボ光により所定の光パターン
を被写体に投光するアダプタであることを特徴とする請
求項１５記載の３次元画像生成装置。
【請求項２０】前記仮想的な視点位置は、複数の連続
した視点位置として予め設定可能であり、前記仮想的な
視点位置での画像は、動画として記録可能であることを
特徴とする請求項１５乃至１７の何れかに記載の３次元
画像生成装置。
【請求項２１】被写体に光パターンを投光する投光手
段と、被写体の画像を撮影する撮像手段とを有する３次
元画像生成装置で実行される３次元画像生成方法であっ
て、前記光パターンが投光された被写体の画像に基づき被写
体の視差分布を抽出し、前記視差分布に基づき被写体画
像を変形して被写体の仮想的な視点位置での画像を生成
することを特徴とする３次元画像生成方法。
【請求項２２】前記パターンを投光しない被写体の画
像及び前記光パターンを投光した被写体の画像を撮影
し、前記パターンを投光しない被写体の画像に幾何学的
変換を行い被写体の前記仮想的な視点位置での画像を生
成することを特徴とする請求項２１記載の３次元画像生
成方法。
【請求項２３】前記光パターンを投光した被写体の画
像を撮影し、前記パターンを投光した被写体の画像に幾
何学的変換を行い被写体の前記仮想的な視点位置での画
像を生成することを特徴とする請求項２１記載の３次元
画像生成方法。
【請求項２４】外部からの前記仮想的な視点位置の入
力に応じてインタラクティブに被写体の前記仮想的な視
点位置での画像を生成し、前記生成された前記仮想的な
視点位置での画像を表示することを特徴とする請求項２
１乃至２３の何れかに記載の３次元画像生成方法。
【請求項２５】前記仮想的な視点位置は、複数の連続
した視点位置として予め設定可能であり、前記仮想的な
視点位置での画像は、動画として記録可能であることを
特徴とする請求項２１乃至２３の何れかに記載の３次元
画像生成方法。
【請求項２６】被写体に光パターンを投光する投光手
段と、被写体の画像を撮影する撮像手段とを有する３次
元画像生成装置に適用される３次元画像生成方法を実行
するプログラムを記憶したコンピュータにより読み出し
可能な記憶媒体であって、前記３次元画像生成方法は、前記光パターンが投光され
た被写体の画像に基づき被写体の視差分布を抽出するス
テップと、前記視差分布に基づき被写体画像を変形して
被写体の仮想的な視点位置での画像を生成するステップ
とを有することを特徴とする記憶媒体。
【請求項２７】前記３次元画像生成方法は、前記パタ
ーンを投光しない被写体の画像及び前記光パターンを投
光した被写体の画像を撮影するステップと、前記パター
ンを投光しない被写体の画像に幾何学的変換を行い被写
体の前記仮想的な視点位置での画像を生成するステップ
とを有することを特徴とする請求項２６記載の記憶媒
体。
【請求項２８】前記３次元画像生成方法は、前記光パ
ターンを投光した被写体の画像を撮影するステップと、
前記パターンを投光した被写体の画像に幾何学的変換を
行い被写体の前記仮想的な視点位置での画像を生成する
ステップとを有することを特徴とする請求項２６記載の
記憶媒体。
【請求項２９】前記３次元画像生成方法は、外部から
の前記仮想的な視点位置の入力に応じてインタラクティ
ブに被写体の前記仮想的な視点位置での画像を生成する
ステップと、前記生成された前記仮想的な視点位置での
画像を表示するステップとを有することを特徴とする請
求項２６乃至２８の何れかに記載の記憶媒体。
【請求項３０】前記３次元画像生成方法は、前記仮想
的な視点位置として予め設定された複数の連続した視点
位置での画像を生成するステップと、前記生成された前
記仮想的な視点位置での画像を動画として記録するステ
ップとを有することを特徴とする請求項２６乃至２８の
何れかに記載の記憶媒体。
【請求項３１】被写体を複数の視点で撮影した画像を
処理して表示する立体画像処理装置であって、被写体を複数の視点で撮影した画像から、所定軌跡上の
視点に対応する一連の左画像、及び前記所定軌跡上の視
点から水平方向へ所定位置だけ右側に移動した視点に対
応する一連の右画像を生成する画像生成手段と、前記生
成された一連の左画像及び一連の右画像を動画像として
表示手段に順次表示する表示制御手段とを有することを
特徴とする立体画像処理装置。
【請求項３２】前記複数の視点の画像は、撮像装置に
立体写真アダプタを装着して撮影した立体画像を左右２
つに分割した画像であることを特徴とする請求項３１記
載の立体画像処理装置。
【請求項３３】前記表示手段は、液晶シャッタ眼鏡を
介して前記動画像を左右それぞれの眼で独立に観察可能
な表示手段、或いはストライプ状に配列された前記一連
の左右画像を液晶シャッタ眼鏡なしで観察可能なパララ
ックスバリア方式の立体表示手段、或いはストライプ状
に配列された前記一連の左右画像を液晶シャッタ眼鏡な
しで観察可能なレンチキュラレンズ方式の立体表示手段
であることを特徴とする請求項３１記載の立体画像処理
装置。
【請求項３４】撮像装置と、該撮像装置により被写体
を複数の視点で撮影された画像を処理して表示する立体
画像処理装置と、立体画像観察装置とを具備してなる立
体画像撮影表示システムであって、前記撮像装置は、立体写真アダプタを装着した撮影が可
能であり、前記立体画像処理装置は、被写体を複数の視点で撮影し
た画像から、所定軌跡上の視点に対応する一連の左画
像、及び前記所定軌跡上の視点から水平方向へ所定位置
だけ右側に移動した視点に対応する一連の右画像を生成
する画像生成手段と、前記生成された一連の左画像及び
一連の右画像を動画像として表示手段に順次表示する表
示制御手段とを有し、前記立体画像観察装置は、前記表示手段に表示された前
記動画像を左右それぞれの眼で独立に観察可能な液晶シ
ャッタ眼鏡であることを特徴とする立体画像撮影表示シ
ステム。
【請求項３５】被写体を複数の視点で撮影した画像を
処理して表示する立体画像処理方法であって、被写体を複数の視点で撮影した画像から、所定軌跡上の
視点に対応する一連の左画像、及び前記所定軌跡上の視
点から水平方向へ所定位置だけ右側に移動した視点に対
応する一連の右画像を生成し、前記生成された一連の左
画像及び一連の右画像を動画像として順次表示すること
を特徴とする立体画像処理方法。
【請求項３６】前記複数の視点の画像は、撮像装置に
立体写真アダプタを装着して撮影した立体画像を左右２
つに分割した画像であることを特徴とする請求項３５記
載の立体画像処理方法。
【請求項３７】前記動画像を、液晶シャッタ眼鏡を介
して左右それぞれの眼で独立に観察可能な表示手段に表
示する、或いはストライプ状に配列した前記一連の左右
画像を、液晶シャッタ眼鏡なしで観察可能なパララック
スバリア方式の立体表示手段に表示する、或いはストラ
イプ状に配列した前記一連の左右画像を、液晶シャッタ
眼鏡なしで観察可能なレンチキュラレンズ方式の立体表
示手段に表示することを特徴とする請求項３５記載の立
体画像処理方法。
【請求項３８】被写体を複数の視点で撮影した画像を
処理して表示する立体画像処理装置に適用される立体画
像処理方法を実行するプログラムを記憶したコンピュー
タにより読み出し可能な記憶媒体であって、前記立体画像処理方法は、被写体を複数の視点で撮影し
た画像から、所定軌跡上の視点に対応する一連の左画
像、及び前記所定軌跡上の視点から水平方向へ所定位置
だけ右側に移動した視点に対応する一連の右画像を生成
するステップと、前記生成された一連の左画像及び一連
の右画像を動画像として順次表示するステップとを有す
ることを特徴とする記憶媒体。
【請求項３９】前記複数の視点の画像は、撮像装置に
立体写真アダプタを装着して撮影した立体画像を左右２
つに分割した画像であることを特徴とする請求項３８記
載の記憶媒体。
【請求項４０】前記立体画像処理方法は、前記動画像
を、液晶シャッタ眼鏡を介して左右それぞれの眼で独立
に観察可能な表示手段に表示するステップ、或いはスト
ライプ状に配列した前記一連の左右画像を、液晶シャッ
タ眼鏡なしで観察可能なパララックスバリア方式の立体
表示手段に表示するステップ、或いはストライプ状に配
列した前記一連の左右画像を、液晶シャッタ眼鏡なしで
観察可能なレンチキュラレンズ方式の立体表示手段に表
示するステップを有することを特徴とする請求項３８記
載の記憶媒体。
【請求項４１】撮像装置に立体写真アダプタを装着し
て撮影した被写体の画像を左右２つの画像に分割し、分
割した前記左右２つの画像の少なくとも１つを処理可能
な立体画像処理装置であって、前記立体写真アダプタに装備された反射面により前記撮
像装置の撮影面を互いに平行な左右２つの仮想撮影面に
分割し、前記撮像装置により左右２つの視点で異なる方
向から撮影された被写体の画像を、前記左右２つの仮想
撮影面で撮影した画像となるように台形歪みを補正する
幾何学的変換を行う画像処理手段を有することを特徴と
する立体画像処理装置。
【請求項４２】前記画像処理手段は、前記幾何学的変
換後の画像から部分領域を切り出すことを特徴とする請
求項４１記載の立体画像処理装置。
【請求項４３】前記部分領域の切り出し位置は、外部
入力により調整可能であることを特徴とする請求項４２
記載の立体画像処理装置。
【請求項４４】前記左右２つの画像を左右それぞれの
眼で独立に観察可能な表示手段を有することを特徴とす
る請求項４１記載の立体画像処理装置。
【請求項４５】前記立体写真アダプタは、画像を横方
向に圧縮するように作用する光学手段を有することを特
徴とする請求項４１記載の立体画像処理装置。
【請求項４６】撮像装置と、該撮像装置に立体写真ア
ダプタを装着して撮影した被写体の画像を左右２つの画
像に分割し、分割した前記左右２つの画像の少なくとも
１つを処理可能な立体画像処理装置と、立体画像観察装
置とを具備してなる立体画像撮影表示システムであっ
て、前記撮像装置は、前記立体写真アダプタを装着して撮影
した被写体の画像を記録可能であり、前記立体画像処理装置は、前記立体写真アダプタに装備
された反射面により前記撮像装置の撮影面を互いに平行
な左右２つの仮想撮影面に分割し、前記撮像装置により
左右２つの視点で異なる方向から撮影された被写体の画
像を、前記左右２つの仮想撮影面で撮影した画像となる
ように台形歪みを補正する幾何学的変換を行う画像処理
手段を有し、前記立体画像観察装置は、前記立体画像処理装置で処理
された前記左右２つの画像を左右それぞれの眼で独立に
観察可能な液晶シャッタ眼鏡であることを特徴とする立
体画像撮影表示システム。
【請求項４７】撮像装置に立体写真アダプタを装着し
て撮影した被写体の画像を左右２つの画像に分割し、分
割した前記左右２つの画像の少なくとも１つを処理可能
な立体画像処理方法であって、前記立体写真アダプタに装備された反射面により前記撮
像装置の撮影面を互いに平行な左右２つの仮想撮影面に
分割し、前記撮像装置により左右２つの視点で異なる方
向から撮影された被写体の画像を、前記左右２つの仮想
撮影面で撮影した画像となるように台形歪みを補正する
幾何学的変換を行うことを特徴とする立体画像処理方
法。
【請求項４８】前記幾何学的変換後の画像から部分領
域を切り出すことを特徴とする請求項４７記載の立体画
像処理方法。
【請求項４９】前記部分領域の切り出し位置は、外部
入力により調整可能であることを特徴とする請求項４８
記載の立体画像処理方法。
【請求項５０】前記左右２つの画像を左右それぞれの
眼で独立に観察可能であることを特徴とする請求項４７
記載の立体画像処理方法。
【請求項５１】前記立体写真アダプタに装備された光
学手段により、画像を横方向に圧縮することを特徴とす
る請求項４７記載の立体画像処理方法。
【請求項５２】撮像装置に立体写真アダプタを装着し
て撮影した被写体の画像を左右２つの画像に分割し、分
割した前記左右２つの画像の少なくとも１つを処理可能
な立体画像処理装置に適用される立体画像処理方法を実
行するプログラムを記憶したコンピュータにより読み出
し可能な記憶媒体であって、前記立体画像処理方法は、前記立体写真アダプタに装備
された反射面により前記撮像装置の撮影面を互いに平行
な左右２つの仮想撮影面に分割するステップと、前記撮
像装置により左右２つの視点で異なる方向から撮影され
た被写体の画像を、前記左右２つの仮想撮影面で撮影し
た画像となるように台形歪みを補正する幾何学的変換を
行うステップとを有することを特徴とする記憶媒体。
【請求項５３】前記立体画像処理方法は、前記幾何学
的変換後の画像から部分領域を切り出すステップを有す
ることを特徴とする請求項５２記載の記憶媒体。