JP2003047027A

JP2003047027A - 立体画像形成システム、立体画像形成方法、プログラムおよび記憶媒体

Info

Publication number: JP2003047027A
Application number: JP2001232700A
Authority: JP
Inventors: Kotaro Yano; 光太郎矢野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-07-31
Filing date: 2001-07-31
Publication date: 2003-02-14
Anticipated expiration: 2021-07-31
Also published as: JP4708619B2

Abstract

(57)【要約】【課題】自然な立体感のある被写体の立体像を簡単な
操作で観察できる立体画像形成システムを提供する。【解決手段】カメラで撮影した画像を、処理プログラ
ムで扱えるデータに変換するため、画像処理部４である
ＰＣのメモリに取り込む（Ｓ１）。取り込んだ画像デー
タを表示部５に表示する（Ｓ２）。画像中の被写体領域
を指定する（Ｓ３）。指定した被写体領域から視差マッ
プを生成する（Ｓ４）。視差マップを画像データに重ね
合わせて表示し（Ｓ５）、所望の視差マップであるか否
かを判断する（Ｓ６）。所望の視差マップを用いて多視
点画像を生成し（Ｓ７）、生成した多視点画像から３次
元ストライプ画像を合成し（Ｓ８）、その印刷を行う
（Ｓ９）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラ等により取
得した画像から３次元画像を生成し、レンチキュラ板等
の光学部材を、生成した３次元画像に重ね合わせること
により、立体像が観察される立体画像形成システム、立
体画像形成方法、プログラムおよび記憶媒体に関する。

【０００２】

【従来の技術】従来、立体画像を形成する方法として、
インテグラルフォトグラフィやレンチキュラ板３次元画
像が知られている（大越孝敬著：「三次元画像工学」，
産業図書，１９７２発行参照）。

【０００３】このような従来の立体画像の形成方法は、
写真的方法によるものである。例えば、レンチキュラ板
３次元画像では、被写体を多くの視点から撮影した画像
を取得し、これらの画像をレンチキュラ板を介して１つ
の写真乾板に焼き付けるものであり、以下に示す〜
の問題点があった。

【０００４】被写体の多地点からの画像を必要とす
るため、多眼式カメラなどの撮影装置が大掛かりなもの
となっていた。

【０００５】と同様、立体画像形成に関しても、
焼き付け装置が大掛かりなものとなっていた。

【０００６】上記装置を用いても、撮影や焼付けに
調整や熟練を要していた。

【０００７】このような問題点を克服するため、特開平
５−２１０１８１号公報では、複数の視点の画像からよ
り多くの視点の画像を補間により生成し、それらの画像
を電子的な処理を用いて立体画像を形成する方法が示さ
れている。すなわち、画像の電子的補間により、撮影の
必要な画像の視点数を少なくした。また、近年のデジタ
ル写真術を利用し、立体画像形成を簡便なものにした。

【０００８】しかしながら、複数の画像を必要とする以
上、撮影は困難であり、動被写体を撮影できないという
問題があった。

【０００９】このような撮影における問題を解消するた
め、本願出願人は、先に、カメラに立体写真アダプタを
装着し、左右２つの視点のステレオ画像を撮影し、ステ
レオ画像から電子的補間により多視点画像を取得し、立
体画像を形成する方法を提案した。しかし、この場合、
通常の撮影では、必要としない立体写真アダプタが必須
であった。したがって、理想的には、１枚の画像から多
視点画像を取得し、立体画像を形成することが望まし
い。

【００１０】これに対し、特開平８−１４０１１６号公
報では、撮影時に画像中の複数のブロック毎に測距を行
い、画像とともに距離値を記録し、その距離値を基に多
視点画像を取得し、立体画像を取得する方法が示されて
いる。

【００１１】また、１枚の画像から多視点画像を取得す
る方法として、例えば、画像中の背景から被写体領域を
切り出し、背景に対して切り出した被写体領域がレンチ
キュラ板を重ね合わせて見たときに手前に飛び出して見
えるように、多視点画像生成時に背景画像と被写体画像
を所定の視差分ずらして合成する方法が知られている。

【００１２】

【発明が解決しようとする課題】しかしながら、上記従
来の特開平８−１４０１１６号公報に記載の方法では、
撮影時に複数のブロックの距離値を得るための特殊な装
置が必要であり、また、距離値を画像データとともに記
録しておく必要があるので、通常撮影される画像から立
体画像を形成することはできなかった。

【００１３】また、上記従来の１枚の画像から多視点画
像を取得する方法では、取得した多視点画像から合成し
た３次元画像をレンチキュラ板を通して観察すると、背
景に対して切り出した被写体が衝立状のものとなり、立
体感が不自然になってしまうという問題があった。ま
た、被写体領域を切り出すことは、手作業を要し、簡単
に被写体領域を指定したいという要望もあった。

【００１４】そこで、本発明は、特殊な撮影を行わず、
１枚の画像から多視点画像を取得し、多視点画像を合成
して立体画像として印刷し、レンチキュラ板などの光学
部材を重ね合わせることにより、自然な立体感のある被
写体の立体像を簡単な操作で観察できる立体画像形成シ
ステム、立体画像形成方法、プログラムおよび記憶媒体
を提供することを目的とする。

【００１５】

【課題を解決するための手段】上記目的を達成するため
に、本発明の立体画像形成システムは、被写体画像を取
得する画像取得手段と、前記被写体画像から被写体領域
を取得する領域取得手段と、前記被写体領域から被写体
の奥行き分布を表す視差マップを抽出する視差マップ抽
出手段と、前記被写体画像および前記視差マップを基
に、複数の視点からの前記被写体に対する多視点画像を
生成する多視点画像生成手段と、前記多視点画像の各画
像における同一座標の画素を、前記視点の配列に応じた
隣接画素となるように配列して３次元画像を合成する画
像合成手段と、前記合成された３次元画像を出力する出
力手段とを備え、前記出力された３次元画像に周期的構
造を有する光学部材を重ね合わせることにより、前記被
写体の立体像が観察されることを特徴とする。

【００１６】また、本発明の立体画像形成システムは、
被写体画像を取得する画像取得手段と、少なくとも１つ
の３次元の形状モデルを記憶する形状モデル記憶手段
と、前記形状モデルを前記被写体画像に適合させ、被写
体の３次元形状を取得する３次元形状取得手段と、前記
取得した３次元形状から視差マップを抽出する視差マッ
プ抽出手段と、前記被写体画像および前記視差マップを
基に、複数の視点からの前記被写体に対する多視点画像
を生成する多視点画像生成手段と、前記多視点画像の各
画像における同一座標の画素を、前記視点の配列に応じ
た隣接画素となるように配列して３次元画像を合成する
画像合成手段と、前記合成された３次元画像を出力する
出力手段とを備え、前記出力された３次元画像に周期的
構造を有する光学部材を重ね合わせることにより、前記
被写体の立体像が観察されることを特徴とする。

【００１７】本発明の立体画像形成方法は、被写体画像
を取得する工程と、前記被写体画像から被写体領域を取
得する工程と、前記被写体領域から被写体の奥行き分布
を表す視差マップを抽出する工程と、前記被写体画像お
よび前記視差マップを基に、複数の視点からの前記被写
体に対する多視点画像を生成する工程と、前記多視点画
像の各画像における同一座標の画素を、前記視点の配列
に応じた隣接画素となるように配列して３次元画像を合
成する工程と、前記合成された３次元画像を出力する工
程とを有し、前記出力された３次元画像に周期的構造を
有する光学部材を重ね合わせることにより、前記被写体
の立体像が観察されることを特徴とする。

【００１８】また、本発明の立体画像形成方法は、被写
体画像を取得する工程と、少なくとも１つの３次元の形
状モデルを記憶しておく工程と、前記形状モデルを前記
被写体画像に適合させ、被写体の３次元形状を取得する
工程と、前記取得した３次元形状から視差マップを抽出
する工程と、前記被写体画像および前記視差マップを基
に、複数の視点からの前記被写体に対する多視点画像を
生成する工程と、前記多視点画像の各画像における同一
座標の画素を、前記視点の配列に応じた隣接画素となる
ように配列して３次元画像を合成する工程と、前記合成
された３次元画像を出力する工程とを有し、前記出力さ
れた３次元画像に周期的構造を有する光学部材を重ね合
わせることにより、前記被写体の立体像が観察されるこ
とを特徴とする。

【００１９】

【発明の実施の形態】本発明の立体画像形成システム、
立体画像形成方法、プログラムおよび記憶媒体の実施の
形態について図面を参照しながら説明する。

【００２０】［第１の実施形態］図１は第１の実施形態
における立体画像形成システムの構成を示す図である。
図において、１は被写体である。２はデジタルカメラで
ある。３はマウス、キーボード等の指示選択部であり、
ユーザインターフェース機能を有する。４は画像処理部
である。５は画像および処理情報を表示するＣＲＴディ
スプレイ等の表示部である。

【００２１】上記指示選択部３、画像処理部４および表
示部５は、例えば、汎用のＰＣ（ＰｅｒｓｏｎａｌＣ
ｏｍｐｕｔｅｒ）から構成される。この汎用のＰＣは、
周知のＣＰＵ、ＲＯＭ、ＲＡＭ等の他、記録媒体として
ハードディスクを内蔵する。６は画像処理部４に接続さ
れ、画像処理部４で生成された画像データ等を印刷する
印刷部である。カメラ２、画像処理部４および印刷部６
は、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕ
ｓ）を介して接続される。

【００２２】上記構成を有する立体画像形成システムで
は、まず、カメラ２で撮影された画像を画像処理部４に
取り込む。カメラ２で撮影・記録された画像データは、
例えば、カメラ２のドライバソフトウェアを画像処理部
４であるＰＣ内で起動し、所定の操作を行うことで、Ｕ
ＳＢインターフェースを介してＰＣ内のハードディスク
に一旦記録される。

【００２３】例えば、撮影された画像データは、ＣＦ
（ＣｏｍｐａｃｔＦｌａｓｈ、登録商標）カードに記
録されるので、画像処理部４にＰＣカードスロットがあ
る場合、カメラ２と画像処理部４とを接続しないでも、
一旦、カメラ２からＣＦカードを外し、ＣＦカードをＰ
Ｃカードスロットに装着可能なＣＦカードアダプタに装
着し、それをＰＣカードスロットに装着することで、Ｃ
Ｆカードに記録された画像データをＰＣのハードディス
クに記録された画像データと同等に扱うことができる。

【００２４】このようにして画像処理部４に取り込まれ
た画像に対し、画像処理部４は被写体の多視点画像を生
成し、３次元画像を合成して印刷部６に出力する。この
一連の処理は、例えば、ＰＣのアプリケーションソフト
ウェアとして実行される。

【００２５】図２は立体画像形成システムの画像処理部
４における３次元画像形成処理手順を示すフローチャー
トである。この処理プログラムは、ＰＣ本体に相当する
画像処理部４内のＲＯＭ（図示せず）に格納されてお
り、同じく画像処理部４内のＣＰＵ（図示せず）によっ
て実行される。

【００２６】まず、カメラで撮影した画像を、この処理
プログラムで扱えるデータに変換するため、画像処理部
４であるＰＣ本体のメモリに取り込む（ステップＳ
１）。このとき、画像データのファイル名等の指示は、
指示選択部３により行われ、指定されたファイルをプロ
グラムに読み込む。また、画像データをＲＧＢからなる
３チャンネルの２次元配列データやビットマップに変換
しておく。特に、入力する画像データがＪＰＥＧ画像フ
ォーマットのような圧縮画像データである場合、そのま
まの圧縮画像データに対して処理することは困難である
ので、ＪＰＥＧ画像を解凍処理するような画像データの
変換を行うことが必要である。

【００２７】ステップＳ１で取り込んだ画像データを表
示部５に表示する（ステップＳ２）。このとき、所定の
用紙に画像データを印刷する際の大きさ、位置などを確
認できるように、用紙を表す無地の矩形領域中に画像が
表示される。図３は画像データの表示例を示す図であ
る。図中、Ｒは用紙を表す無地の矩形領域である。Ｉは
取り込んだ画像である。印刷する用紙のサイズ、画像デ
ータの１画素当たりの印刷サイズ（解像度）などのパラ
メータから予め用紙中の画像の大きさ、位置が計算され
る。ユーザは、指示選択部３により、画像の大きさ、位
置および方向（紙面内での回転）を指定し、パラメータ
を変更すると、それに応じて、表示部５に表示される画
像が更新される。

【００２８】そして、被写体領域を取得する（ステップ
Ｓ３）。まず、ユーザが表示部５に表示された画像を見
たときに、立体画像として手前に飛び出させたい被写体
領域を指示選択部３により指定する。例えば、図３に示
すように、背景の前に人物が立っているようなシーンで
は、ユーザが人物の輪郭に沿って被写体領域を指定す
る。図４は図３の画像に対して被写体領域を指定した例
を示す図である。図中、破線部分は、ユーザによって指
定された被写体の輪郭である。被写体領域のデータを、
例えば、指定した被写体領域では値１、背景では値０の
画像データと同じサイズの２値からなる２次元データと
して、メモリに記憶しておく。

【００２９】この後、ステップＳ３で指定された被写体
領域から視差マップを生成する（ステップＳ４）。視差
マップは、画像データの２次元上の各画素に対応した被
写体を２つの視点で見たときのずれ量を表すものであ
る。２値の被写体領域データに所定のサイズの２次元平
均値フィルタを作用させ、２次元実数配列データを生成
し、視差マップとする。この平均値フィルタ処理によ
り、指定した被写体の輪郭がぼけて、被写体が衝立状の
ものではなく、背景から徐々に飛び出してくるような効
果が期待できる。

【００３０】ここで、２次元平均値フィルタのサイズが
大きいと、立体感がより滑らかになるが、ユーザが指定
した被写体領域の輪郭がぼけ、形成される立体画像にユ
ーザの意思が忠実に反映されなくなる。また、２次元平
均値フィルタのサイズが小さいと、ユーザの意思はより
忠実に反映されるが、被写体が衝立状のものに近づく。
２次元平均値フィルタのサイズとしては、画像サイズの
５〜１０％程度が望ましい。

【００３１】また、ステップＳ１で取得した画像データ
のサイズが大きいと、フィルタ処理の計算量が大きくな
るので、予め所定の倍率で被写体領域のデータを縮小し
てフィルタ処理を行い、その後、元のサイズに視差マッ
プを拡大するようにしてもよい。

【００３２】また、指定した被写体領域の輪郭から経験
的に望ましい３次元形状を得る方法として、輪郭形状を
多角形に置き換え、多角形の骨格を推定し、骨格を構成
する各頂点の高さを多角形の境界からの距離に応じて決
めることにより、３次元形状を擬似的に得る方法が知ら
れている（”Ｔｅｄｄｙ：ＡＳｋｅｔｃｈｉｎｇＩｎ
ｔｅｒｆａｃｅｆｏｒ３ＤＦｒｅｅｆｏｒｍＤ
ｅｓｉｇｎ”，Ｔ．Ｉｇａｒａｓｈｉ，Ｓ．Ｍａｔ
ｓｕｏｋａ，Ｈ．Ｔａｎａｋａ，ＳＩＧＧＲＡＰＨ
９９ＣｏｎｆｅｒｅｎｃｅＰｒｏｃｅｅｄｉｎｇｓ
参照）。

【００３３】この方法によれば、領域の幅に応じて、幅
が広い部分には太い断面、狭い部分には細い断面を仮定
した３次元形状が得られる。被写体領域から視差マップ
を得る方法として、上記方法を応用してもよい。すなわ
ち、ステップＳ３で取得した被写体領域を輪郭形状を表
すチェーンコード等の線図形データとして記憶してお
き、最初に輪郭形状を多角形に近似する。近似した多角
形データから上記方法で３次元形状を取得し、その３次
元形状を所定の２つの視点で透視投影変換を行って各画
素に対応した画素位置のずれ量として画像の視差マップ
を求める。尚、簡易には、求まった３次元形状の高さデ
ータに比例するように視差量を決めてもよい。

【００３４】この後、視差マップを画像データに重ね合
わせて表示する（ステップＳ５）。視差マップのデータ
と画像データのＲＧＢ各成分の画素値の積を視差マップ
を表す画像データとして表示する。

【００３５】本実施形態では、手前の視差は値０であ
り、奥側が値１であるので、手前ほど暗い画像が表示さ
れる。図５は図３および図４のデータから生成した視差
マップの表示例を示す図である。ユーザは、表示された
視差マップを見て、作成する立体画像の確認を行う。す
なわち、ステップＳ５の表示例から所望の視差マップが
得られているか否かを判断する（ステップＳ６）。所望
の視差マップが得られていると判断した場合、指示選択
部３で次の処理を行うように指示し、ステップＳ７の処
理を行う。一方、ステップＳ６で視差マップを修正し直
す必要があると判断した場合、指示選択部３で被写体領
域の再取得を行うように指示し、前述したステップＳ３
の処理に戻る。

【００３６】この後、所望の視差マップを用いて多視点
画像を生成する（ステップＳ７）。ここで、生成される
画像は、３次元ストライプ画像を構成する多視点画像で
あり、それぞれの画像サイズは、画像数、印刷する解像
度および大きさに依存する。印刷部６の解像度をＲＰｄ
ｐｉ（ｄｏｔｐｅｒｉｎｃｈ）、印刷サイズをＸＰ
×ＹＰｉｎｃｈとすると、印刷する画像のサイズは、Ｘ
（＝ＲＰ×ＸＰ）×Ｙ（＝ＲＰ×ＹＰ）画素となる。画
像数Ｎは、レンチキュラ板のピッチＲＬｉｎｃｈに合わ
せて、Ｎ＝ＲＰ×ＲＬとなるように決める。Ｎは整数で
あるので、実際には、ＲＰ×ＲＬに近い整数を画像数と
する。

【００３７】例えば、プリンタの解像度６００ｄｐｉ、
レンチキュラ板のピッチ１／５０．８ｉｎｃｈの場合、
Ｎ＝１２の像が望ましい。このとき、各視点の画像のサ
イズは、Ｈ（＝Ｘ／Ｎ）×Ｖ（＝Ｙ）となる。ここで、
実際には、Ｈ、Ｖが整数になるように、印刷サイズを決
める。例えば、Ｈ＝２００、Ｖ＝１８００画素である場
合、Ｘ＝２４００、Ｙ＝１８００画素となり、印刷サイ
ズは、４×３ｉｎｃｈとなる。

【００３８】実際には、レンチキュラ板のピッチと画像
周期を合わせる必要があるので、多少サイズが変わる。
この処理は後述するステップＳ８で行われる。画像は、
ステップＳ１で取得した画像を視差マップを用いて変形
することにより生成される。

【００３９】例えば、画像のサイズがｈ（＝８００）×
ｖ（＝６００）画素である場合、水平方向の画素数Ｈ、
垂直方向の画素数ｖに合わせて、２００×６００画素の
画像を生成する。垂直方向の画素数が少ないのは、印刷
に必要な各画像の垂直方向の画素数が水平方向の画素数
に比べて著しく多く、視差を用いていきなり大きなサイ
ズの画像を生成すると、処理時間がかかるためである。

【００４０】生成する画像の視点位置を、所定の視差量
が発生するように決定する。視差量が小さくなりすぎる
と、立体像を観察する際の立体感が損われる。逆に、視
差量が大きくなりすぎると、隣接する画像とのクロスト
ークにより観察する立体像が不鮮明になる。また、各視
点が左画像の視点位置を中心として等間隔かつ対称に並
ぶように、視点位置を決める。これは、画像シーケンス
の視点位置が等間隔に並ぶことで、立体像を安定して観
察するためであり、また、左画像の視点位置を中心とし
て視点位置を対称に並べることで、画像の変形量を最小
に抑え、被写体や撮影条件により視差マップに誤差が生
じても、高品位な立体像を安定して得るためである。

【００４１】ステップＳ４で求めた視差マップを基に、
カメラ２から最も近い被写体位置に相当する視差と、最
も遠い被写体位置に相当する視差とを求める。本実施形
態では、視差マップは「０」から「１」の実数値となる
ので、最も近い被写体位置に相当する視差は「０」であ
り、最も遠い被写体位置に相当する視差は「１」であ
る。そして、最も近い被写体が所定の観察位置におい
て、観察時に印刷面から所定の距離だけ手前に観察さ
れ、最も遠い被写体が印刷面から所定の距離だけ奥に観
察されるように、視点位置を決める。

【００４２】このとき、実際に画像生成に用いるパラメ
ータは、左右ステレオ画像対の視差に対する各画像の比
率ｒ、遠近の視差調整量ｓｈであり、視点位置に対応す
る。例えば、比率ｒ＝０の場合、左画像そのものを表
し、比率ｒ＝１の場合、右画像の視点位置での画像を表
す。尚、視差マップに誤差がある場合、最近被写体の視
差および最遠被写体の視差にも誤差が生じる場合がある
ので、画像生成に用いるパラメータを、視差マップ全体
の統計的な分布から誤差に影響しないような方法で求め
るようにしてもよい。

【００４３】以下、各視点画像を生成する方法を示す。
まず、新規視点画像の生成を左画像の画素を用いてフォ
ワードマッピングにより生成する。すなわち、まず、左
画像の各画素をマッピングする新規視点画像中の位置
（Ｘ_N，Ｙ_N）を、左画像の画素位置（ｘ，ｙ）における
視差ｄ、視点位置を表す比率ｒ、左画像のサイズと新規
視点画像のサイズから数式（１）により求める。

【００４４】Ｘ_N ＝Ｈ／ｈ×（ｘ＋ｒ×（ｄ−ｓｈ）），Ｙ_N ＝ｙ … （１）左画像の画素位置（ｘ，ｙ）における画素を新規視点画
像の（Ｘ_N，Ｙ_N）の位置にコピーする。この処理を左画
像の全画素について繰り返す。つぎに、新規視点画像の
画素のうち、左画像から画素が割り当てられなかった画
素に対して穴埋め処理を行う。穴埋め処理では、求める
画素から所定距離だけ離れた有効な画素を探索し、その
画素値の距離をパラメータとした加重平均値を割り当て
る。有効な画素がない場合、探索する範囲を広げて、探
索を繰り返す。この処理で全画素有効な新規視点画像が
生成される。この処理を視点数分繰り返し、多視点画像
シーケンスとする。

【００４５】そして、多視点画像シーケンスから３次元
ストライプ画像を合成する（ステップＳ８）。このと
き、多視点画像シーケンスの各画像の同一座標の画素
を、画像の視点配列に従って隣接画素として配列するよ
うに、３次元画像を合成する。ｊ番目視点の画素値をＰ
ｊｍｎ（但し、ｍ、ｎはそれぞれ水平、垂直方向の画素
配列のインデックス）とする場合、ｊ番目の画像データ
は、次のような２次元配列として表される。

【００４６】Ｐ_j00 Ｐ_j10 Ｐ_j20 Ｐ_j30 ……… Ｐ_j01 Ｐ_j11 Ｐ_j21 Ｐ_j31 ……… Ｐ_j02 Ｐ_j12 Ｐ_j22 Ｐ_j32 ……… ……… 合成は、それぞれの視点の画像を垂直方向に１ライン毎
に短冊状に分解し、視点位置の逆順に視点数分だけ合成
する。したがって、合成後の画像は、以下に示すような
ストライプ画像となる。

【００４７】Ｐ_N00…Ｐ₂₀₀Ｐ₁₀₀ Ｐ_N10…Ｐ₂₁₀Ｐ₁₁₀ Ｐ_N20…Ｐ₂₂₀Ｐ₁₂₀ ……… Ｐ_N01…Ｐ₂₀₁Ｐ₁₀₁ Ｐ_N11…Ｐ₂₁₁Ｐ₁₁₁ Ｐ_N21…Ｐ₂₂₁Ｐ₁₂₁ ……… Ｐ_N02…Ｐ₂₀₂Ｐ₁₀₂ Ｐ_N12…Ｐ₂₁₂Ｐ₁₁₂ Ｐ_N22…Ｐ₂₂₂Ｐ₁₂₂ ……… ……… 但し、視点１が左端、Ｎが右端の画像を表す。ここで、
視点位置の配列順を逆にするのは、レンチキュラ板によ
り観察する際、レンチキュラの１ピッチ内で画像が左右
逆に観察されるためである。この３次元ストライプ画像
は、元の多視点画像がＨ×ｖのサイズのＮ視点画像であ
る場合、Ｘ（＝Ｎ×Ｈ）×ｖのサイズとなる。

【００４８】そして、この３次元ストライプ画像に対
し、レンチキュラ板とのピッチを合わせる。１ピッチに
ＲＰｄｐｉの画素がＮ画素分あるので、１ピッチはＮ／
ＲＰｉｎｃｈとなるが、レンチキュラ板のピッチがＲＬ
ｉｎｃｈであるので、画像を水平方向にＲＬ×ＲＰ／Ｎ
倍してピッチを合わせる。また、このとき、垂直方向の
画素数は、（ＲＬ×ＲＰ／Ｎ）×Ｙ画素とする必要があ
るので、垂直方向に（ＲＬ×ＲＰ×Ｙ）／（Ｎ×ｖ）倍
して倍率を合わせる。したがって、３次元ストライプ画
像に対し、上記水平、垂直方向に変倍処理を行い、印刷
用の画像データとする。この変倍の処理は、例えば、双
線形補間などにより行う。このようにして合成した３次
元ストライプ画像は、ＰＣ内のハードディスクに保存可
能である。

【００４９】最後に、ステップＳ８で得られた画像の印
刷を行い（ステップＳ９）、この処理を終了する。

【００５０】以上示したステップＳ１〜Ｓ９の処理によ
り、印刷された画像に対してレンチキュラ板を重ね合わ
せると、ユーザの意思を反映した、自然な立体像が観察
される。このように、本実施形態では、特殊な撮影を行
わないで、１枚の画像から立体画像の印刷を簡単な操作
で行うことができる。

【００５１】［第２の実施形態］図６は第２の実施形態
における立体画像形成システムの構成を示す図である。
前記第１の実施形態と同一の構成要素については、同一
の符号を付してその説明を省略する。図において、７は
形状モデル記憶部であり、複数の標準的な３次元形状を
ワイヤフレームモデル、サーフェスモデルなどのデータ
として記憶している。

【００５２】図７は立体画像形成システムの画像処理部
４における３次元画像形成処理手順を示すフローチャー
トである。この処理プログラムは、ＰＣ本体に相当する
画像処理部４内のＲＯＭ（図示せず）に格納されてお
り、同じく画像処理部４内のＣＰＵ（図示せず）によっ
て実行される。前記第１の実施形態と同一のステップ処
理については、同一のステップ番号を付してその説明を
省略する。

【００５３】第２の実施形態では、前記第１の実施形態
のステップＳ３における被写体領域を取得する処理の代
わりに、形状モデルを選択・配置する処理（ステップＳ
３Ａ）を行う。

【００５４】まず、前記第１の実施形態と同様、ステッ
プＳ１、Ｓ２の処理により、ユーザの指示に応じて、取
得した画像が表示部５に表示される。

【００５５】この後、ユーザの指示に応じて、形状モデ
ルの選択および配置を行う（ステップＳ３Ａ）。この処
理では、３次元形状モデルを任意の方向および視点から
描画し、画像に重畳して表示する機能、および３次元形
状モデルを変形する機能が実行される。

【００５６】すなわち、表示部５に形状モデル記憶部７
に記憶されている形状の一覧が表示される。ユーザは、
一覧の中から被写体の形状に最も適合すると思われる形
状モデルを指示選択部３により選択する。例えば、前述
した図３の画像に対し、被写体の形状モデルとして、図
８に示す形状モデルをユーザが選択した場合を示す。図
８は被写体の形状モデルを示す図である。

【００５７】選択された形状モデルが標準的な方向およ
び視点位置で描画され、画像中に重畳して表示部５に表
示される。ユーザは、指示選択部３により、画像中に表
示された形状モデルを自由に移動、回転および変形させ
ることができ、画像中の被写体領域に重ね合わせる操作
を行い、被写体形状データを一時的に記憶する。図９は
選択された形状モデルを画像に合わせる様子を示す図で
ある。

【００５８】ステップＳ３Ａで取得した被写体形状デー
タから視差マップを生成する（ステップＳ４）。３次元
形状から視差マップを求める場合、前記第１の実施形態
のステップＳ４に示した方法を用いる。すなわち、３次
元形状を所定の２つの視点で透視投影変換を行って画像
の視差マップを求める。尚、簡易には、求まった３次元
形状の高さデータに比例するように視差量を決めてもよ
い。

【００５９】そして、求めた視差マップを表示部５に表
示する（ステップＳ５）。ユーザは、この表示された視
差マップが所望のものであるか否かを判断する（ステッ
プＳ６）。視差マップを修正する必要があると判断した
場合、ステップＳ３Ａに戻って同様の処理を繰り返す。
このとき、画像に重畳して表示される形状データは、ス
テップＳ３Ａで一時的に記憶された形状データである。
一方、ステップＳ６で所望の視差マップが得られた場
合、前記第１の実施形態と同様、ステップＳ７〜Ｓ９の
処理を行い、３次元ストライプ画像を印刷する。

【００６０】このように、第２の実施形態では、被写体
領域を切り出す代わりに、形状モデルを用いているの
で、被写体領域を切り出すことなく、１枚の画像から自
然な立体画像を形成できる。さらに、より被写体に適合
した形状モデルを用いることにより、より自然な立体画
像を形成できる。

【００６１】以上が本発明の実施の形態の説明である
が、本発明は、これら実施の形態の構成に限られるもの
ではなく、特許請求の範囲で示した機能、または実施の
形態の構成が持つ機能が達成できる構成であればどのよ
うなものであっても適用可能である。

【００６２】例えば、上記実施形態では、画像処理部内
のハードディスクにカメラで撮影した画像を一旦記録す
るようにしたが、例えば、画像記録用として別のＰＣを
用意しておき、これにカメラで撮影した画像を一旦記録
した後、ネットワークを介して画像処理部が画像データ
を読み込めるようにしてもよい。この場合、さらに、あ
るユーザＡが遠隔地でカメラ撮影を行い、その場でカメ
ラの画像を携帯型ＰＣに一旦記録した後、ネットワーク
に接続してデジタル画像データを転送する。別のユーザ
Ｂは、別の地点で印刷部が接続された画像処理部である
ＰＣをネットワークに接続し、デジタル画像データを直
接、処理プログラムに取り込み、３次元画像を印刷し、
その立体像を観察してもよい。また、ユーザＡがリモー
トで画像処理部を操作することにより、遠隔地から立体
画像を即時に取得できるようにしてもよい。

【００６３】また、上記実施形態では、生成した３次元
ストライプ画像をそのまま印刷していたが、フォトフレ
ーム、クリスマスカード、アニメキャラクタ等の画像テ
ンプレートや文字テンプレートを３次元ストライプ画像
に合成し、合成したデータを印刷するようにしてもよ
い。

【００６４】さらに、上記実施形態では、レンチキュラ
板３次元画像の方式を用いた立体画像形成システムにつ
いて示したが、本発明は、この方式に限らず、インテグ
ラルフォトグラフィやバリア方式を用いた立体画像形成
システムにも適用できる。また、立体画像の最終出力を
プリンタ出力としての印刷である場合を示したが、これ
に限らず、液晶ディスプレイ等の表示部にレンチキュラ
板が取り付けられた、いわゆる眼鏡なしディスプレイへ
の最終出力であってもよく、立体画像の表示にも適用で
きる。

【００６５】また、本発明は、前述した実施形態の機能
を実現するソフトウェアのプログラムコードをシステム
に供給することによって達成される場合、プログラムコ
ード自体が本発明の新規な機能を実現することになり、
そのプログラム自体およびそのプログラムを記憶した記
憶媒体は本発明を構成することになる。

【００６６】上記実施形態では、図２、図７のフローチ
ャートに示すプログラムコードは記憶媒体に格納されて
いる。プログラムコードを供給する記憶媒体としては、
ＲＯＭ、フレキシブルディスク、不揮発性のメモリカー
ドなどを用いることができる。

【００６７】

【発明の効果】本発明によれば、特殊な撮影を行わず、
１枚の画像から多視点画像を取得し、多視点画像を合成
して立体画像として印刷し、レンチキュラ板などの光学
部材を重ね合わせることにより、被写体の立体像を観察
できる。また、背景に対して被写体が衝立状にならな
い、自然な立体感のある立体画像を得ることができる。
さらに、簡単な操作で立体画像を得ることができる。

【図面の簡単な説明】

【図１】第１の実施形態における立体画像形成システム
の構成を示す図である。

【図２】立体画像形成システムの画像処理部４における
３次元画像形成処理手順を示すフローチャートである。

【図３】画像データの表示例を示す図である。

【図４】図３の画像に対して被写体領域を指定した例を
示す図である。

【図５】図３および図４のデータから生成した視差マッ
プの表示例を示す図である。

【図６】第２の実施形態における立体画像形成システム
の構成を示す図である。

【図７】立体画像形成システムの画像処理部４における
３次元画像形成処理手順を示すフローチャートである。

【図８】被写体の形状モデルを示す図である。

【図９】選択された形状モデルを画像に合わせる様子を
示す図である。

【符号の説明】

１被写体２カメラ３指示選択部４画像処理部５表示部７形状モデル記憶部

Claims

【特許請求の範囲】

【請求項１】被写体画像を取得する画像取得手段と、前記被写体画像から被写体領域を取得する領域取得手段
と、前記被写体領域から被写体の奥行き分布を表す視差マッ
プを抽出する視差マップ抽出手段と、前記被写体画像および前記視差マップを基に、複数の視
点からの前記被写体に対する多視点画像を生成する多視
点画像生成手段と、前記多視点画像の各画像における同一座標の画素を、前
記視点の配列に応じた隣接画素となるように配列して３
次元画像を合成する画像合成手段と、前記合成された３次元画像を出力する出力手段とを備
え、前記出力された３次元画像に周期的構造を有する光学部
材を重ね合わせることにより、前記被写体の立体像が観
察されることを特徴とする立体画像形成システム。
【請求項２】前記被写体領域は、前記被写体画像の各
画素に対応し、被写体であるか背景であるかを表す二次
元配列のマスクデータからなり、前記視差マップ抽出手段は、前記マスクデータを二次元
フィルタ処理によりぼかすことで、前記視差マップを抽
出することを特徴とする請求項１記載の立体画像形成シ
ステム。
【請求項３】前記視差マップ抽出手段は、前記被写体
領域から被写体の３次元形状を推定し、該推定された３
次元形状を基に前記視差マップを抽出することを特徴と
する請求項１記載の立体画像形成システム。
【請求項４】被写体画像を取得する画像取得手段と、少なくとも１つの３次元の形状モデルを記憶する形状モ
デル記憶手段と、前記形状モデルを前記被写体画像に適合させ、被写体の
３次元形状を取得する３次元形状取得手段と、前記取得した３次元形状から視差マップを抽出する視差
マップ抽出手段と、前記被写体画像および前記視差マップを基に、複数の視
点からの前記被写体に対する多視点画像を生成する多視
点画像生成手段と、前記多視点画像の各画像における同一座標の画素を、前
記視点の配列に応じた隣接画素となるように配列して３
次元画像を合成する画像合成手段と、前記合成された３次元画像を出力する出力手段とを備
え、前記出力された３次元画像に周期的構造を有する光学部
材を重ね合わせることにより、前記被写体の立体像が観
察されることを特徴とする立体画像形成システム。
【請求項５】前記抽出された視差マップを評価する視
差マップ評価手段を備えたことを特徴とする請求項１ま
たは４記載の立体画像形成システム。
【請求項６】前記出力手段は、印刷手段であることを
特徴とする請求項１または４記載の立体画像形成システ
ム。
【請求項７】前記光学部材は、レンチキュラ板である
ことを特徴とする請求項１または４記載の立体画像形成
システム。
【請求項８】前記画像取得手段により取得した被写体
画像をデジタル画像データとして記録する画像記録手段
を備え、前記画像記録手段は、ネットワークを介して前記デジタ
ル画像データを転送することを特徴とする請求項１また
は４記載の立体画像形成システム。
【請求項９】被写体画像を取得する工程と、前記被写体画像から被写体領域を取得する工程と、前記被写体領域から被写体の奥行き分布を表す視差マッ
プを抽出する工程と、前記被写体画像および前記視差マップを基に、複数の視
点からの前記被写体に対する多視点画像を生成する工程
と、前記多視点画像の各画像における同一座標の画素を、前
記視点の配列に応じた隣接画素となるように配列して３
次元画像を合成する工程と、前記合成された３次元画像を出力する工程とを有し、前記出力された３次元画像に周期的構造を有する光学部
材を重ね合わせることにより、前記被写体の立体像が観
察されることを特徴とする立体画像形成方法。
【請求項１０】前記被写体領域は、前記被写体画像の
各画素に対応し、被写体であるか背景であるかを表す二
次元配列のマスクデータからなり、前記視差マップを抽出する工程では、前記マスクデータ
を二次元フィルタ処理によりぼかすことで、前記視差マ
ップを抽出することを特徴とする請求項９記載の立体画
像形成方法。
【請求項１１】前記視差マップを抽出する工程では、
前記被写体領域から被写体の３次元形状を推定し、該推
定された３次元形状を基に前記視差マップを抽出するこ
とを特徴とする請求項９記載の立体画像形成方法。
【請求項１２】被写体画像を取得する工程と、少なくとも１つの３次元の形状モデルを記憶しておく工
程と、前記形状モデルを前記被写体画像に適合させ、被写体の
３次元形状を取得する工程と、前記取得した３次元形状から視差マップを抽出する工程
と、前記被写体画像および前記視差マップを基に、複数の視
点からの前記被写体に対する多視点画像を生成する工程
と、前記多視点画像の各画像における同一座標の画素を、前
記視点の配列に応じた隣接画素となるように配列して３
次元画像を合成する工程と、前記合成された３次元画像を出力する工程とを有し、前記出力された３次元画像に周期的構造を有する光学部
材を重ね合わせることにより、前記被写体の立体像が観
察されることを特徴とする立体画像形成方法。
【請求項１３】前記抽出された視差マップを評価する
工程を有することを特徴とする請求項９または１２記載
の立体画像形成方法。
【請求項１４】前記出力する工程では、印刷すること
を特徴とする請求項９または１２記載の立体画像形成方
法。
【請求項１５】前記光学部材は、レンチキュラ板であ
ることを特徴とする請求項９または１２記載の立体画像
形成方法。
【請求項１６】前記取得した被写体画像をデジタル画
像データとして記録する工程と、前記記録されたデジタル画像データをネットワークを介
して転送する工程とを有することを特徴とする請求項９
または１２記載の立体画像形成方法。
【請求項１７】請求項９乃至１６のいずれかに記載の
立体画像形成方法を実現するためのプログラムコードを
保持する記憶媒体。
【請求項１８】請求項９乃至１６のいずれかに記載の
立体画像形成方法を実現するためのプログラムコードを
有するプログラム。