JP2003044880A - 立体画像形成装置、立体画像形成方法、プログラム、及び記憶媒体 - Google Patents
立体画像形成装置、立体画像形成方法、プログラム、及び記憶媒体Info
- Publication number
- JP2003044880A JP2003044880A JP2001232697A JP2001232697A JP2003044880A JP 2003044880 A JP2003044880 A JP 2003044880A JP 2001232697 A JP2001232697 A JP 2001232697A JP 2001232697 A JP2001232697 A JP 2001232697A JP 2003044880 A JP2003044880 A JP 2003044880A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- subject
- parallax map
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 ３次元ストライプ画像の合成に必要な画像メ
モリの容量を減少させるとともに、３次元ストライプ画
像の合成の処理時間を短縮する。 【解決手段】 被写体画像と視差マップとを基に、複数
視点からの被写体の多視点画像シーケンスにおける各画
像の同一座標の画素を、画像の視点配列に従い隣接画素
として配列するようにした三次元画像を合成する画像処
理手段が、合成すべき三次元画像の各画素について、前
記多視点画像シーケンスの属する視点位置および画素位
置を求め（Ｓ７２，Ｓ７３）、得られた視点位置および
画素位置を用いて、前記視差マップから視差ずれ量を求
め（Ｓ７４）、得られた視差ずれ量に基づいて、入力画
像での画素位置を求め（Ｓ７５）、この画素位置に対応
する画素値を前記三次元画像の画素に書き込む（Ｓ７
６）。
モリの容量を減少させるとともに、３次元ストライプ画
像の合成の処理時間を短縮する。 【解決手段】 被写体画像と視差マップとを基に、複数
視点からの被写体の多視点画像シーケンスにおける各画
像の同一座標の画素を、画像の視点配列に従い隣接画素
として配列するようにした三次元画像を合成する画像処
理手段が、合成すべき三次元画像の各画素について、前
記多視点画像シーケンスの属する視点位置および画素位
置を求め（Ｓ７２，Ｓ７３）、得られた視点位置および
画素位置を用いて、前記視差マップから視差ずれ量を求
め（Ｓ７４）、得られた視差ずれ量に基づいて、入力画
像での画素位置を求め（Ｓ７５）、この画素位置に対応
する画素値を前記三次元画像の画素に書き込む（Ｓ７
６）。
Description
【０００１】
【発明の属する技術分野】本発明は、立体画像形成装
置、立体画像形成方法、プログラム、及び記憶媒体に関
し、特に、カメラ等の撮影手段等により取得した画像デ
ータから３次元画像を生成し、該３次元画像にレンチキ
ュラ板等を重ね合わせることにより立体像を観察するこ
とが可能な立体画像形成装置、該立体画像形成装置に適
用される立体画像形成方法、該立体画像形成方法をコン
ピュータに実行させるためのプログラム、及び該プログ
ラムを記憶した記憶媒体に関する。
置、立体画像形成方法、プログラム、及び記憶媒体に関
し、特に、カメラ等の撮影手段等により取得した画像デ
ータから３次元画像を生成し、該３次元画像にレンチキ
ュラ板等を重ね合わせることにより立体像を観察するこ
とが可能な立体画像形成装置、該立体画像形成装置に適
用される立体画像形成方法、該立体画像形成方法をコン
ピュータに実行させるためのプログラム、及び該プログ
ラムを記憶した記憶媒体に関する。
【０００２】
【従来の技術】従来、立体画像を形成する方法として
は、インテグラルフォトグラフィやレンチキュラ板３次
元画像を用いる方法が知られている（大越孝敬「三次元
画像工学」産業図書、１９７２）。しかしながら、この
ような従来の立体画像の形成方法は写真的方法によるも
のであり、例えば、レンチキュラ板３次元画像を用いる
方法では、被写体を多くの視点から撮影した画像を取得
し、これらの画像を、レンチキュラ板を介して１つの写
真乾板に焼き付けるものであり、以下に示す〜の問
題点がある。
は、インテグラルフォトグラフィやレンチキュラ板３次
元画像を用いる方法が知られている（大越孝敬「三次元
画像工学」産業図書、１９７２）。しかしながら、この
ような従来の立体画像の形成方法は写真的方法によるも
のであり、例えば、レンチキュラ板３次元画像を用いる
方法では、被写体を多くの視点から撮影した画像を取得
し、これらの画像を、レンチキュラ板を介して１つの写
真乾板に焼き付けるものであり、以下に示す〜の問
題点がある。
【０００３】 多視点から撮影した被写体の画像を必
要とするため、多眼式カメラ等の大掛かりな撮影装置が
必要となる。
要とするため、多眼式カメラ等の大掛かりな撮影装置が
必要となる。
【０００４】 立体画像形成に関しても同様に、焼き
付け装置が大掛かりなものとなる。
付け装置が大掛かりなものとなる。
【０００５】 上記装置のいずれにおいても、撮影や
焼付けに難しい調整が必要で、この調整には熟練を要す
る。
焼付けに難しい調整が必要で、この調整には熟練を要す
る。
【０００６】以上の点を克服するため、カメラに立体写
真アダプタを装着して左右２つの視点のステレオ画像を
撮影し、ステレオ画像から電子的補間により多視点画像
を得、これによって立体画像を形成する方法がある。し
かしながら、この場合には、通常の撮影では必要としな
いような立体写真アダプタが必須となる。
真アダプタを装着して左右２つの視点のステレオ画像を
撮影し、ステレオ画像から電子的補間により多視点画像
を得、これによって立体画像を形成する方法がある。し
かしながら、この場合には、通常の撮影では必要としな
いような立体写真アダプタが必須となる。
【０００７】したがって、理想的には一枚の画像から多
視点画像を得て、立体画像を形成するのがよいが、そう
した一枚の画像から多視点画像を得る方法として、例え
ば、画像中の背景から被写体領域を切り出し、レンチキ
ュラ板を重ね合わせて見たときに、切出した被写体領域
が背景に対して手前に飛び出して見えるように、多視点
画像生成時に背景画像と被写体画像とを所定の視差分ず
らして合成する方法が考えられる。
視点画像を得て、立体画像を形成するのがよいが、そう
した一枚の画像から多視点画像を得る方法として、例え
ば、画像中の背景から被写体領域を切り出し、レンチキ
ュラ板を重ね合わせて見たときに、切出した被写体領域
が背景に対して手前に飛び出して見えるように、多視点
画像生成時に背景画像と被写体画像とを所定の視差分ず
らして合成する方法が考えられる。
【０００８】
【発明が解決しようとする課題】しかしながら、一枚の
画像から多視点画像を得て立体画像を形成する上記従来
の方法を実現する装置では、多視点画像を一旦生成し
て、その後、３次元ストライプ画像を合成するため、多
くの画像メモリ容量を必要とする。また、その合成処理
に時間がかかり、これを短縮したいという要請もある。
画像から多視点画像を得て立体画像を形成する上記従来
の方法を実現する装置では、多視点画像を一旦生成し
て、その後、３次元ストライプ画像を合成するため、多
くの画像メモリ容量を必要とする。また、その合成処理
に時間がかかり、これを短縮したいという要請もある。
【０００９】本発明はこのような問題点に鑑みてなされ
たものであって、３次元ストライプ画像の合成に必要な
画像メモリの容量を減少させるとともに、３次元ストラ
イプ画像の合成の処理時間を短縮した立体画像形成装
置、立体画像形成方法、プログラム、及び記憶媒体を提
供することを目的とする。
たものであって、３次元ストライプ画像の合成に必要な
画像メモリの容量を減少させるとともに、３次元ストラ
イプ画像の合成の処理時間を短縮した立体画像形成装
置、立体画像形成方法、プログラム、及び記憶媒体を提
供することを目的とする。
【００１０】
【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の発明によれば、被写体画像を取得す
る画像取得手段と、該画像取得手段によって取得された
被写体画像に対応した、被写体の奥行き分布を表す視差
マップを取得する視差マップ取得手段と、前記画像取得
手段によって取得された被写体画像と前記視差マップ取
得手段によって取得された視差マップとを基に、複数視
点からの被写体の多視点画像シーケンスにおける各画像
の同一座標の画素を、画像の視点配列に従い隣接画素と
して配列するようにした三次元画像を合成する画像処理
手段と、前記画像処理手段によって合成された三次元画
像を出力する出力手段とを備え、前記出力手段から出力
された三次元画像に、周期的構造をもつ光学部材を重ね
合わせることにより被写体の立体像を観察できるように
した立体画像形成装置において、前記画像処理手段は、
合成すべき三次元画像の各画素について、前記多視点画
像シーケンスの属する視点位置および画素位置を求める
第１の手段と、前記第１の手段によって得られた視点位
置および画素位置を用いて、前記視差マップ取得手段に
よって取得された視差マップから視差ずれ量を求める第
２の手段と、前記第２の手段によって得られた視差ずれ
量に基づいて、前記三次元画像の画素に対応する被写体
画像の画素値を求める第３の手段と、前記第３の手段に
よって得られた被写体画像の画素値を前記三次元画像の
画素に書き込む第４の手段とを含むことを特徴とする立
体画像形成装置が提供される。
に、請求項１記載の発明によれば、被写体画像を取得す
る画像取得手段と、該画像取得手段によって取得された
被写体画像に対応した、被写体の奥行き分布を表す視差
マップを取得する視差マップ取得手段と、前記画像取得
手段によって取得された被写体画像と前記視差マップ取
得手段によって取得された視差マップとを基に、複数視
点からの被写体の多視点画像シーケンスにおける各画像
の同一座標の画素を、画像の視点配列に従い隣接画素と
して配列するようにした三次元画像を合成する画像処理
手段と、前記画像処理手段によって合成された三次元画
像を出力する出力手段とを備え、前記出力手段から出力
された三次元画像に、周期的構造をもつ光学部材を重ね
合わせることにより被写体の立体像を観察できるように
した立体画像形成装置において、前記画像処理手段は、
合成すべき三次元画像の各画素について、前記多視点画
像シーケンスの属する視点位置および画素位置を求める
第１の手段と、前記第１の手段によって得られた視点位
置および画素位置を用いて、前記視差マップ取得手段に
よって取得された視差マップから視差ずれ量を求める第
２の手段と、前記第２の手段によって得られた視差ずれ
量に基づいて、前記三次元画像の画素に対応する被写体
画像の画素値を求める第３の手段と、前記第３の手段に
よって得られた被写体画像の画素値を前記三次元画像の
画素に書き込む第４の手段とを含むことを特徴とする立
体画像形成装置が提供される。
【００１１】請求項６記載の発明によれば、前記第２の
手段は、前記第１の手段によって得られた視点位置およ
び画素位置を用いて、前記三次元画像の画素に対応する
前記被写体画像の画素位置における視差マップの視差か
ら第１の視差ずれ量を求める第５の手段と、前記第１の
手段によって得られた視点位置および画素位置を用い
て、前記視差マップ取得手段によって取得された視差マ
ップから第２の視差ずれ量を求め、前記第２の視差ずれ
量を前記第１の視差ずれ量に基づき補正する第６の手段
とを含むことを特徴とする。
手段は、前記第１の手段によって得られた視点位置およ
び画素位置を用いて、前記三次元画像の画素に対応する
前記被写体画像の画素位置における視差マップの視差か
ら第１の視差ずれ量を求める第５の手段と、前記第１の
手段によって得られた視点位置および画素位置を用い
て、前記視差マップ取得手段によって取得された視差マ
ップから第２の視差ずれ量を求め、前記第２の視差ずれ
量を前記第１の視差ずれ量に基づき補正する第６の手段
とを含むことを特徴とする。
【００１２】また、請求項７記載の発明によれば、被写
体画像を取得する画像取得手段と、該画像取得手段によ
って取得された被写体画像に対応した、被写体の奥行き
分布を表す視差マップを取得する視差マップ取得手段
と、前記画像取得手段によって取得された被写体画像と
前記視差マップ取得手段によって取得された視差マップ
とを基に、複数視点からの被写体の多視点画像シーケン
スにおける各画像の同一座標の画素を、画像の視点配列
に従い隣接画素として配列するようにした三次元画像を
合成する画像処理手段と、前記画像処理手段によって合
成された三次元画像を出力する出力手段とを備え、前記
出力手段から出力された三次元画像に、周期的構造をも
つ光学部材を重ね合わせることにより被写体の立体像を
観察できるようにした立体画像形成装置に適用される立
体画像形成方法において、合成すべき三次元画像の各画
素について、前記多視点画像シーケンスの属する視点位
置および画素位置を求める第１のステップと、前記第１
のステップによって得られた視点位置および画素位置を
用いて、前記視差マップ取得手段によって取得された視
差マップから視差ずれ量を求める第２のステップと、前
記第２のステップによって得られた視差ずれ量に基づい
て、前記三次元画像の画素に対応する被写体画像の画素
値を求める第３のステップと、前記第３のステップによ
って得られた被写体画像の画素値を前記三次元画像の画
素に書き込む第４のステップとを有することを特徴とす
る立体画像形成方法が提供される。
体画像を取得する画像取得手段と、該画像取得手段によ
って取得された被写体画像に対応した、被写体の奥行き
分布を表す視差マップを取得する視差マップ取得手段
と、前記画像取得手段によって取得された被写体画像と
前記視差マップ取得手段によって取得された視差マップ
とを基に、複数視点からの被写体の多視点画像シーケン
スにおける各画像の同一座標の画素を、画像の視点配列
に従い隣接画素として配列するようにした三次元画像を
合成する画像処理手段と、前記画像処理手段によって合
成された三次元画像を出力する出力手段とを備え、前記
出力手段から出力された三次元画像に、周期的構造をも
つ光学部材を重ね合わせることにより被写体の立体像を
観察できるようにした立体画像形成装置に適用される立
体画像形成方法において、合成すべき三次元画像の各画
素について、前記多視点画像シーケンスの属する視点位
置および画素位置を求める第１のステップと、前記第１
のステップによって得られた視点位置および画素位置を
用いて、前記視差マップ取得手段によって取得された視
差マップから視差ずれ量を求める第２のステップと、前
記第２のステップによって得られた視差ずれ量に基づい
て、前記三次元画像の画素に対応する被写体画像の画素
値を求める第３のステップと、前記第３のステップによ
って得られた被写体画像の画素値を前記三次元画像の画
素に書き込む第４のステップとを有することを特徴とす
る立体画像形成方法が提供される。
【００１３】また、請求項９記載の発明によれば、被写
体画像を取得する画像取得手段と、該画像取得手段によ
って取得された被写体画像に対応した、被写体の奥行き
分布を表す視差マップを取得する視差マップ取得手段
と、前記画像取得手段によって取得された被写体画像と
前記視差マップ取得手段によって取得された視差マップ
とを基に、複数視点からの被写体の多視点画像シーケン
スにおける各画像の同一座標の画素を、画像の視点配列
に従い隣接画素として配列するようにした三次元画像を
合成する画像処理手段と、前記画像処理手段によって合
成された三次元画像を出力する出力手段とを備え、前記
出力手段から出力された三次元画像に、周期的構造をも
つ光学部材を重ね合わせることにより被写体の立体像を
観察できるようにした立体画像形成装置に適用される立
体画像形成方法を、コンピュータに実行させるためのプ
ログラムにおいて、前記立体画像形成方法が、合成すべ
き三次元画像の各画素について、前記多視点画像シーケ
ンスの属する視点位置および画素位置を求める第１のス
テップと、前記第１のステップによって得られた視点位
置および画素位置を用いて、前記視差マップ取得手段に
よって取得された視差マップから視差ずれ量を求める第
２のステップと、前記第２のステップによって得られた
視差ずれ量に基づいて、前記三次元画像の画素に対応す
る被写体画像の画素値を求める第３のステップと、前記
第３のステップによって得られた被写体画像の画素値を
前記三次元画像の画素に書き込む第４のステップとを有
することを特徴とするプログラムが提供される。
体画像を取得する画像取得手段と、該画像取得手段によ
って取得された被写体画像に対応した、被写体の奥行き
分布を表す視差マップを取得する視差マップ取得手段
と、前記画像取得手段によって取得された被写体画像と
前記視差マップ取得手段によって取得された視差マップ
とを基に、複数視点からの被写体の多視点画像シーケン
スにおける各画像の同一座標の画素を、画像の視点配列
に従い隣接画素として配列するようにした三次元画像を
合成する画像処理手段と、前記画像処理手段によって合
成された三次元画像を出力する出力手段とを備え、前記
出力手段から出力された三次元画像に、周期的構造をも
つ光学部材を重ね合わせることにより被写体の立体像を
観察できるようにした立体画像形成装置に適用される立
体画像形成方法を、コンピュータに実行させるためのプ
ログラムにおいて、前記立体画像形成方法が、合成すべ
き三次元画像の各画素について、前記多視点画像シーケ
ンスの属する視点位置および画素位置を求める第１のス
テップと、前記第１のステップによって得られた視点位
置および画素位置を用いて、前記視差マップ取得手段に
よって取得された視差マップから視差ずれ量を求める第
２のステップと、前記第２のステップによって得られた
視差ずれ量に基づいて、前記三次元画像の画素に対応す
る被写体画像の画素値を求める第３のステップと、前記
第３のステップによって得られた被写体画像の画素値を
前記三次元画像の画素に書き込む第４のステップとを有
することを特徴とするプログラムが提供される。
【００１４】さらに、請求項１１記載の発明によれば、
被写体画像を取得する画像取得手段と、該画像取得手段
によって取得された被写体画像に対応した、被写体の奥
行き分布を表す視差マップを取得する視差マップ取得手
段と、前記画像取得手段によって取得された被写体画像
と前記視差マップ取得手段によって取得された視差マッ
プとを基に、複数視点からの被写体の多視点画像シーケ
ンスにおける各画像の同一座標の画素を、画像の視点配
列に従い隣接画素として配列するようにした三次元画像
を合成する画像処理手段と、前記画像処理手段によって
合成された三次元画像を出力する出力手段とを備え、前
記出力手段から出力された三次元画像に、周期的構造を
もつ光学部材を重ね合わせることにより被写体の立体像
を観察できるようにした立体画像形成装置に適用される
立体画像形成方法をプログラムとして記憶した、コンピ
ュータにより読み出し可能な記憶媒体において、前記立
体画像形成方法が、合成すべき三次元画像の各画素につ
いて、前記多視点画像シーケンスの属する視点位置およ
び画素位置を求める第１のステップと、前記第１のステ
ップによって得られた視点位置および画素位置を用い
て、前記視差マップ取得手段によって取得された視差マ
ップから視差ずれ量を求める第２のステップと、前記第
２のステップによって得られた視差ずれ量に基づいて、
前記三次元画像の画素に対応する被写体画像の画素値を
求める第３のステップと、前記第３のステップによって
得られた被写体画像の画素値を前記三次元画像の画素に
書き込む第４のステップとを有することを特徴とする記
憶媒体が提供される。
被写体画像を取得する画像取得手段と、該画像取得手段
によって取得された被写体画像に対応した、被写体の奥
行き分布を表す視差マップを取得する視差マップ取得手
段と、前記画像取得手段によって取得された被写体画像
と前記視差マップ取得手段によって取得された視差マッ
プとを基に、複数視点からの被写体の多視点画像シーケ
ンスにおける各画像の同一座標の画素を、画像の視点配
列に従い隣接画素として配列するようにした三次元画像
を合成する画像処理手段と、前記画像処理手段によって
合成された三次元画像を出力する出力手段とを備え、前
記出力手段から出力された三次元画像に、周期的構造を
もつ光学部材を重ね合わせることにより被写体の立体像
を観察できるようにした立体画像形成装置に適用される
立体画像形成方法をプログラムとして記憶した、コンピ
ュータにより読み出し可能な記憶媒体において、前記立
体画像形成方法が、合成すべき三次元画像の各画素につ
いて、前記多視点画像シーケンスの属する視点位置およ
び画素位置を求める第１のステップと、前記第１のステ
ップによって得られた視点位置および画素位置を用い
て、前記視差マップ取得手段によって取得された視差マ
ップから視差ずれ量を求める第２のステップと、前記第
２のステップによって得られた視差ずれ量に基づいて、
前記三次元画像の画素に対応する被写体画像の画素値を
求める第３のステップと、前記第３のステップによって
得られた被写体画像の画素値を前記三次元画像の画素に
書き込む第４のステップとを有することを特徴とする記
憶媒体が提供される。
【００１５】
【発明の実施の形態】以下、本発明の実施の形態を、図
面を参照して説明する。
面を参照して説明する。
【００１６】（第１の実施の形態）図１は、本発明に係
る立体画像形成装置の第１の実施の形態の構成を示すブ
ロック図である。
る立体画像形成装置の第１の実施の形態の構成を示すブ
ロック図である。
【００１７】図１中、１は被写体、２はカメラである。
カメラ２は、例えばキヤノン社製デジタルカメラＰｏｗ
ｅｒＳｈｏｔＳ２０である。３は、ポインティングデバ
イス（マウス）、キーボード等の指示選択部であり、ユ
ーザと装置とのインターフェース機能を持つ。４は情報
処理機能を持った画像処理部であり、５は、画像および
処理情報を表示するＣＲＴディスプレイ等から成る表示
部である。指示選択部３、画像処理部４及び表示部５
は、例えば汎用のパーソナルコンピュータにより構成さ
れる。６は、画像処理部４に接続され、画像処理部４に
より生成された画像データ等を印刷するキヤノン社製プ
リンタＢＪＦ８５０等から成る印刷部である。画像処理
部４とカメラ２及び印刷部６との接続はＵＳＢ（Univer
sal SerialBus）等により行われる。
カメラ２は、例えばキヤノン社製デジタルカメラＰｏｗ
ｅｒＳｈｏｔＳ２０である。３は、ポインティングデバ
イス（マウス）、キーボード等の指示選択部であり、ユ
ーザと装置とのインターフェース機能を持つ。４は情報
処理機能を持った画像処理部であり、５は、画像および
処理情報を表示するＣＲＴディスプレイ等から成る表示
部である。指示選択部３、画像処理部４及び表示部５
は、例えば汎用のパーソナルコンピュータにより構成さ
れる。６は、画像処理部４に接続され、画像処理部４に
より生成された画像データ等を印刷するキヤノン社製プ
リンタＢＪＦ８５０等から成る印刷部である。画像処理
部４とカメラ２及び印刷部６との接続はＵＳＢ（Univer
sal SerialBus）等により行われる。
【００１８】次に、こうした構成をもつ立体画像形成装
置の動作を説明する。
置の動作を説明する。
【００１９】まず、カメラ２で撮影した画像を画像処理
部４に取り込む。すなわち、カメラ２のドライバソフト
ウェアを画像処理部４で起動して、所定の操作を行い、
カメラ２で撮影、記録された画像データを、ＵＳＢイン
ターフェースを介して画像処理部４内のハードディスク
に一旦記録する。
部４に取り込む。すなわち、カメラ２のドライバソフト
ウェアを画像処理部４で起動して、所定の操作を行い、
カメラ２で撮影、記録された画像データを、ＵＳＢイン
ターフェースを介して画像処理部４内のハードディスク
に一旦記録する。
【００２０】つぎに画像処理部４は、ハードディスクか
ら画像を読み出して３次元画像を合成し、印刷部６に出
力する。この一連の処理は、画像処理部４がアプリケー
ションソフトウェアに基づき動作することによって実行
される。以下に、画像処理部４で実行される処理プログ
ラムの内容について説明する。
ら画像を読み出して３次元画像を合成し、印刷部６に出
力する。この一連の処理は、画像処理部４がアプリケー
ションソフトウェアに基づき動作することによって実行
される。以下に、画像処理部４で実行される処理プログ
ラムの内容について説明する。
【００２１】図２は、画像処理部４で実行される立体画
像形成処理の手順を示すフローチャートである。
像形成処理の手順を示すフローチャートである。
【００２２】まずステップＳ１で、カメラ２で撮影した
画像を画像処理部４のハードディスクに取り込む。この
とき、画像データのファイル名等の指定を指示選択部３
により行い、指定されたファイルをプログラムに読み込
む。このとき、画像データを、ＲＧＢ３チャンネルの２
次元配列データやビットマップに変換しておく。特に、
入力する画像データがＪＰＥＧ画像フォーマットのよう
な圧縮画像データである場合、そのまま処理することは
困難であるので、ＪＰＥＧ画像の解凍処理のような画像
データの変換が必要である。
画像を画像処理部４のハードディスクに取り込む。この
とき、画像データのファイル名等の指定を指示選択部３
により行い、指定されたファイルをプログラムに読み込
む。このとき、画像データを、ＲＧＢ３チャンネルの２
次元配列データやビットマップに変換しておく。特に、
入力する画像データがＪＰＥＧ画像フォーマットのよう
な圧縮画像データである場合、そのまま処理することは
困難であるので、ＪＰＥＧ画像の解凍処理のような画像
データの変換が必要である。
【００２３】次にステップＳ２で、ステップＳ１で取り
込んだ画像データを基に画像を表示部５に表示する。こ
の表示においては、所定の用紙の大きさを表す無地の矩
形領域を表示し、該矩形領域中に画像を表示し、これに
よって、用紙に画像が印刷されるときの大きさ、位置な
どを確認できるようにする。
込んだ画像データを基に画像を表示部５に表示する。こ
の表示においては、所定の用紙の大きさを表す無地の矩
形領域を表示し、該矩形領域中に画像を表示し、これに
よって、用紙に画像が印刷されるときの大きさ、位置な
どを確認できるようにする。
【００２４】ステップＳ３では、被写体領域を取得す
る。すなわち、表示部５に表示された画像において、ユ
ーザが立体画像として手前に飛び出させたい被写体領域
を指示選択部３により指定する。例えば、背景の前に人
物が立っているようなシーンでは、ユーザが人物の輪郭
に沿って被写体領域を指定する。被写体領域のデータは
例えば、指定した被写体領域を１、背景を０とし、画像
データと同じサイズの２値の２次元データとしてメモリ
に記憶する。
る。すなわち、表示部５に表示された画像において、ユ
ーザが立体画像として手前に飛び出させたい被写体領域
を指示選択部３により指定する。例えば、背景の前に人
物が立っているようなシーンでは、ユーザが人物の輪郭
に沿って被写体領域を指定する。被写体領域のデータは
例えば、指定した被写体領域を１、背景を０とし、画像
データと同じサイズの２値の２次元データとしてメモリ
に記憶する。
【００２５】次にステップＳ４で、ステップＳ３で指定
された被写体領域から視差マップを生成する。視差マッ
プは、画像データの２次元上の各画素に対応した被写体
を２つの視点で見たときのずれ量を表すものであり、被
写体の奥行き分布を表す。２値の被写体領域データに所
定のサイズの２次元平均値フィルタを作用させて、２次
元実数配列データを生成し、視差マップとする。平均値
フィルタの処理により、指定した被写体の輪郭がぼけ
て、被写体が衝立状ではなく、背景から徐々に飛び出し
てくるような効果が期待できる。
された被写体領域から視差マップを生成する。視差マッ
プは、画像データの２次元上の各画素に対応した被写体
を２つの視点で見たときのずれ量を表すものであり、被
写体の奥行き分布を表す。２値の被写体領域データに所
定のサイズの２次元平均値フィルタを作用させて、２次
元実数配列データを生成し、視差マップとする。平均値
フィルタの処理により、指定した被写体の輪郭がぼけ
て、被写体が衝立状ではなく、背景から徐々に飛び出し
てくるような効果が期待できる。
【００２６】ステップＳ５では、視差マップを画像デー
タに重ね合わせて表示する。すなわち、視差マップのデ
ータと画像データのＲＧＢ各成分の画素値との積を、視
差マップを表す画像データとして表示する。
タに重ね合わせて表示する。すなわち、視差マップのデ
ータと画像データのＲＧＢ各成分の画素値との積を、視
差マップを表す画像データとして表示する。
【００２７】ステップＳ６では、ユーザは表示された視
差マップを見て、作成する立体画像の確認を行う。所望
の視差マップが得られていて修正は不要と判断した場合
には、指示選択部３により次の処理を行うよう指示し
て、ステップＳ７へ進む。一方、視差マップを修正しな
おす必要があると判断した場合には、指示選択部３によ
り被写体領域の再取得を行うよう指示して、ステップＳ
３に戻る。
差マップを見て、作成する立体画像の確認を行う。所望
の視差マップが得られていて修正は不要と判断した場合
には、指示選択部３により次の処理を行うよう指示し
て、ステップＳ７へ進む。一方、視差マップを修正しな
おす必要があると判断した場合には、指示選択部３によ
り被写体領域の再取得を行うよう指示して、ステップＳ
３に戻る。
【００２８】ステップＳ７では、視差マップを用いて、
ステップＳ１で取得した画像データ（入力画像）から、
３次元ストライプ画像を直接合成する。このステップの
詳しい内容を，図３を参照して説明する。
ステップＳ１で取得した画像データ（入力画像）から、
３次元ストライプ画像を直接合成する。このステップの
詳しい内容を，図３を参照して説明する。
【００２９】図３は、図２のステップＳ７の詳細な内容
を示すフローチャートである。
を示すフローチャートである。
【００３０】ステップＳ７は、多視点画像をストライプ
状に並び替えて単純に合成したような３次元ストライプ
画像を、視差マップを用いて入力画像から直接合成する
第１の処理（図３のステップＳ７１〜Ｓ７７）と、レン
チキュラ板とピッチとを合せるための変倍処理を行い、
最終３次元ストライプ画像（３次元ストライプ画像と区
別するため「３次元印刷画像」とする）として出力する
第２の処理（図３のステップＳ７８）とから構成され
る。
状に並び替えて単純に合成したような３次元ストライプ
画像を、視差マップを用いて入力画像から直接合成する
第１の処理（図３のステップＳ７１〜Ｓ７７）と、レン
チキュラ板とピッチとを合せるための変倍処理を行い、
最終３次元ストライプ画像（３次元ストライプ画像と区
別するため「３次元印刷画像」とする）として出力する
第２の処理（図３のステップＳ７８）とから構成され
る。
【００３１】まず、ステップＳ７１からステップＳ７７
までの処理により、３次元ストライプ画像の各画素位置
における画素値を求め、３次元ストライプ画像を合成す
る。以下、求める３次元ストライプ画像の画素位置を
（ｍｓ，ｎｓ）として説明する。
までの処理により、３次元ストライプ画像の各画素位置
における画素値を求め、３次元ストライプ画像を合成す
る。以下、求める３次元ストライプ画像の画素位置を
（ｍｓ，ｎｓ）として説明する。
【００３２】まず、ステップＳ７１において、処理対象
とする画素を決める。
とする画素を決める。
【００３３】ステップＳ７２では、処理対象の画素がど
の視点位置に属する画素であるかを水平画素位置と視点
数より求める。すなわち、多視点画像シーケンスから３
次元ストライプ画像を合成することを考えるとき、多視
点画像シーケンスの各画像における同一座標の画素を、
画像の視点配列に従い隣接画素として配列するように３
次元画像を合成する。すなわち、ｊ番目の視点における
画像の各画素値をＰjm n（但し、ｍ、ｎはそれぞれ多視
点画像を構成する単視点画像の水平、垂直方向の画素配
列のインデックス）としたとき、ｊ番目の視点における
画像データは以下のような２次元配列として表される。
の視点位置に属する画素であるかを水平画素位置と視点
数より求める。すなわち、多視点画像シーケンスから３
次元ストライプ画像を合成することを考えるとき、多視
点画像シーケンスの各画像における同一座標の画素を、
画像の視点配列に従い隣接画素として配列するように３
次元画像を合成する。すなわち、ｊ番目の視点における
画像の各画素値をＰjm n（但し、ｍ、ｎはそれぞれ多視
点画像を構成する単視点画像の水平、垂直方向の画素配
列のインデックス）としたとき、ｊ番目の視点における
画像データは以下のような２次元配列として表される。
【００３４】
Ｐj00 Ｐj10 Ｐj20 Ｐj30 ………
Ｐj01 Ｐj11 Ｐj21 Ｐj31 ………
Ｐj02 Ｐj12 Ｐj22 Ｐj32 ………
………
合成はそれぞれの視点の画像を垂直方向にレンチキュラ
板の１ピッチごとに短冊状に分解し、視点位置の並び順
と逆順に視点数分だけ合成する。したがって、合成後の
画像は、以下に示すような画素配列のストライプ画像と
なる。
板の１ピッチごとに短冊状に分解し、視点位置の並び順
と逆順に視点数分だけ合成する。したがって、合成後の
画像は、以下に示すような画素配列のストライプ画像と
なる。
【００３５】
ＰN00…Ｐ200Ｐ100 ＰN10…Ｐ210Ｐ110 ＰN20…Ｐ220Ｐ120 ………
ＰN01…Ｐ201Ｐ101 ＰN11…Ｐ211Ｐ111 ＰN21…Ｐ221Ｐ121 ………
ＰN02…Ｐ202Ｐ102 ＰN12…Ｐ212Ｐ112 ＰN22…Ｐ222Ｐ122 ………
………
但し、Ｎは視点数であり、１番目の視点が左端、Ｎ番目
の視点が右端の画像を表す。ここで、視点位置の配列順
を逆にする理由は、画像をレンチキュラ板により観察す
る際、レンチキュラの１ピッチ内で画像が左右逆に観察
されるからである。したがって、ストライプ画像の水平
画素位置ｍｓでの視点位置を表すインデックスｊは、下
記式（１）により算出される。
の視点が右端の画像を表す。ここで、視点位置の配列順
を逆にする理由は、画像をレンチキュラ板により観察す
る際、レンチキュラの１ピッチ内で画像が左右逆に観察
されるからである。したがって、ストライプ画像の水平
画素位置ｍｓでの視点位置を表すインデックスｊは、下
記式（１）により算出される。
【００３６】ｊ＝Ｎ−ｍｓ％Ｎ … （１）
但し、％は剰余演算子である。
【００３７】次にステップＳ７３で、単視点画像での画
素位置を視点数に基づいて求める。ストライプ画像の画
素位置（ｍｓ，ｎｓ）に対応する単視点画像の画素位置
は（ｍｓ／Ｎ，ｎｓ／Ｎ）である。
素位置を視点数に基づいて求める。ストライプ画像の画
素位置（ｍｓ，ｎｓ）に対応する単視点画像の画素位置
は（ｍｓ／Ｎ，ｎｓ／Ｎ）である。
【００３８】ステップＳ７４では、ステップＳ７２で得
た視点位置に基づいて、単視点画像での画素位置と視差
マップとから、画素位置（ｍｓ，ｎｓ）での視差ずれ量
を算出する。視差ずれ量を計算するとき、多視点画像を
構成する単視点画像のそれぞれの視点位置を、所定の視
差量が発生するように決定する。視差量が小さくなりす
ぎると立体像を観察する際の立体感が損なわれる。逆
に、視差量が大きくなりすぎると隣接する画像とのクロ
ストークにより観察する立体像が不鮮明になる。また、
各視点が等間隔に並ぶように視点位置を決める。これ
は、画像シーケンスの視点位置が等間隔に並ぶことで安
定した立体像を観察できるためである。また、遠近被写
体の浮き出し、沈み込みの量を、所定の比率になるよう
調整する。視差マップから得た視差をｄとし、発生する
視差量のレンジをステップＳ７２で得られた視点インデ
ックスを用いて（ｊ×ｒ）とし（ｒは視差レンジを表す
所定の値）、遠近の視差調整量をｓｈとすると、視差ず
れ量Δは、下記式（２）により算出される。
た視点位置に基づいて、単視点画像での画素位置と視差
マップとから、画素位置（ｍｓ，ｎｓ）での視差ずれ量
を算出する。視差ずれ量を計算するとき、多視点画像を
構成する単視点画像のそれぞれの視点位置を、所定の視
差量が発生するように決定する。視差量が小さくなりす
ぎると立体像を観察する際の立体感が損なわれる。逆
に、視差量が大きくなりすぎると隣接する画像とのクロ
ストークにより観察する立体像が不鮮明になる。また、
各視点が等間隔に並ぶように視点位置を決める。これ
は、画像シーケンスの視点位置が等間隔に並ぶことで安
定した立体像を観察できるためである。また、遠近被写
体の浮き出し、沈み込みの量を、所定の比率になるよう
調整する。視差マップから得た視差をｄとし、発生する
視差量のレンジをステップＳ７２で得られた視点インデ
ックスを用いて（ｊ×ｒ）とし（ｒは視差レンジを表す
所定の値）、遠近の視差調整量をｓｈとすると、視差ず
れ量Δは、下記式（２）により算出される。
【００３９】
Δ ＝ （ｊ×ｒ）×（ｄ−ｓｈ） … （２）
ここで、単視点画像の画素位置に対応した視差マップの
位置の視差を用い、視点位置に基づいてそのまま視差ず
れ量とすると、視差変化の大きい画像領域において画像
のずれが生じることに注意する必要がある。ステップＳ
４で求めた視差マップは入力画像のそれぞれの画素に対
応する視差の分布を表すものであり、単視点画像は、そ
の視差マップを用いて入力画像を変形した処理後の画像
の一つと考えられるので、視差マップから単視点画像の
画素位置に対応した視差ずれ量を得るには、視差ずれ量
分の補正が必要である。
位置の視差を用い、視点位置に基づいてそのまま視差ず
れ量とすると、視差変化の大きい画像領域において画像
のずれが生じることに注意する必要がある。ステップＳ
４で求めた視差マップは入力画像のそれぞれの画素に対
応する視差の分布を表すものであり、単視点画像は、そ
の視差マップを用いて入力画像を変形した処理後の画像
の一つと考えられるので、視差マップから単視点画像の
画素位置に対応した視差ずれ量を得るには、視差ずれ量
分の補正が必要である。
【００４０】そのため、本実施の形態では、ステップＳ
７４において単視点画像の画素位置に対応した視差マッ
プの視差と視点インデックスとに基づいて上記式（２）
により算出した第１の視差ずれ量と、単視点画像の画素
位置を第１の視差ずれ量分だけ補正して得られた画素位
置に対応した視差マップの視差と視点インデックスとに
基づいて上記式（２）により算出した第２の視差ずれ量
とから、補間により、入力画像を視差ずれ量分だけ変形
した処理後の画素位置での視差ずれ量を推定している。
なお本発明において、視差ずれ量分だけ変形した処理後
の画素位置での視差ずれ量を推定する方式は他の方法で
あってもよく、特に限定するものではない。
７４において単視点画像の画素位置に対応した視差マッ
プの視差と視点インデックスとに基づいて上記式（２）
により算出した第１の視差ずれ量と、単視点画像の画素
位置を第１の視差ずれ量分だけ補正して得られた画素位
置に対応した視差マップの視差と視点インデックスとに
基づいて上記式（２）により算出した第２の視差ずれ量
とから、補間により、入力画像を視差ずれ量分だけ変形
した処理後の画素位置での視差ずれ量を推定している。
なお本発明において、視差ずれ量分だけ変形した処理後
の画素位置での視差ずれ量を推定する方式は他の方法で
あってもよく、特に限定するものではない。
【００４１】次にステップＳ７５で、ステップＳ７３で
求めた単視点画像での画素位置とステップＳ７４で求め
た視差ずれ量とから、入力画像での画素位置を求める。
求めた単視点画像での画素位置とステップＳ７４で求め
た視差ずれ量とから、入力画像での画素位置を求める。
【００４２】そしてステップＳ７６で、入力画像での画
素位置に対応する画素値を入力画像から得て、３次元ス
トライプ画像の（ｍｓ，ｎｓ）の位置の画素に書き込
む。なお、入力画像の実数座標での画素位置に対応する
画素値を求める場合には、例えば、双線形補間などによ
り画素値を算出する。
素位置に対応する画素値を入力画像から得て、３次元ス
トライプ画像の（ｍｓ，ｎｓ）の位置の画素に書き込
む。なお、入力画像の実数座標での画素位置に対応する
画素値を求める場合には、例えば、双線形補間などによ
り画素値を算出する。
【００４３】ステップＳ７７で、ステップＳ７１からス
テップＳ７６の処理を３次元ストライプ画像の全画素分
に対して終了したか否かを判別し、終了していなければ
ステップＳ７１に戻り、終了していればステップＳ７８
に進む。
テップＳ７６の処理を３次元ストライプ画像の全画素分
に対して終了したか否かを判別し、終了していなければ
ステップＳ７１に戻り、終了していればステップＳ７８
に進む。
【００４４】以上のように、ステップＳ７１からステッ
プＳ７７の処理を３次元ストライプ画像の全画素分繰り
返すことで、従来のように多視点画像シーケンスを一旦
生成してから３次元ストライプ画像を合成するのではな
く、３次元ストライプ画像を視差マップを用いて入力画
像から直接合成できる。
プＳ７７の処理を３次元ストライプ画像の全画素分繰り
返すことで、従来のように多視点画像シーケンスを一旦
生成してから３次元ストライプ画像を合成するのではな
く、３次元ストライプ画像を視差マップを用いて入力画
像から直接合成できる。
【００４５】次に、ステップＳ７８では、ステップＳ７
１〜Ｓ７７で合成された３次元ストライプ画像とレンチ
キュラ板とのピッチを合せるために変倍処理を行い、３
次元印刷画像として出力する。画像の変倍処理は例え
ば、双線形補間などにより行う。
１〜Ｓ７７で合成された３次元ストライプ画像とレンチ
キュラ板とのピッチを合せるために変倍処理を行い、３
次元印刷画像として出力する。画像の変倍処理は例え
ば、双線形補間などにより行う。
【００４６】ステップＳ７で生成する３次元ストライプ
画像のサイズは、印刷する解像度と大きさとに依存す
る。印刷部６の解像度をＲＰｄｐｉ（dot per inch）、
印刷サイズを（ＸＰ×ＹＰ）インチとすると、印刷する
画像のサイズは（Ｘ（＝ＲＰ×ＸＰ）×Ｙ（＝ＲＰ×Ｙ
Ｐ））画素となる。
画像のサイズは、印刷する解像度と大きさとに依存す
る。印刷部６の解像度をＲＰｄｐｉ（dot per inch）、
印刷サイズを（ＸＰ×ＹＰ）インチとすると、印刷する
画像のサイズは（Ｘ（＝ＲＰ×ＸＰ）×Ｙ（＝ＲＰ×Ｙ
Ｐ））画素となる。
【００４７】また、このうちステップＳ７１〜Ｓ７７で
合成された３次元ストライプ画像のサイズは、多視点画
像を構成する各単視点画像のサイズを（ＵＸ×ＵＹ）画
素、多視点画像の画像数（＝視点数）をＮとすると、
（（Ｎ×ＵＸ）×ＵＹ）画素となる。
合成された３次元ストライプ画像のサイズは、多視点画
像を構成する各単視点画像のサイズを（ＵＸ×ＵＹ）画
素、多視点画像の画像数（＝視点数）をＮとすると、
（（Ｎ×ＵＸ）×ＵＹ）画素となる。
【００４８】また、ステップＳ７８における３次元印刷
画像の水平サイズは、印刷部６で印字するドットをレン
チキュラ板のピッチに合せるため、レンチキュラ板のピ
ッチをＲＬインチとすると、印刷画像が（ＵＸ×ＲＰ×
ＲＬ）画素となり、このためＸ画素に相当する。従っ
て、単視点画像の水平サイズＵＸは（Ｘ／（ＲＰ×Ｒ
Ｌ））画素となる。このとき、実際には画像のサイズは
整数値なので多少のずれが生じる。
画像の水平サイズは、印刷部６で印字するドットをレン
チキュラ板のピッチに合せるため、レンチキュラ板のピ
ッチをＲＬインチとすると、印刷画像が（ＵＸ×ＲＰ×
ＲＬ）画素となり、このためＸ画素に相当する。従っ
て、単視点画像の水平サイズＵＸは（Ｘ／（ＲＰ×Ｒ
Ｌ））画素となる。このとき、実際には画像のサイズは
整数値なので多少のずれが生じる。
【００４９】また、単視点画像の垂直サイズは印刷する
画像の垂直サイズＹとしてもよいが、ステップＳ７１〜
Ｓ７７において、３次元ストライプ画像を合成するのに
要する処理時間を短縮するため、入力画像の垂直サイズ
の方が印刷する画像サイズより小さい場合には、単視点
画像の垂直サイズを入力画像の垂直サイズとする方が望
ましい。例えば、印刷部６の解像度を６００ｄｐｉ、印
刷サイズを４×３インチとすると、２４００×１８００
画素の３次元ストライプ画像を合成すればよいことにな
る。また、入力画像のサイズを８００×６００画素、画
像数を１２、レンチキュラ板のピッチを（１／５０．
８）インチとすると、単視点画像の画像サイズは２０３
×６００画素、ステップＳＳ７１〜Ｓ７７で合成される
３次元ストライプ画像のサイズは２４３６×６００画
素、ステップＳ７８で合成される３次元印刷画像のサイ
ズは２３９８×１８００画素である。このように、レン
チキュラ板とピッチとを合せるため、多少水平サイズは
異なるが、ほぼ所望の印刷サイズの３次元ストライプ画
像を合成できる。本計算例では、従来に比べ、画像サイ
ズ２０３×６００の単視点画像１２枚分の画像メモリが
削減できることになる。
画像の垂直サイズＹとしてもよいが、ステップＳ７１〜
Ｓ７７において、３次元ストライプ画像を合成するのに
要する処理時間を短縮するため、入力画像の垂直サイズ
の方が印刷する画像サイズより小さい場合には、単視点
画像の垂直サイズを入力画像の垂直サイズとする方が望
ましい。例えば、印刷部６の解像度を６００ｄｐｉ、印
刷サイズを４×３インチとすると、２４００×１８００
画素の３次元ストライプ画像を合成すればよいことにな
る。また、入力画像のサイズを８００×６００画素、画
像数を１２、レンチキュラ板のピッチを（１／５０．
８）インチとすると、単視点画像の画像サイズは２０３
×６００画素、ステップＳＳ７１〜Ｓ７７で合成される
３次元ストライプ画像のサイズは２４３６×６００画
素、ステップＳ７８で合成される３次元印刷画像のサイ
ズは２３９８×１８００画素である。このように、レン
チキュラ板とピッチとを合せるため、多少水平サイズは
異なるが、ほぼ所望の印刷サイズの３次元ストライプ画
像を合成できる。本計算例では、従来に比べ、画像サイ
ズ２０３×６００の単視点画像１２枚分の画像メモリが
削減できることになる。
【００５０】図２に戻って、最後にステップＳ８で、ス
テップＳ７の出力画像に対して印刷を行う。こうして印
刷された画像にレンチキュラ板を重ね合わせると立体像
が観察できる。
テップＳ７の出力画像に対して印刷を行う。こうして印
刷された画像にレンチキュラ板を重ね合わせると立体像
が観察できる。
【００５１】以上説明したように、本実施の形態では、
従来のように多視点画像を生成することなく、３次元ス
トライプ画像を、視差マップを用いて入力画像から直接
合成するようにしたので、多視点画像を記憶する分の画
像メモリ容量を節約できる。また、従来のように多視点
画像を一旦記憶し、再度読み出しを行うことをしないで
済むので、処理時間も短縮できる。
従来のように多視点画像を生成することなく、３次元ス
トライプ画像を、視差マップを用いて入力画像から直接
合成するようにしたので、多視点画像を記憶する分の画
像メモリ容量を節約できる。また、従来のように多視点
画像を一旦記憶し、再度読み出しを行うことをしないで
済むので、処理時間も短縮できる。
【００５２】（第２の実施の形態）次に第２の実施の形
態について説明する。
態について説明する。
【００５３】第２の実施の形態における立体画像形成装
置では、カメラに立体写真アダプタを装着して左右２つ
の視点のステレオ画像を撮影し、これを基にして三次元
ストライプ画像を合成して印刷画像を得、この印刷画像
を、レンチキュラ板を介して観察することにより立体画
像を得るようにする。
置では、カメラに立体写真アダプタを装着して左右２つ
の視点のステレオ画像を撮影し、これを基にして三次元
ストライプ画像を合成して印刷画像を得、この印刷画像
を、レンチキュラ板を介して観察することにより立体画
像を得るようにする。
【００５４】図４は、第２の実施の形態における立体画
像形成装置で実行される立体画像形成処理の手順を示す
フローチャートである。
像形成装置で実行される立体画像形成処理の手順を示す
フローチャートである。
【００５５】立体写真アダプタを装着してカメラから、
該カメラで撮影された左右２つの視点のステレオ画像を
取得し（Ｓ２１）、該取得したステレオ画像に対して歪
み補正を行う（Ｓ２２）。そして、ステレオ画像対を取
得し（Ｓ２３）、ステレオ画像対の中の対応点を抽出す
る（Ｓ２４）。この抽出された対応点を基に視差マップ
を抽出し（Ｓ２５）、抽出した視差マップとステップＳ
２３で取得したステレオ画像対のうち一つを入力画像と
して３次元ストライプ画像を合成する（Ｓ２６）。ステ
ップＳ２６の処理内容は、図２に示すステップＳ７と同
じである。そして最後に、ステップＳ２６で合成された
３次元ストライプ画像に対して印刷を行う。
該カメラで撮影された左右２つの視点のステレオ画像を
取得し（Ｓ２１）、該取得したステレオ画像に対して歪
み補正を行う（Ｓ２２）。そして、ステレオ画像対を取
得し（Ｓ２３）、ステレオ画像対の中の対応点を抽出す
る（Ｓ２４）。この抽出された対応点を基に視差マップ
を抽出し（Ｓ２５）、抽出した視差マップとステップＳ
２３で取得したステレオ画像対のうち一つを入力画像と
して３次元ストライプ画像を合成する（Ｓ２６）。ステ
ップＳ２６の処理内容は、図２に示すステップＳ７と同
じである。そして最後に、ステップＳ２６で合成された
３次元ストライプ画像に対して印刷を行う。
【００５６】第２の実施の形態でも、従来のように多視
点画像を生成することなく、３次元ストライプ画像を、
視差マップを用いてステレオ画像から直接合成するよう
にしたので、多視点画像を記憶する分の画像メモリ容量
を節約できる。また、従来のように多視点画像を一旦記
憶し、再度読み出しを行うことをしないで済むので、処
理時間も短縮できる。
点画像を生成することなく、３次元ストライプ画像を、
視差マップを用いてステレオ画像から直接合成するよう
にしたので、多視点画像を記憶する分の画像メモリ容量
を節約できる。また、従来のように多視点画像を一旦記
憶し、再度読み出しを行うことをしないで済むので、処
理時間も短縮できる。
【００５７】（他の実施の形態）以上説明した各実施の
形態は、レンチキュラ板を用いた立体画像形成装置であ
ったが、本発明は、インテグラルフォトグラフィやバリ
ア方式を用いた立体画像形成装置にも適用できる。
形態は、レンチキュラ板を用いた立体画像形成装置であ
ったが、本発明は、インテグラルフォトグラフィやバリ
ア方式を用いた立体画像形成装置にも適用できる。
【００５８】また、立体画像の最終出力をプリンタから
の印刷物として説明したが、液晶ディスプレイ等の表示
装置にレンチキュラ板が取り付けられた、所謂眼鏡なし
ディスプレイに対して立体画像を表示する装置にも本発
明を適用できる。
の印刷物として説明したが、液晶ディスプレイ等の表示
装置にレンチキュラ板が取り付けられた、所謂眼鏡なし
ディスプレイに対して立体画像を表示する装置にも本発
明を適用できる。
【００５９】また更に、前述した各実施の形態の機能を
実現するソフトウェアのプログラムコードを記憶した記
憶媒体を、システムあるいは装置に供給し、そのシステ
ムあるいは装置のコンピュータ（またはＣＰＵやＭＰ
Ｕ）が記憶媒体に格納されたプログラムコードを読み出
して実行することによっても、本発明が達成されること
は言うまでもない。
実現するソフトウェアのプログラムコードを記憶した記
憶媒体を、システムあるいは装置に供給し、そのシステ
ムあるいは装置のコンピュータ（またはＣＰＵやＭＰ
Ｕ）が記憶媒体に格納されたプログラムコードを読み出
して実行することによっても、本発明が達成されること
は言うまでもない。
【００６０】この場合、記憶媒体から読み出されたプロ
グラムコード自体が、また、そのプログラムコードを記
憶した記憶媒体が本発明を構成することになる。
グラムコード自体が、また、そのプログラムコードを記
憶した記憶媒体が本発明を構成することになる。
【００６１】プログラムコードを供給するための記憶媒
体として、例えば、フロッピー（登録商標）ディスク、
ハードディスク、光ディスク、光磁気ディスク、ＣＤ−
ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカー
ド、ＲＯＭなどを用いることができる。
体として、例えば、フロッピー（登録商標）ディスク、
ハードディスク、光ディスク、光磁気ディスク、ＣＤ−
ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカー
ド、ＲＯＭなどを用いることができる。
【００６２】また、コンピュータが読み出したプログラ
ムコードを実行することにより、前述した各実施の形態
の機能が実現されるだけでなく、そのプログラムコード
の指示に基づき、コンピュータ上で稼働しているＯＳな
どが実際の処理の一部または全部を行い、その処理によ
って前述した各実施の形態の機能が実現される場合も、
本発明に含まれることは言うまでもない。
ムコードを実行することにより、前述した各実施の形態
の機能が実現されるだけでなく、そのプログラムコード
の指示に基づき、コンピュータ上で稼働しているＯＳな
どが実際の処理の一部または全部を行い、その処理によ
って前述した各実施の形態の機能が実現される場合も、
本発明に含まれることは言うまでもない。
【００６３】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示に基づき、その機能拡張ボードや機能拡張ユニットに
備わるＣＰＵなどが実際の処理の一部または全部を行
い、その処理によって前述した各実施の形態の機能が実
現される場合も、本発明に含まれることは言うまでもな
い。
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示に基づき、その機能拡張ボードや機能拡張ユニットに
備わるＣＰＵなどが実際の処理の一部または全部を行
い、その処理によって前述した各実施の形態の機能が実
現される場合も、本発明に含まれることは言うまでもな
い。
【００６４】
【発明の効果】以上詳述したように本発明によれば、多
視点画像を合成して立体画像として印刷し、該印刷画像
にレンチキュラ板等の光学部材を重ね合わせることによ
り被写体の立体像を観察できる立体画像形成装置におい
て、多視点画像を生成しないで、３次元ストライプ画像
を視差マップを用いて入力画像から直接合成するように
した。
視点画像を合成して立体画像として印刷し、該印刷画像
にレンチキュラ板等の光学部材を重ね合わせることによ
り被写体の立体像を観察できる立体画像形成装置におい
て、多視点画像を生成しないで、３次元ストライプ画像
を視差マップを用いて入力画像から直接合成するように
した。
【００６５】これにより、３次元ストライプ画像の合成
に必要な画像メモリの容量を削減することができる。ま
た、３次元ストライプ画像の合成に要する処理時間を短
縮することができる。
に必要な画像メモリの容量を削減することができる。ま
た、３次元ストライプ画像の合成に要する処理時間を短
縮することができる。
【図面の簡単な説明】
【図１】本発明に係る立体画像形成装置の第１の実施の
形態の構成を示すブロック図である。
形態の構成を示すブロック図である。
【図２】画像処理部で実行される立体画像形成処理の手
順を示すフローチャートである。
順を示すフローチャートである。
【図３】図２のステップＳ７の詳細な内容を示すフロー
チャートである。
チャートである。
【図４】第２の実施の形態における立体画像形成装置で
実行される立体画像形成処理の手順を示すフローチャー
トである。
実行される立体画像形成処理の手順を示すフローチャー
トである。
１ 被写体
２ カメラ（画像取得手段）
３ 指示選択部
４ 画像処理部（視差マップ取得手段、画像処理手段、
第１〜第４の手段） ５ 表示部 ６ 印刷部（出力手段）
第１〜第４の手段） ５ 表示部 ６ 印刷部（出力手段）
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 2H059 AA07
5B050 AA09 BA09 BA15 DA02 DA07
EA06 EA19 FA03 FA06
5B057 AA11 CA08 CA12 CA16 CB08
CB13 CB16 CC04 CD14 CH01
DA08 DB03 DB09 DC08
Claims (12)
- 【請求項１】 被写体画像を取得する画像取得手段と、
該画像取得手段によって取得された被写体画像に対応し
た、被写体の奥行き分布を表す視差マップを取得する視
差マップ取得手段と、前記画像取得手段によって取得さ
れた被写体画像と前記視差マップ取得手段によって取得
された視差マップとを基に、複数視点からの被写体の多
視点画像シーケンスにおける各画像の同一座標の画素
を、画像の視点配列に従い隣接画素として配列するよう
にした三次元画像を合成する画像処理手段と、前記画像
処理手段によって合成された三次元画像を出力する出力
手段とを備え、前記出力手段から出力された三次元画像
に、周期的構造をもつ光学部材を重ね合わせることによ
り被写体の立体像を観察できるようにした立体画像形成
装置において、 前記画像処理手段は、 合成すべき三次元画像の各画素について、前記多視点画
像シーケンスの属する視点位置および画素位置を求める
第１の手段と、 前記第１の手段によって得られた視点位置および画素位
置を用いて、前記視差マップ取得手段によって取得され
た視差マップから視差ずれ量を求める第２の手段と、 前記第２の手段によって得られた視差ずれ量に基づい
て、前記三次元画像の画素に対応する被写体画像の画素
値を求める第３の手段と、 前記第３の手段によって得られた被写体画像の画素値を
前記三次元画像の画素に書き込む第４の手段とを含むこ
とを特徴とする立体画像形成装置。 - 【請求項２】 前記出力手段は印刷装置であることを特
徴とする請求項１記載の立体画像形成装置。 - 【請求項３】 前記光学部材はレンチキュラ板であるこ
とを特徴とする請求項１または請求項２記載の立体画像
形成装置。 - 【請求項４】 前記視差マップ取得手段は、 前記画像取得手段によって取得された被写体画像を基に
被写体領域を取得する被写体領域取得手段と、 前記被写体領域取得手段によって取得された被写体領域
を基に視差マップを抽出する視差マップ抽出手段と を含むことを特徴とする請求項１乃至請求項３のいずれ
かに記載の立体画像形成装置。 - 【請求項５】 前記画像取得手段は、複数視点からの被
写体画像を取得し、前記視差マップ取得手段は、前記複
数視点からの被写体画像を基に視差マップを抽出するこ
とを特徴とする請求項１乃至請求項３のいずれかに記載
の立体画像形成装置。 - 【請求項６】 前記第２の手段は、 前記第１の手段によって得られた視点位置および画素位
置を用いて、前記三次元画像の画素に対応する前記被写
体画像の画素位置における視差マップの視差から第１の
視差ずれ量を求める第５の手段と、 前記第１の手段によって得られた視点位置および画素位
置を用いて、前記視差マップ取得手段によって取得され
た視差マップから第２の視差ずれ量を求め、前記第２の
視差ずれ量を前記第１の視差ずれ量に基づき補正する第
６の手段とを含むことを特徴とする請求項１乃至請求項
５のいずれかに記載の立体画像形成装置。 - 【請求項７】 被写体画像を取得する画像取得手段と、
該画像取得手段によって取得された被写体画像に対応し
た、被写体の奥行き分布を表す視差マップを取得する視
差マップ取得手段と、前記画像取得手段によって取得さ
れた被写体画像と前記視差マップ取得手段によって取得
された視差マップとを基に、複数視点からの被写体の多
視点画像シーケンスにおける各画像の同一座標の画素
を、画像の視点配列に従い隣接画素として配列するよう
にした三次元画像を合成する画像処理手段と、前記画像
処理手段によって合成された三次元画像を出力する出力
手段とを備え、前記出力手段から出力された三次元画像
に、周期的構造をもつ光学部材を重ね合わせることによ
り被写体の立体像を観察できるようにした立体画像形成
装置に適用される立体画像形成方法において、 合成すべき三次元画像の各画素について、前記多視点画
像シーケンスの属する視点位置および画素位置を求める
第１のステップと、 前記第１のステップによって得られた視点位置および画
素位置を用いて、前記視差マップ取得手段によって取得
された視差マップから視差ずれ量を求める第２のステッ
プと、 前記第２のステップによって得られた視差ずれ量に基づ
いて、前記三次元画像の画素に対応する被写体画像の画
素値を求める第３のステップと、 前記第３のステップによって得られた被写体画像の画素
値を前記三次元画像の画素に書き込む第４のステップと
を有することを特徴とする立体画像形成方法。 - 【請求項８】 前記第２のステップは、 前記第１のステップによって得られた視点位置および画
素位置を用いて、前記三次元画像の画素に対応する前記
被写体画像の画素位置における視差マップの視差から第
１の視差ずれ量を求める第５のステップと、 前記第１のステップによって得られた視点位置および画
素位置を用いて、前記視差マップ取得手段によって取得
された視差マップから第２の視差ずれ量を求め、前記第
２の視差ずれ量を前記第１の視差ずれ量に基づき補正す
る第６のステップとを含むことを特徴とする請求項７記
載の立体画像形成方法。 - 【請求項９】 被写体画像を取得する画像取得手段と、
該画像取得手段によって取得された被写体画像に対応し
た、被写体の奥行き分布を表す視差マップを取得する視
差マップ取得手段と、前記画像取得手段によって取得さ
れた被写体画像と前記視差マップ取得手段によって取得
された視差マップとを基に、複数視点からの被写体の多
視点画像シーケンスにおける各画像の同一座標の画素
を、画像の視点配列に従い隣接画素として配列するよう
にした三次元画像を合成する画像処理手段と、前記画像
処理手段によって合成された三次元画像を出力する出力
手段とを備え、前記出力手段から出力された三次元画像
に、周期的構造をもつ光学部材を重ね合わせることによ
り被写体の立体像を観察できるようにした立体画像形成
装置に適用される立体画像形成方法を、コンピュータに
実行させるためのプログラムにおいて、 前記立体画像形成方法が、 合成すべき三次元画像の各画素について、前記多視点画
像シーケンスの属する視点位置および画素位置を求める
第１のステップと、 前記第１のステップによって得られた視点位置および画
素位置を用いて、前記視差マップ取得手段によって取得
された視差マップから視差ずれ量を求める第２のステッ
プと、 前記第２のステップによって得られた視差ずれ量に基づ
いて、前記三次元画像の画素に対応する被写体画像の画
素値を求める第３のステップと、 前記第３のステップによって得られた被写体画像の画素
値を前記三次元画像の画素に書き込む第４のステップと
を有することを特徴とするプログラム。 - 【請求項１０】 前記第２のステップは、 前記第１のステップによって得られた視点位置および画
素位置を用いて、前記三次元画像の画素に対応する前記
被写体画像の画素位置における視差マップの視差から第
１の視差ずれ量を求める第５のステップと、 前記第１のステップによって得られた視点位置および画
素位置を用いて、前記視差マップ取得手段によって取得
された視差マップから第２の視差ずれ量を求め、前記第
２の視差ずれ量を前記第１の視差ずれ量に基づき補正す
る第６のステップとを含むことを特徴とする請求項９記
載のプログラム。 - 【請求項１１】 被写体画像を取得する画像取得手段
と、該画像取得手段によって取得された被写体画像に対
応した、被写体の奥行き分布を表す視差マップを取得す
る視差マップ取得手段と、前記画像取得手段によって取
得された被写体画像と前記視差マップ取得手段によって
取得された視差マップとを基に、複数視点からの被写体
の多視点画像シーケンスにおける各画像の同一座標の画
素を、画像の視点配列に従い隣接画素として配列するよ
うにした三次元画像を合成する画像処理手段と、前記画
像処理手段によって合成された三次元画像を出力する出
力手段とを備え、前記出力手段から出力された三次元画
像に、周期的構造をもつ光学部材を重ね合わせることに
より被写体の立体像を観察できるようにした立体画像形
成装置に適用される立体画像形成方法をプログラムとし
て記憶した、コンピュータにより読み出し可能な記憶媒
体において、 前記立体画像形成方法が、 合成すべき三次元画像の各画素について、前記多視点画
像シーケンスの属する視点位置および画素位置を求める
第１のステップと、 前記第１のステップによって得られた視点位置および画
素位置を用いて、前記視差マップ取得手段によって取得
された視差マップから視差ずれ量を求める第２のステッ
プと、 前記第２のステップによって得られた視差ずれ量に基づ
いて、前記三次元画像の画素に対応する被写体画像の画
素値を求める第３のステップと、 前記第３のステップによって得られた被写体画像の画素
値を前記三次元画像の画素に書き込む第４のステップと
を有することを特徴とする記憶媒体。 - 【請求項１２】 前記第２のステップは、 前記第１のステップによって得られた視点位置および画
素位置を用いて、前記三次元画像の画素に対応する前記
被写体画像の画素位置における視差マップの視差から第
１の視差ずれ量を求める第５のステップと、 前記第１のステップによって得られた視点位置および画
素位置を用いて、前記視差マップ取得手段によって取得
された視差マップから第２の視差ずれ量を求め、前記第
２の視差ずれ量を前記第１の視差ずれ量に基づき補正す
る第６のステップとを含むことを特徴とする請求項１１
記載の記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001232697A JP2003044880A (ja) | 2001-07-31 | 2001-07-31 | 立体画像形成装置、立体画像形成方法、プログラム、及び記憶媒体 |
| US10/207,457 US7113634B2 (en) | 2001-07-31 | 2002-07-29 | Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001232697A JP2003044880A (ja) | 2001-07-31 | 2001-07-31 | 立体画像形成装置、立体画像形成方法、プログラム、及び記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003044880A true JP2003044880A (ja) | 2003-02-14 |
Family
ID=19064581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001232697A Pending JP2003044880A (ja) | 2001-07-31 | 2001-07-31 | 立体画像形成装置、立体画像形成方法、プログラム、及び記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003044880A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010514318A (ja) * | 2006-12-19 | 2010-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ２次元ビデオの３次元ビデオへの変換方法及びシステム |
| JP2011505724A (ja) * | 2007-11-14 | 2011-02-24 | マイクロソフト コーポレーション | 画像変換処理のための適応フィルタリング |
| JP2011519209A (ja) * | 2008-04-10 | 2011-06-30 | ポステック・アカデミー‐インダストリー・ファウンデーション | 眼鏡なし３次元立体テレビのための高速多視点３次元立体映像の合成装置及び方法 |
| JP2016032298A (ja) * | 2014-07-29 | 2016-03-07 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 映像レンダリング装置及び方法 |
-
2001
- 2001-07-31 JP JP2001232697A patent/JP2003044880A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010514318A (ja) * | 2006-12-19 | 2010-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ２次元ビデオの３次元ビデオへの変換方法及びシステム |
| JP2011505724A (ja) * | 2007-11-14 | 2011-02-24 | マイクロソフト コーポレーション | 画像変換処理のための適応フィルタリング |
| JP2011519209A (ja) * | 2008-04-10 | 2011-06-30 | ポステック・アカデミー‐インダストリー・ファウンデーション | 眼鏡なし３次元立体テレビのための高速多視点３次元立体映像の合成装置及び方法 |
| JP2016032298A (ja) * | 2014-07-29 | 2016-03-07 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 映像レンダリング装置及び方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7873207B2 (en) | Image processing apparatus and image processing program for multi-viewpoint image | |
| JP2001346226A (ja) | 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体 | |
| US7295699B2 (en) | Image processing system, program, information storage medium, and image processing method | |
| JP4065488B2 (ja) | ３次元画像生成装置、３次元画像生成方法及び記憶媒体 | |
| JP4708619B2 (ja) | 立体画像形成システムおよび立体画像形成方法 | |
| JP2000182038A (ja) | 歪まされた情報からの遠近法的矯正デ―タの生成方法及びこれに用いる装置並びにコンピュ―タプログラム製品 | |
| JP2007164258A (ja) | 画像合成処理装置及び方法 | |
| JP4631918B2 (ja) | 映像信号処理装置 | |
| JP2005165614A (ja) | 画像合成装置および画像合成方法 | |
| KR100897542B1 (ko) | 임의 시점 영상 합성 시 영상 보정 방법 및 장치 | |
| RU2690757C1 (ru) | Система синтеза промежуточных видов светового поля и способ ее функционирования | |
| JP2003284093A (ja) | 立体画像処理方法および装置 | |
| JP2009075646A (ja) | 映像表示システム及び該システムのパラメータ生成方法 | |
| CN110958442B (zh) | 用于处理全息图像数据的方法和装置 | |
| KR100317138B1 (ko) | 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법 | |
| JP2006350852A (ja) | 画像生成システム | |
| US7009606B2 (en) | Method and apparatus for generating pseudo-three-dimensional images | |
| JP2003044880A (ja) | 立体画像形成装置、立体画像形成方法、プログラム、及び記憶媒体 | |
| TW401699B (en) | A method and device for generating display frames from a sequence of source frames through synthesizing one or more intermediate frames exclusively from an immediately preceding source frame | |
| CN101566784B (zh) | 立体影像的景深数据建立方法及其系统 | |
| Knorr et al. | From 2D-to stereo-to multi-view video | |
| JP2003346188A (ja) | 立体画像形成システム | |
| JP2003043599A (ja) | 立体画像形成方法、立体画像形成システム、プログラム及び記憶媒体 | |
| JP2006211383A (ja) | 立体画像処理装置、立体画像表示装置、及び立体画像生成方法 | |
| JP2017162313A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060415 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20070626 |