JP2018500778A - ３ｄパノラマイメージ生成のための映像生成装置及び方法 - Google Patents

Abstract

３Ｄパノラマイメージ生成のための映像生成装置及び方法が開示される。映像生成装置において３Ｄパノラマイメージを生成する方法は、複数の２Ｄ映像及び複数の２Ｄ映像に対応する複数のデプスマップを入力されるステップと、複数のデプスマップに基づいて、複数の２Ｄ映像それぞれに対して左眼映像領域及び右眼映像領域を設定するステップと、複数の２Ｄ映像内において設定された各左眼映像領域の映像イメージを合成して左眼パノラマイメージを生成し、複数の２Ｄ映像内において設定された各右眼映像領域の映像イメージを合成して右眼パノラマイメージを生成するステップとを含む。本発明によれば、映像生成装置は複数の２Ｄ映像に基づいて歪曲のない３Ｄパノラマイメージを生成することができるようになる。

Description

本発明は、３Ｄパノラマイメージ生成のための映像生成装置及び方法に関し、より詳細には、複数の２Ｄ映像及び複数の２Ｄ映像それぞれに対応するデプスマップに基づいて３Ｄパノラマイメージを生成するための映像生成装置及び方法に関する。

電子技術の発達により、多様な電子製品が開発及び普及されている。特に、テレビ、携帯電話、パソコン、ノートパソコン、ＰＤＡなどのような各種撮影装置は多くの一般家庭でも多く使われている。

撮影装置の使用が増えるにつれ、より多様な機能に対するユーザのニーズも増大するようになった。それにより、ユーザのニーズに合致させるための各製造会社の取り組みも加速化し、従来にはなかった新たな機能を備えた製品が次々と登場している。

特に、近来開発されるスマートフォンやタブレットパソコンのような電子装置は、内蔵されたカメラを介して連続撮影された２Ｄ映像を用いて、２Ｄパノラマイメージを生成することができる。更に、最近開発される電子装置は、連続撮影された複数の２Ｄ映像を用いて３Ｄパノラマイメージを生成することができる。このように、複数の２Ｄ映像に基づいて３Ｄパノラマイメージを生成するための方式として、次のような方式が適用されている。

第一に、２Ｄパノラマイメージとデプスパノラマイメージとを用いて、３Ｄパノラマイメージを生成する方式（以下、第１従来技術という）である。具体的に、第１従来技術は、連続撮影された複数の２Ｄ映像を用いて２Ｄパノラマイメージを生成し、複数の２Ｄ映像それぞれに対応する複数のデプスマップに基づいてデプスパノラマイメージを生成する。その後、第１従来技術は、複数のデプスマップから生成されたデプスパノラマイメージに基づいて２Ｄパノラマイメージを３Ｄパノラマイメージで生成するものである。

しかし、このような第１従来技術を通じて３Ｄパノラマイメージを生成する場合、背景領域に隠された領域が発生する問題があって、隠された領域に対するホール埋めを行う場合、それによる３Ｄパノラマイメージ上で映像欠陥が生じるという問題があった。

第二に、２Ｄ映像でカメラのストリップ（Ｓｔｒｉｐ）を抽出し、２つの一連の帯（Ｓｔｒｉｐ）を生成し、その一連の帯をモザイキング（Ｍｏｓａｉｃｉｎｇ）またはスティッチング（Ｓｔｉｔｃｈｉｎｇ）処理し、３Ｄパノラマイメージを生成する方式（以下、第２従来技術という）である。

しかし、このような第２従来技術を通じ、２Ｄ映像から安定した帯を生成するためには、別途の回転型機械装置を利用しなければならないという問題がある。すなわち、２Ｄ映像から安定した帯を生成するためには、２Ｄ映像を撮影する撮影方法或いは撮影装置の移動方向が垂直方向に移動されなければならない。しかし、ユーザによって撮影される撮影装置の撮影方向及び移動方向は規則的ではないため、連続撮影された２Ｄ映像に欠陥や歪曲が発生してしまう。しかし、このような歪曲の発生した２Ｄ映像を用いて３Ｄパノラマイメージを生成する場合、生成された３Ｄパノラマイメージ上に階段型映像欠陥、構造的歪曲及びパノラマイメージ生成領域が減少するドリフト（Ｄｒｉｆｔ）現象が発生するという問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数の２Ｄ映像から歪曲のない３Ｄパノラマイメージを生成することにある。

また、もう１つの目的は、別途の補助装備なしにハンドヘルド（Ｈａｎｄ−Ｈｅｌｄ）カメラを用いて、歪曲のない３Ｄパノラマイメージを生成することにある。

以上のような目的を達成するための本発明の一実施形態に係る映像生成装置において３Ｄパノラマイメージを生成する方法は、複数の２Ｄ映像及び前記複数の２Ｄ映像に対応する複数のデプスマップを入力されるステップと、前記複数のデプスマップに基づいて、前記複数の２Ｄ映像それぞれに対して左眼映像領域及び右眼映像領域を設定するステップと、前記複数の２Ｄ映像内において設定された各左眼映像領域の映像イメージを合成して左眼パノラマイメージを生成し、前記複数の２Ｄ映像内において設定された各右眼映像領域の映像イメージを合成して右眼パノラマイメージを生成するステップとを含む。

そして、前記複数の２Ｄ映像のうち少なくとも１つの２Ｄ映像は、前後２Ｄ映像の一部と重畳されてよい。

なお、前記設定するステップは、前記複数のデプスマップそれぞれの領域別デプス値を分析し、類似するデプス値を有する領域に対応するそれぞれの２Ｄ映像の映像領域のうち、予め設定された第１領域に属する映像領域を左眼映像領域に設定し、予め設定された第２領域に属する映像領域を右眼映像領域に設定してよい。

そして、前記設定するステップは、カラーセグメンテーションアルゴリズムを用いて、前記複数の２Ｄ映像別映像領域を設定し、前記設定された映像領域のうち、予め設定された第１領域に属する映像領域を左眼映像領域に設定し、予め設定された第２領域に属する映像領域を右眼映像領域に設定してよい。

なお、前記複数の２Ｄ映像から特徴点（ｆｅａｔｕｒｅ）を抽出するステップを更に含み、前記生成するステップは、前記複数の左眼映像領域の映像イメージ別特徴点に基づいて前記複数の左眼映像領域に対する左眼パノラマイメージを生成し、前記複数の右眼映像領域の映像イメージ別特徴点に基づいて前記複数の右眼映像領域に対する右眼パノラマイメージを生成してよい。

そして、前記複数の２Ｄ映像を撮影した前記撮影装置の撮影方向及び位置を推定するステップと、前記推定結果を考慮し、前記複数の２Ｄ映像及び前記複数のデプスマップを前記撮影装置が基準方向及び基準位置から撮影した際、獲得可能な基準映像及び基準デプスマップに補正するステップとを更に含み、前記設定するステップは、前記補正された基準デプスマップに基づいて、前記補正された複数の２Ｄ映像それぞれに対して左眼及び右眼映像領域を設定してよい。

なお、前記推定するステップは、前記複数の２Ｄ映像から抽出した特徴点の変化情報及びセンサを介して測定された結果のうち少なくとも１つに基づいて、前記撮影装置の撮影方向及び位置を推定し、前記センサは、慣性測定センサ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：ＩＭＵ）であってよい。

そして、前記複数の２Ｄ映像に対応するデプスマップが入力されなければ、前記センサを介して測定された結果に基づいて推定された前記撮影装置の方向及び位置に対応する２Ｄ映像間の映像整合（Ｓｔｅｒｅｏ Ｍａｔｃｈｉｎｇ）を通じて前記複数の２Ｄ映像に対応するデプスマップを生成するステップを更に含んでよい。

なお、前記生成するステップは、映像モザイキングアルゴリズムを用いて前記複数の左眼映像領域の映像イメージを合成し、前記複数の右眼映像領域の映像イメージを合成してよい。

一方、本発明の更に別の実施形態によると、映像生成装置は、複数の２Ｄ映像及び前記複数の２Ｄ映像に対応する複数のデプスマップを入力される映像入力部と、前記複数のデプスマップに基づいて、前記複数の２Ｄ映像それぞれに対して左眼映像領域及び右眼映像領域を設定する領域設定部と、前記複数の２Ｄ映像内で設定された各左眼映像領域の映像イメージを合成して左眼パノラマイメージを生成し、前記複数の２Ｄ映像内で設定された各右眼映像領域の映像イメージを合成して右眼パノラマイメージを生成する制御部とを含む。

そして、前記複数の２Ｄ映像のうち少なくとも１つの２Ｄ映像は、前後２Ｄ映像の一部と重畳されてよい。

なお、前記領域設定部は、前記複数のデプスマップそれぞれの領域別デプス値を分析し、類似するデプス値を有する領域に対応するそれぞれの２Ｄ映像の映像領域のうち、予め設定された第１領域に属する映像領域を左眼映像領域に設定し、予め設定された第２領域に属する映像領域を右眼映像領域に設定してよい。

そして、前記領域設定部は、カラーセグメンテーションアルゴリズムを用いて、前記複数の２Ｄ映像別映像領域を設定し、前記設定された映像領域のうち、予め設定された第１領域に属する映像領域を左眼映像領域に設定し、予め設定された第２領域に属する映像領域を右眼映像領域に設定してよい。

なお、前記制御部は、前記複数の２Ｄ映像から特徴点（ｆｅａｔｕｒｅ）を抽出し、前記抽出された特徴点のうち、前記複数の左眼映像領域の映像イメージ別特徴点に基づいて前記複数の左眼映像領域に対する左眼パノラマイメージを生成し、前記複数の右眼映像領域の映像イメージ別特徴点に基づいて前記複数の右眼映像領域に対する右眼パノラマイメージを生成してよい。

そして、前記複数の２Ｄ映像を撮影した前記撮影装置の撮影方向及び位置を推定する位置推定部と、前記位置推定部から推定された推定結果を考慮し、前記複数の２Ｄ映像及び前記複数のデプスマップを前記撮影装置が基準方向及び基準位置から撮影した際、獲得可能な基準映像及び基準デプスマップに補正する映像変換部とを更に含み、前記領域設定部は、前記補正された基準デプスマップに基づいて、前記補正された複数の２Ｄ映像それぞれに対して左眼及び右眼映像領域を設定してよい。

なお、前記位置推定部は、前記複数の２Ｄ映像から抽出した特徴点の変化情報及びセンサを介して測定された結果のうち少なくとも１つに基づいて、前記撮影装置の撮影方向及び位置を推定し、前記センサは、慣性測定センサ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：ＩＭＵ）であってよい。

そして、前記制御部は、前記複数の２Ｄ映像に対応するデプスマップが入力されなければ、前記地位推定部を介して測定された結果に基づいて推定された前記撮影装置の方向及び位置に対応する２Ｄ映像間の映像整合（Ｓｔｅｒｅｏ Ｍａｔｃｈｉｎｇ）を通じて前記複数の２Ｄ映像に対応するデプスマップを生成してよい。

なお、前記制御部は、映像モザイキングアルゴリズムを用いて前記複数の左眼映像領域の映像イメージを合成し、前記複数の右眼映像領域の映像イメージを合成してよい。

以上説明したように、本発明によれば、映像生成装置は複数の２Ｄ映像に基づいて歪曲のない３Ｄパノラマイメージを生成することができるようになる。

本発明の一実施形態に係る複数の２Ｄ映像を３Ｄパノラマ映像として生成する映像生成装置を示すブロック図である。 本発明の一実施形態に係る映像生成装置の細部構成を示すブロック図である。 本発明の一実施形態に係る映像生成装置で複数の２Ｄ映像に基づいて複数の２Ｄ映像に対応するデプスマップを生成する例示図である。 本発明の一実施形態に係る映像生成装置で２Ｄ映像のデプスマップに基づいて左眼映像領域に設定する例示図である。 本発明の一実施形態に係る映像生成装置で２Ｄ映像のデプスマップに基づいて右眼映像領域に設定する例示図である。 本発明の一実施形態に係る撮影装置を示すブロック図である。 本発明の一実施形態に係る映像生成装置で３Ｄパノラマイメージを生成する方法を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の一実施形態に係る複数の２Ｄ映像を３Ｄパノラマ映像として生成する映像生成装置を示すブロック図である。図１に示すように、映像生成装置１００は、２Ｄ形態のパノラマイメージ撮影が可能なカメラであってよい。このような映像生成装置１００は、映像入力部１１０と、領域設定部１２０及び制御部１３０を含む。

映像入力部１１０には、複数の２Ｄ映像及び複数の２Ｄ映像それぞれに対応する複数のデプスマップを入力される。ここで、複数の２Ｄ映像それぞれは、前後２Ｄ映像の一部と重畳されることが望ましい。このような複数の２Ｄ映像は、後述の撮影装置１０で撮影された映像であり、複数の２Ｄ映像それぞれに対応する複数のデプスマップは、映像生成装置１００内で生成されたり、外部装置（図示せず）から受信されてよい。しかし、本発明は、それに限定されずに、複数の２Ｄ映像及び複数の２Ｄ映像それぞれに対応するデプスマップは外部装置（図示せず）から受信されてよい。ここで、複数の２Ｄ映像それぞれに対応するデプスマップを生成する外部装置（図示せず）は、デプス映像撮影装置になってよい。このようなデプス映像撮影装置は、パターン映写方式、ステレオカメラ方式及びＴｉｍｅ ｏｆ Ｆｌｉｇｈｔ方式のうち、少なくとも１つを通し、複数の２Ｄ映像それぞれに対応するデプスマップを生成してよい。

領域設定部１２０は、複数のデプスマップに基づいて、複数のデプスマップそれぞれに対応する複数の２Ｄ映像それぞれに対して左眼映像領域及び右眼映像領域を設定する。

一実施形態によって、領域設定部１２０は、複数のデプスマップそれぞれの領域別デプス値を分析して類似するデプス値を有する領域に対応するそれぞれの２Ｄ映写の映像領域のうち、予め設定された第１領域に属する映像領域を左眼映像領域に設定し、予め設定された第２領域に属する映像領域を右眼映像領域に設定することができる。

更に別の実施形態により、領域設定部１２０はカラーセグメンテーションアルゴリズムを用いて複数の２Ｄ映像別映像領域を設定し、設定された映像領域のうち、予め設定された第１領域に属する映像領域を左眼映像領域に設定し、予め設定された第２領域に属する映像領域を右眼映像領域に設定することができる。

制御部１３０は、映像生成装置１００の各構成に対する動作を全般的に制御する。特に、制御部１３０は、複数の２Ｄ映像内で設定されたそれぞれの左眼映像領域の映像イメージを合成して左眼パノラマイメージを生成する。なお、制御部１３０は、複数の２Ｄ映像内で設定されたそれぞれの右眼映像領域の映像イメージを合成して右眼パノラマイメージを生成する。

具体的に、制御部１３０は、複数の２Ｄ映像それぞれから特徴点を抽出する。ここで、２Ｄ映像から特徴点を抽出する技術は公知となっている技術であるため、本発明では詳細な説明は省略する。このような複数の２Ｄ映像それぞれから特徴点が抽出されると、制御部１３０は、複数の２Ｄ映像それぞれから抽出された特徴点のうち、複数の左眼映像領域の映像イメージ別特徴点に基づいて複数の左眼映像領域に対する左眼パノラマイメージを生成する。そして、制御部１３０は、複数の右眼映像領域の映像イメージ別特徴点に基づいて複数の右眼映像領域に対する右眼パノラマイメージを生成する。

実施形態によって、制御部１３０は、映像モザイキングアルゴリズムを用いて複数の左眼映像領域の映像イメージを合成して左眼パノラマイメージを生成し、複数の右眼映像領域の映像イメージを合成して右眼パノラマイメージを生成することができる。このような映像イメージを合成して映像イメージを合成する技術は公知となっているため、本発明では詳細な説明を省略する。

図２は、本発明の一実施形態に係る映像生成装置の細部構成を示すブロック図である。図２に示すように、映像生成装置１００は、上述の映像入力部１１０、領域設定部１２０及び制御部１３０の他に、位置推定部１４０及び映像変換部１５０を更に含んでよい。

位置推定部１４０は、複数の２Ｄ映像を撮影した撮影装置１０の撮影方向及び位置を推定し、映像変換部１５０は、位置推定部１４０から推定された推定結果を考慮し、複数の２Ｄ映像及び複数のデプスマップを撮影装置１０が基準方向及び基準位置から撮影した際、獲得可能な基準映像及び基準デプスマップに補正する。よって、領域設定部１２０は、映像変換部１５０を介して補正れた基準デプスマップに基づいて補正された複数の２Ｄ映像それぞれに対する左眼及び右眼映像領域を設定することができる。
一方、撮影装置１０の撮影方向及び位置を推定する位置推定部１４０は、複数の２Ｄ映像から抽出した特徴点の変化情報及びセンサを介して測定された結果のうち、少なくとも１つに基づいて撮影装置１０の撮影方向及び位置を推定することができる。ここで、センサは、運動の慣性力を検出し、慣性測定対象である撮影装置１０の加速度、速度、方向、距離など多様な航法関連情報を提供する慣性測定センサ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：ＩＭＵ）として、加速度センサ、ジャイロセンサ及び地磁気センサのうち少なくとも１つであってよい。

一方、制御部１３０は、複数の２Ｄ映像に対応するデプスマップが入力されなければ、位置推定部１４０を介して測定された結果に基づいて推定された撮影装置１０の方向及び位置に対応する２Ｄ映像間の映像整合（Ｓｔｅｒｅｏ Ｍａｔｃｈｉｎｇ）通じて、複数の２Ｄ映像に対応するデプスマップを生成することができる。

以下では、上述の映像生成装置１００を介して複数の２Ｄ映像から３Ｄパノラマ映像を生成する動作についてより具体的に説明する。

図３は、本発明の一実施形態に係る映像生成装置で複数の２Ｄ映像に基づいて複数の２Ｄ映像に対応するデプスマップを生成する例示図である。

撮影装置１０は、左方から右方に移動しつつ被写体を撮影して左方からそれぞれ撮影することができる。撮影装置１０が左方から被写体を撮影する場合、図３の（ａ）に示すように、左側から撮影した被写体に対する第１の２Ｄ映像３１０が生成されてよい。そして、撮影装置１０が右方から被写体を撮影する場合、図３の（ｂ）に示すように、右側から撮影した被写体に対する第２の２Ｄ映像３２０が生成されてよい。

このように、第１及び第２の２Ｄ映像３１０、３２０が生成されると、制御部１３０は第１の２Ｄ映像３１０に含まれた第１−１及び第１−２オブジェクト３１１、３１３の特徴点と第２の２Ｄ映像３２０に含まれた第２−１及び第２−２オブジェクト３２１、３２３の特徴点とを比較する。すなわち、制御部１３０は、第１の２Ｄ映像３１０に含まれた第１−１オブジェクト３１１の特徴点に対応するピクセル値と第２の２Ｄ映像３２０に含まれた第２−１オブジェクト３２１の特徴点に対応するピクセル値とを比較する。なお、制御部１３０は、第１の２Ｄ映像３１０に含まれた第１−２オブジェクト３１３の特徴点に対応するピクセル値と第２の２Ｄ映像３２０に含まれた第２−２オブジェクト３２３の特徴点に対応するピクセル値とを比較する。

比較の結果、第１−２オブジェクト３１３と第２−２オブジェクト３２３との間のピクセル値の差が予め設定された閾値以上であり、第１−１オブジェクト３１３と第２−１オブジェクト３２１との間のピクセル値の差が予め設定された閾値未満である場合、制御部１３０は第１−２オブジェクト３１３と第２−２オブジェクト３２３とが撮影装置１０から近距離に位置したと判断する。すなわち、撮影装置１０から近距離に位置したオブジェクトの位置が撮影装置１０から遠距離に位置したオブジェクトの位置より相対的に大きく変化されてよい。

よって、制御部１３０は、第１の２Ｄ映像３１０に含まれた第１−２オブジェクト３１３と第２の２Ｄ映像３２０に含まれた第２−２オブジェクト３２３のデプス値を、第１の２Ｄ映像３１０に含まれた第１−１オブジェクト３１１と第２の２Ｄ映像３２０に含まれた第２−１オブジェクト３２１のデプス値より高く設定し、第１及び第２の２Ｄ映像３１０、３２０それぞれに対するデプスマップを生成することができる。

更に、制御部１３０は、撮影装置１０を介して撮影された第１の２Ｄ映像３１０に含まれた第１−１及び第１−２オブジェクト３１１、３１３の特徴点と第２の２Ｄ映像３２０に含まれた第２−１及び第２−２オブジェクト３２１、３２３の特徴点とに基づいて、撮影装置１０の撮影方向及び位置を推定することができる。

このように、本発明に係る映像生成装置１００は、複数の２Ｄ映像が撮影される時点の撮影装置１０の撮影方向及び位置を通じて撮影装置１０から撮影された複数の２Ｄ映像のうち、逆方向から撮影された２Ｄ映像を除く残りの２Ｄ映像を３Ｄパノラマ映像生成のための映像に決定することができる。

この場合、第１及び第２の２Ｄ映像３１０、３２０を介して第１及び第２の２Ｄ映像３１０、３２０を撮影した撮影装置１０の撮影方向及び位置が推定されると、映像変換部１５０は、その後、２Ｄ映像が撮影される時点の撮影装置１０の撮影方向及び位置を推定することができ、それを通じ、撮影装置１０の撮影方向及び位置を通じて撮影装置１０の移動軌跡を判断することができる。すなわち、映像変換部１５０は、３次元上における撮影装置１０の移動軌跡による座標値を決定することができ、その決定された座標値に基づいてエラー率を最小化できる移動軌跡に既存の移動軌跡を変更することができる。ここで、変形された移動軌跡は、撮影装置１０が基準方向及び基準位置で２Ｄ映像撮影が可能な地点であってよい。よって、このような既存の移動軌跡が変形されると、映像変換部１５０は従来の移動軌跡上の座標値と変形された移動軌跡上の座標値との変化程度に応じて、２Ｄ映像を基準２Ｄ映像に補正し、補正された基準２Ｄ映像に基づいて補正前の２Ｄ映像それぞれに対応するデプスマップを基準２Ｄ映像それぞれに対応するデプスマップに補正することができる。

このように、複数の２Ｄ映像及び複数の２Ｄ映像それぞれに対応するデプスマップが補正されると、領域設定部１２０は補正されたデプスマップに基づいて補正された２Ｄ映像それぞれに対する左眼及び右眼映像領域を設定することができる。

図４は、本発明の一実施形態に係る映像生成装置で２Ｄ映像のデプスマップに基づいて左眼映像領域に設定する例示図であり、図５は、本発明の一実施形態に係る映像生成装置で２Ｄ映像のデプスマップに基づいて右眼映像領域に設定する例示図である。

図４に示すように、領域設定部１２０は入力された第１及び第２デプスマップ４１０、４２０それぞれの領域のうちの第１領域４１１、４２１に属するデプス値を分析して類似するデプス値を有する領域を分離する。すなわち、領域設定部１２０は、第１デプスマップ４１０の第１領域４１１上において、領域ａ４１１−１、領域ｂ４１１−２及び領域ｃ４１１−３を類似するデプス値を有する領域に分離することができる。よって、領域設定部１２０は、類似するデプス値を有する領域ａ４１１−１、領域ｂ４１１−２及び領域ｃ４１１−３を第１デプスマップ４１０の右眼映像領域に設定することができる。なお、領域設定部１２０は、第２デプスマップ４２０の第１領域４２１上において、領域ｄ４２１−１、領域ｅ４２１−２及び領域ｆ４２１−３を類似するデプス値を有する領域に分離することができる。よって、領域設定部１２０は、類似するデプス値を有する領域ｄ４２１−１、領域ｅ４２１−２及び領域ｆ４２１−３を第２デプスマップ４２０の右眼映像領域に設定することができる。このように、第１及び第２デプスマップ４１０、４２０それぞれの第１領域４１１、４２１上で右眼映像領域が設定されると、制御部１３０は第１及び第２デプスマップ４１０、４２０それぞれに対応する第１及び第２の２Ｄ映像の中から、右眼映像領域に対応する第１映像イメージ４３０及び第２映像イメージ４４０を獲得する。その後、制御部１３０は、第１及び第２デプスマップ４１０、４２０それぞれに対応する第１及び第２の２Ｄ映像から獲得した第１及び第２映像イメージ４３０、４４０それぞれの特徴点に基づいて、第１及び第２映像イメージ４３０、４４０を合成して右眼パノラマイメージ４５０を生成することができる。

それと同様に、領域設定部１２０は、図５に示すように、入力された第１及び第２デプスマップ４１０、４２０それぞれの領域のうちの第２領域４１３、４２３に属するデプス値を分析して類似するデプス値を有する領域を分離する。すなわち、領域設定部１２０は、第１デプスマップ４１０の第２領域４１３上において、領域ａ’４１３−１、領域ｂ’４１３−２及び領域ｃ’４１３−３を類似するデプス値を有する領域に分離することができる。よって、領域設定部１２０は、類似するデプス値を有する領域ａ’４１３−１、領域ｂ’４１３−２及び領域ｃ’４１３−３を第１デプスマップ４１０の左眼映像領域に設定することができる。なお、領域設定部１２０は、第２デプスマップ４２０の第２領域４２３上において、領域ｄ’４２３−１、領域ｅ’４２３−２及び領域ｆ’４２３−３を類似するデプス値を有する領域に分離することができる。よって、領域設定部１２０は、類似するデプス値を有する領域ｄ’４２３−１、領域ｅ’４２３−２及び領域ｆ’４２３−３を第２デプスマップ４２０の左眼映像領域に設定することができる。

このように、第１及び第２デプスマップ４１０、４２０それぞれの第２領域４１３、４２３上で左眼映像領域が設定されると、制御部１３０は第１及び第２デプスマップ４１０、４２０それぞれに対応する第１及び第２の２Ｄ映像の中から、左眼映像領域に対応する第１映像イメージ４６０及び第２映像イメージ４７０を獲得する。その後、制御部１３０は、第１及び第２デプスマップ４１０、４２０それぞれに対応する第１及び第２の２Ｄ映像から獲得した第１及び第２映像イメージ４６０、４７０それぞれの特徴点に基づいて、第１及び第２映像イメージ４６０、４７０を合成して左眼パノラマイメージ４８０を生成することができる。

これまで、本発明に係る映像生成装置１００で複数の２Ｄ映像それぞれに対応する複数のデプスマップに基づいて複数の２Ｄ映像に対する３Ｄパノラマイメージを生成する動作について詳細に説明した。

以下では、上述の映像生成装置１００を含む撮影装置１０の各構成について詳細に説明する。

図６は、本発明の一実施形態に係る撮影装置を示すブロック図である。

撮影装置１０は、通信部６１０と、入力部６２０と、撮影部６３０と、イメージ処理部６４０と、パノラマ映像生成部６５０と、ディスプレイ部６６０と、保存部６７０及び制御部６８０を含んでよい。

通信部６１０は、外部装置（図示せず）とデータ通信を行って外部装置（図示せず）から生成された複数の２Ｄ映像それぞれに対するデプスマップを受信することができる。なお、通信部６１０は、スマートテレビ、タブレットなどの電子装置と有無線通信を行って複数の２Ｄ映像に基づいて生成された３Ｄパノラマイメージを伝送することができる。このような通信部６１０は、無線通信モジュール及び有線通信モジュールを含んでよい。ここで、有線通信モジュールは、外部装置（図示せず）とインターフェースを提供するＵＳＢ通信モジュールであってよく、無線通信モジュールは近距離通信モジュール及び遠距離通信モジュールのうち少なくとも一方を含んでよい。近距離通信モジュールは、Ｗｉ−Ｆｉダイレクト（ＷＩＦＩ ＤＩＲＥＣＴ）通信モジュール、ブルートゥース（登録商標（Ｂｌｕｅｔｏｏｔｈ））モジュール、赤外線通信（ＩｒＤＡ、ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）モジュール、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）モジュール、Ｚｉｇｂｅｅモジュールのうち、少なくとも１つを含んでよい。そして、遠距離通信モジュールは、セルラー通信モジュール、３Ｇ（第３世代）移動通信モジュール、４Ｇ（第４世代）移動通信モジュール、第４世代ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信モジュールのうち、いずれか１つを含んでよい。

入力部６２０は、ユーザ命令が入力されるための構成として、少なくとも１つのキーボタンを含んでよい。更に、入力部６２０は、ディスプレイ部６５０上でタッチスクリーン形態で実現され、ユーザのタッチ命令を入力されてよい。このような入力部６２０は、キーボタン或いはタッチスクリーンを通じて映像に対するシングル撮影命令、パノラマ撮影命令などを受信したり、パノラマ撮影命令に応じて連続撮影された複数の２Ｄ映像に対する３Ｄパノラマイメージ生成命令を入力されてよい。

撮影部６３０は、入力部６２０を介して入力された撮影命令に応じて、シングル撮影或いはパノラマ撮影を行うことができる。このような撮影部６３０は、レンズ、シャッタ、絞り、固定撮像素子、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）、ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）及びイメージセンサを含んでよい。シャッタは、被写体に反射された光がイメージセンサに入り込む時間を調節し、絞りは光が入る開口部の大きさを機械的に増加或いは減少させてレンズに入射される光量を調節する。固定撮像素子は、被写体に反射された光が光電荷で蓄積されると、光電荷による像を電気信号で出力する。ＴＧは、固定撮像素子のピクセルデータをリードアウトするためのタイミング信号を出力し、ＡＦＥは、固定撮像素子から出力される電子信号をサンプリングしてデジタル化する。このような撮影部６３０は、入力部６２０を介してパノラマ撮影命令が入力されると、ユーザの撮影方向に位置した被写体に対する連続撮影を行うことができる。このような映像を撮影する撮影部６３０の構成は、公知となっている技術であるため、本発明では詳細な説明を省略する。

イメージ処理部６４０は、撮影部６３０を介して連続撮影された２Ｄ映像それぞれに対するローイメージデータをＹＣｂＣｒデータとして作り、イメージブラックレベルを決定し、色相別感度比を調整する。その他にも、イメージ処理部６３０は、連続撮影された複数の２Ｄ映像に対するホワイトバランス、ガンマ補正、色補間、色補正、解像度変換などを行うことができる。

パノラマ映像生成部６５０は、上述の映像生成装置１００として、イメージ処理部６４０を介して映像処理された複数の２Ｄ映像及び複数の２Ｄ映像それぞれに対応するデプスマップに基づいて、３Ｄパノラマイメージを生成する。上述のように、パノラマ映像生成部６５０は、複数の２Ｄ映像及び複数の２Ｄ映像それぞれに対応するデプスマップが入力されると、複数のデプスマップに基づいて複数の２Ｄ映像それぞれに対する左眼映像領域及び右眼映像領域を設定する。

一実施形態によって、パノラマ映像生成部６５０は、複数のデプスマップそれぞれの領域別デプス値を分析して類似するデプス値を有する領域に対応するそれぞれの２Ｄ映像の映像領域のうち、第１領域に属する映像領域を左眼映像領域に設定し、予め設定された第２領域に属する映像領域を右眼映像領域に設定することができる。更に別の実施形態によると、パノラマ映像生成部６５０は、カラーセグメンテーションアルゴリズムを用いて、複数の２Ｄ映像別映像領域を設定し、設定された映像領域のうち第１領域に属する映像領域を左眼映像領域に設定し、予め設定された第２領域に属する映像領域を右眼映像領域に設定してよい。

このように、複数の２Ｄ映像内で左眼及び右眼映像領域が設定されると、パノラマ映像生成部６５０は、複数の２Ｄ映像内で設定された各左眼映像領域の映像イメージを合成して左眼パノラマイメージを生成する。同様に、パノラマ映像生成部６５０は、複数の２Ｄ映像内で設定された各右眼映像領域の映像イメージを合成して右眼パノラマイメージを生成する。具体的に、パノラマ映像生成部６５０は、複数の２Ｄ映像から特徴点を抽出し、抽出された特徴点のうち複数の左眼映像領域の映像イメージ別特徴点に基づいて複数の左眼映像領域に対する映像イメージを合成して左眼パノラマイメージを生成することができる。それと同様に、パノラマ映像生成部６５０は、複数の２Ｄ映像から抽出された特徴点のうち複数の右眼映像領域の映像イメージ別特徴点に基づいて複数の右眼映像領域に対する映像イメージを合成して右眼パノラマイメージを生成することができる。

ディスプレイ部６６０は、撮影された２Ｄ映像または複数の２Ｄ映像から生成された３Ｄパノラマイメージをディスプレイする。そのために、ディスプレイ部１２０は、液晶表示装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）、有機電気発行ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｉｔｉｎｇ Ｄｉｓｐｌａｙ：ＯＬＥＤ）またはプラズマ表示パネル（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ：ＰＤＰ）などで実現されてよい。

保存部６７０は、撮影された２Ｄ映像または複数の２Ｄ映像から生成された３Ｄパノラマイメージを保存する。このような保存部６７０は、非揮発性メモリ（例えば、フラッシュメモリ、ＥＥＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ＲＯＭ））、ハードディスクなどのような保存媒体で実現されてよい。

制御部６８０は、撮影装置１０を構成する各構成に対する動作を全般的に制御する。具体的に、制御部６８０は、ディスプレイ部６７０を介してディスプレイされるライブビューイメージに対するパノラマ撮影命令が入力されると、撮影部６３０を介して連続撮影を行うように制御し、撮影部６３０を介して連続撮影された２Ｄ映像に対する映像処理を行うようにイメージ処理部６４０を制御することができる。なお、制御部６８０は、イメージ処理部６４０を介して映像処理された複数の２Ｄ映像及び通信部６１０を介して受信された複数の２Ｄ映像それぞれに対応するデプスマップをパノラマ映像生成部６５０に伝送して複数の２Ｄ映像に対する３Ｄパノラマイメージを生成するようにパノラマ映像生成部６５０を制御することができる。

これまで、本発明に係る撮影装置１０の各構成について詳細に説明してきた。以下では、本発明に係る映像生成装置１００で複数の２Ｄ映像に基づいて３Ｄパノラマイメージを生成する方法について詳細に説明する。

図７は、本発明の一実施形態に係る映像生成装置で３Ｄパノラマイメージを生成する方法を示すフローチャートである。図７に示すように、映像生成装置１００は、複数の２Ｄ映像及び複数の２Ｄ映像それぞれに対応する複数のデプスマップを入力される（Ｓ７１０）。ここで、複数の２Ｄ映像それぞれは前後２Ｄ映像の一部と重畳されることが望ましい。このような複数の２Ｄ映像を撮影装置１０を介して撮影された映像であり、複数の２Ｄ映像それぞれに対応する複数のデプスマップは映像生成装置１００内で生成されたり、外部装置（図示せず）から受信されてよい。ここで、複数の２Ｄ映像それぞれに対応するデプスマップを生成する外部装置（図示せず）はデプス映像撮影装置であってよい。このようなデプス映像撮影装置は、パターン映写方式、ステレオカメラ方式及びＴｉｍｅ ｏｆ Ｆｌｉｇｈｔ方式のうち、少なくとも１つを通じて複数の２Ｄ映像それぞれに対応するデプスマップを生成してよい。

一方、複数の２Ｄ映像それぞれに対応する複数のデプスマップが入力されなければ、映像生成装置１００は後述のステップを通じて推定された撮影装置１０の撮影方向及び位置に対応する２Ｄ映像間の映像整合を通じて複数の２Ｄ映像に対応するデプスマップを生成することができる。

このような多様な実施形態を通じ、複数の２Ｄ映像及び複数の２Ｄ映像それぞれに対応するデプスマップが入力されると、映像生成装置１００は複数の２Ｄ映像それぞれから特徴点を抽出する（Ｓ７２０）。その後、映像生成装置１００は、複数の２Ｄ映像を撮影した撮影装置１０の撮影方向及び位置を推定する（Ｓ７３０）。実施形態によって、映像生成装置１００は、複数の２Ｄ映像から抽出した特徴点の変化情報及びセンサを介して測定された結果のうち少なくとも１つに基づいて撮影装置１０の撮影方向及び位置を推定することができる。ここで、センサは、運動の慣性力を検出して慣性測定対象である撮影装置１０は、加速度、速度、方向、距離などの多様な航法関連情報を提供する慣性測定センサ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：ＩＭＵ）として、加速度センサ、ジャイロセンサ及び地磁気センサのうち、少なくとも１つであってよい。

このような実施形態を通じ、撮影装置１０の撮影方向及び位置が推定されると、映像生成装置１００は推定された推定結果を考慮し、複数の２Ｄ映像及び複数のデプスマップを撮影装置１０が基準方向及び基準位置から撮影した際、獲得可能な基準映像及び基準デプスマップに補正する（Ｓ７４０）。

その後、映像生成装置１００は、複数のデプスマップに基づいて複数の２Ｄ映像それぞれに対して左眼映像領域及び右眼映像領域を設定する（Ｓ７５０）。一実施形態によって、映像生成装置１００は、複数のデプスマップそれぞれの領域別デプス値を分析して類似するデプス値を有する領域に対応するそれぞれの２Ｄ映写の映像領域のうち、予め設定された第１領域に属する映像領域を左眼映像領域に設定し、予め設定された第２領域に属する映像領域を右眼映像領域に設定することができる。別の実施形態によって、映像生成装置１００は、カラーセグメンテーションアルゴリズムを用いて複数の２Ｄ映像別映像領域を設定し、設定された映像領域のうち、予め設定された第１領域に属する映像領域を左眼映像領域に設定し、予め設定された第２領域に属する映像領域を右眼映像領域に設定することができる。

このような多様な実施形態を通じ、複数の２Ｄ映像それぞれに対する左眼及び右眼映像領域が設定されると、映像生成装置１００は複数の２Ｄ映像内で設定されたそれぞれの左眼映像領域の映像イメージを合成して左眼パノラマイメージを生成し、複数の２Ｄ映像内で設定されたそれぞれの右眼映像領域の映像イメージを合成して右眼パノラマイメージを生成する（Ｓ７６０）。

具体的に、映像生成装置１００は、複数の２Ｄ映像それぞれから抽出された特徴点のうち、複数の左眼映像領域の映像イメージ別特徴点に基づいて複数の左眼映像領域に対する左眼パノラマイメージを生成し、複数の右眼映像領域の映像イメージ別特徴点に基づいて複数の右眼映像領域に対する右眼パノラマイメージを生成することができる。実施形態によると、映像生成装置１００は、映像モザイキングアルゴリズムを用いて、複数の左眼映像領域の映像イメージを合成して左眼パノラマイメージを生成し、複数の右眼映像領域の映像イメージを合成して右眼パノラマイメージを生成することができる。

これまで、本発明について好適な実施形態を中心に説明してきた。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (15)

1. 映像生成装置において３Ｄパノラマイメージを生成する方法において、
   複数の２Ｄ映像及び前記複数の２Ｄ映像に対応する複数のデプスマップを入力されるステップと、
   前記複数のデプスマップに基づいて、前記複数の２Ｄ映像それぞれに対して左眼映像領域及び右眼映像領域を設定するステップと、
   前記複数の２Ｄ映像内において設定された各左眼映像領域の映像イメージを合成して左眼パノラマイメージを生成し、前記複数の２Ｄ映像内において設定された各右眼映像領域の映像イメージを合成して右眼パノラマイメージを生成するステップと
   を含む３Ｄパノラマイメージ生成方法。
2. 前記複数の２Ｄ映像のうち少なくとも１つの２Ｄ映像は、
   前後２Ｄ映像の一部と重畳されることを特徴とする請求項１に記載の３Ｄパノラマイメージ生成方法。
3. 前記設定するステップは、
   前記複数のデプスマップそれぞれの領域別デプス値を分析し、類似するデプス値を有する領域に対応するそれぞれの２Ｄ映像の映像領域のうち、予め設定された第１領域に属する映像領域を左眼映像領域に設定し、予め設定された第２領域に属する映像領域を右眼映像領域に設定することを特徴とする請求項１に記載の３Ｄパノラマイメージ生成方法。
4. 前記設定するステップは、
   カラーセグメンテーションアルゴリズムを用いて、前記複数の２Ｄ映像別映像領域を設定し、前記設定された映像領域のうち、予め設定された第１領域に属する映像領域を左眼映像領域に設定し、予め設定された第２領域に属する映像領域を右眼映像領域に設定することを特徴とする請求項１に記載の３Ｄパノラマイメージ生成方法。
5. 前記複数の２Ｄ映像から特徴点（ｆｅａｔｕｒｅ）を抽出するステップを更に含み、
   前記生成するステップは、
   前記複数の左眼映像領域の映像イメージ別特徴点に基づいて前記複数の左眼映像領域に対する左眼パノラマイメージを生成し、
   前記複数の右眼映像領域の映像イメージ別特徴点に基づいて前記複数の右眼映像領域に対する右眼パノラマイメージを生成することを特徴とする請求項１に記載の３Ｄパノラマイメージ生成方法。
6. 前記複数の２Ｄ映像を撮影した前記撮影装置の撮影方向及び位置を推定するステップと、
   前記推定結果を考慮し、前記複数の２Ｄ映像及び前記複数のデプスマップを前記撮影装置が基準方向及び基準位置から撮影した際、獲得可能な基準映像及び基準デプスマップに補正するステップと
   を更に含み、
   前記設定するステップは、
   前記補正された基準デプスマップに基づいて、前記補正された複数の２Ｄ映像それぞれに対して左眼及び右眼映像領域を設定することを特徴とする請求項５に記載の３Ｄパノラマイメージ生成方法。
7. 前記推定するステップは、
   前記複数の２Ｄ映像から抽出した特徴点の変化情報及びセンサを介して測定された結果のうち少なくとも１つに基づいて、前記撮影装置の撮影方向及び位置を推定し、
   前記センサは、
   慣性測定センサ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：ＩＭＵ）であることを特徴とする請求項６に記載の３Ｄパノラマイメージ生成方法。
8. 前記複数の２Ｄ映像に対応するデプスマップが入力されなければ、前記センサを介して測定された結果に基づいて推定された前記撮影装置の方向及び位置に対応する２Ｄ映像間の映像整合（Ｓｔｅｒｅｏ Ｍａｔｃｈｉｎｇ）を通じて前記複数の２Ｄ映像に対応するデプスマップを生成するステップを更に含むことを特徴とする請求項７に記載の３Ｄパノラマイメージ生成方法。
9. 前記生成するステップは、
   映像モザイキングアルゴリズムを用いて前記複数の左眼映像領域の映像イメージを合成し、前記複数の右眼映像領域の映像イメージの映像イメージを合成することを特徴とする請求項１に記載の３Ｄパノラマイメージ生成方法。
10. 映像生成装置において、
    複数の２Ｄ映像及び前記複数の２Ｄ映像に対応する複数のデプスマップを入力される映像入力部と、
    前記複数のデプスマップに基づいて、前記複数の２Ｄ映像それぞれに対して左眼映像領域及び右眼映像領域を設定する領域設定部と、
    前記複数の２Ｄ映像内で設定された各左眼映像領域の映像イメージを合成して左眼パノラマイメージを生成し、前記複数の２Ｄ映像内で設定された各右眼映像領域の映像イメージを合成して右眼パノラマイメージを生成する制御部と
    を含む映像生成装置。
11. 前記複数の２Ｄ映像のうち少なくとも１つの２Ｄ映像は、
    前後２Ｄ映像の一部と重畳されることを特徴とする請求項１０に記載の映像生成装置。
12. 前記領域設定部は、
    前記複数のデプスマップそれぞれの領域別デプス値を分析し、類似するデプス値を有する領域に対応するそれぞれの２Ｄ映像の映像領域のうち、予め設定された第１領域に属する映像領域を左眼映像領域に設定し、予め設定された第２領域に属する映像領域を右眼映像領域に設定することを特徴とする請求項１０に記載の映像生成装置。
13. 前記領域設定部は、
    カラーセグメンテーションアルゴリズムを用いて、前記複数の２Ｄ映像別映像領域を設定し、前記設定された映像領域のうち、予め設定された第１領域に属する映像領域を左眼映像領域に設定し、予め設定された第２領域に属する映像領域を右眼映像領域に設定することを特徴とする請求項１０に記載の映像生成装置。
14. 前記制御部は、
    前記複数の２Ｄ映像から特徴点（ｆｅａｔｕｒｅ）を抽出し、前記抽出された特徴点のうち、前記複数の左眼映像領域の映像イメージ別特徴点に基づいて前記複数の左眼映像領域に対する左眼パノラマイメージを生成し、前記複数の右眼映像領域の映像イメージ別特徴点に基づいて前記複数の右眼映像領域に対する右眼パノラマイメージを生成することを特徴とする請求項１０に記載の映像生成装置。
15. 前記複数の２Ｄ映像を撮影した前記撮影装置の撮影方向及び位置を推定する位置推定部と、
    前記位置推定部から推定された推定結果を考慮し、前記複数の２Ｄ映像及び前記複数のデプスマップを前記撮影装置が基準方向及び基準位置から撮影した際、獲得可能な基準映像及び基準デプスマップに補正する映像変換部と
    を更に含み、
    前記領域設定部は、
    前記補正された基準デプスマップに基づいて、前記補正された複数の２Ｄ映像それぞれに対して左眼及び右眼映像領域を設定することを特徴とする請求項１４に記載の映像生成装置。

Images