JP2013500536A - 立体画像対における遠近感および視差の調整 - Google Patents

Abstract

立体画像対における遠近感および視差を調整するシステムおよび方法であって、シーンを表す立体画像対を受信するステップと、立体画像対に関連付けられていて、シーン内のピクセルの基準位置からの距離を含む距離情報を識別するステップと、少なくとも距離情報および立体画像の分析に基づいたクラスタマップであって、視点からの距離により立体画像のピクセルをグループ化するクラスタマップを生成するステップと、少なくともクラスタマップおよび立体画像の分析に基づいて立体画像内の被写体および背景を識別するステップと、少なくとも立体画像対内の被写体および背景の遠近感および視差の調整であって、少なくとも距離情報の分析に基づいて行われる調整により新規の立体画像対を生成するステップと、生成された新規の立体画像対をプロセッサによりアクセス可能なメモリシステムに保存するステップとを含んでいる。

Description

本発明はデジタル画像の調整に関し、特に距離情報を用いた立体画像対における遠近感および視差を調整する方法に関する。

ステレオカメラまたはマルチビューカメラは一般に、人間の目と同様に機能する２台以上のカメラを用いて左右の画像を撮像し、閲覧者に２個の画像間の差異による立体的な効果を感じさせる。具体的には、ステレオカメラにより撮像された２個の画像の差異により各々の目に異なる画像が提示された際にユーザーが視差を感じ、この両眼視差によりユーザーは立体的な効果を経験する。しかし、遠近感または視差のため、立体画像は往々にして不快である。

立体画像対を撮像する方法および立体画像対の視差を調整する方法を記述した多くの参考文献がある。これらの方法の大部分は、特定の被写体を調整することなく全てのシーンを変える。例えば、米国特許出願公開第２００８／０１１２６１６号では視差ヒストグラムに基づいて立体画像の視差を調整している。

米国特許出願公開第２００８／０１１２６１６号明細書

Ｄｏｍｉｎａｎｔ Ｓｅｔｓ ａｎｄ Ｐａｉｒｗｉｓｅ Ｃｌｕｓｔｅｒｉｎｇ」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ＆ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌｕｍｅ ２９，Ｎｏ．１，Ｊａｎｕａｒｙ ２００７，ｐｐ．１６７−１７２

シーン内の視点から異なる距離にある被写体の異なる視差を修正することにより立体画像対の遠近感を調整する方法が必要とされている。

本発明は、立体画像対における遠近感および視差を調整する方法を示し、当該方法は少なくとも部分的にデータ処理システムにより実装され、
シーンを表す立体画像対を受信するステップと、
立体画像対に関連付けられていて、シーン内のピクセルの基準位置からの距離を含む距離情報を識別するステップと、
少なくとも距離情報および立体画像の分析に基づいたクラスタマップであって、視点からの距離により立体画像のピクセルをグループ化するクラスタマップを生成するステップと、
少なくともクラスタマップおよび立体画像の分析に基づいて立体画像内の被写体および背景を識別するステップと、
少なくとも立体画像対内の被写体および背景の遠近感および視差の調整であって、少なくとも距離情報の分析に基づいて行われる調整により新規の立体画像対を生成するステップと、
生成された新規の立体画像対をプロセッサによりアクセス可能なメモリシステムに保存するステップを含んでいる。

本発明の利点は、距離情報を用いることにより、より高い精度で被写体および背景を検出して分割できることである。更に、立体画像対における遠近感および視差を効率的に調整することができる。

上述の実施形態に加え、図面を参照すると共に以下の詳細説明を精査することにより他の実施形態も明らかになろう。

本発明は、添付の図面と合わせて考察する下記の例示的な実施形態の詳細説明により理解が深まろう。
本発明の一実施形態による立体画像対における遠近感および視差を調整するシステムの構成要素を示す高レベルの構成図である。 本発明の一実施形態による、立体画像対における遠近感および視差を調整する方法を示すフロー図である。 図２に示す被写体および背景を識別するステップの追加的な詳細事項を示すフロー図である。 図３に示すクラスタマップを生成するステップの追加的な詳細事項を示すフロー図である。

本発明は、本明細書に記述する実施形態の組合せを含んでいる。「特定の実施形態」等への言及は、本発明の少なくとも１個の実施形態に存在する特徴を指している。「一実施形態」または「特定の実施形態」等への個別の参照は必ずしも同一の実施形態または実施形態群を指す訳ではない。しかし、そのような実施形態は、その旨が明示されているか、または、当業者に明らかでない限り、互いに排他的ではない。「方法」または「方法群」等に言及する際の単数形および／または複数形の使用は非限定的である。

本明細書で用いる「デジタルコンテンツ記録」という語句は、デジタル静止画像、デジタル音声ファイル、デジタルビデオファイル等、任意のデジタルコンテンツ記録を指している。

別途明示的に注記しているか、または文脈上の必然性がない限り、本開示では「または」という単語は非排他的な意味で用いる。

図１は、本発明の一実施形態によるデジタル画像内の被写体および背景を検出システムの構成要素を示す高レベルの構成図である。本システムは、データ処理システム１０、周辺システム２０、ユーザーインターフェースシステム３０、およびデータ記憶システム４０を含んでいる。周辺システム２０、ユーザーインターフェースシステム３０、およびデータ記憶システム４０は、通信によりデータ処理システム１０に接続されている。

データ処理システム１０は、本明細書に記述する図２および３の例示的処理を含む、本発明の各種実施形態の処理を実装する１個以上のデータ処理装置を含んでいる。「データ処理装置」または「データプロセッサ」という語句は、中央処理装置（「ＣＰＵ」）、デスクトップコンピュータ、ラップトップコンピュータ、メインフレームコンピュータ、携帯情報端末、Ｂｌａｃｋｂｅｒｒｙ（登録商標）、デジタルカメラ、携帯電話等の任意のデータ処理装置、または電気、磁気、光学、生物的要素のいずれで実装されているかに関らず、データ処理、データ管理、またはデータ取扱い用の他の任意の装置を含むことを意図している。

データ記憶システム４０は、本明細書に記述する図２、３の例示的な処理を含む本発明の各種実施形態の処理の実行に必要な情報を含む情報を格納すべく構成された１個以上のプロセッサによりアクセス可能なメモリを含んでいる。データ記憶システム４０は、通信により複数のコンピュータおよび／または装置を介してデータ処理システム１０に接続された複数のプロセッサによりアクセス可能なメモリを含む分散型のプロセッサによりアクセス可能なメモリシステムであってよい。一方、データ記憶システム４０は分散型のプロセッサによりアクセス可能なメモリシステムである必要はなく、従って単一データプロセッサまたは装置内に配置された１個以上のプロセッサによりアクセス可能なメモリを含んでいてよい。

「プロセッサによりアクセス可能なメモリ」という語句は、揮発性か不揮発性に関らず、レジスタ、フロッピー（登録商標）ディスク、ハードディスク、コンパクトディスク、ＤＶＤ、フラッシュメモリ、ＲＯＭ、およびＲＡＭを含むがこれに限定されない電子、磁気、光学その他の任意のプロセッサによりアクセス可能なデータ記憶装置を含むことを意図している。

「通信により接続されている」という語句は、有線か無線かに関らず、装置、データプロセッサ、またはデータ通信を行なうプログラムの間における任意の種類の接続を含むことを意味している。更に、「通信により接続されている」という語句は、単一データプロセッサ内の装置またはプログラム間の接続、異なるデータプロセッサに配置された装置またはプログラム間の接続、および全くデータプロセッサに配置されていない装置間の接続を含むことを意図している。この点に関して、データ記憶システム４０をデータ処理システム１０とは別個に示しているが、当業者にはデータ記憶システム４０がデータ処理システム１０内に完全にまたは部分的に含まれていてもよいことが理解されよう。更にこの点に関して、周辺システム２０およびユーザーインターフェースシステム３０をデータ処理システム１０とは別個に示しているが、当業者にはそのようなシステムの一方または両方がデータ処理システム１０内に完全にまたは部分的に格納されていてもよいことが理解できよう。

周辺システム２０は、データ処理システム１０にデジタルコンテンツ記録を提供すべく構成された１個以上の装置を含んでいてよい。例えば、周辺システム２０は、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話、または他のデータプロセッサを含んでいてよい。周辺システム２０内の装置からのデジタルコンテンツ記録を受信したならば、データ処理システム１０はそれらのデジタルコンテンツ記録をデータ記憶システム４０に格納することができる。

ユーザーインターフェースシステム３０は、マウス、キーボード、別のコンピュータ、あるいはデータ処理システム１０にデータを入力する任意の装置または装置の組合せを含んでいてよい。この点に関して、周辺システム２０をユーザーインターフェースシステム３０とは別個に示しているが、周辺システム２０はユーザーインターフェースシステム３０の一部として含まれていてよい。

ユーザーインターフェースシステム３０はまた、表示装置、プロセッサによりアクセス可能なメモリ、あるいはデータ処理システム１０によりデータが出力される任意の装置または装置の組合せを含んでいてよい。この点に関して、ユーザーインターフェースシステム３０がプロセッサによりアクセス可能なメモリを含んでいる場合、図１ではユーザーインターフェースシステム３０およびデータ記憶システム４０を別個に示しているにも拘わらず、そのようなメモリはデータ記憶システム４０の一部であってよい。

図２は、本発明の一実施形態による立体画像対における遠近感および視差を調整する方法を示すフロー図である。立体画像対受信ステップ１０２においてシーンを表す立体画像対１０３が受信される。立体画像対１０３は、立体画像撮像装置により撮像することができる。立体画像撮像装置は、パラレルカメラ、マルチビューカメラ、一眼カメラ、またはハイブリッド立体画像カメラであってよい。あるいは、立体画像対１０３は、立体画像撮像装置により撮像された２個の立体ビデオシーケンスのフレーム対にあってよい。

デジタル画像１０３に関連付けられた距離情報１０５が距離情報識別ステップ１０４において識別される。距離情報１０５は、シーン内のピクセルの既知の基準位置からの距離を含んでいる。所与の距離情報と関連して視点位置を識別する必要がある。通常、視点位置が基準位置である。距離情報１０５は好適には、可視光、赤外光、レーザー光または超音波を用いてシーン内のピクセルへの距離を判定する距離カメラにより提供される距離マップの形式で示される。あるいは、距離マップは、複数の視点からシーンの画像を撮像して、シーン内の被写体の相対位置を評価することにより距離情報を判定することを含む立体画像処理技術を用いて提供することができる。距離マップがデジタル画像１０３とは異なる寸法（すなわち行と列の数）を有する場合、距離マップが同じ寸法を有するように補間することが好適である。

被写体および背景識別ステップ１０６において、シーン内の被写体および背景１０７が距離情報１０５および立体画像対１０３の分析に基づいて識別される。新規立体画像対生成ステップ１０８において、距離情報１０５の分析に基づいて立体画像対１０３内の被写体および背景１０７の遠近感および視差を調整することにより新規の立体画像対１０９が生成される。人により体験する立体感が異なるため、遠近感および視差の調整はオプションとして本発明の一実施形態におけるユーザー嗜好入力１１１に基づいている。（図２の破線がオプション機能を示す。）例えば、視差が大き過ぎる場合、特定のユーザーは視覚的に立体画像対を合成することが困難な場合がある。この場合、ユーザー嗜好入力１１１は、特定のユーザーがより低い視差レベルを好むことを示すことができる。ユーザーがユーザー嗜好入力１１１を指定できるようにユーザーインターフェースを提供することができる。例えば、全体的な視差レベルに対するスケーリング係数を入力するためのスライドバーを提供することができる。ユーザーは、単にバーをより低いレベルまでスライドさせて視差を小さくすることができる。新規立体画像対生成ステップ１０７は次いで、各被写体の視差をスケーリング係数分だけ小さくして、より低い視差レベルを有する新規立体画像対１０８を生成することができる。

立体画像内の被写体および背景が検出されるため、特定の被写体の遠近感および視差もまた調整することができる。例えば、特定の１個の被写体が視点から更に遠くに見えるように変更された変更立体画像対の生成が望まれる場合、当該被写体のサイズを小さくして新規立体画像対１０９における当該被写体の視差を変える必要がある。被写体のサイズおよび視差の変更は、被写体の視点からの距離の変更に比例しなければならない。立体画像対内の被写体のサイズおよび位置が調整されるにつれて、以前は遮られていた背景または被写体の部分が露出される場合がある。立体画像対１０９内の画像の一方におけるこれらの領域に対して画素値を補間するために、立体画像対１０９内の他の画像で対応する被写体または背景領域からピクセルをコピーすることができる。立体画像対１０９の画像の両方において被写体領域が遮られている場合、遮られていない被写体の部分から外挿することにより、画素値を決定することが必要になる。

本発明の一実施形態において、遠近感および視差調整動作を実行するプロセッサは、パラレルカメラ、マルチビューカメラ、一眼カメラ、またはハイブリッド立体画像カメラ等の立体画像撮像手段に埋め込むことができる。これにより撮像時に遠近感および視差の調整が可能になる。

新規立体画像対保存ステップ１１０において、新規立体画像対１０９は、プロセッサによりアクセス可能なメモリシステムを含むデータ記憶システム４０（図１）に保存される。プロセッサによりアクセス可能なメモリシステムは、ハードディスク等の磁気記録媒体、光ディスク等の光記憶媒体、またはランダムアクセスメモリ（ＲＡＭ）または読出し専用メモリ（ＲＯＭ）等の固体記憶装置を含む、当分野で一般的に用いられる任意の種類のデジタルメモリであってよい。

図３は、本発明の一実施形態による、図２に示す被写体および背景識別ステップ１０６の追加的な詳細事項を示すフロー図である。距離マップを含む立体画像対１０３および距離情報１０５は上述のように与えられる。クラスタマップ生成ステップ２０２において、図４の議論に関して更に詳細に記述するように、距離情報１０５および立体画像対１０３の分析に基づいてクラスタマップ２０３が生成される。被写体および背景検出ステップ２０４において、次式のようにクラスタマップ２０３と立体画像対１０３を組み合わせることにより、立体画像１０３内で被写体および背景２０５が検出される。
被写体＝ｆ（クラスタマップ，Ｉ）
ここに、関数ｆ（）は、クラスタマップ２０３を用いてデジタル画像Ｉに施した被写体分割演算である。デジタル画像Ｉは、立体画像対１０３内の一方の画像である。関数ｆ（）は、クラスタマップ２０３内で等距離にあるピクセルを識別し、次いでデジタル画像Ｉ内の対応ピクセルを対応被写体に割り当てることにより機能する。

図４は、本発明の一実施形態による、図３に示すクラスタマップ生成ステップ２０２の追加的な詳細事項を示すフロー図である。距離マップを含む立体画像対１０３および距離情報１０５は上述のように与えられる。ピクセルクラスタリングステップ３０４において、距離マップ内のピクセルは、「Ｄｏｍｉｎａｎｔ Ｓｅｔｓ ａｎｄ Ｐａｉｒｗｉｓｅ Ｃｌｕｓｔｅｒｉｎｇ」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ＆ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌｕｍｅ ２９，Ｎｏ．１，Ｊａｎｕａｒｙ ２００７，ｐｐ．１６７−１７２」に記載された方法等のクラスタリングアルゴリズムを用いてクラスタリングされる。このように生成されたクラスタグループに通常、多くのノイズが含まれる。クラスタノイズ削減ステップ３０６において、形態学的方法を用いて小さい穴を埋めて小さいクラスタ領域を除去することによりクラスタノイズを減らす。

エッジ識別ステップ３０８を用いて立体画像内のエッジが検出される。本発明の実施形態において、エッジは勾配演算を用いて識別される。画像の勾配は次式により定義される。

ここに、Ｉ（ｘ，ｙ）は位置（ｘ，ｙ）におけるピクセルの輝度である。勾配ベクトルの大きさは次式で与えられる。

エッジは、各ピクセルにおける勾配の大きさに基づいて立体画像内で検出される。

次に、エッジフィルタリングステップ３１０を用いて、検出されたエッジをフィルタリングして重要でないエッジを除去し、重要なエッジを保持する。数学的には、フィルタリング演算を次式で表すことができる。

ここに、ｅは検出されたエッジの１個、Ｓ（ｅ）はエッジｅ内の各ピクセルの勾配の大きさの和、ｆはフィルタマスク、Ｔは閾値である。

クラスタノイズ削減ステップ３０６で生成されたピクセルクラスタは通常、距離マップ内のノイズに起因して、依然として境界線域にエラーを有している。クラスタ精緻化ステップ３１２を用いてクラスタグループを精緻化すると共にクラスタマップ２０３を生成する。エッジフィルタリングステップ３１０で計算された重要なエッジを用いてクラスタグループの境界が精緻化される。各クラスタグループ内で検出された重要なエッジの外側にピクセルがある場合、それらは除去される。これにより、クラスタグループの境界がはるかに正確になる。次に、各々の精緻化されたクラスタグループ内で平均距離（ｎ）が次式に従い計算される。

ここに、ｍはクラスタグループｗ内のピクセル数、ｄｉｓ（ｉ）は第ｉピクセルの視点位置までの距離である。クラスタグループ内の各ピクセルに平均距離を割り当てることによりクラスタマップが生成される。

上述の例示的な実施形態は単に本発明を説明するためのものであること、および当業者により本発明の範囲から逸脱することなく上述の実施形態に対して各種の変更がなされ得ることを理解されたい。従って、そのようなあらゆる変更態様も以下の請求項およびその等価物の範囲に含まれるものとする。

１０ データ処理システム
２０ 周辺システム
３０ ユーザーインターフェースシステム
４０ データ記憶装置
１０２ 立体画像対受信ステップ
１０３ 立体画像対
１０４ 距離情報識別ステップ
１０５ 距離情報
１０６ 被写体および背景識別ステップ
１０７ 被写体および背景
１０８ 新規立体画像対生成ステップ
１０９ 新規立体画像対
１１０ 新規立体画像対保存ステップ
１１１ ユーザー嗜好入力
２０２ クラスタマップ生成
２０３ クラスタマップ
２０４ 被写体および背景検出ステップ
３０４ ピクセルクラスタリングステップ
３０６ クラスタノイズ削減ステップ
３０８ エッジ識別ステップ
３１０ エッジフィルタリングステップ
３１２ クラスタ精緻化ステップ

Claims (15)

1. 立体画像対における遠近感および視差を調整する方法であって、少なくとも部分的にデータ処理システムにより実装され、
   シーンを表す前記立体画像対を受信するステップと、
   前記立体画像対に関連付けられていて、前記シーン内のピクセルの基準位置からの距離を含む距離情報を識別するステップと、
   少なくとも前記距離情報および前記立体画像の分析に基づいたクラスタマップであって、視点からの距離により前記立体画像のピクセルをグループ化するクラスタマップを生成するステップと、
   少なくとも前記クラスタマップおよび前記立体画像の分析に基づいて前記立体画像内の被写体および背景を識別するステップと、
   前記立体画像対内の前記識別された被写体または背景の少なくとも一方の遠近感および視差の調整であって、少なくとも前記距離情報の分析に基づいて行われる調整により新規の立体画像対を生成するステップと、
   生成された前記新規立体画像対をプロセッサによりアクセス可能なメモリシステムに保存するステップを含む方法。
2. 前記遠近感および視差の調整の程度が、前記被写体の視点位置からの距離に応答的である、請求項１に記載の方法。
3. 前記視点位置が基準位置である、請求項２に記載の方法。
4. 前記遠近感および視差の調整が、ユーザー嗜好入力に応答的である、請求項１に記載の方法。
5. 前記クラスタマップの分析が、前記クラスタマップからノイズを削減するステップを含む、請求項１に記載の方法。
6. 前記クラスタマップのノイズの削減が、小さい穴を埋めて、前記クラスタマップから小さいクラスタ領域を除去する、請求項５に記載の方法。
7. 前記クラスタマップおよび前記立体画像対の分析が、
   前記立体画像対のエッジを識別するステップと、
   少なくとも前記識別されたエッジを前記ピクセルグループの境界と比較することにより、前記クラスタマップ内のピクセルグループ化を精緻化するステップとを含む、請求項１に記載の方法。
8. 前記ピクセルグループの境界と比較される前に重要でないエッジを除去すべく、前記識別されたエッジがフィルタリング処理を受ける、請求項７に記載の方法。
9. 前記距離情報が、少なくとも立体画像対の分析から識別される、請求項１に記載の方法。
10. 請求項１における方法を実行するコンピュータプログラム製品。
11. データ処理システムと、
    通信により前記データ処理システムに接続されていて、立体画像対における遠近感および視差を調整する方法を前記データ処理システムに実行させるべく構成された命令を保存するメモリシステムとを含んでいて、前記命令が、
    シーンを表す前記立体画像対を受信するステップと、
    前記立体画像対に関連付けられていて、前記シーン内のピクセルの基準位置からの距離を含む距離情報を識別するステップと、
    少なくとも前記距離情報および前記立体画像の分析に基づいたクラスタマップであって、視点からの距離により前記立体画像のピクセルをグループ化するクラスタマップを生成するステップと、
    少なくとも前記クラスタマップおよび前記立体画像の分析に基づいて前記立体画像内の被写体および背景を識別するステップと、
    前記立体画像対内の前記識別された被写体または背景の少なくとも一方の遠近感および視差の調整であって、少なくとも前記距離情報の分析に基づいて行われる調整により新規の立体画像対を生成するステップと、
    生成された前記新規立体画像対をプロセッサによりアクセス可能なメモリシステムに保存するステップを含むシステム。
12. 前記立体画像対が立体画像撮像装置から受信される、請求項１１に記載の方法。
13. 前記距離情報が少なくとも前記立体画像対の分析から識別される、請求項１２に記載の方法。
14. 前記新規の立体画像対を生成するステップが、立体画像撮像装置内で実行される、請求項１１に記載の方法。
15. 前記立体画像撮像装置が、パラレルカメラ、マルチビューカメラ、一眼カメラ、またはハイブリッド立体画像カメラである、請求項１４に記載の方法。

Images