JP2013500536A5 - - Google Patents

Description

本発明はデジタル画像の調整に関し、特に範囲情報を用いた立体画像対における遠近感および視差を調整する方法に関する。

本発明は、立体画像対における遠近感および視差を調整する方法を示し、当該方法は少なくとも部分的にデータ処理システムにより実装され、
シーンを表す立体画像対を受信するステップと、
立体画像対に関連付けられていて、シーン内のピクセルの基準位置からの距離を含む範囲情報を識別するステップと、
少なくとも範囲情報および立体画像の分析に基づいたクラスタマップであって、視点からの距離により立体画像のピクセルをグループ化するクラスタマップを生成するステップと、
少なくともクラスタマップおよび立体画像の分析に基づいて立体画像内の被写体および背景を識別するステップと、
少なくとも立体画像対内の被写体および背景の遠近感および視差の調整であって、少なくとも範囲情報の分析に基づいて行われる調整により新規の立体画像対を生成するステップと、
生成された新規の立体画像対をプロセッサによりアクセス可能なメモリシステムに保存するステップを含んでいる。

本発明の利点は、範囲情報を用いることにより、より高い精度で被写体および背景を検出して分割できることである。更に、立体画像対における遠近感および視差を効率的に調整することができる。

デジタル画像１０３に関連付けられた範囲情報１０５が範囲情報識別ステップ１０４において識別される。範囲情報１０５は、シーン内のピクセルの既知の基準位置からの距離を含んでいる。所与の範囲情報と関連して視点位置を識別する必要がある。通常、視点位置が基準位置である。範囲情報１０５は好適には、可視光、赤外光、レーザー光または超音波を用いてシーン内のピクセルへの距離を判定する範囲カメラにより提供される範囲マップの形式で示される。あるいは、範囲マップは、複数の視点からシーンの画像を撮像して、シーン内の被写体の相対位置を評価することにより範囲情報を判定することを含む立体画像処理技術を用いて提供することができる。範囲マップがデジタル画像１０３とは異なる寸法（すなわち行と列の数）を有する場合、範囲マップが同じ寸法を有するように補間することが好適である。

被写体および背景識別ステップ１０６において、シーン内の被写体および背景１０７が範囲情報１０５および立体画像対１０３の分析に基づいて識別される。新規立体画像対生成ステップ１０８において、範囲情報１０５の分析に基づいて立体画像対１０３内の被写体および背景１０７の遠近感および視差を調整することにより新規の立体画像対１０９が生成される。人により体験する立体感が異なるため、遠近感および視差の調整はオプションとして本発明の一実施形態におけるユーザー嗜好入力１１１に基づいている。（図２の破線がオプション機能を示す。）例えば、視差が大き過ぎる場合、特定のユーザーは視覚的に立体画像対を合成することが困難な場合がある。この場合、ユーザー嗜好入力１１１は、特定のユーザーがより低い視差レベルを好むことを示すことができる。ユーザーがユーザー嗜好入力１１１を指定できるようにユーザーインターフェースを提供することができる。例えば、全体的な視差レベルに対するスケーリング係数を入力するためのスライドバーを提供することができる。ユーザーは、単にバーをより低いレベルまでスライドさせて視差を小さくすることができる。新規立体画像対生成ステップ１０７は次いで、各被写体の視差をスケーリング係数分だけ小さくして、より低い視差レベルを有する新規立体画像対１０８を生成することができる。

図３は、本発明の一実施形態による、図２に示す被写体および背景識別ステップ１０６の追加的な詳細事項を示すフロー図である。範囲マップを含む立体画像対１０３および範囲情報１０５は上述のように与えられる。クラスタマップ生成ステップ２０２において、図４の議論に関して更に詳細に記述するように、範囲情報１０５および立体画像対１０３の分析に基づいてクラスタマップ２０３が生成される。被写体および背景検出ステップ２０４において、次式のようにクラスタマップ２０３と立体画像対１０３を組み合わせることにより、立体画像１０３内で被写体および背景２０５が検出される。
被写体＝ｆ（クラスタマップ，Ｉ）
ここに、関数ｆ（）は、クラスタマップ２０３を用いてデジタル画像Ｉに施した被写体分割演算である。デジタル画像Ｉは、立体画像対１０３内の一方の画像である。関数ｆ（）は、クラスタマップ２０３内で等距離にあるピクセルを識別し、次いでデジタル画像Ｉ内の対応ピクセルを対応被写体に割り当てることにより機能する。

図４は、本発明の一実施形態による、図３に示すクラスタマップ生成ステップ２０２の追加的な詳細事項を示すフロー図である。範囲マップを含む立体画像対１０３および範囲情報１０５は上述のように与えられる。ピクセルクラスタリングステップ３０４において、範囲マップ内のピクセルは、「Ｄｏｍｉｎａｎｔ Ｓｅｔｓ ａｎｄ Ｐａｉｒｗｉｓｅ Ｃｌｕｓｔｅｒｉｎｇ」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ＆ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌｕｍｅ ２９，Ｎｏ．１，Ｊａｎｕａｒｙ ２００７，ｐｐ．１６７−１７２」に記載された方法等のクラスタリングアルゴリズムを用いてクラスタリングされる。このように生成されたクラスタグループに通常、多くのノイズが含まれる。クラスタノイズ削減ステップ３０６において、形態学的方法を用いて小さい穴を埋めて小さいクラスタ領域を除去することによりクラスタノイズを減らす。

クラスタノイズ削減ステップ３０６で生成されたピクセルクラスタは通常、範囲マップ内のノイズに起因して、依然として境界線域にエラーを有している。クラスタ精緻化ステップ３１２を用いてクラスタグループを精緻化すると共にクラスタマップ２０３を生成する。エッジフィルタリングステップ３１０で計算された重要なエッジを用いてクラスタグループの境界が精緻化される。各クラスタグループ内で検出された重要なエッジの外側にピクセルがある場合、それらは除去される。これにより、クラスタグループの境界がはるかに正確になる。次に、各々の精緻化されたクラスタグループ内で平均距離（ｎ）が次式に従い計算される。

ここに、ｍはクラスタグループｗ内のピクセル数、ｄｉｓ（ｉ）は第ｉピクセルの視点位置までの距離である。クラスタグループ内の各ピクセルに平均距離を割り当てることによりクラスタマップが生成される。

１０ データ処理システム
２０ 周辺システム
３０ ユーザーインターフェースシステム
４０ データ記憶装置
１０２ 立体画像対受信ステップ
１０３ 立体画像対
１０４ 範囲情報識別ステップ
１０５ 範囲情報
１０６ 被写体および背景識別ステップ
１０７ 被写体および背景
１０８ 新規立体画像対生成ステップ
１０９ 新規立体画像対
１１０ 新規立体画像対保存ステップ
１１１ ユーザー嗜好入力
２０２ クラスタマップ生成
２０３ クラスタマップ
２０４ 被写体および背景検出ステップ
３０４ ピクセルクラスタリングステップ
３０６ クラスタノイズ削減ステップ
３０８ エッジ識別ステップ
３１０ エッジフィルタリングステップ
３１２ クラスタ精緻化ステップ

Claims (20)

1. シーンを表す立体画像対を受信するステップと、
   前記立体画像対に関連付けられた距離情報を識別するステップであって、前記距離情報は、前記シーン内のピクセルの基準位置からの距離を含む、ステップと、
   少なくともクラスタリングアルゴリズムを使用する前記距離情報に基づいたクラスタマップを生成するステップであって、前記クラスタマップは、視点からの距離により前記立体画像のピクセルをグループ化する、ステップと、
   少なくとも前記クラスタマップおよび前記立体画像対の分析に基づいて前記立体画像内の被写体および背景を識別するステップであって、
   前記クラスタマップおよび前記立体画像対の分析は、前記立体画像対におけるエッジを識別すること、および、
   前記識別されたエッジをピクセルグループの境界と比較し、かつ、前記ピクセルグループから前記識別されたエッジの外側にあるピクセルを除去することによって、前記クラスタマップにおける前記ピクセルグループを精緻化すること、
   を含む、ステップと、
   前記立体画像対における前記識別された被写体または背景の少なくとも一方に対する遠近感および視差を調整することにより新規の立体画像対を生成するステップであって、前記調整は、少なくとも前記距離情報に基づいて行われる、ステップと、
   前記新規の立体画像対をプロセッサによりアクセス可能なメモリシステムに保存するステップと、
   を含む方法。
2. 前記遠近感および視差の調整は、ユーザー嗜好入力に対応している、請求項１に記載の方法。
3. 前記遠近感および視差の調整は、視点位置からの前記被写体の距離に反応している、請求項１に記載の方法。
4. 前記視点位置は、前記基準位置である、請求項３に記載の方法。
5. 前記クラスタマップの前記分析は、前記クラスタマップからノイズを削減すること、を含む、請求項１に記載の方法。
6. 前記クラスタマップからの前記ノイズの削減は、小さい穴を埋めて、前記クラスタマップから小さいクラスタ領域を除去する、請求項５に記載の方法。
7. 前記方法は、さらに
   前記識別されたエッジを前記ピクセルグループの境界と比較する前に、重要でないエッジを除去するように前記識別されたエッジをフィルタリングするステップ、
   を含む、請求項１に記載の方法。
8. 前記距離情報は、少なくとも前記立体画像対の分析から識別される、請求項１に記載の方法。
9. 命令が保管された固定のコンピューターで読み取り可能な媒体であって、コンピューター装置によって実行されると、前記コンピューター装置が、
   シーンを表す立体画像対を受信するステップと、
   前記立体画像対に関連付けられた距離情報を識別するステップであって、前記距離情報は、前記シーン内のピクセルの基準位置からの距離を含む、ステップと、
   少なくともクラスタリングアルゴリズムを使用する前記距離情報に基づいたクラスタマップを生成するステップであって、前記クラスタマップは、視点からの距離により前記立体画像のピクセルをグループ化する、ステップと、
   少なくとも前記クラスタマップおよび前記立体画像対の分析に基づいて前記立体画像内の被写体および背景を識別するステップであって、
   前記クラスタマップおよび前記立体画像対の分析は、前記立体画像対におけるエッジを識別すること、および、
   前記識別されたエッジをピクセルグループの境界と比較し、かつ、前記ピクセルグループから前記識別されたエッジの外側にあるピクセルを除去することによって、前記クラスタマップにおける前記ピクセルグループを精緻化すること、
   を含む、ステップと、
   前記立体画像対における前記識別された被写体または背景の少なくとも一方に対する遠近感および視差を調整することにより新規の立体画像対を生成するステップであって、前記調整は、少なくとも前記距離情報に基づいて行われる、ステップと、
   前記新規の立体画像対をプロセッサによりアクセス可能なメモリシステムに保存するステップと、
   を含む方法を実施する、コンピューターで読み取り可能な媒体。
10. データ処理システムと、
    前記データ処理システムに通信可能に接続されたメモリシステムであって、前記データ処理システムに立体画像対における遠近感および視差を調整するための方法を実施させるように構成された命令を保管しているメモリシステムと、を含み、
    前記命令は、
    シーンを表す立体画像対を受信する命令と、
    前記立体画像対に関連付けられた距離情報を識別する命令であって、前記距離情報は、前記シーン内のピクセルの基準位置からの距離を含む、命令と、
    少なくともクラスタリングアルゴリズムを使用する前記距離情報に基づいたクラスタマップを生成する命令であって、前記クラスタマップは、視点からの距離により前記立体画像のピクセルをグループ化する、命令と、
    少なくとも前記クラスタマップおよび前記立体画像対の分析に基づいて前記立体画像内の被写体および背景を識別する命令であって、
    前記クラスタマップおよび前記立体画像対の分析は、前記立体画像対におけるエッジを識別すること、および、
    前記識別されたエッジをピクセルグループの境界と比較し、かつ、前記ピクセルグループから前記識別されたエッジの外側にあるピクセルを除去することによって、前記クラスタマップにおける前記ピクセルグループを精緻化すること、
    を含む、命令と、
    前記立体画像対における前記識別された被写体または背景の少なくとも一方に対する遠近感および視差を調整することにより新規の立体画像対を生成する命令であって、前記調整は、少なくとも前記距離情報に基づいて行われる、命令と、
    前記新規の立体画像対をプロセッサによりアクセス可能なメモリシステムに保存する命令と、を含む、システム。
11. 前記立体画像対は、立体画像撮像装置から受信される、請求項１０に記載のシステム。
12. 前記距離情報は、少なくとも前記立体画像対の分析から識別される、請求項１１に記載のシステム。
13. 前記データ処理システムは、少なくとも前記立体画像撮像装置の一部分を含む、請求項１０に記載のシステム。
14. 前記立体画像撮像装置は、パラレルカメラ、マルチビューカメラ、一眼カメラ、またはハイブリッド立体画像カメラ、を含む、請求項１３に記載の方法。
15. 前記遠近感および視差の調整の程度は、視点位置からの前記対象物の距離に対応している、請求項９に記載の固定のコンピューターで読み取り可能な媒体。
16. 前記視点位置は、前記基準位置である、請求項１５に記載のコンピューターで読み取り可能な媒体。
17. 前記遠近感および視差の調整は、ユーザー嗜好入力に対応している、請求項９に記載のコンピューターで読み取り可能な媒体。
18. 前記立体画像対における被写体と背景を識別するための前記命令は、前記クラスタマップからノイズを削減する命令を含む、請求項９に記載のコンピューターで読み取り可能な媒体。
19. 前記クラスタマップからの前記ノイズの削減は、小さい穴を埋めて、前記クラスタマップから小さいクラスタ領域を除去する、請求項１８に記載のコンピューターで読み取り可能な媒体。
20. 前記メモリシステムは、さらに
    前記識別されたエッジを前記ピクセルグループの境界と比較する前に、重要でないエッジを除去するように前記識別されたエッジをフィルタリングする命令、を含む、
    請求項９に記載のコンピューターで読み取り可能な媒体。