JP2012244527A5 - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

Description

本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、低コストで、より広範囲の空間の多数の視点から見た画像を提供することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。

本技術の一側面は、複数のカメラにより撮影された画像に基づいて、前記複数のカメラの全部または一部が配置された面内の任意の位置において撮影された画像を補完する画像補完部と、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部とを備える画像処理装置である。
前記画像補完部には、前記複数のカメラの全部または一部が被写体を囲むように配置された曲面上の任意の点において撮影された画像を補完させるようにすることができる。
前記画像補完部には、前記複数のカメラの内２台を特定させ、それぞれのカメラで撮影された画像に基づいてずれ量を算出させるようにすることができる。
前記画像補完部には、前記補完される画像が撮影される位置および前記カメラの内１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定させ、前記移動先ベクトルに基づいて前記カメラにより撮影された画像の画素を移動させて貼り付けることにより前記画像を補完させるようにすることができる。

本技術の一側面の画像処理方法は、画像補完部が、複数のカメラにより撮影された画像に基づいて、前記複数のカメラの全部または一部が配置された面内の任意の位置において撮影された画像を補完し、任意点画像生成部が、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成するステップを含む。

本技術の一側面のプログラムは、コンピュータを、複数のカメラにより撮影された画像に基づいて、前記複数のカメラの全部または一部が配置された面内の任意の位置において撮影された画像を補完する画像補完部と、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部とを備える画像処理装置として機能させる。

本技術の一側面においては、複数のカメラにより撮影された画像に基づいて、前記複数のカメラの全部または一部が配置された面内の任意の位置において撮影された画像が補完され、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像が生成される。

Claims (12)

1. 複数のカメラにより撮影された画像に基づいて、前記複数のカメラの全部または一部が配置された面内の任意の位置において撮影された画像を補完する画像補完部と、
   前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部と
   を備える画像処理装置。
2. 前記画像補完部は、
   前記複数のカメラの全部または一部が被写体を囲むように配置された曲面上の任意の点において撮影された画像を補完する
   請求項１に記載の画像処理装置。
3. 前記画像補完部は、
   前記複数のカメラの内２台を特定し、それぞれのカメラで撮影された画像に基づいてずれ量を算出する
   請求項１に記載の画像処理装置。
4. 前記画像補完部は、
   前記補完される画像が撮影される位置および前記カメラの内１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、前記移動先ベクトルに基づいて前記カメラにより撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する
   請求項３に記載の画像処理装置。
5. 前記画像補完部は、
   前記複数のカメラのうちの３台を頂点とした三角形の面内の任意の位置において撮影された画像を補完する
   請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記画像補完部は、
   前記複数のカメラのうちの３台を特定し、
   前記３台のカメラのうちの２台の組み合わせを３通り設定し、
   前記３通りの組み合わせの中の第１番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第１のずれ量を算出し、
   前記３通りの組み合わせの中の第２番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第２のずれ量を算出し、
   前記３通りの組み合わせの中の第３番目の組み合わせにおいて、それぞれのカメラで撮影された画像の視差に基づいて、第３のずれ量を算出し、
   前記第１乃至第３のずれ量に基づいて、最も確からしいずれ量を決定し、
   前記補完される画像が撮影される位置および前記３台のカメラのいずれか１台の位置、並びに前記ずれ量に基づいて移動先ベクトルを特定し、
   前記移動先ベクトルに基づいて、前記３台のカメラのいずれか１台により撮影された画像の画素を移動させて貼り付けることにより前記画像を補完する
   請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記画像補完部は、
   複数のカメラにより撮影された画像の領域を、前記画像を構成する画素の色に基づいてクラス分けして、同一のクラスに属する画素の領域を単位領域とし、
   前記単位領域毎に画素を移動させて貼り付けることにより前記画像を補完する
   請求項１乃至６のいずれかに記載の画像処理装置。
8. 任意点画像生成部は、
   前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点に仮想的なカメラであるバーチャルカメラを配置し、
   前記バーチャルカメラの焦点とフィルム面を通る直線に基づいて、前記カメラ面画像の中から適当な画像を選択し、
   前記選択された画像を撮影したカメラの焦点とフィルム面を通る直線、および前記バーチャルカメラの焦点とフィルム面を通る直線に基づいて、前記選択された画像の中から適当な画素を選択し、
   前記選択された画素により前記バーチャルカメラで撮影された画像を構成することで、前記任意の点から撮影された被写体の画像を生成する
   請求項１乃至７のいずれかに記載の画像処理装置。
9. 任意の２台の前記カメラのレンズの中心および焦点を通る直線が交わる交点を焦点とするように、他の複数のカメラの向きを制御する撮影制御部をさらに含む
   請求項１乃至８のいずれかに記載の画像処理装置。
10. 画像補完部が、複数のカメラにより撮影された画像に基づいて、前記複数のカメラの全部または一部が配置された面内の任意の位置において撮影された画像を補完し、
    任意点画像生成部が、前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成するステップ
    を含む画像処理方法。
11. コンピュータを、
    複数のカメラにより撮影された画像に基づいて、前記複数のカメラの全部または一部が配置された面内の任意の位置において撮影された画像を補完する画像補完部と、
    前記複数のカメラにより撮影された画像および前記補完された画像により構成されるカメラ面画像に基づいて、前記複数のカメラのそれぞれに共通する撮影範囲内の任意の点から撮影された被写体の画像を生成する任意点画像生成部とを備える画像処理装置として機能させる
    プログラム。
12. 請求項１１に記載のプログラムが記録されている記録媒体。