JP2018026064A5 - - Google Patents

Description

本発明の一様態は、仮想視点画像を生成する画像処理装置であって、
視点の位置及び向きを示す視点情報を取得する取得手段と、
撮像装置により得られる撮像画像において第１オブジェクトと第２オブジェクトの少なくとも一部が重なっているかを判定する判定手段と、
複数の撮像装置により得られる複数の撮像画像のうち、前記取得手段により取得された前記視点情報が示す視点の位置及び向きに応じた仮想視点画像の生成のために用いられるべき１以上の撮像画像を、前記視点情報と前記判定手段による判定の結果とに基づいて決定する決定手段と、
前記決定手段により決定された前記１以上の撮像画像を用いて、前記視点情報が示す視点の位置及び向きに応じた仮想視点画像を生成する生成手段と
を有することを特徴とする。

Claims (12)

1. 仮想視点画像を生成する画像処理装置であって、
   視点の位置及び向きを示す視点情報を取得する取得手段と、
   撮像装置により得られる撮像画像において第１オブジェクトと第２オブジェクトの少なくとも一部が重なっているかを判定する判定手段と、
   複数の撮像装置により得られる複数の撮像画像のうち、前記取得手段により取得された前記視点情報が示す視点の位置及び向きに応じた仮想視点画像の生成のために用いられるべき１以上の撮像画像を、前記視点情報と前記判定手段による判定の結果とに基づいて決定する決定手段と、
   前記決定手段により決定された前記１以上の撮像画像を用いて、前記視点情報が示す視点の位置及び向きに応じた仮想視点画像を生成する生成手段と
   を有することを特徴とする画像処理装置。
2. 前記複数の撮像装置から前記視点情報に基づいて選択された隣り合う第１撮像装置と第２撮像装置とのうち、前記第２撮像装置により得られる撮像画像において前記第１オブジェクトと前記第２オブジェクトの少なくとも一部が重なっていると前記判定手段により判定され、且つ、前記複数の撮像装置から選択された前記第２撮像装置とは異なる第３撮像装置により得られる撮像画像において前記第１オブジェクトと前記第２オブジェクトとが重なっていないと前記判定手段により判定された場合に、前記決定手段は、前記第１撮像装置により得られる撮像画像と前記第３撮像装置により得られる撮像画像とを、前記視点情報が示す視点の位置及び向きに応じた仮想視点画像の生成のために用いられるべき撮像画像として決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、前記第２撮像装置により得られる撮像画像において前記第１オブジェクトと前記第２オブジェクトの少なくとも一部が重なっているか否かを、前記第１撮像装置により得られる撮像画像と前記第２撮像装置により得られる撮像画像のそれぞれにおいて検出された複数のオブジェクトの位置に基づいて判定し、
   前記第３撮像装置は、前記第３撮像装置と前記第１撮像装置との間の距離に基づいて前記複数の撮像装置から選択されることを特徴とする請求項２に記載の画像処理装置。
4. 前記第３撮像装置は、前記視点情報に基づいて前記複数の撮像装置から選択されることを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記判定手段は、前記視点情報に基づいて前記複数の撮像装置から選択された第１撮像装置および第２撮像装置により得られる撮像画像のそれぞれにおいて検出された複数のオブジェクトの位置に基づいて、前記第１撮像装置および前記第２撮像装置により得られる撮像画像の少なくとも何れかにおいて前記第１オブジェクトと前記第２オブジェクトの少なくとも一部が重なっているか否かを判定することを特徴とする請求項１に記載の画像処理装置。
6. 前記複数の撮像装置のうち第１撮像装置により得られる撮像画像において検出された複数のオブジェクトの位置を前記複数の撮像装置のうち第２撮像装置により得られる撮像画像における位置に変換した変換位置が、前記第２撮像装置により得られる撮像画像において、前記検出された複数のオブジェクトよりも少ない数のオブジェクトに対応している場合に、前記判定手段は、前記第２撮像装置により得られる撮像画像において前記第１オブジェクトと前記第２オブジェクトの少なくとも一部が重なっていると判定する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記変換位置が、前記第２撮像装置により得られる撮像画像において、前記検出された複数のオブジェクトよりも少ない数のオブジェクトに対応していない場合には、前記判定手段は、前記第２撮像装置により得られる撮像画像において前記第１オブジェクトと前記第２オブジェクトが重なっていないと判定することを特徴とする請求項６に記載の画像処理装置。
8. 前記決定手段は、前記第１オブジェクトと前記第２オブジェクトが重なっていない撮像画像を、前記視点情報が示す視点の位置及び向きに応じた仮想視点画像の生成のために用いられるべき撮像画像として決定することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記生成手段は、前記決定手段により決定された複数の撮像画像を、前記視点情報が示す視点の位置と、前記決定された撮像画像を撮像した撮像装置の位置と、の間の距離に基づく合成比に基づいて合成することで、前記仮想視点画像を生成することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記複数の撮像装置は、撮像対象のフィールドを囲むように配置されることを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 仮想視点画像を生成する画像処理方法であって、
    視点の位置及び向きを示す視点情報を取得する取得工程と、
    撮像装置により得られる撮像画像において第１オブジェクトと第２オブジェクトの少なくとも一部が重なっているかを判定する判定工程と、
    複数の撮像装置により得られる複数の撮像画像のうち、前記取得工程で取得された前記視点情報が示す視点の位置及び向きに応じた仮想視点画像の生成のために用いられるべき１以上の撮像画像を、前記視点情報と前記判定工程による判定の結果とに基づいて決定する決定工程と、
    前記決定工程で決定された前記１以上の撮像画像を用いて、前記視点情報が示す視点の位置及び向きに応じた仮想視点画像を生成する生成工程と
    を有することを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至１０の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。