JP2018055644A5 - 画像処理装置及び画像処理方法及び画像処理システム及びプログラム - Google Patents

Description

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、
仮想視点の位置及び方向を示す仮想視点情報を取得する情報取得手段と、
前記画像取得手段により取得される画像と前記情報取得手段により取得される仮想視点情報とに基づいて仮想視点画像を生成する生成手段であって、前記複数のカメラの撮影対象領域内に位置する複数のオブジェクトのうち、前記複数のオブジェクトの中から決定された注視オブジェクトを遮蔽する位置のオブジェクトの透明度が、前記注視オブジェクトを遮蔽しない位置のオブジェクトの透明度よりも高い仮想視点画像を生成する生成手段とを有する。

Claims (21)

1. 複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、
   仮想視点の位置及び方向を示す仮想視点情報を取得する情報取得手段と、
   前記画像取得手段により取得される画像と前記情報取得手段により取得される仮想視点情報とに基づいて仮想視点画像を生成する生成手段であって、前記複数のカメラの撮影対象領域内に位置する複数のオブジェクトのうち、前記複数のオブジェクトの中から決定された注視オブジェクトを遮蔽する位置のオブジェクトの透明度が、前記注視オブジェクトを遮蔽しない位置のオブジェクトの透明度よりも高い仮想視点画像を生成する生成手段と を有することを特徴とする画像処理装置。
2. 前記生成手段は、前記注視オブジェクトを遮蔽する位置のオブジェクトが表示されない仮想視点画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記注視オブジェクトを遮蔽する位置のオブジェクトの輪郭を示す情報を含む仮想視点画像を生成することを特徴とする請求項１に記載の画像処理装置。
4. 前記仮想視点情報が示す仮想視点の位置及び方向と前記複数のオブジェクトの位置とに基づいて、前記注視オブジェクトを遮蔽する位置のオブジェクトを特定する特定手段を有し、
   前記生成手段は、前記特定手段による特定結果に基づいて前記仮想視点画像を生成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記生成手段は、前記注視オブジェクトを遮蔽する位置のオブジェクトの透明度が前記注視オブジェクトと前記仮想視点との距離に応じて異なる仮想視点画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記生成手段は、前記注視オブジェクトを遮蔽する位置のオブジェクトの透明度が前記仮想視点に対する当該オブジェクトの方向に応じて異なる仮想視点画像を生成することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記注視オブジェクトは、前記複数のオブジェクトの中からユーザ操作に基づいて決定されるオブジェクトであることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記複数のオブジェクトの少なくとも何れかに関するオブジェクト情報を取得するオブジェクト情報取得手段と、
   前記オブジェクト情報取得手段により取得されるオブジェクト情報に基づいて、前記複数のオブジェクトの中から前記注視オブジェクトを決定する決定手段とを有することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記複数のオブジェクトには人物が含まれることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記生成手段は、前記注視オブジェクトを遮蔽しない位置のオブジェクトが透明化されていない仮想視点画像を生成することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 複数のカメラにより撮影対象領域を複数の方向からの撮影することで得られる画像を取得する画像取得手段と、
    仮想視点の位置及び方向を示す仮想視点情報を取得する情報取得手段と、
    前記画像取得手段により取得される画像と前記情報取得手段により取得される仮想視点情報とに基づいて仮想視点画像を生成する生成手段であって、前記撮影対象領域内の複数のオブジェクトの中から決定された注視オブジェクト以外のオブジェクトのうち、前記注視オブジェクトの位置と前記仮想視点情報が示す仮想視点の位置及び方向とに基づいて特定されるオブジェクトの透明度が変更された仮想視点画像を生成する生成手段とを有することを特徴とする画像処理装置。
12. 前記仮想視点情報が示す仮想視点の位置及び方向と、前記注視オブジェクトの位置及びサイズに関する情報と、前記複数のオブジェクトの位置及びサイズに関する情報とに基づいて、透明度を変更すべきオブジェクトを特定する特定手段を有し、
    前記生成手段は、前記特定手段による特定結果に基づいて前記仮想視点画像を生成することを特徴とする請求項１１に記載の画像処理装置。
13. 前記生成手段は、前記注視オブジェクトを遮蔽するオブジェクトを、前記透明度を変更すべきオブジェクトとして特定することを特徴とする請求項１１又は１２に記載の画像処理装置。
14. 複数のカメラにより撮影対象領域を複数の方向から撮影することで得られる撮影画像と仮想視点を示す視点情報とに基づいて仮想視点画像が生成されるシステムにおいて動作する画像処理装置であって、
    前記仮想視点を示す視点情報を取得する取得手段と、
    前記撮影画像に基づいて生成される仮想視点画像内の注視オブジェクトであって前記撮影対象領域に含まれる複数のオブジェクトの中から決定された注視オブジェクトの視認性が向上するように、前記注視オブジェクトとは異なる別オブジェクトであって前記取得手段により取得される視点情報が示す仮想視点の位置と前記注視オブジェクトの位置とに基づいて特定される別オブジェクトの当該仮想視点画像における表示態様を制御する制御手段とを有することを特徴とする画像処理装置。
15. 前記制御手段による前記別オブジェクトの表示態様の制御は、前記別オブジェクトの透明度を変更する処理を含むことを特徴とする請求項１４に記載の画像処理装置。
16. 前記制御手段により表示態様が制御される前記別オブジェクトは、当該仮想視点画像において前記注視オブジェクトを遮蔽する位置に存在するオブジェクトであることを特徴とする請求項１４又は１５に記載の画像処理装置。
17. 複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得工程と、
    仮想視点の位置及び方向を示す仮想視点情報を取得する情報取得工程と、
    前記画像取得工程において取得される画像と前記情報取得工程において取得される仮想視点情報とに基づいて仮想視点画像を生成する生成工程であって、前記複数のカメラの撮影対象領域内に位置する複数のオブジェクトのうち、前記複数のオブジェクトの中から決定された注視オブジェクトを遮蔽する位置のオブジェクトの透明度が、前記注視オブジェクトを遮蔽しない位置のオブジェクトの透明度よりも高い仮想視点画像を生成する生成工程とを有することを特徴とする画像処理方法。
18. 前記仮想視点情報が示す仮想視点の位置及び方向と前記複数のオブジェクトの位置とに基づいて、前記注視オブジェクトを遮蔽する位置のオブジェクトを特定する特定工程を有し、
    前記生成工程においては、前記特定工程における特定結果に基づいて前記仮想視点画像が生成されることを特徴とする請求項１７に記載の画像処理方法。
19. 前記注視オブジェクトは、前記複数のオブジェクトの中からユーザ操作に基づいて決定されるオブジェクトであることを特徴とする請求項１７又は１８に記載の画像処理方法。
20. 撮影対象領域を異なる方向から撮影する複数のカメラにより得られる複数の撮像画像に基づいて仮想視点画像を生成する画像処理システムであって、
    仮想視点の位置及び方向を示す仮想視点情報を取得する取得手段と、
    前記複数のカメラにより得られる複数の撮像画像の少なくとも１つに基づいて検出される複数のオブジェクトから注視オブジェクトを指定する指定手段と、
    前記取得手段により取得された前記仮想視点情報が示す仮想視点の位置及び方向と、前記指定手段により指定された注視オブジェクトの位置とに基づいて、前記複数のオブジェクトのうち前記注視オブジェクト以外のオブジェクトの中から透明度を変更すべきオブジェクトを決定する決定手段と、
    前記決定手段により決定されたオブジェクトの透明度が変更された仮想視点画像を、前記複数のカメラにより得られた前記複数の撮像画像に基づいて生成する生成手段とを有することを特徴とする画像処理システム。
21. コンピュータを請求項１乃至１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。