JP2019125929A5 - - Google Patents

Description

本発明の一態様に係る画像処理装置は、仮想視点からの見えを表す仮想視点画像を生成する画像処理装置であって、複数の撮像装置の撮像に基づく複数の画像を取得する第1取得手段と、仮想視点を特定するための情報を取得する第２取得手段と、前記第２取得手段により取得された情報により特定される仮想視点に対応する仮想視点画像の生成に係る処理時間が閾値を超えないように、前記仮想視点画像の生成に係る処理におけるパラメータを決定する決定手段と、前記決定手段により決定されたパラメータと、前記第1取得手段により取得された複数の画像とに基づいて、前記第２取得手段により取得された情報により特定される仮想視点に対応する仮想視点画像を生成する生成手段と、を有することを特徴とする。

ステップＳ４０５またはステップＳ４０６で解像度変更部１３６は、処理負荷情報取得部１２０から取得した、仮想視点画像をレンダリングするために必要な処理負荷情報に応じて、背景の解像度のパラメータを決定する。そして決定したパラメータが、背景３Ｄモデル色づけ処理部１３５に出力される。前景率が所定の閾値以下の場合、ステップＳ４０５で解像度変更部１３６は、背景を高解像度でレンダリング（描画）するようにパラメータを決定する。背景３Ｄモデル取得部１３３は、背景モデルを取得し、背景３Ｄモデル色づけ処理部１３５に送る。背景３Ｄモデル色づけ処理部１３５は、パラメータ決定部１３１から出力された、高解像度でレンダリングするパラメータに基づいて、背景を高解像度でレンダリングする。そして、ステップＳ４０７に進む。一方、前景率が所定の閾値以下ではない場合、ステップＳ４０６で解像度変更部１３６は、背景を低解像度でレンダリングするようにパラメータを決定する。背景３Ｄモデル取得部１３３は、背景モデルを取得し、背景３Ｄモデル色づけ処理部１３５に送る。背景３Ｄモデル色づけ処理部１３５は、パラメータ決定部１３１から出力された、低解像度でレンダリングするパラメータに基づいて、背景を低解像度でレンダリングする。そして、ステップＳ４０７に進む。

Claims (20)

1. 仮想視点からの見えを表す仮想視点画像を生成する画像処理装置であって、
   複数の撮像装置の撮像に基づく複数の画像を取得する第1取得手段と、
   仮想視点を特定するための情報を取得する第２取得手段と、
   前記第２取得手段により取得された情報により特定される仮想視点に対応する仮想視点画像の生成に係る処理時間が閾値を超えないように、前記仮想視点画像の生成に係る処理におけるパラメータを決定する決定手段と、
   前記決定手段により決定されたパラメータと、前記第1取得手段により取得された複数の画像とに基づいて、前記第２取得手段により取得された情報により特定される仮想視点に対応する仮想視点画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、前記複数の撮像装置により撮像される撮像領域内のオブジェクトに基づいて、前記パラメータを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記撮像領域内のオブジェクトの３次元位置に基づいて、前記パラメータを決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記第２取得手段により取得された情報により特定される仮想視点と、前記撮像領域内のオブジェクトの３次元位置とに基づいて、前記パラメータを決定することを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記決定手段は、前記仮想視点に対応する視界内に位置する第１オブジェクトに対するパラメータと、前記第１オブジェクトよりも前記視界の中心から遠くに位置する第２オブジェクトに対するパラメータとを、互いに異なるように決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記複数の撮像装置の位置及び方向を特定する情報を取得する第３取得手段をさらに有し、
   前記決定手段は、前記第３取得手段により取得された情報と、前記撮像領域内のオブジェクトの３次元位置とに基づいて、前記パラメータを決定することを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記決定手段は、前記撮像領域内のオブジェクトの種別に基づいて、前記パラメータを決定することを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
8. 前記オブジェクトの種別には、前景オブジェクトと、背景オブジェクトとが含まれることを特徴とする請求項７に記載の画像処理装置。
9. 前記決定手段は、前記第２取得手段により取得された情報により特定される仮想視点に対応する視界内に含まれるオブジェクトの数と大きさの少なくとも何れかに基づいて、前記パラメータを決定することを特徴とする請求項２乃至８のいずれか１項に記載の画像処理装置。
10. 前記パラメータは、前記仮想視点画像におけるオブジェクトの解像度に係るパラメータであることを特徴とする請求項２乃至９のいずれか１項に記載の画像処理装置。
11. 前記パラメータは、前記第1取得手段により取得された画像に基づいて生成されるオブジェクトの３次元形状を示すモデルの生成の処理に係るパラメータであることを特徴とする請求項２乃至１０のいずれか１項に記載の画像処理装置。
12. 前記パラメータは、前記モデルの構成要素のサイズを特定するためのパラメータであることを特徴とする請求項１１に記載の画像処理装置。
13. 前記パラメータは、前記モデルの生成の処理に用いられる撮像装置の数を特定するためのパラメータであることを特徴とする請求項１１又は１２に記載の画像処理装置。
14. 前記生成手段は、前記パラメータと前記複数の画像とに基づいてオブジェクトの３次元形状を示すモデルを生成し、生成された当該モデルに基づいて仮想視点画像を生成することを特徴とする請求項１１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記パラメータは、前記仮想視点画像におけるオブジェクトの表示の有無を制御するパラメータであることを特徴とする請求項２乃至９のいずれか１項に記載の画像処理装置。
16. 前記生成手段により生成される前記仮想視点画像内の前景オブジェクトが占める領域の大きさが所定の閾値より大きい場合における前記仮想視点画像内の背景オブジェクトの解像度は、前記生成手段により生成される前記仮想視点画像内の１以上の前景オブジェクトが占める領域の大きさが前記所定の閾値より小さい場合における前記仮想視点画像内の背景オブジェクトの解像度よりも低いことを特徴とする請求項２乃至１５のいずれか１項に記載の画像処理装置。
17. ユーザによる操作に基づいて処理時間の閾値を設定する設定手段を、さらに有し、
    前記決定手段は、前記仮想視点画像の生成に係る処理時間が前記設定手段により設定された閾値を超えないように、前記パラメータを決定することを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
18. 前記パラメータを決定するためのオブジェクトに関する条件を指定するための画像を表示手段に表示させる表示制御手段をさらに有することを特徴とする請求項２乃至１７のいずれか１項に記載の画像処理装置。
19. 仮想視点からの見えを表す仮想視点画像を生成する画像処理方法であって、
    複数の撮像装置の撮像に基づく複数の画像を取得する第1取得工程と、
    仮想視点を特定するための情報を取得する第２取得工程と、
    前記第２取得工程により取得された情報により特定される仮想視点に対応する仮想視点画像の生成に係る処理時間が所定時間を超えないように、前記仮想視点画像の生成に係る処理におけるパラメータを決定する決定工程と、
    前記決定工程により決定されたパラメータと、前記第1取得工程により取得された複数の画像とに基づいて、前記第２取得工程により取得された情報により特定される仮想視点に対応する仮想視点画像を生成する生成工程と、
    を有することを特徴とする画像処理方法。
20. コンピュータを、請求項１乃至１８のいずれか１項に記載の画像処理装置として機能させるためのプログラム。