JP2022058770A5 - 画像処理システム、画像処理方法及びプログラム - Google Patents

Description

本発明は上記の課題に鑑みてなされたものであり、異なる複数の要件に応じた仮想視点画像に係る処理を行うことを目的とする。

上記課題を解決するため、本発明に係る画像処理システムは、例えば以下の構成を有する。すなわち、複数の撮影装置によるそれぞれ異なる位置からの撮影に基づく複数の画像を取得する画像取得手段と、仮想視点を示す仮想視点情報を取得する情報取得手段と、
前記複数の画像に基づいて、オブジェクトの３次元形状を示す３次元モデルを生成するモデル生成手段と、前記３次元モデルに基づいて仮想視点画像を生成する画像生成手段と、を有し、前記情報取得手段は、前記オブジェクトの第１の３次元モデルに基づいて生成される第１の仮想視点画像を用いて指定される仮想視点を示す仮想視点情報を取得し、前記画像生成手段は、前記オブジェクトの第１の３次元モデルの生成処理時間よりも長い生成処理時間で生成される当該オブジェクトの第２の３次元モデルと、前記仮想視点情報とに基づいて、第２の仮想視点画像を生成する。

本発明によれば、異なる複数の要件に応じた仮想視点画像に係る処理を行うことができる。

Claims (19)

1. 複数の撮影装置によるそれぞれ異なる位置からの撮影に基づく複数の画像を取得する画像取得手段と、
   仮想視点を示す仮想視点情報を取得する情報取得手段と、
   前記複数の画像に基づいて、オブジェクトの３次元形状を示す３次元モデルを生成するモデル生成手段と、
   前記３次元モデルに基づいて仮想視点画像を生成する画像生成手段と、を有し、
   前記情報取得手段は、前記オブジェクトの第１の３次元モデルに基づいて生成される第１の仮想視点画像を用いて指定される仮想視点を示す仮想視点情報を取得し、
   前記画像生成手段は、前記オブジェクトの第１の３次元モデルの生成処理時間よりも長い生成処理時間で生成される当該オブジェクトの第２の３次元モデルと、前記仮想視点情報とに基づいて、第２の仮想視点画像を生成することを特徴とする画像処理システム。
2. 前記第２の３次元モデルの生成に用いられる複数の画像に対応する撮影装置の数は、前記第１の３次元モデルの生成に用いられる複数の画像に対応する撮影装置の数よりも多いことを特徴とする請求項１に記載の画像処理システム。
3. 前記第２の３次元モデルの生成に用いられる複数の画像に対応する複数の撮影装置は、前記第１の３次元モデルの生成に用いられる複数の画像に対応する複数の撮影装置とは異なる撮影装置を含むことを特徴とする請求項１又は２に記載の画像処理システム。
4. 前記第２の３次元モデルは、前記第１の３次元モデルに基づいて生成されることを特徴とする請求項１乃至３の何れか１項に記載の画像処理システム。
5. 前記第２の３次元モデルは、前記第１の３次元モデルよりも高精度であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理システム。
6. 前記第２の仮想視点画像に含まれる色の階調数は、前記第１の仮想視点画像に含まれる色の階調数よりも多いことを特徴とする請求項１乃至５の何れか１項に記載の画像処理システム。
7. 前記第１の仮想視点画像のおける前記オブジェクトの領域は、所定の色で表示されることを特徴とする請求項１乃至６の何れか１項に記載の画像処理システム。
8. 前記第２の仮想視点画像の色は、前記複数の撮影装置により取得される撮影画像に基づいて決定されることを特徴とする請求項１乃至７の何れか１項に記載の画像処理システム。
9. 前記第１の仮想視点画像は、前記オブジェクトの形状を表す画像であり、
   前記第２の仮想視点画像は、前記オブジェクトの形状に加えて更に前記第１の仮想視点画像には表れない前記オブジェクトの色を表す画像であることを特徴とする請求項１乃至８の何れか１項に記載の画像処理システム。
10. 前記第１の仮想視点画像は、仮想視点を指定する操作者に表示させるための画像であり、
    前記第２の仮想視点画像は、観覧者に対して表示させるための画像であることを特徴とする請求項１乃至９の何れか１項に記載の画像処理システム。
11. 前記第１の仮想視点画像が第１の表示領域に表示され、前記第２の仮想視点画像が前記第１の表示領域とは別の第２の表示領域に表示されるように、前記第１の仮想視点画像及び前記第２の仮想視点画像の出力を制御する出力制御手段を更に有することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理システム。
12. 前記画像生成手段は、前記第１の仮想視点画像を生成する過程において生成される画像データと前記第１の仮想視点画像との少なくとも何れかを用いて更に画像処理を行うことにより、前記第２の仮想視点画像を生成することを特徴とする請求項１乃至１１の何れか１項に記載の画像処理システム。
13. 前記複数の画像から前記第２の仮想視点画像を生成するために実行される画像処理の処理量は、前記複数の画像から前記第１の仮想視点画像を生成するために実行される画像処理の処理量よりも多いことを特徴とする請求項１乃至１２の何れか１項に記載の画像処理システム。
14. 複数の撮影装置によるそれぞれ異なる位置からの撮影に基づく複数の画像を取得する画像取得工程と、
    前記複数の画像に基づいて、オブジェクトの３次元形状を示す第１の３次元モデルを生成する第１のモデル生成工程と、
    前記第１の３次元モデルに基づいて生成される第１の仮想視点画像を用いて指定される仮想視点を示す仮想視点情報を取得する情報取得工程と、
    前記第１の３次元モデルの生成処理時間よりも長い生成処理時間で、前記オブジェクトの３次元形状を示す第２の３次元モデルを生成する第２のモデル生成工程と、
    前記第２の３次元モデルと前記仮想視点情報とに基づいて、第２の仮想視点画像を生成する画像生成工程と、を有することを特徴とする画像処理方法。
15. 前記第２の３次元モデルの生成に用いられる複数の画像に対応する撮影装置の数は、前記第１の３次元モデルの生成に用いられる複数の画像に対応する撮影装置の数よりも多いことを特徴とする請求項１４に記載の画像処理方法。
16. 前記第２の３次元モデルの生成に用いられる複数の画像に対応する複数の撮影装置は、前記第１の３次元モデルの生成に用いられる複数の画像に対応する複数の撮影装置とは異なる撮影装置を含むことを特徴とする請求項１４又は１５に記載の画像処理方法。
17. 前記第２の３次元モデルは、前記第１の３次元モデルに基づいて生成されることを特徴とする請求項１４乃至１６の何れか１項に記載の画像処理方法。
18. 前記第２の仮想視点画像に含まれる色の階調数は、前記第１の仮想視点画像に含まれる色の階調数よりも多いことを特徴とする請求項１乃至５の何れか１項に記載の画像処理方法。
19. コンピュータを、請求項１乃至１３の何れか１項に記載の画像処理システムの各手段として機能させるためのプログラム。