JP2020086983A5 - - Google Patents

Description

上記の課題を解決するため、本発明に係る画像処理装置は、例えば以下の構成を有する。すなわち、複数方向から撮影されて取得された複数の第１オブジェクトの画像と、前記第１オブジェクトと位置が異なる第２オブジェクトを複数方向から撮影することにより取得された複数の第２オブジェクトの画像とを取得する画像取得手段と、前記第１オブジェクトの位置と３次元形状データとを取得する第１データ取得手段と、前記第２オブジェクトの位置と３次元形状データとを取得する第２データ取得手段と、仮想視点の位置と仮想視点からの視線方向を表す視点情報を取得する視点情報取得手段と、前記複数の第１オブジェクトの画像と前記視点情報とに基づいて、または前記複数の第１オブジェクトの画像と前記視点情報を前記第１オブジェクトの位置に基づいて変換した第１変換済み視点情報とに基づいて前記第１オブジェクトの３次元形状データの色を決定し、前記複数の第２オブジェクトの画像と前記視点情報を前記第２オブジェクトの位置に基づいて変換した第２変換済み視点情報とに基づいて前記第２オブジェクトの３次元形状データの色を決定することにより、前記第１オブジェクトと前記第２オブジェクトとを含む仮想視点画像を生成する生成手段と、を備える。

Claims (23)

1. 複数方向から撮影されて取得された複数の第１オブジェクトの画像と、前記第１オブジェクトと位置が異なる第２オブジェクトを複数方向から撮影することにより取得された複数の第２オブジェクトの画像とを取得する画像取得手段と、
   前記第１オブジェクトの位置と３次元形状データとを取得する第１データ取得手段と、
   前記第２オブジェクトの位置と３次元形状データとを取得する第２データ取得手段と、
   仮想視点の位置と仮想視点からの視線方向を表す視点情報を取得する視点情報取得手段と、
   前記複数の第１オブジェクトの画像と前記視点情報とに基づいて、または前記複数の第１オブジェクトの画像と前記視点情報を前記第１オブジェクトの位置に基づいて変換した第１変換済み視点情報とに基づいて前記第１オブジェクトの３次元形状データの色を決定し、前記複数の第２オブジェクトの画像と前記視点情報を前記第２オブジェクトの位置に基づいて変換した第２変換済み視点情報とに基づいて前記第２オブジェクトの３次元形状データの色を決定することにより、前記第１オブジェクトと前記第２オブジェクトとを含む仮想視点画像を生成する生成手段と
   を備えることを特徴とする情報処理装置。
2. 複数方向から撮影されて取得された複数の第１オブジェクトの画像と、前記第１オブジェクトと位置が異なる第２オブジェクトを複数方向から撮影することにより取得された複数の第２オブジェクトの画像とを取得する画像取得手段と、
   前記第１オブジェクトの３次元形状データを取得する第１データ取得手段と、
   前記第２オブジェクトの３次元形状データを取得する第２データ取得手段と、
   仮想視点の位置と仮想視点からの視線方向を表す視点情報を取得する視点情報取得手段と、
   前記第１オブジェクトの３次元形状データと前記第２オブジェクトの３次元形状データのうち少なくとも何れか一つを移動させ、前記複数の第１オブジェクトの画像と前記視点情報とに基づいて前記第１オブジェクトの３次元形状データの色を決定し、前記複数の第２オブジェクトの画像と前記視点情報とに基づいて前記第２オブジェクトの３次元形状データの色を決定することにより、前記第１オブジェクトと前記第２オブジェクトとを含む仮想視点画像を生成する生成手段と
   を備えることを特徴とする情報処理装置。
3. 前記生成手段は、第１オブジェクトと第２オブジェクトとの位置関係に基づいて、前記第１オブジェクトの３次元形状データと前記第２オブジェクトの３次元形状データのうち少なくとも何れか一つを移動させることを特徴とする請求項２に記載の情報処理装置。
4. 前記第２オブジェクトはさらに、前記第１オブジェクトと撮影時刻が異なり、前記第１オブジェクトと同一人物であることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 複数方向から撮影された複数の第１オブジェクトの画像と、前記第１オブジェクトと撮影時刻が異なる第２オブジェクトの画像を複数方向から撮影することにより取得された複数の第２オブジェクトの画像とを取得する画像取得手段と、
   前記第１オブジェクトの３次元形状データを取得する第１データ取得手段と、
   前記第２オブジェクトの３次元形状データを取得する第２データ取得手段と、
   仮想視点の位置と仮想視点からの視線方向を表す視点情報を取得する視点情報取得手段と、
   前記複数の第１オブジェクトの画像と前記視点情報とに基づいて前記第１オブジェクトの３次元形状データの色を決定し、前記複数の第２オブジェクトの画像と前記視点情報とに基づいて前記第２オブジェクトの３次元形状データの色を決定することにより、前記第１オブジェクトと前記第２オブジェクトとを含む仮想視点画像を生成する生成手段と
   を備えることを特徴とする情報処理装置。
6. 前記第１オブジェクトと前記第２オブジェクトとは、同一人物であることを特徴とする請求項５に記載の情報処理装置。
7. 前記第１データ取得手段はさらに、前記第１オブジェクトの位置を取得し、
   前記第２データ取得手段はさらに、前記第２オブジェクトの位置を取得し、
   前記生成手段は、前記第２オブジェクトを前記第１オブジェクトとの位置関係に基づいて配置することにより、前記第１オブジェクトと前記第２オブジェクトとを含む仮想視点画像を生成することを特徴とする請求項５または６に記載の情報処理装置。
8. 前記視点情報とは、ユーザによる操作に応じて決定される仮想カメラの位置および姿勢であることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記生成手段は、前記第１オブジェクトを含む仮想視点画像と前記第２オブジェクトを含む仮想視点画像とを合成することにより、前記第１オブジェクトと前記第２オブジェクトとを含む仮想視点画像を生成することを特徴する請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記生成手段は、前記第１オブジェクトの３次元形状データと前記第２オブジェクトの３次元形状データとを同一の仮想空間に配置して、前記仮想視点画像を生成することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
11. 前記生成手段は、第１オブジェクトと第２オブジェクトとが重ならないように仮想空間に配置することを特徴とする請求項１０に記載の情報処理装置。
12. 前記画像取得手段はさらに、前記第１オブジェクトが撮影された第１イベントの発生時刻に関する情報と、前記第２オブジェクトが撮影された第２イベントの発生時刻に関する情報とを取得することを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
13. 前記生成手段は、前記画像取得手段により取得された画像であって、前記第１イベントの発生時刻から特定時間後の撮影時刻に対応する前記複数の第１オブジェクトの画像と前記第２イベントの発生時刻から特定時間後の撮影時刻に対応する前記複数の第２オブジェクトの画像とに基づいて、前記仮想視点画像を生成することを特徴とする請求項１２に記載の情報処理装置。
14. 前記生成手段は、前記画像取得手段により取得された画像であって、前記第１イベントの発生時刻を基準に特定の長さの期間における前記複数の第１オブジェクトの画像と前記第２イベントの発生時刻を基準に特定の長さの期間における前記複数の第２オブジェクトの画像とを用いて、複数のフレームの前記仮想視点画像を生成することを特徴とする請求項１２に記載の情報処理装置。
15. 前記第１イベントの発生時刻と前記第２イベントの発生時刻とは、ユーザによる操作に応じて入力された時刻であることを特徴する請求項１２乃至１４の何れか１項に記載の情報処理装置。
16. 前記第１イベントの発生時刻と前記第２イベントの発生時刻とは、陸上競技のトラック種目において、選手のスタートのタイミングであることを特徴とする請求項１２乃至１５の何れか１項に記載の情報処理装置。
17. 前記第１オブジェクトと前記第２オブジェクトとは、同一のカメラにより撮影されることを特徴とする請求項１乃至１６の何れか１項に記載の情報処理装置。
18. 前記第１オブジェクトと前記第２オブジェクトとは、それぞれ異なるカメラにより撮影されることを特徴とする請求項１乃至１６の何れか１項に記載の情報処理装置。
19. 前記第１オブジェクトと前記第２オブジェクトとは、撮影画像に含まれる人物であることを特徴とする請求項１乃至１８の何れか１項に記載の情報処理装置。
20. 複数方向から撮影されて取得された複数の第１オブジェクトの画像と、前記第１オブジェクトと位置が異なる第２オブジェクトを複数方向から撮影することにより取得された複数の第２オブジェクトの画像とを取得する画像取得工程と、
    前記第１オブジェクトの位置と３次元形状データとを取得する第１データ取得工程と、
    前記第２オブジェクトの位置と３次元形状データとを取得する第２データ取得工程と、
    仮想視点の位置と仮想視点からの視線方向を表す視点情報を取得する視点情報取得工程と、
    前記複数の第１オブジェクトの画像と前記視点情報とに基づいて、または前記複数の第１オブジェクトの画像と前記視点情報を前記第１オブジェクトの位置に基づいて変換した第１変換済み視点情報とに基づいて前記第１オブジェクトの３次元形状データの色を決定し、前記複数の第２オブジェクトの画像と前記視点情報を前記第２オブジェクトの位置に基づいて変換した第２変換済み視点情報とに基づいて前記第２オブジェクトの３次元形状データの色を決定することにより、前記第１オブジェクトと前記第２オブジェクトとを含む仮想視点画像を生成する生成工程と
    を備えることを特徴とする画像処理方法。
21. 複数方向から撮影されて取得された複数の第１オブジェクトの画像と、前記第１オブジェクトと位置が異なる第２オブジェクトを複数方向から撮影することにより取得された複数の第２オブジェクトの画像とを取得する画像取得工程と、
    前記第１オブジェクトの３次元形状データを取得する第１データ取得工程と、
    前記第２オブジェクトの３次元形状データを取得する第２データ取得工程と、
    仮想視点の位置と仮想視点からの視線方向を表す視点情報を取得する視点情報取得工程と、
    前記第１オブジェクトの３次元形状データと前記第２オブジェクトの３次元形状データのうち少なくとも何れか一つを移動させ、前記複数の第１オブジェクトの画像と前記視点情報とに基づいて前記第１オブジェクトの３次元形状データの色を決定し、前記複数の第２オブジェクトの画像と前記視点情報とに基づいて前記第２オブジェクトの３次元形状データの色を決定することにより、前記第１オブジェクトと前記第２オブジェクトとを含む仮想視点画像を生成する生成工程と
    を備えることを特徴とする画像処理方法。
22. 複数方向から撮影された複数の第１オブジェクトの画像と、前記第１オブジェクトと撮影時刻が異なる第２オブジェクトの画像を複数方向から撮影することにより取得された複数の第２オブジェクトの画像とを取得する画像取得工程と、
    前記第１オブジェクトの３次元形状データを取得する第１データ取得工程と、
    前記第２オブジェクトの３次元形状データを取得する第２データ取得工程と、
    仮想視点の位置と仮想視点からの視線方向を表す視点情報を取得する視点情報取得工程と、
    前記複数の第１オブジェクトの画像と前記視点情報とに基づいて前記第１オブジェクトの３次元形状データの色を決定し、前記複数の第２オブジェクトの画像と前記視点情報とに基づいて前記第２オブジェクトの３次元形状データの色を決定することにより、前記第１オブジェクトと前記第２オブジェクトとを含む仮想視点画像を生成する生成工程と
    を備えることを特徴とする画像処理方法。
23. コンピュータを、請求項１乃至１９の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。