JP2019215622A5 - - Google Patents

Description

上記課題を解決するため、本発明の一態様に係るデータ生成装置は、複数の撮像装置で撮像されることにより取得される複数の画像に基づき、オブジェクトの形状を示す三次元形状データを生成する第１の生成手段と、前記複数の画像に基づいて、前記第１の生成手段により生成された前記三次元形状データの要素の色を示す色情報を生成する第２の生成手段と、前記複数の画像に基づいて、前記第１の生成手段により生成された前記三次元形状データの要素の色を仮想視点に応じて補正するための色補正情報を生成する第３の生成手段と、前記第１の生成手段により生成された前記三次元形状データと前記第２の生成手段により生成された前記色情報と、前記第３の生成手段により生成された色補正情報を関連付けて記憶手段に記憶させる記憶制御手段と、を有する、ことを特徴とする。

オブジェクト４００を形成する点のうち点４０００に注目し、点４０００の色情報の生成に使用された画像は、カメラ１１２ｈの画像であるとする。この場合、色情報はカメラ１１２ｈの画像４２０から、点４０００に対応するピクセル４２１のＲＧＢ値により生成される。すなわち、色情報はカメラ１１２ｈの画像４２０に点４０００が投影されて対応するピクセル４２１が特定され該ピクセル４２１のＲＧＢ値により生成される。同様に、点４００１の色情報の生成に使用された画像は、カメラ１１２ｉの画像であるとすると、色情報はカメラ１１２ｉの画像４３０から、点４００１に対応するピクセル４３１のＲＧＢ値により生成される。

従来の手法では、前景画像のサイズは、１９２０×１０８０×３×８×３０＝１，４９２，９９２，０００（ｂｉｔ）＝１８６．６２４（ＭＢ）（メガバイト）となる。

図１３は、データ取得手順例を示すフローチャートである。具体的には、フロントエンドサーバ２３０がセンサシステム１１０からデータを受信し、各種データを書き込むまでの手順を示したフローチャートである。以降、フローチャートに従い、処理のフローを説明する。なお、フロントエンドサーバ２３０は、例えば、ＤＢ２５０などからカメラパラメータを予め取得しているものとする。

従来の手法では、前景画像のサイズは、１９２０×１０８０×３×８×３０＝１，４９２，９９２，０００（ｂｉｔ）＝１８６．６２４（ＭＢ）となる。

オブジェクト三次元モデルの色補正情報のサイズは、１，０００，０００×３×３２×２＝１９２，０００，０００（ｂｉｔ）＝２４（ＭＢ）となる。

Claims (20)

1. 複数の撮像装置で撮像されることにより取得される複数の画像に基づき、オブジェクトの形状を示す三次元形状データを生成する第１の生成手段と、
   前記複数の画像に基づいて、前記第１の生成手段により生成された前記三次元形状データの要素の色を示す色情報を生成する第２の生成手段と、
   前記複数の画像に基づいて、前記第１の生成手段により生成された前記三次元形状データの要素の色を仮想視点に応じて補正するための色補正情報を生成する第３の生成手段と、
   前記第１の生成手段により生成された前記三次元形状データと前記第２の生成手段により生成された前記色情報と、前記第３の生成手段により生成された色補正情報を関連付けて記憶手段に記憶させる記憶制御手段と、
   を有する、ことを特徴とするデータ生成装置。
2. 前記第３の生成手段は、前記三次元形状データの要素と当該三次元形状データの要素に対応する領域を撮像する撮像装置との距離に基づき特定される撮像装置の画像に基づいて、前記色補正情報を生成することを特徴とする請求項１に記載のデータ生成装置。
3. 前記第３の生成手段は、前記三次元形状データの要素との関係で他と比べて大きい角度をなす２つの撮像装置の画像に基づいて、前記色補正情報を生成することを特徴とする請求項１または２に記載のデータ生成装置。
4. 前記第３の生成手段は、前記三次元形状データの要素に対応する画像の画素が複数である場合、複数の画素の画素値に基づいて前記色補正情報として生成することを特徴とする請求項１から３の何れか一項に記載のデータ生成装置。
5. 前記複数の画像に基づいて生成されるオブジェクトを含む前景画像は、前記記憶手段に記憶されないことを特徴とする請求項１から４の何れか一項に記載のデータ生成装置。
6. 前記記憶手段に記憶されるデータのデータ形式を決定する決定手段をさらに有し、
   前記記憶制御手段は、前記決定手段により決定された前記データ形式で、前記三次元形状データと前記色情報と前記色補正情報を前記記憶手段に記憶させることを特徴とする請求項１から５の何れか一項に記載のデータ生成装置。
7. 前記決定手段は、前記仮想視点に対応する仮想視点画像を生成するための素材データのデータサイズを基準値と比較して前記データ形式を決定することを特徴とする請求項６に記載のデータ生成装置。
8. 前記複数の画像に基づいて、オブジェクトを含む前景画像、およびオブジェクトを含まない背景画像が生成され、
   前記決定手段は、前記三次元形状データと前記背景画像と前記前景画像の組、前記三次元形状データと前記背景画像と前記色情報と前記色補正情報の組、前記三次元形状データと前記背景画像と前記色情報の組のうち、前記基準値を満たす組を前記データ形式として決定する
   ことを特徴とする請求項７に記載のデータ生成装置。
9. 前記決定手段は、前記組に付与された優先順位の高い組を前記データ形式として決定することを特徴とする請求項８に記載のデータ生成装置。
10. 前記記憶制御手段は、前記三次元形状データと前記背景画像と前記前景画像の組が前記基準値を満たさない場合、前記前景画像を前記記憶手段に記憶させないことを特徴とする請求項８または９に記載のデータ生成装置。
11. 前記三次元形状データは、三次元空間の位置情報を有す複数の点で構成されることを特徴とする請求項１から１０の何れか一項に記載のデータ生成装置。
12. 前記三次元形状データの要素は、ポリゴンで構成される
    ことを特徴とする請求項１から１０の何れか一項に記載のデータ生成装置。
13. 仮想視点を特定するための仮想視点情報を取得する第１の取得手段と、
    オブジェクトの形状を示す三次元形状データと、前記三次元形状データの要素の色を示す色情報と、前記三次元形状データの要素の色を仮想視点に応じて補正するための色補正情報と、を取得する第２の取得手段と、
    前記第２の取得手段により取得された前記三次元形状データと前記色情報と前記色補正情報とに基づいて、前記第１の取得手段により取得された前記仮想視点情報により特定される仮想視点に対応する仮想視点画像を生成する生成手段と、
    を有する、ことを特徴とする画像処理装置。
14. 前記仮想視点情報に基づき、前記三次元形状データの要素の色を決定するために使用される前記色情報と前記色補正情報の重みづけが変えられる
    ことを特徴とする請求項１３に記載の画像処理装置。
15. 前記仮想視点が前記色情報および前記色補正情報それぞれの生成対象の撮像装置と前記三次元形状データの要素とで囲まれる領域にある場合、前記仮想視点および前記三次元形状データの要素を結ぶ線と、前記色情報および前記色補正情報それぞれの生成対象の撮像装置の撮像方向とでなす角度の大きさに応じて、前記三次元形状データの要素の色を決定するために使用される前記色情報と前記色補正情報の重みづけが設定される、ことを特徴とする請求項１４に記載の画像処理装置。
16. 前記仮想視点が前記色情報および前記色補正情報のそれぞれの生成対象の撮像装置と前記三次元形状データの要素とで囲まれる領域の外側の領域にある場合、前記仮想視点に近い前記色補正情報の生成対象である撮像装置に対応する前記色補正情報を用いて、前記三次元形状データの要素の色が決定される
    ことを特徴とする請求項１４に記載の画像処理装置。
17. 複数の撮像装置で撮像されることにより取得される複数の画像に基づき、オブジェクトの形状を示す三次元形状データを生成する第１の生成ステップと、
    前記複数の画像に基づいて、前記第１の生成ステップにて生成された前記三次元形状データの要素の色を示す色情報を生成する第２の生成ステップと、
    前記複数の画像に基づいて、前記第１の生成ステップにて生成された前記三次元形状データの要素の色を仮想視点に応じて補正するための色補正情報を生成する第３の生成ステップと、
    前記第１の生成ステップにて生成された前記三次元形状データと前記第２の生成ステップにて生成された前記色情報と、前記第３の生成ステップにて生成された色補正情報を関連付けて記憶手段に記憶させる記憶制御ステップと、
    を含む、ことを特徴とするデータ生成方法。
18. 仮想視点を特定するための仮想視点情報を取得する第１の取得ステップと、
    オブジェクトの形状を示す三次元形状データと、前記三次元形状データの要素の色を示す色情報と、前記三次元形状データの要素の色を仮想視点に応じて補正するための色補正情報と、を取得する第２の取得ステップと、
    前記第２の取得ステップにて取得された前記三次元形状データと前記色情報と前記色補正情報とに基づいて、前記第１の取得ステップにて取得された前記仮想視点情報により特定される仮想視点に対応する仮想視点画像を生成する生成ステップと、
    を含む、ことを特徴とする画像処理方法。
19. 請求項１から１２の何れか一項に記載のデータ生成装置としてコンピュータを機能させるためのプログラム。
20. 請求項１３から１６の何れか一項に記載の画像処理装置としてコンピュータを機能させるためのプログラム。