JP2020091534A5 - - Google Patents

Description

本発明の一態様に係る画像処理装置は、複数の撮像装置により撮像されることに基づいて得られたオブジェクトの領域を示す複数の画像を取得する取得手段と、前記取得手段により取得された複数の画像に基づいて、前記オブジェクトの三次元形状データを生成する生成手段と、前記取得手段により取得された複数の画像のうち、前記オブジェクトの三次元形状データの生成に適さない画像を検出する検出手段と、前記検出手段によって検出された画像に対して特定の処理を行う処理手段と、を有し、前記生成手段は、前記複数の画像が前記オブジェクトの三次元形状データの生成に適さない第１の画像と前記オブジェクトの三次元形状データの生成に適する第２の画像とを含む場合、前記処理手段によって前記特定の処理が行われた前記第１の画像と、前記処理手段によって前記特定の処理が行われていない前記第２の画像と、を用いて前記オブジェクトの三次元形状データを生成することを特徴とする。

Claims (17)

1. 複数の撮像装置により撮像されることに基づいて得られたオブジェクトの領域を示す複数の画像を取得する取得手段と、
   前記取得手段により取得された複数の画像に基づいて、前記オブジェクトの三次元形状データを生成する生成手段と、
   前記取得手段により取得された複数の画像のうち、前記オブジェクトの三次元形状データの生成に適さない画像を検出する検出手段と、
   前記検出手段によって検出された画像に対して特定の処理を行う処理手段と、を有し、
   前記生成手段は、
   前記複数の画像が前記オブジェクトの三次元形状データの生成に適さない第１の画像と前記オブジェクトの三次元形状データの生成に適する第２の画像とを含む場合、前記処理手段によって前記特定の処理が行われた前記第１の画像と、前記処理手段によって前記特定の処理が行われていない前記第２の画像と、を用いて前記オブジェクトの三次元形状データを生成する
   ことを特徴とする画像処理装置。
2. 前記処理手段は、前記特定の処理として、前記検出手段によって検出された画像を、画像の全ての領域がオブジェクトの領域であるように表された画像に、置き換える処理をする
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、前記検出手段によって検出された画像のうち前記オブジェクトの三次元形状データの生成に適する正常な領域を検出し、
   前記処理手段は、前記特定の処理として、前記検出手段によって検出された画像のうち、前記正常な領域とは異なる領域の一部がオブジェクトの領域であるように表された画像に、置き換える処理をする
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記正常な領域とは異なる領域の一部は、前記正常な領域を含む所定の領域以外の領域である
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記取得手段は、前記検出手段によって検出された画像に対応する過去のオブジェクトの領域を示す画像をさらに取得し、
   前記処理手段は、前記特定の処理として、前記過去のオブジェクトの領域を示す画像に含まれるオブジェクトの領域を広げる処理がされた画像に、前記検出手段によって検出された画像を置き換える処理をする
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記過去のオブジェクトの領域を示す画像は、前記検出手段によって検出された画像に対応する撮像画像を得るための撮像と同じ方向から以前に撮像されて得られた撮像画像に基づくオブジェクトの領域を示す画像である
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記処理手段は、前記広げる処理として、膨張処理をする
   ことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記処理手段は、前記広げる処理として、オブジェクトの領域を含む所定の領域の全ての領域がオブジェクトの領域であるように置換する
   ことを特徴とする請求項５または６に記載の画像処理装置。
9. 前記処理手段は、前記検出手段によって検出された画像に対応する撮像画像が撮像された時間と、前記過去のオブジェクトの領域を示す画像に対応する撮像画像が撮像された時間と、の差において前記オブジェクトが動くことの可能な範囲に基づき、前記広げる処理における広げる大きさを決定する
   ことを特徴とする請求項５から８のいずれか１項に記載の画像処理装置。
10. 前記検出手段によって検出された画像の数に基づき閾値を決定する決定手段をさらに有し、
    前記生成手段は、前記複数の画像と前記閾値とに基づき、前記オブジェクトの三次元形状データを生成する
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記生成手段は、
    三次元空間を構成する要素の射影がオブジェクトの領域から外れる前記オブジェクトの領域を示す画像の数が、前記閾値より大きい場合には前記要素を削るように構成され、
    前記要素の射影がオブジェクトの領域から外れる前記オブジェクトの領域を示す画像の数が前記閾値以下の場合には、前記要素を削らないことにより、前記オブジェクトの三次元形状データを生成する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記決定手段は、
    前記検出手段によって検出された画像の数を前記閾値として決定する
    ことを特徴とする請求項１０または１１に記載の画像処理装置。
13. 前記検出手段は、
    画像データにおけるデータヘッダ、データサイズ、およびチェックサムのうちの少なくとも１つに基づき、前記オブジェクトの三次元形状データの生成に適さない画像を検出する
    ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記生成手段によって生成された前記オブジェクトの三次元形状データを用いて仮想視点画像を生成する第二の生成手段をさらに有する
    ことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記取得手段は、
    前記オブジェクトのテクスチャを示す複数の画像を、さらに取得し、
    前記取得手段が取得した前記オブジェクトのテクスチャを示す複数の画像から正常ではない画像を検出する第二の検出手段をさらに有し、
    前記第二の生成手段は、
    前記第二の検出手段が正常ではないと検出したオブジェクトのテクスチャを示す画像を用いないで、前記仮想視点画像を生成する
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 複数の撮像装置により撮像されることに基づいて得られたオブジェクトの領域を示す複数の画像を取得する取得ステップと、
    前記取得ステップにより取得された複数の画像に基づいて、前記オブジェクトの三次元形状データを生成する生成ステップと、
    前記取得ステップにより取得された複数の画像のうち、前記オブジェクトの三次元形状データの生成に適さない画像を検出する検出ステップと、
    前記検出ステップによって検出された画像に対して特定の処理を行う処理ステップと、を有し、
    前記生成ステップでは、前記複数の画像が前記オブジェクトの三次元形状データの生成に適さない第１の画像と前記オブジェクトの三次元形状データの生成に適する第２の画像とを含む場合、前記処理ステップによって前記特定の処理が行われた前記第１の画像と、前記処理ステップによって前記特定の処理が行われていない前記第２の画像と、を用いて前記オブジェクトの三次元形状データを生成する
    ことを特徴とする三次元形状データの生成方法。
17. コンピュータを、請求項１から１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。