JP2021128592A5 - - Google Patents

Description

本開示の一態様に係る画像処理装置は、複数の撮像装置により複数の視点からオブジェクトを撮像することにより得られた複数の撮像画像と、前記オブジェクトの3次元形状データとに基づいて生成される仮想視点画像を取得する取得手段と、前記仮想視点画像を、前記複数の撮像画像のうち、前記仮想視点画像に対応する仮想視点に基づいて特定される視点に対応する撮像装置により撮像された撮像画像に基づいて補正した補正済仮想視点画像を生成する生成手段と、を有することを特徴とする。

Claims (18)

1. 複数の撮像装置により複数の視点からオブジェクトを撮像することにより得られた複数の撮像画像と、前記オブジェクトの3次元形状データとに基づいて生成される仮想視点画像を取得する取得手段と、
   前記仮想視点画像を、前記複数の撮像画像のうち、前記仮想視点画像に対応する仮想視点に基づいて特定される視点に対応する撮像装置により撮像された撮像画像に基づいて補正した補正済仮想視点画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記補正済仮想視点画像は、前記仮想視点画像に対し、前記3次元形状データの精度に起因して発生するノイズを除去するように補正された仮想視点画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記補正済仮想視点画像は、所定の位置および姿勢に対応する視点の仮想視点画像を入力データとし、前記所定の位置および姿勢に対応する画像を正解データとした教師データに基づいて学習された学習済みモデルを用いて補正されることを特徴とする請求項１に記載の画像処理装置。
4. 前記所定の位置および姿勢は、所定の撮像装置の位置および姿勢であり、前記所定の位置および姿勢に対応する前記画像は、前記所定の撮像装置の撮像により取得された撮像画像であることを特徴とする請求項３に記載の画像処理装置。
5. 更に、前記仮想視点画像において補正対象の領域を検出するように構成された検出手段を有し、
   前記補正済仮想視点画像は、前記仮想視点画像の前記補正対象の領域を補正することで生成された仮想視点画像であることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記検出手段は、所定の位置および姿勢に対応する視点の仮想視点画像を入力データとし、当該仮想視点画像と前記所定の位置および姿勢に対応する画像との差分を示す差分画像を正解データとした教師データに基づいて学習された学習済みモデルである第一モデルを用いて検出を行うことを特徴とする請求項５に記載の画像処理装置。
7. 前記検出手段は、所定の位置および姿勢に対応する視点の仮想視点画像を入力データとし、前記所定の位置および姿勢に対応する画像が示す画像内のオブジェクトを構成する３次元形状データの可視性に基づく画像を正解データとした教師データに基づいて学習された学習済みモデルである第一モデルを用いて検出を行うことを特徴とする請求項５に記載の画像処理装置。
8. 前記検出手段は、前記可視性に基づく画像をユーザが修正した修正画像を、前記画像の代わりに前記正解データとして用いることを特徴とする請求項７に記載の画像処理装置。
9. 前記検出手段は、所定の位置および姿勢に対応する視点の仮想視点画像を入力データとし、前記所定の位置および姿勢に対応する画像内においてユーザが補正対象の領域を設定したマスク画像を正解データとした教師データに基づいて学習された学習済みモデルである第一モデルを用いて検出を行うことを特徴とする請求項５に記載の画像処理装置。
10. 前記仮想視点画像は、所定の第二位置および姿勢に対応する視点の仮想視点画像と、当該仮想視点画像において前記検出手段によって検出された補正対象の領域とを入力データとし、前記第二位置および姿勢に対応する画像を正解データとした教師データに基づいて学習された学習済みモデルである第二モデルを用いて修復を行うことを特徴とする請求項５乃至９のいずれか一項に記載の画像処理装置。
11. 前記第二位置および姿勢は、所定の撮像装置の位置および姿勢であり、前記第二位置および姿勢に対応する前記画像は、当該所定の撮像装置の撮像により取得された撮像画像であることを特徴とする請求項１０に記載の画像処理装置。
12. 複数の撮像装置により複数の視点からオブジェクトを撮像することにより得られた複数の撮像画像に基づいて生成される、仮想視点に対応した仮想視点画像を取得する取得手段と、
    前記取得手段により取得された前記仮想視点画像を、前記複数の撮像画像のうち、少なくとも前記仮想視点に対応する視点から前記オブジェクトを撮像した撮像装置により撮像された撮像画像に基づいて補正する補正手段と、
    を有することを特徴とする画像処理装置。
13. 複数の撮像装置により複数の視点からオブジェクトを撮像することにより得られた複数の撮像画像に基づいて生成される、仮想視点に対応した仮想視点画像を取得する取得手段と、
    前記取得手段により取得された前記仮想視点画像を、前記複数の視点に対応する複数の仮想視点画像を入力データとし、前記複数の視点に対応する複数の撮像装置により撮像されることで取得された複数の撮像画像を正解データとした教師データに基づく学習結果に基づいて、補正する補正手段と、
    を有することを特徴とする画像処理装置。
14. 複数の撮像装置により複数の視点からオブジェクトを撮像することにより得られた複数の撮像画像と、前記オブジェクトの３次元形状データとに基づいて生成される仮想視点画像を取得する取得工程と、
    前記仮想視点画像を、前記複数の撮像画像のうち、前記仮想視点画像に対応する仮想視点に基づいて特定される視点に対応する撮像装置により撮像された撮像画像に基づいて補正した補正済仮想視点画像を生成する生成工程と、
    を有することを特徴とする画像処理方法。
15. 複数の撮像装置により複数の視点からオブジェクトを撮像することにより得られた複数の撮像画像に基づいて生成される、仮想視点に対応した仮想視点画像を取得する取得工程と、
    前記取得工程により取得された前記仮想視点画像を、前記複数の撮像画像のうち、少なくとも前記仮想視点に対応する視点から前記オブジェクトを撮像した撮像装置により撮像された撮像画像に基づいて補正する補正工程と、
    を有することを特徴とする画像処理方法。
16. 複数の撮像装置により複数の視点からオブジェクトを撮像することにより得られた複数の撮像画像に基づいて生成される、仮想視点に対応した仮想視点画像を取得する取得工程と、
    前記取得工程により取得された前記仮想視点画像を、前記複数の視点に対応する複数の仮想視点画像を入力データとし、前記複数の視点に対応する複数の撮像装置により撮像されることで取得された複数の撮像画像を正解データとした教師データに基づく学習結果に基づいて、補正する補正工程と、
    を有することを特徴とする画像処理方法。
17. 複数の撮像装置により複数の視点からオブジェクトを撮像することにより得られた複数の撮像画像と、前記複数の撮像画像に基づいて生成される、前記複数の視点に対応する複数の仮想視点画像と、を取得する取得工程と、
    前記取得工程で取得した前記仮想視点画像を入力データとし、前記取得工程で取得した前記撮像画像を正解データとした教師データに基づいて、学習済みモデルを生成する学習工程と、
    を有することを特徴とする学習済みモデルの生成方法。
18. コンピュータを、請求項１乃至１３のいずれか一項に記載の画像処理装置として機能させるためのプログラム。