JP2019012426A5 - - Google Patents

Description

本発明は、撮影手段が第１の撮影パラメータにより撮影した第１の画像と、前記撮影手段が前記第１のパラメータとは異なる第２の撮影パラメータにより撮影した第２の画像とを取得する第１の取得手段と、前記取得した第１の画像および第２の画像について分割した複数の領域から特徴量を取得する第２の取得手段と、前記第１の画像の領域から取得した特徴量に基づいて取得された、カテゴリ判定に関する信頼度が、前記所定の値より高い第１の領域と、所定の値より低い第２の領域とに分類する分類手段と、前記第１の領域については前記第１の画像から取得した前記特徴量に基づいて、前記第２の領域については前記第２の画像から取得した前記特徴量に基づいて、領域毎にカテゴリを判定する判定手段と、を有することを特徴とする。

次に、Ｓ５０６の分岐ＳＷ１工程において、信頼度判定部４０５は、信頼度判定工程Ｓ５０５で低信頼度領域が存在した場合、工程を再撮影工程Ｓ５０６に進め、存在しなかった場合、カテゴリ判定工程Ｓ５０９に進める。このように、本実施形態における信頼度判定部４０５は、信頼度の算出の機能だけではなく、小領域を低信頼度領域と高信頼度領域とに分類する機能も有する。なお、信頼度の高低の決定には閾値を用いるが、閾値の設定には、検証用のデータセットを用意し、最終的なカテゴリ判定精度がより高くなる閾値を探索すればよい。その他、ｋ分割交差検証法を用い、学習用データで閾値を探索しても良い。

次に、再撮影工程Ｓ５０７で、再撮影部４０７は、信頼度判定工程Ｓ５０５で取得した小領域毎の信頼度に基づいて、低信頼度領域では適切な撮影パラメータで再撮影を行う。ここでは、図８（ｃ）の低信頼度領域Ａ８０５、低信頼度領域Ｂ８０６のような、小領域のまとまり毎に撮影パラメータを合わせて、再撮影をする。また、複数再撮影すべき低信頼度領域がある場合は、信頼度が最も低い領域に関して再撮影する。ここでは、最も信頼度の低い領域が低信頼度領域Ａ８０５だとして、その場合の処理について以下で説明する。

Claims (20)

1. 撮影手段が第１の撮影パラメータにより撮影した第１の画像と、前記撮影手段が前記第１のパラメータとは異なる第２の撮影パラメータにより撮影した第２の画像とを取得する第１の取得手段と、
   前記取得した第１の画像および第２の画像について分割した複数の領域から特徴量を取得する第２の取得手段と、
   前記第１の画像の領域から取得した特徴量に基づいて取得された、カテゴリ判定に関する信頼度が、所定の値より高い第１の領域と、前記所定の値より低い第２の領域とに分類する分類手段と、
   前記第１の領域については前記第１の画像から取得した前記特徴量に基づいて、前記第２の領域については前記第２の画像から取得した前記特徴量に基づいて、領域毎にカテゴリを判定する判定手段と、
   を有することを特徴とする情報処理装置。
2. 前記第２の撮影パラメータは、前記第１の画像における前記第２の領域に基づいて設定されたパラメータであり、
   前記取得手段は、前記撮影手段が前記第２の撮影パラメータに基づいて撮影した前記第２の画像を取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記第２のパラメータは、前記第１の画像に基づいて取得された部分領域毎の輝度に基づいて決定されたパラメータであることを特徴とする請求項１に記載の情報処理装置。
4. 前記判定手段は、前記第１の領域について前記第１の画像から取得した特徴量に基づいて前記第１の領域の領域毎のカテゴリを判定し、前記第２の領域について前記第２の画像から取得した特徴量に基づいて前記第２の領域の領域毎のカテゴリを判定することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記判定手段は、前記第１の領域の信頼度と前記第２の領域の信頼度の加重平均を用いて前記第１の領域と第２の領域についてカテゴリを判定することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
6. 前記撮影手段が連続で撮影した複数フレームの画像から動きベクトルを算出し、前記判定したカテゴリを補正する補正手段を更に有することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記補正手段は、前記動きベクトルに基づいてカテゴリを補正できない前記領域のカテゴリを、周囲の領域のカテゴリにより補間することを特徴とする請求項６に記載の情報処理装置。
8. 前記領域において、前記第１の画像に基づき判定された第１の信頼度から前記第２の画像に基づき判定された第２の信頼度への改善の程度を判定する第２の判定手段を更に有し、
   前記判定手段は、前記改善の程度が相対的に低い前記小領域に対して、周囲の小領域と合わせた領域から取得される特徴量に基づいて、カテゴリを判定することを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記第１の画像に基づいて、前記撮影手段による露出の評価に係る情報または前記撮影段によるフォーカスの評価値に係る情報の少なくとも一方を生成する生成手段を更に有
   し、
   前記算出手段は、前記生成手段が生成した情報に基づいて、前記信頼度を算出することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記生成手段は、前記露出の評価に係る情報および前記フォーカスの評価値に係る情報を、前記第１の画像と同じ解像度のマップ情報として生成することを特徴とする請求項９に記載の情報処理装置。
11. 前記特徴量は、画像の色に関する特徴量、テクスチャに関する特徴量、前記マップ情報に関する特徴量のうちの少なくとも１つを含むことを特徴とする請求項１０に記載の情報処理装置。
12. 前記分類手段は、前記領域の前記信頼度と他の領域における前記信頼度とを比較することにより、前記領域を前記第の領域と前記第２の領域とに分類することを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
13. 前記第１、第２の撮影パラメータは、露出、フォーカス、ホワイトバランスのうちの少なくとも１つを含むことを特徴とする請求項１から１２のいずれか１項に記載の情報処理装置。
14. 前記撮影手段は、前記第１、第２の撮影パラメータに基づいて、絞り、シャッタ速度をならせて前記第１、第２の画像を撮影することを特徴とする請求項１から１３のいずれか１項に記載の情報処理装置。
15. 前記撮影手段を更に有することを特徴とする請求項１から１４のいずれか１項に記載の情報処理装置。
16. 画像を分割して生成される小領域のカテゴリを判定するために用いられる判定器を学習するための情報処理装置であって、
    画像を分割した領域から特徴量を取得する取得手段と、
    前記領域の特徴量と対応する領域に付与されている正解カテゴリとを対応づけた複数のセットを複数のグループに分割する分割手段と、
    前記複数のグループのうち少なくとも１つのグループを用いて前記判定器を学習する第１の学習手段と、
    前記第１の学習手段で用いなかったグループを用いてカテゴリの判定を行う判定手段と、
    前記判定手段によって判定された領域のカテゴリと対応する領域の前記正解カテゴリとに基づいて、当該領域の特徴量と信頼度との関係を示す信頼度判定器を学習する第の学習手段と、
    を有することを特徴とする情報処理装置。
17. 予め設定された撮影パラメータに基づいて撮像された第１の画像に基づいて、該第１の画像の部分領域のカテゴリを判定する判定器による判定結果の確からしさを示す信頼度を取得する取得手段と、
    前記取得手段によって取得された前記信頼度が所定の値より小さい部分領域がある場合に、前記信頼度が所定の値より小さい部分領域に応じた撮影パラメータを用いて第２の画像を取得する取得手段と、
    前記取得手段によって取得された前記第２の画像を前記カテゴリ判定器に入力した結果に基づいて、前記信頼度が所定の値より小さい部分領域の前記カテゴリを判定する判定手段と、を有することを特徴とする情報処理装置。
18. 撮影手段が第１の撮影パラメータにより撮影した第１の画像と、前記撮影手段が前記第１のパラメータとは異なる第２の撮影パラメータにより撮影した第２の画像とを取得する第１の取得ステップと、
    前記取得した第１の画像および第２の画像について分割した複数の領域から特徴量を取得する第２の取得ステップと、
    前記第１の画像の領域から取得した特徴量に基づいて取得された、カテゴリ判定に関する信頼度が、所定の値より高い第１の領域と、前記所定の値より低い第２の領域とに分類する分類ステップと、
    前記第１の領域については前記第１の画像から取得した前記特徴量に基づいて、前記第２の領域については前記第２の画像から取得した前記特徴量に基づいて、領域毎にカテゴリを判定する判定ステップと、
    を有することを特徴とする情報処理方法。
19. 画像を分割して生成される領域のカテゴリを判定するために用いられる判定器を学習するための情報処理方法であって、
    画像を分割した領域から特徴量を取得する取得ステップと、
    前記領域の特徴量と対応する領域に付与されている正解カテゴリとを対応づけた複数のセットを複数のグループに分割する分割ステップと、
    前記複数のグループのうち少なくとも１つのグループを用いて前記判定器を学習する第１の学習ステップと、
    前記第１の学習手段で用いなかったグループを用いてカテゴリの判定を行う判定ステップと、
    前記判定ステップによって判定された領域のカテゴリと対応する領域の前記正解カテゴリとに基づいて、当該領域の特徴量と信頼度との関係を示す信頼度判定器を学習する第の学習ステップと、
    を有することを特徴とする情報処理方法。
20. コンピュータを、請求項１から１７のいずれか１項に記載の情報処理装置として機能させるためのプログラム。