JP2019179463A5 - - Google Patents

Description

本発明に係る画像処理装置は、画像に対して仮想光の効果を付与するリライティング処理を行う画像処理装置であって、前記画像に含まれる被写体の距離分布情報を取得する複数の取得手段を有し、ここで前記複数の取得手段は、前記画像の視差情報に基づく、前記画像に含まれる被写体の距離分布情報を取得する第１の取得手段と、前記視差情報とは異なる特徴量に基づく、前記画像に含まれる被写体の距離分布情報を取得する第２の取得手段と、を含み、前記複数の取得手段のうち、どの取得手段により取得された距離分布情報を用いて前記リライティング処理を行うかを決定する決定手段をさらに有することを特徴とする。

Claims (15)

1. 画像に対して仮想光の効果を付与するリライティング処理を行う画像処理装置であって、
   前記画像に含まれる被写体の距離分布情報を取得する複数の取得手段を有し、
   ここで前記複数の取得手段は、前記画像の視差情報に基づく、前記画像に含まれる被写体の距離分布情報を取得する第１の取得手段と、前記視差情報とは異なる特徴量に基づく、前記画像に含まれる被写体の距離分布情報を取得する第２の取得手段と、を含み、
   前記複数の取得手段のうち、どの取得手段により取得された距離分布情報を用いて前記リライティング処理を行うかを決定する決定手段をさらに有することを特徴とする画像処理装置。
2. 前記リライティング処理のモードを設定する設定手段をさらに有し、
   前記決定手段は、前記設定手段により設定されたモードに基づき、どの取得手段により取得された距離分布情報を優先して用いて前記リライティング処理を行うかを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記モードは、撮影後に自動的にリライティング処理を行う第１のモードと、撮影され記録媒体に記録された画像に対しユーザ操作に基づきリライティング処理を行う第２のモードとを含むことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１のモードにおいて、前記決定手段は前記第２の取得手段により取得された距離分布情報を優先して用い、前記第２のモードにおいて、前記決定手段は前記第１の取得手段により取得された距離分布情報を優先して用いることを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の取得手段により取得された距離分布情報の信頼度を取得する第３の取得手段をさらに含み、
   前記第２のモードにおいて、前記第３の取得手段により取得された信頼度が所定値より低い場合、前記決定手段は前記第２の取得手段により取得された距離分布情報を用いることを特徴とする請求項４に記載の画像処理装置。
6. 前記モードは、前記画像全体に前記リライティング処理を行う第３のモードと、前記画像のうち特定の領域に前記リライティング処理を行い、前記画像全体に前記リライティング処理を行わない第４のモードとを含むことを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記第３のモードにおいて、前記決定手段は前記第１の取得手段により取得された距離分布情報を優先して用い、前記第４のモードにおいて、前記決定手段は前記第２の取得手段により取得された距離分布情報を優先して用いることを特徴とする請求項６に記載の画像処理装置。
8. 前記モードは、特定の被写体領域及び前記特定の被写体の背景領域に前記リライティング処理を行う第５のモードと、前記特定の被写体領域に前記リライティング処理を行い、前記特定の被写体の背景領域に前記リライティング処理を行わない第６のモードとを含むことを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
9. 前記第５のモードにおいて、前記決定手段は前記第１の取得手段により取得された距離分布情報を優先して用い、前記第６のモードにおいて、前記決定手段は前記第２の取得手段により取得された距離分布情報を優先して用いることを特徴とする請求項８に記載の画像処理装置。
10. 前記第２の取得手段は、前記画像内の顔領域の特徴量に基づき前記画像に含まれる被写体の距離分布情報を取得することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
11. 前記第２の取得手段は、前記画像内の顔領域のみ距離分布情報を取得することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
12. 画像に対して仮想光の効果を付与するリライティング処理を行う画像処理装置であって、
    前記画像に含まれる被写体の距離分布情報を取得する複数の取得手段を有し、
    ここで前記複数の取得手段は、前記画像の視差情報に基づく、前記画像に含まれる被写体の距離分布情報を取得する第１の取得手段と、前記視差情報とは異なる特徴量に基づく、前記画像に含まれる被写体の距離分布情報を取得する第２の取得手段と、を含み、
    前記第１の取得手段により取得された前記画像に含まれる被写体の距離分布情報と前記第２の取得手段により取得された前記画像に含まれる被写体の距離分布情報とを選択的に用いて前記リライティング処理を行う処理手段をさらに有する画像処理装置。
13. 画像に対して仮想光の効果を付与するリライティング処理を行う画像処理装置の制御方法であって、
    複数の取得方法のうち少なくとも１つを用いて、前記画像に含まれる被写体の距離分布情報を取得するステップを有し、
    ここで前記複数の取得方法は、前記画像の視差情報に基づく、前記画像に含まれる被写体の距離分布情報を取得する第１の取得方法と、前記画像の、前記視差情報とは異なる特徴量に基づく、前記画像に含まれる被写体の距離分布情報を取得する第２の取得方法とを含み、
    前記複数の取得手段のうち、どの取得方法により取得された距離分布情報を用いて前記リライティング処理を行うかを決定するステップをさらに有する制御方法。
14. 画像に対して仮想光の効果を付与するリライティング処理を行う画像処理装置の制御方法であって、
    複数の取得方法のうち少なくとも１つを用いて、前記画像に含まれる被写体の距離分布情報を取得するステップを有し、
    ここで前記複数の取得方法は、前記画像の視差情報に基づく、前記画像に含まれる被写体の距離分布情報を取得する第１の取得方法と、前記画像の、前記視差情報とは異なる特徴量に基づく、前記画像に含まれる被写体の距離分布情報を取得する第２の取得方法とを含み、
    前記第１の取得手段により取得された前記画像に含まれる被写体の距離分布情報と前記第２の取得手段により取得された前記画像に含まれる被写体の距離分布情報とを選択的に用いて前記リライティング処理を行う処理ステップをさらに有する制御方法。
15. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させる、コンピュータが実行可能なプログラム。