JP2018195084A5 - - Google Patents

Claims (19)

1. カメラの情報を取得する情報取得手段と、
   前記カメラの情報に基づいて、前記カメラにより撮像された画像における撮影時の着目対象を推定する推定手段と、
   前記画像を、複数種類の分割方法で、それぞれ複数の分割領域に分割する領域分割手段と、
   前記複数種類の分割方法のそれぞれについて、前記複数の分割領域における動きベクトルを検出する動きベクトル検出手段と、を備え、
   前記領域分割手段は、前記推定手段により推定された着目対象に応じて、前記画像を分割する複数種類の分割方法のそれぞれにおける分割領域の大きさ及び分割数の少なくとも一方を変更することを特徴とする画像処理装置。
2. 前記複数種類の分割方法は、前記複数の分割領域のそれぞれが前記画像における主被写体を含むように前記画像を分割する第１の分割方法と、前記複数の分割領域のそれぞれが前記画像における背景を含むように前記画像を分割する第２の分割方法とを含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記領域分割手段は、前記推定手段により推定された前記着目対象が主被写体である度合いが高くなるにつれて、前記第１の分割方法における前記複数の分割領域の大きさを小さくするか、前記分割領域の数を増やすかの少なくともいずれかを行うとともに、前記第２の分割方法における前記複数の分割領域の大きさを大きくするか、前記分割領域の数を減らすかの少なくともいずれかを行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記領域分割手段は、前記第１の分割方法における前記複数の分割領域の数と、前記第２の分割方法における前記複数の分割領域の数の和が一定となるように、前記第１の分割方法における前記複数の分割領域の数と、前記第２の分割方法における前記複数の分割領域の数を変更することを特徴とする請求項３に記載の画像処理装置。
5. 前記カメラの情報は、撮影モード、主被写体情報、シャッタースピード、焦点距離、奥行き情報、慣性センサ情報、ユーザ指示情報の少なくともいずれかを含むことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記推定手段は、前記カメラの情報の１つまたは複数に基づいて、撮影時の着目対象が主被写体である度合いおよび背景である度合いを算出することを特徴とする請求項５に記載の画像処理装置。
7. 前記推定手段は、前記カメラの情報のそれぞれについて算出された、前記着目対象が主被写体である度合い及び背景である度合いを加重加算することにより、最終的な前記着目対象が主被写体である度合い及び背景である度合いを算出することを特徴とする請求項６に記載の画像処理装置。
8. 前記動きベクトルの信頼度を算出する信頼度算出手段と、前記動きベクトルに対して、前記信頼度を用いてクラスタリング処理を行うクラスタリング手段とをさらに備え、
   前記領域分割手段は、前記推定手段および前記クラスタリング手段の出力に基づいて、前記画像を分割する複数種類の分割方法のそれぞれにおける分割領域の大きさ及び分割数の少なくとも一方を変更することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記動きベクトルの信頼度を算出する信頼度算出手段と、前記動きベクトルに対して、前記信頼度を用いてクラスタリング処理を行うクラスタリング手段とをさらに備え、
   前記動きベクトル検出手段は、前記第１の分割方法における複数の分割領域のそれぞれにおいて着目点を設定し、該着目点に基づいて前記複数の分割領域における動きベクトルを検出し、
   前記領域分割手段は、前記第１の分割方法における複数の分割領域のそれぞれにおいて設定された前記着目点のうち、前記クラスタリング手段により主被写体の動きベクトルが検出されたと判定された着目点の分布に基づいて、前記第１の分割方法における複数の分割領域の大きさを変更することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
10. 前記領域分割手段は、前記推定手段の出力に基づいて得られる目標の動きベクトル数と、前記クラスタリング手段の出力から得られる実際の動きベクトル数との比較に基づいて、前記画像を分割する複数種類の分割方法のそれぞれにおける分割領域の大きさ及び分割数の少なくとも一方を変更することを特徴とする請求項８に記載の画像処理装置。
11. 前記信頼度算出手段は、前記動きベクトルを算出する画像間の相関値の演算の結果に基づいて、前記動きベクトルの信頼度を算出することを特徴とする請求項８に記載の画像処理装置。
12. 前記信頼度算出手段は、複数の前記動きベクトルの信頼度を加重加算することにより、最終的な動きベクトルの信頼度を算出することを特徴とする請求項１１に記載の画像処理装置。
13. 前記信頼度算出手段は、前記動きベクトルを算出する画像間の相関の最大値が大きくなるにつれて、前記動きベクトルの信頼度を高く算出することを特徴とする請求項１１に記載の画像処理装置。
14. 前記信頼度算出手段は、前記動きベクトルを算出する画像間の相関の最大値と最小値との差分が大きくなるにつれて、前記動きベクトルの信頼度を高く算出することを特徴とする請求項１１に記載の画像処理装置。
15. 前記信頼度算出手段は、前記動きベクトルを算出する画像間の相関の最大値と最小値の差分と、相関の最大値と平均値の差分との比率が大きくなるにつれて、前記動きベクトルの信頼度を高く算出することを特徴とする請求項１１に記載の画像処理装置。
16. 前記信頼度算出手段は、前記動きベクトルを算出する画像間の相関の最大値と、少なくとも一つの相関の極大値との差分が大きくなるにつれて、前記動きベクトルの信頼度を高く算出することを特徴とする請求項１１に記載の画像処理装置。
17. カメラの情報を取得する情報取得工程と、
    前記カメラの情報に基づいて、前記カメラにより撮像された画像における撮影時の着目対象を推定する推定工程と、
    前記画像を、複数種類の分割方法で、それぞれ複数の分割領域に分割する領域分割工程と、
    前記複数種類の分割方法のそれぞれについて、前記複数の分割領域における動きベクトルを検出する動きベクトル検出工程と、を有し、
    前記領域分割工程では、前記推定工程において推定された着目対象に応じて、前記画像を分割する複数種類の分割方法のそれぞれにおける分割領域の大きさ及び分割数の少なくとも一方を変更することを特徴とする画像処理方法。
18. 請求項１７に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
19. 請求項１７に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。