JP2011035765A5 - 画像処理装置および画像処理方法並びにプログラム - Google Patents

Description

本発明は、被写体追尾処理の機能を備えた画像処理装置および画像処理方法並びにプログラムに関する。

そこで、本発明の目的は、追尾対象を顔領域に限定した顔追尾と、顔領域に限定しない物体追尾を実行可能であって、ユーザが追尾対象を指定した際の顔検出結果に関わらず、ユーザの意図通りの被写体を追尾する画像処理装置および画像処理方法並びにプログラムを提供することにある。

上述の目的を達成するため、本発明の画像処理装置は、複数の画像から構成された動画像から追尾すべき被写体の領域である追尾領域を連続して検出することで追尾を行う画像処理装置において、画像信号に基づく画像を表示する表示手段と、前記表示手段に表示された画像から被写体の位置を指定する指定手段と、画像から顔領域を検出する顔検出手段と、いずれかの画像で設定された追尾領域と相関が高い領域を別の画像から検出し、検出した領域を前記追尾領域として設定する第１の追尾処理と、いずれかの画像で追尾領域として設定された顔領域と同一とみなせる人物の顔領域を別の画像にて検出された顔領域から選択し、選択した顔領域を前記追尾領域として設定する第２の追尾処理を行う追尾手段と、前記追尾手段に前記第１の追尾処理と前記第２の追尾処理のいずれかを選択して行わせる制御手段とを備え、前記制御手段は、前記指定手段にて被写体の位置の指定がされると、前記指定手段にて指定された位置に追尾領域を設定するとともに、前記顔検出手段にて検出された顔領域が第１の設定条件を満たしているか否かを判定し、前記第１の設定条件を満たしていれば前記追尾領域を前記顔検出手段にて検出された顔領域に設定して前記追尾手段に前記第２の追尾処理を行わせ、前記第１の設定条件を満たしていなければ前記追尾手段に前記第１の追尾処理を行わせ、前記顔検出手段にて検出された顔領域が前記第１の設定条件を満たしておらずに前記追尾手段に前記第１の追尾処理を行わせた後に、前記顔検出手段にて検出された顔領域が前記第１の設定条件と異なる第２の設定条件を満たしいているか否かを判定し、前記第２の設定条件を満たしていれば前記追尾領域を前記顔検出手段にて検出された顔領域に設定して前記追尾手段に前記第２の追尾処理を行わせ、前記第２の設定条件を満たしていなければ前記追尾手段に前記第１の追尾処理を行わせることを特徴とする。

本発明によれば、追尾対象を顔領域に限定した顔追尾と、顔領域に限定しない物体追尾を実行可能であって、ユーザが追尾対象を指定した際の顔検出結果に関わらず、ユーザの意図通りの被写体を追尾することができるという効果がある。

Claims (9)

1. 複数の画像から構成された動画像から追尾すべき被写体の領域である追尾領域を連続して検出することで追尾を行う画像処理装置において、
   画像信号に基づく画像を表示する表示手段と、
   前記表示手段に表示された画像から被写体の位置を指定する指定手段と、
   画像から顔領域を検出する顔検出手段と、
   いずれかの画像で設定された追尾領域と相関が高い領域を別の画像から検出し、検出した領域を前記追尾領域として設定する第１の追尾処理と、いずれかの画像で追尾領域として設定された顔領域と同一とみなせる人物の顔領域を別の画像にて検出された顔領域から選択し、選択した顔領域を前記追尾領域として設定する第２の追尾処理を行う追尾手段と、
   前記追尾手段に前記第１の追尾処理と前記第２の追尾処理のいずれかを選択して行わせる制御手段とを備え、
   前記制御手段は、
   前記指定手段にて被写体の位置の指定がされると、前記指定手段にて指定された位置に追尾領域を設定するとともに、前記顔検出手段にて検出された顔領域が第１の設定条件を満たしているか否かを判定し、前記第１の設定条件を満たしていれば前記追尾領域を前記顔検出手段にて検出された顔領域に設定して前記追尾手段に前記第２の追尾処理を行わせ、前記第１の設定条件を満たしていなければ前記追尾手段に前記第１の追尾処理を行わせ、
   前記顔検出手段にて検出された顔領域が前記第１の設定条件を満たしておらずに前記追尾手段に前記第１の追尾処理を行わせた後に、前記顔検出手段にて検出された顔領域が前記第１の設定条件と異なる第２の設定条件を満たしいているか否かを判定し、前記第２の設定条件を満たしていれば前記追尾領域を前記顔検出手段にて検出された顔領域に設定して前記追尾手段に前記第２の追尾処理を行わせ、前記第２の設定条件を満たしていなければ前記追尾手段に前記第１の追尾処理を行わせることを特徴とする画像処理装置。
2. 前記第１の設定条件および前記第２の設定条件は、ともに前記顔検出手段が検出した顔領域の位置に関するものであり、
   前記第２の設定条件は、前記第１の設定条件よりも、所定の条件が厳しく設定されていることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の設定条件は、前記指定手段にて被写体の位置の指定がされてから所定時間が経過するまでの間における前記顔検出手段が検出した顔領域の位置に関するものであり、前記第２の設定条件は、前記指定手段にて被写体の位置の指定がされてから所定時間が経過した後における前記顔検出手段が検出した顔領域の位置に関するものであることを特徴とする請求項２に記載の画像処理装置。
4. 前記所定の条件とは、前記追尾領域の所定距離内において前記顔検出手段が検出した顔領域の検出回数、前記追尾領域の所定距離内において前記顔検出手段が検出した顔領域の連続検出回数、前記追尾領域の所定距離内において前記顔検出手段が検出した顔領域の検出頻度、および、前記追尾領域の移動軌跡と前記顔検出手段が検出した顔領域の移動軌跡の相関の少なくとも１つについて、前記第２の設定条件の閾値が前記第１の設定条件の閾値よりも高い値に設定されていることを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記所定の条件とは、前記追尾領域の所定距離内において前記顔検出手段が検出した顔領域の検出回数、前記追尾領域の所定距離内において前記顔検出手段が検出した顔領域の連続検出回数、前記追尾領域の所定距離内において前記顔検出手段が検出した顔領域の検出頻度、および、前記追尾領域の移動軌跡と前記顔検出手段が検出した顔領域の移動軌跡の相関の少なくとも１つについて、前記第２の設定条件のみに閾値が設定されていることを特徴とする請求項２又は３に記載の画像処理装置。
6. 前記第１の設定条件は、
   前記指定手段にて被写体の位置の指定がされてから所定時間が経過するまでの間において、設定されている前記追尾領域の位置と、前記顔検出手段により検出された顔領域の位置とが、一度でも所定範囲内に位置したことであることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
7. 前記第２の設定条件は、
   前記顔検出手段により検出された第１の顔領域の位置と、前記第１の顔領域が検出される前に前記顔検出手段により検出された第２の顔領域の位置とが所定範囲内にあり、かつ、設定されている前記追尾領域の位置と前記第１の顔領域の位置とが所定範囲内に位置することが所定回数以上あったことを特徴とする請求項１、２、３又は６のいずれか一項に記載の画像処理装置。
8. 複数の画像から構成された動画像から追尾すべき被写体の領域である追尾領域を連続して検出することで追尾を行う画像処理方法において、
   画像信号に基づく画像を表示部に表示する表示工程と、
   前記表示部に表示された画像から被写体の位置を指定する指定工程と、
   画像から顔領域を検出する顔検出工程と、
   いずれかの画像で設定された追尾領域と相関が高い領域を別の画像から検出し、検出した領域を前記追尾領域として設定する追尾処理を行う第１の追尾工程と、
   いずれかの画像で追尾領域として設定された顔領域と同一とみなせる人物の顔領域を別の画像にて検出された顔領域から選択し、選択した顔領域を前記追尾領域として設定する追尾処理を行う第２の追尾工程と、
   前記第１の追尾工程と前記第２の追尾工程のいずれかを選択して追尾処理を行わせる制御工程とを備え、
   前記制御工程において、
   前記指定工程にて被写体の位置の指定がされると、前記指定工程にて指定された位置に追尾領域を設定するとともに、前記顔検出工程において検出された顔領域が第１の設定条件を満たしているか否かを判定し、前記第１の設定条件を満たしていれば前記追尾領域を前記顔検出工程において検出された顔領域に設定して前記第２の追尾工程で追尾処理を行わせ、前記第１の設定条件を満たしていなければ前記第１の追尾工程で追尾処理を行わせ、
   前記顔検出工程において検出された顔領域が前記第１の設定条件を満たしておらずに前記第１の追尾工程で追尾処理を行わせた後に、前記顔検出工程にて検出された顔領域が前記第１の設定条件と異なる第２の設定条件を満たしいているか否かを判定し、前記第２の設定条件を満たしていれば前記追尾領域を前記顔検出工程において検出された顔領域に設定して前記第２の追尾工程で追尾処理を行わせ、前記第２の設定条件を満たしていなければ前記第１の追尾工程で追尾処理を行わせることを特徴とする画像処理方法。
9. コンピュータが読み込み実行することで、請求項８に記載の各工程をコンピュータに実行させるプログラム。