JP2018004904A - 被写体追尾装置および撮像装置 - Google Patents
被写体追尾装置および撮像装置 Download PDFInfo
- Publication number
- JP2018004904A JP2018004904A JP2016130688A JP2016130688A JP2018004904A JP 2018004904 A JP2018004904 A JP 2018004904A JP 2016130688 A JP2016130688 A JP 2016130688A JP 2016130688 A JP2016130688 A JP 2016130688A JP 2018004904 A JP2018004904 A JP 2018004904A
- Authority
- JP
- Japan
- Prior art keywords
- area
- tracking
- subject
- focus detection
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
(2)請求項4に記載の被写体追尾装置は、基準情報に基づき被写体画像内で追尾対象領域を検出して追尾対象を追尾する追尾部と、前記追尾対象領域内の焦点検出エリアから採用エリアを選定する採用エリア選定部と、複数の焦点検出エリア毎の焦点検出情報に基づき、前記複数の焦点検出エリアを複数のグループにグループ化するグループ化部と、前記複数のグループのうち前記採用エリアを含む採用グループの所定位置と前記採用エリアとの位置関係に基づき、前記基準情報を変更する変更部と、を備える。
(3)請求項6に記載の被写体追尾装置は、基準情報に基づき被写体画像内で追尾対象領域を検出して追尾対象を追尾する追尾部と、複数の焦点検出エリア毎の焦点検出情報に基づき、前記複数の焦点検出エリアを複数のグループにグループ化するグループ化部と、前記複数のグループのうちの2以上のグループが、前記追尾対象領域内に存在しない場合に前記基準情報を変更し、前記追尾対象領域内に存在する場合に前記基準情報を変更しない変更部と、を備える。
(4)請求項7に記載の撮像装置は、請求項1から6のいずれか一項に記載の被写体追尾装置と、被写体像を撮像する撮像部とを備える。
なお、採用エリア選定部109が採用エリアとして、複数の焦点検出エリアを選定した場合には、その複数の採用エリアのデフォーカス量の平均値に基づき焦点調節が行われる。
探索領域設定部101は、採用エリアの位置を中心として第1の探索領域を設定すると共に、採用グループの重心位置を中心として第2の探索領域を設定する。
以下、本実施の形態における焦点調節処理および被写体追尾処理について詳細に説明する。
ステップS102において、制御装置18のデフォーカス演算部10は、各焦点検出エリア8aにおける焦点検出信号をそれぞれAD変換し、所定のフィルタ処理を行い、相関演算してデフォーカス量を算出する。
ステップS103において、制御装置18は、すべての焦点検出エリア8aについてデフォーカス量の演算が終了したか否かを判定する。制御装置18は、すべての焦点検出エリア8aについてデフォーカス量の演算が終了したと判定するとステップS104へ進み、すべての焦点検出エリア8aについてデフォーカス量の演算が終了していないと判定するとステップS102へ戻る。
ステップS106が否定判断されるとステップS107の追尾制御初期処理のサブルーチンへ進み、ステップS106が肯定判断されるとステップS108の追尾演算処理のサブルーチンへ進む。ここでは、追尾動作が開始されていないので、ステップS107の追尾制御初期処理が実行される。
ステップS202において、制御装置18は、ステップS201で取得した選択グループの重心位置における測光センサ16の画像信号の追尾対象被写体の色情報を不図示のメモリに記憶させる。
ステップS204において、制御装置18は、ステップS203で検出した同色情報領域を初期の追尾被写体領域に設定すると共に、ステップS205において、制御装置18は、ステップS204で設定した追尾被写体領域の画像をテンプレート画像として取得して本サブルー-チンの処理を終了する。
このように、テンプレート画像は、選択エリア及び選択グループの重心位置の色情報に基づき取得される。従って、選択エリアの選定とテンプレート画像の取得との間に時間差があり、その時間差の間に、追尾対象被写体が多少移動した場合にも、その移動を選択グループの重心位置として捕捉し、移動後の追尾対象被写体の画像をテンプレート画像として取得することができる。
また、追尾動作が既に開始済みであった場合の採用エリア設定は、後に詳述するように、追尾領域検出部105が検出した追尾被写体領域内の複数の焦点検出エリアから採用エリアを選定する。
図5のステップS106が肯定判断されると図7のステップS301へ進み、制御装置18は、採用エリアの位置を示す情報と、採用グループの重心位置を示す情報とを取得する。詳述すると、制御装置18は、図5のステップS109の採用エリアの設定処理を前回実行した際に設定された採用エリアについて、その位置の情報を取得する。なお、採用エリアの位置の情報とは、たとえば、採用エリアが105点の焦点検出エリア8aのうちのどれであるのかを示す情報である。
ステップS303において、PM演算部103は、採用グループの重心位置を基準とした第2の探索領域について、テンプレート画像と同じサイズの領域を順次切り出し、順次切り出した領域の画像とテンプレート画像との色相の差分を積算する演算を行う。
ステップS304において、制御装置18は、ステップS303のテンプレートマッチングにおいて色相差の演算値が最小となる領域について、その演算値が所定の閾値a以下であるか否かを判定する。なお、閾値aは、あらかじめ設定された固定値であってもよく、種々の条件によって変動する値でもよい。
以上のように、追尾領域検出部105は、採用グループの重心位置を基準にした第2の探索領域内から追尾被写体領域を検出する。従って、採用エリアの選定と採用グループの重心位置の算出との間に時間差があり、その時間差の間に追尾対象被写体が多少移動した場合にも、その移動を採用グループの重心位置として捕捉し、移動後の追尾対象被写体を基準とした第2の探索領域を設定することができる。
以上のように、テンプレート変更部107は、追尾対象被写体領域内の焦点検出エリアから選定された採用エリアが属する採用グループの重心位置を基準とした第2の探索領域内において、追尾領域検出部105によって検出された追尾対称被写体領域の画像に基づきテンプレート画像を変更する。即ち、テンプレート変更部107は、追尾対象被写体領域内の採用エリアと採用グループとに基づき検出された追尾対称被写体領域の画像によってテンプレート画像を変更している。
ステップS308が肯定判断されるとステップS305へ進む。
ステップS308が否定判断される場合、追尾対象被写体が第1及び第2の探索領域内に存在しなかったことが考えられる。具体的には、たとえば、障害物等が追尾対象被写体の前に出現した場合などが挙げられる。そこで、ステップS308が否定判断されるとステップS309へ進み、制御装置18は、被写体が消失したと判定して本サブルー-チンの処理を終了する。
また、採用エリア選定部109は、検出した追尾被写体領域内に位置しかつステップS401で設定した目標グループに属する焦点検出エリアが1つしか存在しない場合には、その1つの焦点検出エリアと、その焦点検出エリアの周囲に存在するたとえば8つの焦点検出エリアを選択する。そして、制御装置18は、選択した9つの焦点検出エリアのうち、デフォーカス量が目標デフォーカス量に最も近い焦点検出エリアを採用エリアとして採用する。
ステップS402で採用エリアが採用されていればステップS403が肯定判断されてステップS404へ進み、制御装置18は、「採用エリアが採用されたこと」および「採用エリアが追尾被写体領域内に存在したこと」を不図示のメモリに記憶させて本サブルーチンの処理を終了する。
ステップS405で採用エリアが採用されていればステップS406が肯定判断されてステップS407へ進み、制御装置18は、「採用エリアが採用されたこと」および「今回の処理で採用された採用エリアが前回の処理で採用された採用エリアの周辺に存在したこと」を不図示のメモリに記憶させて本サブルーチンの処理を終了する。
(1)制御装置18は、テンプレート画像に基づき被写体画像内で追尾被写体領域を検出して追尾対象を追尾し、複数の焦点検出エリア毎のデフォーカス量に基づき、複数の焦点検出エリアを複数のグループにグループ化し、追尾被写体領域とグループとに基づき、テンプレート画像を変更する。これにより、被写体追尾のために被写体を撮像したタイミングと、焦点調節状態の検出のタイミングとが異なっても、適切な被写体を追尾することができ、誤追尾を抑制できる。
図9を参照して、被写体追尾装置を備えた電子機器の一例としての一眼レフ方式のデジタルカメラの第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、図5のステップS108の追尾演算処理に関するサブルーチンにおける処理が、第1の実施の形態と異なる。
また、ステップS321において、制御装置18は、図5のステップS109の処理、すなわち、採用エリアの設定処理に関するサブルーチンを前回実行した際に設定された採用エリアが属する採用グループの中心の座標を取得する。なお、採用グループの中心の座標とは、たとえば図2に示した像面1aにおける採用グループの中心の位置を座標で表したものである。以下の説明では、採用グループの中心の位置の座標を(x2,y2)として表す。
ステップS321が実行されるとステップS307へ進み、制御装置18は、ステップS322で設定した第1の探索領域について、テンプレート画像と同じサイズの領域を順次切り出し、順次切り出した領域の画像とテンプレート画像との色相の差分を積算する演算を行う。
ステップS308が肯定判断されるとステップS323へ進み、制御装置18は、ステップS307のテンプレートマッチングにおいて色相差の演算値が最小となる領域を新たな追尾被写体領域に設定する。
採用エリアが追尾被写体領域内に存在していた場合、ステップS324が肯定判断されてステップS325へ進む。
採用エリアの位置と採用グループの中心の位置とが遠い場合、ステップS325が肯定判断されて、制御装置18は、本サブルーチンの処理を終了する。
(1)制御装置18は、テンプレート画像に基づき被写体画像内で追尾被写体領域を検出して追尾対象を追尾し、追尾被写体領域内の焦点検出エリアから採用エリアを選定し、 複数の焦点検出エリア毎のデフォーカス量に基づき、複数の焦点検出エリアを複数のグループにグループ化し、複数のグループのうち採用エリアを含む採用グループの所定位置と採用エリアとの位置関係に基づき、テンプレート画像を変更する。これにより、採用グループの所定位置と採用エリアとの位置関係から被写体追尾の信頼性を判断できるので、テンプレート画像の信頼性が向上する。
図10を参照して、被写体追尾装置を備えた電子機器の一例としての一眼レフ方式のデジタルカメラの第3の実施の形態を説明する。以下の説明では、第1および第2の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1および第2の実施の形態と同じである。本実施の形態では、図5のステップS108の追尾演算処理に関するサブルーチンにおける処理が、第1および第2の実施の形態と異なる。
また、ステップS331において、制御装置18は、追尾被写体領域に対応する焦点検出エリアがどのグループに属しているのかを示す情報、すなわち、追尾被写体領域に対応する焦点検出エリアが属するグループの番号を取得する。
ステップS324が肯定判断されるとステップS332へ進み、制御装置18は、ステップS331で取得した、追尾被写体領域に対応する焦点検出エリアが属するグループの番号が複数存在するか否かを判断する。すなわち、ステップS332において、制御装置18は、追尾被写体領域に対応する焦点検出エリアが複数のグループにそれぞれ存在しているか否かを判断する。
追尾被写体領域に対応する焦点検出エリアが複数のグループにそれぞれ存在している場合、遠近競合が生じていることや被写体の中心付近ではなく端の方を追尾している可能性が高い。そのため、追尾被写体領域に対応する焦点検出エリアが複数のグループにそれぞれ存在している場合には、テンプレート画像を更新または再取得することが好ましくない。そのため、本実施の形態では、追尾被写体領域に対応する焦点検出エリアが複数のグループにそれぞれ存在しているか否かによって、テンプレート画像を更新するか否かを判断するようにしている。
追尾被写体領域に対応する焦点検出エリアが1つのグループだけに存在している場合、ステップS332が否定判断されて、ステップS326へ進み、制御装置18は、ステップS323で設定した新たな追尾被写体領域の画像に基づいて、テンプレート画像を更新する。
(1)制御装置18は、テンプレート画像に基づき被写体画像内で追尾被写体領域を検出して追尾対象を追尾し、複数の焦点検出エリア毎のデフォーカス量に基づき、複数の焦点検出エリアを複数のグループにグループ化し、複数のグループのうちの2以上のグループが、追尾被写体領域内に存在しない場合にテンプレート画像を変更し、追尾被写体領域内に存在する場合にテンプレート画像を変更しない。これにより、遠近競合が生じていることや被写体の中心付近ではなく端の方を追尾している可能性が高い場合にはテンプレート画像を変更しないので、テンプレート画像の信頼性を向上できる。
(変形例1)上述した第1の実施の形態では、図7に示した追尾演算処理に関するサブルーチンにおいて、新たな追尾被写体領域を設定した場合にはテンプレート画像を更新した。しかし、たとえば、採用エリアを基準とした第1の探索領域についてテンプレートマッチングを行って新たな追尾被写体領域を設定した場合にはテンプレート画像を更新し、採用グループ中心エリアを基準とした第2の探索領域についてテンプレートマッチングを行って新たな追尾被写体領域を設定した場合にはテンプレート画像を再取得するようにしてもよい。
図11は、本変形例についての、図5のステップS108の追尾演算処理に関するサブルーチンのフローチャートである。図11に示したフローチャートでは、図7に示したフローチャートにおける処理と同じ処理をするステップについては、図7に示したフローチャートと同じステップ番号を付し、詳細な説明を省略する。
ステップS305が実行されるとステップS310へ進み、制御装置18は、ステップS305で設定した追尾被写体領域の画像に基づいて、テンプレート画像を再取得する。すなわち、ステップS310において制御装置18は、ステップS305で設定した追尾被写体領域の画像から新たなテンプレート画像を取得する。
ステップS308が肯定判断されるとステップS311へ進み、制御装置18は、ステップS307のテンプレートマッチングにおいて色相差の演算値が最小となる領域を新たな追尾被写体領域に設定する。
ステップS312において、制御装置18は、ステップS311で設定した追尾被写体領域の画像に基づいて、テンプレート画像を更新する。
Claims (7)
- 基準情報に基づき被写体画像内で追尾対象領域を検出して追尾対象を追尾する追尾部と、
複数の焦点検出エリア毎の焦点検出情報に基づき、前記複数の焦点検出エリアを複数のグループにグループ化するグループ化部と、
前記追尾対象領域と前記グループとに基づき、前記基準情報を変更する変更部と、を備える被写体追尾装置。 - 請求項1に記載の被写体追尾装置において、
前記追尾対象領域内の前記焦点検出エリアから採用エリアを選定する採用エリア選定部と、
前記採用エリアの前記焦点検出情報に基づき焦点調節を行う焦点調節部と、を備え、
前記変更部は、前記採用エリアが属する前記グループ内の所定位置に基づき、前記基準情報を変更する被写体追尾装置。 - 請求項2に記載の被写体追尾装置において、
前記追尾部は、被写体画像内に探索領域を設定して、基準情報に基づき前記探索領域内で追尾対象領域を検出し、
前記追尾部は、前記グループ内の所定位置に基づき前記探索領域を設定する被写体追尾装置。 - 基準情報に基づき被写体画像内で追尾対象領域を検出して追尾対象を追尾する追尾部と、
前記追尾対象領域内の焦点検出エリアから採用エリアを選定する採用エリア選定部と、
複数の焦点検出エリア毎の焦点検出情報に基づき、前記複数の焦点検出エリアを複数のグループにグループ化するグループ化部と、
前記複数のグループのうち前記採用エリアを含む採用グループの所定位置と前記採用エリアとの位置関係に基づき、前記基準情報を変更する変更部と、を備える被写体追尾装置。 - 請求項4に記載の被写体追尾装置において、
前記変更部は、前記採用グループの所定位置と前記採用エリアとの距離が所定値未満である場合に前記基準情報を変更し、前記採用グループの所定位置と前記採用エリアとの距離が所定値以上である場合に前記基準情報を変更しない被写体追尾装置。 - 基準情報に基づき被写体画像内で追尾対象領域を検出して追尾対象を追尾する追尾部と、
複数の焦点検出エリア毎の焦点検出情報に基づき、前記複数の焦点検出エリアを複数のグループにグループ化するグループ化部と、
前記複数のグループのうちの2以上のグループが、前記追尾対象領域内に存在しない場合に前記基準情報を変更し、前記追尾対象領域内に存在する場合に前記基準情報を変更しない変更部と、を備える被写体追尾装置。 - 請求項1から6のいずれか一項に記載の被写体追尾装置と、
被写体像を撮像する撮像部とを備える撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016130688A JP2018004904A (ja) | 2016-06-30 | 2016-06-30 | 被写体追尾装置および撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016130688A JP2018004904A (ja) | 2016-06-30 | 2016-06-30 | 被写体追尾装置および撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018004904A true JP2018004904A (ja) | 2018-01-11 |
Family
ID=60946314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016130688A Pending JP2018004904A (ja) | 2016-06-30 | 2016-06-30 | 被写体追尾装置および撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018004904A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112597910A (zh) * | 2020-12-25 | 2021-04-02 | 北京小狗吸尘器集团股份有限公司 | 利用扫地机器人对人物活动进行监控的方法和装置 |
JP2022502970A (ja) * | 2018-10-12 | 2022-01-11 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 端末デバイスに適用される合焦方法および装置、ならびに端末デバイス |
-
2016
- 2016-06-30 JP JP2016130688A patent/JP2018004904A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022502970A (ja) * | 2018-10-12 | 2022-01-11 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 端末デバイスに適用される合焦方法および装置、ならびに端末デバイス |
JP7347903B2 (ja) | 2018-10-12 | 2023-09-20 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 端末デバイスに適用される合焦方法および装置、ならびに端末デバイス |
CN112597910A (zh) * | 2020-12-25 | 2021-04-02 | 北京小狗吸尘器集团股份有限公司 | 利用扫地机器人对人物活动进行监控的方法和装置 |
CN112597910B (zh) * | 2020-12-25 | 2024-05-07 | 北京小狗吸尘器集团股份有限公司 | 利用扫地机器人对人物活动进行监控的方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4930509B2 (ja) | 画像追尾装置、画像追尾方法、およびカメラ | |
JP4872834B2 (ja) | 画像認識装置、焦点調節装置および撮像装置 | |
JP4720673B2 (ja) | 被写体追尾装置およびカメラ | |
JP2009192774A (ja) | 焦点調節装置および撮像装置 | |
JP6825203B2 (ja) | 結像制御装置およびカメラ | |
JP2009294416A (ja) | 撮像装置およびその制御方法 | |
JP5879736B2 (ja) | 画像追尾装置および撮像装置 | |
JP4888249B2 (ja) | 焦点検出装置および撮像装置 | |
JP2018004904A (ja) | 被写体追尾装置および撮像装置 | |
JP4985155B2 (ja) | 焦点調節装置および撮像装置 | |
JP5256847B2 (ja) | 撮像装置 | |
JP2009063689A (ja) | 焦点検出装置および撮像装置 | |
JP5541396B2 (ja) | 画像追尾装置 | |
JP5447579B2 (ja) | 追尾装置、焦点調節装置および撮影装置 | |
JP2010113130A (ja) | 焦点検出装置、撮像装置、焦点検出方法 | |
JP5233646B2 (ja) | 画像追尾装置、撮像装置、画像追尾方法 | |
JP2010054586A (ja) | 焦点調節装置、撮像装置 | |
JP5428559B2 (ja) | 焦点検出装置及び撮像装置 | |
JP5789937B2 (ja) | 画像追尾装置及び撮像装置 | |
JP5176845B2 (ja) | 画像追尾装置および撮像装置 | |
JP5347834B2 (ja) | 画像追尾装置 | |
JP5720767B2 (ja) | 焦点検出装置 | |
JP2012093775A (ja) | 焦点検出装置および撮像装置 | |
JP2016114721A (ja) | 撮像装置および撮像装置の制御方法 | |
JP2018063439A (ja) | 焦点調節装置、撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200707 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201030 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20201030 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201201 |