JP2011130384A - 被写体追跡装置及びその制御方法 - Google Patents
被写体追跡装置及びその制御方法 Download PDFInfo
- Publication number
- JP2011130384A JP2011130384A JP2009289653A JP2009289653A JP2011130384A JP 2011130384 A JP2011130384 A JP 2011130384A JP 2009289653 A JP2009289653 A JP 2009289653A JP 2009289653 A JP2009289653 A JP 2009289653A JP 2011130384 A JP2011130384 A JP 2011130384A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- input
- reference image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 異なる時刻に入力された入力画像に基づく複数の基準画像の各々と、入力画像との相関度とを求める。複数の基準画像のうち第1の入力画像に基づく基準画像と入力画像との最大相関度が閾値以上であれば、第1の基準画像と相関度が最大の領域を被写体領域と判定する。一方、第1の基準画像と入力画像との最大相関度が閾値未満であれば、第1の入力画像よりも後に入力された入力画像に基づく基準画像と相関度が最大の領域を被写体領域と判定する。
【選択図】 図2
Description
図1は、本発明の第1の実施形態に係る被写体追跡の一例としての撮像装置100の機能構成例を示すブロック図である。レンズユニット101は結像光学系であり、一般にはフォーカス調整用レンズを含む複数のレンズによって構成される。レンズユニット101は被写体の光学像を撮像素子102の撮像面上に結像する。撮像素子102はCCDイメージセンサやCMOSイメージセンサなどの光電変換素子であり、被写体光学像を画素単位の電気信号に変換する。この電気信号は、撮像素子102で撮像された被写体像を示すアナログの映像信号である。撮像素子102は、撮像と出力を連続的に繰り返すことにより、所定のフレームレートで時系列的に映像信号を出力することができる。以下の説明において、「画像」とは、1フレームの映像信号と同義である。
(1)被写体追跡の開始時に被写体指定部109によって指定される領域に基づき登録される基準画像(第1の基準画像)と、
(2)被写体追跡中に被写体抽出部113が抽出した領域によって順次更新されて登録される基準画像(第2の基準画像)とが挙げられる。
次に、被写体追跡部110の処理の詳細について、図2及び図3を参照して説明する。なお、以下の説明では、検出及び追跡すべき特定の被写体が人物の顔であるものとする。また、基準画像登録部111に登録される基準画像は、次の2つとする。(1)被写体追跡の開始時に被写体指定部109によって指定される領域に基づき登録される基準画像(以下、初期基準画像)。(2)相関度算出部112が求めた相関度に応じて被写体抽出部113が抽出抽出した被写体領域に基づき逐次更新される基準画像(以下、更新基準画像とする)。
相関度算出部112は、入力画像と初期基準画像302との相関度に加え、入力画像と更新基準画像304との相関度についても算出し、各基準画像について、最大相関度および最大相関度を有する領域を算出する(図2のS203〜S207)。
次に、本発明の第2の実施形態に係る被写体追跡装置の一例としての撮像装置について第1の実施形態との差異を中心に、図4〜図6を参照して説明する。なお、図4〜図6において、第1の実施形態に係る図1〜図3と同一の構成及び動作については同一の符号を付し、重複する説明は省略する。
「基準画像登録部111に登録されている複数の基準画像のうち最も古い入力画像に基づく基準画像との相関度が最大となる入力画像中の領域が被写体領域として抽出される確率」を、
「最も古い入力画像に基づく基準画像の特徴量と入力画像の一致度合い」が高いほど低く、低いほど高くなるように動的に調整することを特徴とする。
次に、被写体追跡部401の処理の詳細について、第1の実施形態との差異を中心に、図5、図6を参照して説明する。なお、以下の説明では、第1の実施形態と同様、図5は、第2の実施形態に係る被写体追跡の処理を示すフローチャートである。図6は、被写体追跡における説明図である。なお、以下の説明では、第2の実施形態の説明と同様、検出及び追跡すべき特定の被写体が人物の顔であるものとする。また、基準画像登録部111に登録される基準画像も、初期基準画像と更新基準画像との2つであるものとする。
上述した処理を、撮像素子102で連続的に撮像され、時系列的に入力される複数の入力画像に対して順次適用することにより、複数の入力画像に亘って特定の被写体を追跡することができる。
なお、上述の実施形態では、被写体追跡装置の一例としての撮像装置を説明した。しかし、上述の通り、本発明は撮像装置以外にも多様な機器に適用可能である。例えば画像データの再生表示装置に適用した場合、画像データ中の被写体領域の情報(画像中の被写体の位置、大きさなど)を用いて画像データの再生条件や表示条件を設定するといった応用が可能である。具体的には、画像中の被写体の位置に枠などの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じて、被写体部分が適切に表示されるように輝度や色合いなどの表示条件を制御することができる。
なお、図中の機能ブロックは、ハードウェア、ソフトウェア又はそれらの組み合わせによって実現可能であるが、機能ブロックとそれを実現する構成とは1対1に対応する必要はない。複数の機能ブロックを1つのソフトウェア又はハードウェアモジュールで実現してもよい。
Claims (7)
- 画像中の特定の被写体を、時系列的に入力される複数の入力画像に亘って追跡する被写体追跡装置であって、
登録手段に登録された複数の基準画像の各々について、入力画像との最大相関度と、当該最大相関度を有する前記入力画像中の領域とを求める算出手段と、
前記算出手段により求められた領域の中から、前記入力画像における前記特定の被写体の領域を判定する第1の判定手段とを有し、
前記複数の基準画像が、前記複数の入力画像のうち第1の入力画像において前記特定の被写体の領域として指定された領域に基づくとともに、更新されない第1の基準画像と、前記複数の入力画像のうち前記第1の入力画像よりも後に時系列的に入力される複数の第2の入力画像において、前記第1の判定手段によって前記特定の被写体の領域と判定された領域に基づいて更新される第2の基準画像であり、
前記第1の判定手段は、前記第1の基準画像について前記算出手段が求めた最大相関度が予め定めた閾値以上であれば、前記第1の基準画像と最大相関度を有する領域を前記入力画像における前記特定の被写体の領域と判定し、前記第1の基準画像について前記算出手段が求めた最大相関度が予め定めた閾値未満であれば、前記第2の基準画像と最大相関度を有する領域を前記入力画像における前記特定の被写体の領域と判定することを特徴とする被写体追跡装置。 - 前記第1の基準画像の特徴量を抽出する抽出手段と、
前記入力画像が前記特徴量と一致する度合いを判定する第2の判定手段と、
前記第2の判定手段の判定に応じて、前記予め定めた閾値を設定する設定手段とをさらに有し、
前記設定手段は、前記入力画像が前記特徴量と一致する度合いが高いと判定されるほど前記閾値を大きく設定し、前記入力画像が前記特徴量と一致する度合いが低いと判定されるほど前記閾値を小さく設定することを特徴とする請求項1記載の被写体追跡装置。 - 前記抽出手段は、前記第1の基準画像に含まれる画素の予め定めた成分の値についてのヒストグラムを生成し、頻度が所定の閾値以上の値を前記特徴量として抽出することを特徴とする請求項2に記載の被写体追跡装置。
- 前記第2の判定手段は、前記入力画像に含まれる画素のうち前記特徴量に一致する画素を計数し、前記入力画像全体の画素数に対する前記特徴量に一致する画素数の割合を、前記入力画像が前記特徴量と一致する度合いとして判定することを特徴とする請求項3記載の被写体追跡装置。
- 前記入力画像中の領域を指定するための指定手段をさらに有し、
前記第1の入力画像における前記特定の被写体の領域の指定が、前記指定手段を通じてユーザによってなされることを特徴とする請求項1乃至請求項4のいずれか1項に記載の被写体追跡装置。 - 画像中の特定の被写体を、時系列的に入力される複数の入力画像に亘って追跡する被写体追跡装置の制御方法であって、
算出手段が、登録手段に登録された複数の基準画像の各々について、入力画像との最大相関度と、当該最大相関度を有する前記入力画像中の領域とを求める算出工程と、
判定手段が、前記算出工程により求められた領域の中から、前記入力画像における前記特定の被写体の領域を判定する第1の判定工程とを有し、
前記複数の基準画像が、前記複数の入力画像のうち第1の入力画像において前記特定の被写体の領域として指定された領域に基づくとともに、更新されない第1の基準画像と、前記複数の入力画像のうち前記第1の入力画像よりも後に時系列的に入力される複数の第2の入力画像において、前記第1の判定工程によって前記特定の被写体の領域と判定された領域に基づいて更新される第2の基準画像であり、
前記第1の判定工程は、前記第1の基準画像について前記算出工程で求められた最大相関度が予め定めた閾値以上であれば、前記第1の基準画像と最大相関度を有する領域を前記入力画像における前記特定の被写体の領域と判定し、前記第1の基準画像について前記算出工程で求められた最大相関度が予め定めた閾値未満であれば、前記第2の基準画像と最大相関度を有する領域を前記入力画像における前記特定の被写体の領域と判定することを特徴とする被写体追跡装置の制御方法。 - 請求項6に記載の被写体追跡装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009289653A JP5167236B2 (ja) | 2009-12-21 | 2009-12-21 | 被写体追跡装置及びその制御方法 |
US12/964,334 US8509482B2 (en) | 2009-12-21 | 2010-12-09 | Subject tracking apparatus, subject region extraction apparatus, and control methods therefor |
CN201010608338.7A CN102103754B (zh) | 2009-12-21 | 2010-12-21 | 被摄体跟踪设备、被摄体区域提取设备及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009289653A JP5167236B2 (ja) | 2009-12-21 | 2009-12-21 | 被写体追跡装置及びその制御方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012231184A Division JP5222429B2 (ja) | 2012-10-18 | 2012-10-18 | 被写体追跡装置及びその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011130384A true JP2011130384A (ja) | 2011-06-30 |
JP2011130384A5 JP2011130384A5 (ja) | 2012-12-06 |
JP5167236B2 JP5167236B2 (ja) | 2013-03-21 |
Family
ID=44292427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009289653A Expired - Fee Related JP5167236B2 (ja) | 2009-12-21 | 2009-12-21 | 被写体追跡装置及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5167236B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013254386A (ja) * | 2012-06-07 | 2013-12-19 | Nikon Corp | 被写体追尾装置および電子カメラ並びに被写体追尾プログラム |
JP2016123044A (ja) * | 2014-12-25 | 2016-07-07 | キヤノン株式会社 | 被写体追跡装置、その制御方法およびプログラム |
JP2017005582A (ja) * | 2015-06-12 | 2017-01-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2022158201A1 (ja) * | 2021-01-22 | 2022-07-28 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001060269A (ja) * | 1999-06-15 | 2001-03-06 | Hitachi Denshi Ltd | 物体追跡方法及び物体追跡装置 |
JP2008123416A (ja) * | 2006-11-15 | 2008-05-29 | Nikon Corp | 被写体追跡プログラム、被写体追跡装置、およびカメラ |
JP2009027402A (ja) * | 2007-07-19 | 2009-02-05 | Canon Inc | デジタルカメラ、および、画像表示方法 |
JP2009188480A (ja) * | 2008-02-04 | 2009-08-20 | Nikon Corp | 被写体追跡プログラム、被写体追跡装置、およびカメラ |
JP2010145965A (ja) * | 2008-12-22 | 2010-07-01 | Fujinon Corp | オートフォーカスシステム |
-
2009
- 2009-12-21 JP JP2009289653A patent/JP5167236B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001060269A (ja) * | 1999-06-15 | 2001-03-06 | Hitachi Denshi Ltd | 物体追跡方法及び物体追跡装置 |
JP2008123416A (ja) * | 2006-11-15 | 2008-05-29 | Nikon Corp | 被写体追跡プログラム、被写体追跡装置、およびカメラ |
JP2009027402A (ja) * | 2007-07-19 | 2009-02-05 | Canon Inc | デジタルカメラ、および、画像表示方法 |
JP2009188480A (ja) * | 2008-02-04 | 2009-08-20 | Nikon Corp | 被写体追跡プログラム、被写体追跡装置、およびカメラ |
JP2010145965A (ja) * | 2008-12-22 | 2010-07-01 | Fujinon Corp | オートフォーカスシステム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013254386A (ja) * | 2012-06-07 | 2013-12-19 | Nikon Corp | 被写体追尾装置および電子カメラ並びに被写体追尾プログラム |
JP2016123044A (ja) * | 2014-12-25 | 2016-07-07 | キヤノン株式会社 | 被写体追跡装置、その制御方法およびプログラム |
JP2017005582A (ja) * | 2015-06-12 | 2017-01-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2022158201A1 (ja) * | 2021-01-22 | 2022-07-28 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5167236B2 (ja) | 2013-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8509482B2 (en) | Subject tracking apparatus, subject region extraction apparatus, and control methods therefor | |
JP5159515B2 (ja) | 画像処理装置およびその制御方法 | |
JP5643563B2 (ja) | 画像処理装置及びその制御方法 | |
JP6521626B2 (ja) | 被写体追跡装置、方法およびプログラム | |
US10270977B2 (en) | Imaging apparatus and a method of tracking a subject in the imaging apparatus | |
US7397955B2 (en) | Digital camera and method of controlling same | |
US20210256713A1 (en) | Image processing apparatus and image processing method | |
JP6924064B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
JP2009164838A (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP5167236B2 (ja) | 被写体追跡装置及びその制御方法 | |
JP2008035125A (ja) | 撮像装置、画像処理方法およびプログラム | |
JP5395650B2 (ja) | 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム | |
JP4807582B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
JP5451364B2 (ja) | 被写体追跡装置及びその制御方法 | |
JP5222429B2 (ja) | 被写体追跡装置及びその制御方法 | |
JP2018182699A (ja) | 画像処理装置およびその制御方法、プログラム、並びに記憶媒体 | |
JP2018182700A (ja) | 画像処理装置およびその制御方法、プログラム、並びに記憶媒体 | |
JP6099973B2 (ja) | 被写体領域追跡装置、その制御方法及びプログラム | |
JP6808482B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2016081095A (ja) | 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム | |
JP2011134019A (ja) | 画像処理装置及びその制御方法 | |
JP5111293B2 (ja) | 撮像装置及びその制御方法 | |
JP5323243B2 (ja) | 画像処理装置及びその制御方法 | |
JP2010154374A (ja) | 撮像装置および被写体追跡方法 | |
US9936158B2 (en) | Image processing apparatus, method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121018 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121018 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20121018 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20121108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121221 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5167236 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |