JP2010147950A - 画像処理装置および画像処理方法、ならびに、撮像装置 - Google Patents
画像処理装置および画像処理方法、ならびに、撮像装置 Download PDFInfo
- Publication number
- JP2010147950A JP2010147950A JP2008324710A JP2008324710A JP2010147950A JP 2010147950 A JP2010147950 A JP 2010147950A JP 2008324710 A JP2008324710 A JP 2008324710A JP 2008324710 A JP2008324710 A JP 2008324710A JP 2010147950 A JP2010147950 A JP 2010147950A
- Authority
- JP
- Japan
- Prior art keywords
- image
- tracking
- reliability
- unit
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【解決手段】先ず、入力画像に対して顔検出を行い(S402)、検出された顔領域を基準画像として登録する。次のフレーム画像に対して基準画像によるマッチング処理を施し、相関度の高い部分画像を抽出する(S405)。追跡を継続するか否かを判定する条件が設定されていれば(S406)、その条件を満たしているか否かが判定され(S409)、満たしていればマッチング処理による部分画像で基準画像が更新される(S403)。判定条件が設定されていなければ、マッチング処理の信頼度が算出され、閾値と比較される(S407、S408)。信頼度が閾値以上であれば、マッチング処理による部分画像で基準画像が更新される(S403)。信頼度が閾値未満であれば、判定条件が設定され(S409)、その条件を満たしているか否かが判定される(S410)。
【選択図】図4
Description
次に、本発明の第1の実施形態について説明する。図4は、本第1の実施形態による顔追跡処理を示す一例のフローチャートである。このフローチャートの各処理は、制御部320がプログラムに従い、顔検出部309および顔追跡部310を制御することで実行される。顔追跡部310においては、制御部320は、フローチャートに従い基準画像登録部311、マッチング処理部312、継続判定部313、信頼度算出部314および継続条件設定部315を制御する。これに限らず、顔検出部309および顔追跡部310、ならびに、顔追跡部310が有する各部がそれぞれ自律的および互いに協働して図4のフローチャートの処理を実行するようにしてもよい。
次に、顔追跡を継続するか否かを判定する継続判定条件について説明する。本第1の実施形態では、判定処理が開始された時点からの所定の期間を、継続判定条件として設定する。具体的には、下記の3種類の条件のうち何れか、あるいは、当該3種類の条件のうち2または3種類を組み合わせて継続判定条件として用いる。
(1)処理の継続回数または継続時間
(2)顔追跡結果の位置が設定された範囲を出るまでの期間
(3)連続するフレーム間での顔追跡結果の移動量が上限を超えるまでの期間
ここで、顔追跡結果の信頼度が閾値未満のフレームにおいて顔追跡の継続判定を行なうのではなく、信頼度が閾値未満となったフレーム以降で顔追跡の継続判定を行なう理由について、図7を用いて説明する。
次に、本発明の第2の実施形態について説明する。上述の第1の実施形態では、初期フレームに関しては顔検出部309による結果に基づき基準画像を登録する。そして、その後は、継続判定部313の判定により顔追跡部310の動作が中断されない限り、マッチング処理部312の結果に基づき基準画像を順次更新するように説明した。本第2の実施形態では、フレーム画像毎において顔検出部309による顔検出処理と、顔追跡部310による顔追跡処理とを行い、顔検出処理および顔追跡処理の結果のうち信頼性の高い結果に基づき基準画像を更新する。
本発明の目的は、以下のようにして達成することも可能である。まず、上述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶または記録媒体を、本発明が適用されるシステムあるいは装置に接続する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
309 顔検出部
310 顔追跡部
311 基準画像登録部
312 マッチング処理部
313 継続判定部
314 信頼度算出部
315 継続条件設定部
Claims (11)
- 所定時間間隔で供給される画像から所定の被写体を検出し、検出した該所定の被写体を追跡する画像処理装置であって、
前記画像から前記所定の被写体を検出し、該所定の被写体に対応する基準画像を抽出する抽出手段と、
前記基準画像を抽出した画像の後に供給される画像から該基準画像に対応する部分画像を検出することにより、前記所定の被写体を追跡する追跡手段と、
前記追跡手段が検出した前記部分画像で前記基準画像を更新する更新手段と、
前記部分画像の、前記追跡手段による検出に対する信頼度を算出する算出手段と、
前記追跡手段による追跡および前記更新手段による前記基準画像の更新を継続するか否かを判定する判定手段と
を有し、
前記判定手段は、
前記信頼度が閾値未満であった場合、前記追跡手段による追跡および前記更新手段による前記基準画像の更新を所定の期間だけ継続させた後に終了させ、
前記信頼度が該閾値以上であれば、前記追跡手段による追跡および前記更新手段による前記基準画像の更新を継続させると判定する
ことを特徴とする画像処理装置。 - 前記所定の期間は、前記信頼度が閾値未満になった時点からの経過時間である
ことを特徴とする請求項1に記載の画像処理装置。 - 前記所定の期間は、前記信頼度が閾値未満になった時点から前記更新手段により前記基準画像が更新された回数に対応する期間である
ことを特徴とする請求項1に記載の画像処理装置。 - 前記所定の期間は、前記信頼度が閾値未満になった時点から、前記部分画像の前記画像中の位置が該部分画像の中心を基準として該部分画像よりも大きく設定された所定の範囲から出るまでの期間である
ことを特徴とする請求項1乃至請求項3の何れか1項に記載の画像処理装置。 - 前記所定の範囲は、前記信頼度が閾値未満になった時点での前記部分画像の大きさが小さいほど小さく設定される
ことを特徴とする請求項4に記載の画像処理装置。 - 前記所定の期間は、前記信頼度が閾値未満になった時点から、前記部分画像の前記所定時間間隔で供給される画像間での移動量の累積値が上限を超えるまでの期間である
ことを特徴とする請求項1乃至請求項5の何れか1項に記載の画像処理装置。 - 前記移動量の累積値の前記上限は、前記信頼度が閾値未満になって時点での前記部分画像の大きさが大きいほど大きく設定される
ことを特徴とする請求項6に記載の画像処理装置。 - 前記抽出手段は、前記所定時間間隔で供給される画像毎に前記所定の被写体を検出すると共に、該所定の被写体の検出に対する信頼度を算出し、
前記更新手段は、
前記抽出手段で算出された前記所定の被写体の検出に対する信頼度の方が、前記算出手段で算出された信頼度よりも高い場合、該所定の被写体に対応する部分画像を用いて前記基準画像の更新を行うように制御する
ことを特徴とする請求項1乃至請求項7の何れか1項に記載の画像処理装置。 - 前記抽出手段は、前記所定の被写体として顔を検出する
ことを特徴とする請求項1乃至請求項8の何れか1項に記載の画像処理装置。 - 所定時間間隔で供給される画像から所定の被写体を検出し、検出した該所定の被写体を追跡する画像処理方法であって、
前記画像から前記所定の被写体を検出し、該所定の被写体に対応する基準画像を抽出する抽出ステップと、
前記基準画像を抽出した画像の後に供給される画像から該基準画像に対応する部分画像を検出することにより、前記所定の被写体を追跡する追跡ステップと、
前記追跡ステップが検出した前記部分画像で前記基準画像を更新する更新ステップと、
前記部分画像の、前記追跡ステップによる検出に対する信頼度を算出する算出ステップと、
前記追跡ステップによる追跡および前記更新ステップによる前記基準画像の更新を継続するか否かを判定する判定ステップと
を有し、
前記判定ステップは、
前記信頼度が閾値未満であった場合、前記追跡ステップによる追跡および前記更新ステップによる前記基準画像の更新を所定の期間だけ継続させた後に終了させ、
前記信頼度が該閾値以上であれば、前記追跡ステップによる追跡および前記更新ステップによる前記基準画像の更新を継続させると判定する
ことを特徴とする画像処理方法。 - 撮像光学系を介して入射された光に基づく前記画像を前記所定時間間隔で連続的に出力する撮像手段と、
前記撮像手段を用いて得られた前記画像を記録媒体に記録する記録手段と、
請求項1乃至請求項9の何れか1項に記載の画像処理装置と
を有する
ことを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008324710A JP5329940B2 (ja) | 2008-12-19 | 2008-12-19 | 画像処理装置、その制御方法、及び撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008324710A JP5329940B2 (ja) | 2008-12-19 | 2008-12-19 | 画像処理装置、その制御方法、及び撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010147950A true JP2010147950A (ja) | 2010-07-01 |
JP2010147950A5 JP2010147950A5 (ja) | 2012-02-09 |
JP5329940B2 JP5329940B2 (ja) | 2013-10-30 |
Family
ID=42567882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008324710A Active JP5329940B2 (ja) | 2008-12-19 | 2008-12-19 | 画像処理装置、その制御方法、及び撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5329940B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013219615A (ja) * | 2012-04-10 | 2013-10-24 | Canon Inc | 撮像装置およびその制御方法 |
JP2014232418A (ja) * | 2013-05-29 | 2014-12-11 | 株式会社ニコン | 画像処理装置、撮像装置、および画像処理プログラム |
JP2015219879A (ja) * | 2014-05-21 | 2015-12-07 | キヤノン株式会社 | 画像認識システム、画像認識方法およびプログラム |
US9558396B2 (en) | 2013-10-22 | 2017-01-31 | Samsung Electronics Co., Ltd. | Apparatuses and methods for face tracking based on calculated occlusion probabilities |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003111063A (ja) * | 2001-10-02 | 2003-04-11 | Hitachi Kokusai Electric Inc | 侵入物体追跡方法及び侵入物体監視装置 |
-
2008
- 2008-12-19 JP JP2008324710A patent/JP5329940B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003111063A (ja) * | 2001-10-02 | 2003-04-11 | Hitachi Kokusai Electric Inc | 侵入物体追跡方法及び侵入物体監視装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013219615A (ja) * | 2012-04-10 | 2013-10-24 | Canon Inc | 撮像装置およびその制御方法 |
JP2014232418A (ja) * | 2013-05-29 | 2014-12-11 | 株式会社ニコン | 画像処理装置、撮像装置、および画像処理プログラム |
US9558396B2 (en) | 2013-10-22 | 2017-01-31 | Samsung Electronics Co., Ltd. | Apparatuses and methods for face tracking based on calculated occlusion probabilities |
JP2015219879A (ja) * | 2014-05-21 | 2015-12-07 | キヤノン株式会社 | 画像認識システム、画像認識方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5329940B2 (ja) | 2013-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6049448B2 (ja) | 被写体領域追跡装置、その制御方法及びプログラム | |
US8682040B2 (en) | Image processing apparatus, image processing method, and image capturing apparatus | |
JP5219795B2 (ja) | 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム | |
JP5959923B2 (ja) | 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置 | |
KR101537948B1 (ko) | 얼굴 포즈 추정을 이용한 촬영 방법 및 장치 | |
WO2009098894A1 (ja) | 電子カメラおよび画像処理方法 | |
EP2157547B1 (en) | Object tracking | |
JP2015104016A (ja) | 被写体検出装置、撮像装置、被写体検出装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体 | |
US10013632B2 (en) | Object tracking apparatus, control method therefor and storage medium | |
JP2010114752A (ja) | 撮像装置及び撮像方法及びプログラム | |
JP5329940B2 (ja) | 画像処理装置、その制御方法、及び撮像装置 | |
JP5147670B2 (ja) | 画像処理装置及び画像処理方法、撮像装置 | |
US20210256713A1 (en) | Image processing apparatus and image processing method | |
JP2012080251A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5539565B2 (ja) | 撮像装置及び被写体追跡方法 | |
JP2011071925A (ja) | 移動体追尾装置および方法 | |
JP6087615B2 (ja) | 画像処理装置およびその制御方法、撮像装置、および表示装置 | |
JP2011130384A (ja) | 被写体追跡装置及びその制御方法 | |
JP2016081095A (ja) | 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム | |
US20160364604A1 (en) | Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus | |
JP2009009206A (ja) | 画像中の輪郭抽出方法及びその画像処理装置 | |
JP5247419B2 (ja) | 撮像装置および被写体追跡方法 | |
JP2008160280A (ja) | 撮像装置および自動撮像方法 | |
US20140226023A1 (en) | Imaging apparatus, control method, and program | |
JP2013157675A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111219 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130725 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5329940 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |