JP2010244462A - 人物追跡装置、人物追跡方法及びプログラム - Google Patents
人物追跡装置、人物追跡方法及びプログラム Download PDFInfo
- Publication number
- JP2010244462A JP2010244462A JP2009094926A JP2009094926A JP2010244462A JP 2010244462 A JP2010244462 A JP 2010244462A JP 2009094926 A JP2009094926 A JP 2009094926A JP 2009094926 A JP2009094926 A JP 2009094926A JP 2010244462 A JP2010244462 A JP 2010244462A
- Authority
- JP
- Japan
- Prior art keywords
- face
- detected
- detection
- frame
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】動画の各フレームの画像について、顔検出部で顔検出処理を行うか、人物マッチング部でテンプレートマッチングを行うかを判断する(ステップS11)。例えば、顔検出部で処理を行っている場合は人物マッチング部で処理を行うとし、顔検出部で処理を行っていない場合には顔検出部で処理を行うとする。顔検出部で処理を行う場合(ステップS11でYES)には、画像に対して顔検出フルサーチ処理を行って顔領域を検出し(ステップS12)、当該フレームの直近のフレームから検出された顔との同一性を検証する(ステップS13)。人物マッチング部で処理を行う場合(ステップS11でNO)には、顔検出フルサーチ処理が行われた直近のフレームから検出された顔領域をテンプレートとしてテンプレートマッチングを行い、顔領域を検出する(ステップS14)。
【選択図】 図5
Description
図1は、第1の実施の形態に係る人物追跡装置1の全体構造の概略図である。人物追跡装置1は、主として、CPU10と、メモリ11と、メモリ制御部12と、人物トラッキング部13と、動画入力部14と、処理制御部15と、顔検出部16と、顔特徴データベース(DB)17と、人物マッチング部18と、トラッキング結果出力部19とで構成される。
本発明の第1の実施の形態は、処理制御部15が各フレームの画像を顔検出部16又は人物マッチング部18に入力し、画像が人物マッチング部18に入力された場合にはパターンマッチングにより顔検出部16で顔検出フルサーチ処理を行うより短い時間で顔を検出したが、顔検出部16で顔検出フルサーチ処理を行うより短い時間で顔を検出する方法は、パターンマッチングに限定されない。
本発明の第1の実施の形態又は第2の実施の形態では、人物の顔が他の物体等により遮蔽されたり、画面外に一時的にフレームアウトしたりした場合に追跡が途切れてしまう可能性がある。追跡が途切れた場合には、実際には同じ人物であったとしても、異なる人物であるとして認識されてしまうという問題がある。
第4の実施の形態は、第3の実施の形態と同様、人物の顔が他の物体等により遮蔽されたり、画面外に一時的にフレームアウトしたりした場合においても、顔の情報を一定期間だけ内部的に保持し、人物の追跡を行う形態である。
Claims (14)
- 被写体を連続して撮像することにより得られた一連の画像を取得する取得手段と、
前記一連の画像のうちの少なくとも最初の画像からトラッキング対象である人物の顔を検出する第1の顔検出手段と、
前記第1の顔検出手段により検出された顔に基づいて、前記一連の画像のうち前記第1の顔検出手段により顔が検出されていない画像から前記第1の顔検出手段により検出された顔と同じ顔を検出する第2の顔検出手段と、
前記第1の顔検出手段及び前記第2の顔検出手段により検出された検出結果をリスト化し、前記一連の画像についての顔の検出結果であるトラッキング結果を生成する生成手段と、
前記生成手段により生成されたトラッキング結果を出力する出力手段と、
を備えたことを特徴とする人物追跡装置。 - 前記第1の顔検出手段及び前記第2の顔検出手段のどちらで顔検出を行うかを各画像毎に決定し、各画像を前記決定した顔検出手段へ入力する処理制御手段を備え、
前記第1の顔検出手段及び前記第2の顔検出手段は、前記処理制御手段により入力された画像から顔を検出することを特徴とする請求項1に記載の人物追跡装置。 - 前記第1の顔検出手段が処理を行っているか否かを判断する第1の判断手段を備え、
前記処理制御手段は、前記第1の判断手段により第1の顔検出手段が処理を行っていないと判断された場合には、前記第1の顔検出手段で顔検出を行うと判断し、前記第1の判断手段により第1の顔検出手段が処理を行っていると判断された場合には、前記第2の顔検出手段で顔検出を行うと判断することを特徴とする請求項2に記載の人物追跡装置。 - 前記第1の顔検出手段は、前記顔と共に当該顔の位置を検出し、
前記第2の顔検出手段は、前記第1の顔検出手段により検出された顔の位置を含む所定の領域に対して顔検出処理を行うことにより、前記第1の顔検出手段により検出された顔と同じ顔を検出することを特徴とする請求項1から3のいずれかに記載の人物追跡装置。 - 前記第1の顔検出手段は、前記顔と共に顔の大きさ、向き及び傾きの少なくとも1つを検出し、
前記第2の顔検出手段は、前記第1の顔検出手段により検出された大きさの顔、向きの顔及び傾きの顔の少なくとも1つに限定して顔検出処理を行うことにより、前記第1の顔検出手段により検出された顔と同じ顔を検出することを特徴とする請求項1から4のいずれかに記載の人物追跡装置。 - 前記第2の顔検出手段は、前記第1の顔検出手段により検出された顔の画像をテンプレートとしてパターンマッチングを行うことにより、前記第1の顔検出手段により検出された顔と同じ顔を検出することを特徴とする請求項1から3のいずれかに記載の人物追跡装置。
- 前記一連の画像のうちの異なる画像から検出された顔が同じ顔か否かを判断する同一顔判断手段を備え、
前記トラッキング結果生成手段は、前記同一顔判断手段により同じ顔と判断された場合には、前記同じ顔の検出結果を関連付けたトラッキング結果を生成することを特徴とする請求項1から6のいずれかに記載の人物追跡装置。 - 前記トラッキング結果生成手段は、前記同一顔判断手段により同じ顔と判断されなかった検出結果を新たな顔としたトラッキング結果を生成することを特徴とする請求項7に記載の人物追跡装置。
- 前記第1の顔検出手段又は前記第2の顔検出手段により前記トラッキング対象である人物の顔が検出されなかったか否かを判断する第2の判断手段を備え、
前記トラッキング結果生成手段は、前記第2の判断手段により顔が検出されなかったと判断された場合には、当該顔が検出されなかったフレームの前のフレームの検出結果を当該顔が検出されなかったフレームの検出結果に追加したものを当該フレームのトラッキング結果とし、
前記同一顔判断手段は、前記トラッキング結果のうち連続する2フレームの検出結果に基づいて同じ顔が検出されたか否かを判断することを特徴とする請求項1から8のいずれかに記載の人物追跡装置。 - 前記第2の判断手段により顔が検出されなかったと判断された場合に、最後に顔が検出されてから所定期間経過しているか否かを判断する第3の判断手段を備え、
前記トラッキング結果生成手段は、前記第2の判断手段により顔が検出されなかったと判断され、かつ前記第3の判断手段より所定期間経過していないと判断された場合には、前記顔が検出されなかったフレームの前のフレームの検出結果を当該顔が検出されなかったフレームの検出結果に追加することを特徴とする請求項9に記載の人物追跡装置。 - 前記トラッキング結果に基づいて、画像から検出された顔を囲む顔検出枠を前記画像に合成した出力画像を前記一連の画像の各画像について生成する出力画像生成手段を備え、
前記出力手段は、前記出力画像生成手段が生成した出力画像を出力することを特徴とする請求項1から10のいずれかに記載の人物追跡装置。 - 前記取得手段が画像を取得してからの経過時間を測定するタイマー手段と、
前記タイマー手段により測定された時間が所定の時間となった場合に前記第1の顔検出手段による顔検出が終了しているか否かを判断する第4の判断手段と、を備え、
前記出力手段は、前記第4の判断手段により顔検出が終了していないと判断された場合には、前記顔検出が終了していないと判断された画像の1フレーム前の画像から生成された出力画像を出力することを特徴とする請求項11に記載の人物追跡装置。 - (a)前記画像から顔を検出する第1の顔検出手段、又は前記第1の顔検出手段により検出された顔に基づいて前記第1の顔検出手段により検出された顔と同じ顔を検出する第2の顔検出手段のどちらで処理をするか判断するステップと、
(b)前記判断するステップにより判断された顔検出手段でトラッキング対象である人物の顔を検出するステップと、
(c)前記人物の顔を検出するステップにより検出された検出結果をトラッキング結果に追加するステップと、
(d)前記(a)〜(c)のステップを、被写体を連続して撮像することにより得られた一連の画像の各画像毎に繰り返し実施するステップと、
を備えたことを特徴とする人物追跡方法。 - 請求項13に記載の人物追跡方法を演算装置に実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009094926A JP5247569B2 (ja) | 2009-04-09 | 2009-04-09 | 人物追跡装置、人物追跡方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009094926A JP5247569B2 (ja) | 2009-04-09 | 2009-04-09 | 人物追跡装置、人物追跡方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010244462A true JP2010244462A (ja) | 2010-10-28 |
JP5247569B2 JP5247569B2 (ja) | 2013-07-24 |
Family
ID=43097382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009094926A Active JP5247569B2 (ja) | 2009-04-09 | 2009-04-09 | 人物追跡装置、人物追跡方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5247569B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012137861A (ja) * | 2010-12-24 | 2012-07-19 | Jvc Kenwood Corp | 映像処理装置および映像処理方法 |
WO2013125876A1 (ko) * | 2012-02-23 | 2013-08-29 | 인텔 코오퍼레이션 | 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
JP2014013617A (ja) * | 2013-10-08 | 2014-01-23 | Toshiba Corp | 映像表示装置及び映像表示方法 |
JP2014027580A (ja) * | 2012-07-30 | 2014-02-06 | Jvc Kenwood Corp | 撮像装置、及び画像処理方法 |
WO2014132537A1 (ja) * | 2013-03-01 | 2014-09-04 | 日本電気株式会社 | 情報処理装置、そのデータ処理方法、およびプログラム |
JP2015203977A (ja) * | 2014-04-14 | 2015-11-16 | キヤノン株式会社 | 画像検索装置及びその制御方法 |
JP2019033430A (ja) * | 2017-08-09 | 2019-02-28 | キヤノン株式会社 | 動画再生装置およびその制御方法、並びにプログラム |
WO2019188392A1 (ja) * | 2018-03-29 | 2019-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び、移動体 |
JPWO2022153946A1 (ja) * | 2021-01-15 | 2022-07-21 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006133946A (ja) * | 2004-11-04 | 2006-05-25 | Fuji Xerox Co Ltd | 動体認識装置 |
JP2008283379A (ja) * | 2007-05-09 | 2008-11-20 | Casio Comput Co Ltd | 撮像装置及びプログラム |
JP2009017135A (ja) * | 2007-07-03 | 2009-01-22 | Canon Inc | 撮像装置、撮像方法、及びプログラム |
-
2009
- 2009-04-09 JP JP2009094926A patent/JP5247569B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006133946A (ja) * | 2004-11-04 | 2006-05-25 | Fuji Xerox Co Ltd | 動体認識装置 |
JP2008283379A (ja) * | 2007-05-09 | 2008-11-20 | Casio Comput Co Ltd | 撮像装置及びプログラム |
JP2009017135A (ja) * | 2007-07-03 | 2009-01-22 | Canon Inc | 撮像装置、撮像方法、及びプログラム |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012137861A (ja) * | 2010-12-24 | 2012-07-19 | Jvc Kenwood Corp | 映像処理装置および映像処理方法 |
WO2013125876A1 (ko) * | 2012-02-23 | 2013-08-29 | 인텔 코오퍼레이션 | 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
US9299161B2 (en) | 2012-02-23 | 2016-03-29 | Intel Corporation | Method and device for head tracking and computer-readable recording medium |
JP2014027580A (ja) * | 2012-07-30 | 2014-02-06 | Jvc Kenwood Corp | 撮像装置、及び画像処理方法 |
WO2014132537A1 (ja) * | 2013-03-01 | 2014-09-04 | 日本電気株式会社 | 情報処理装置、そのデータ処理方法、およびプログラム |
JPWO2014132537A1 (ja) * | 2013-03-01 | 2017-02-02 | 日本電気株式会社 | 情報処理装置、そのデータ処理方法、およびプログラム |
US10140354B2 (en) | 2013-03-01 | 2018-11-27 | Nec Corporation | Information processing device, data processing method therefor, and recording medium |
US11423054B2 (en) | 2013-03-01 | 2022-08-23 | Nec Corporation | Information processing device, data processing method therefor, and recording medium |
JP2014013617A (ja) * | 2013-10-08 | 2014-01-23 | Toshiba Corp | 映像表示装置及び映像表示方法 |
JP2015203977A (ja) * | 2014-04-14 | 2015-11-16 | キヤノン株式会社 | 画像検索装置及びその制御方法 |
JP2019033430A (ja) * | 2017-08-09 | 2019-02-28 | キヤノン株式会社 | 動画再生装置およびその制御方法、並びにプログラム |
WO2019188392A1 (ja) * | 2018-03-29 | 2019-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び、移動体 |
JPWO2022153946A1 (ja) * | 2021-01-15 | 2022-07-21 | ||
WO2022153946A1 (ja) * | 2021-01-15 | 2022-07-21 | 富士フイルム株式会社 | 処理装置、処理方法、及び処理プログラム |
JP7359975B2 (ja) | 2021-01-15 | 2023-10-11 | 富士フイルム株式会社 | 処理装置、処理方法、及び処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5247569B2 (ja) | 2013-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5247569B2 (ja) | 人物追跡装置、人物追跡方法及びプログラム | |
JP6204659B2 (ja) | 映像処理装置及び映像処理方法 | |
KR101457313B1 (ko) | 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품 | |
JP6674584B2 (ja) | 映像監視システム | |
US8503726B2 (en) | Image processing device, object tracking device, and image processing method | |
CN107438173A (zh) | 视频处理装置、视频处理方法和存储介质 | |
US10474876B2 (en) | Image processing apparatus and image processing method | |
JP2010244089A (ja) | 人物検出装置、人物検出方法、及び人物検出プログラム | |
JP6362085B2 (ja) | 画像認識システム、画像認識方法およびプログラム | |
EP2966591B1 (en) | Method and apparatus for identifying salient events by analyzing salient video segments identified by sensor information | |
JP2010211617A (ja) | 撮像装置、動体検知方法、動体検知回路及びプログラム | |
JP2011076255A (ja) | ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム | |
JP2009265732A (ja) | 画像処理装置及びその方法 | |
JPWO2009142098A1 (ja) | 画像処理装置、カメラ、画像処理方法およびプログラム | |
JP2010267030A (ja) | 情報処理装置、情報処理方法 | |
JP5248236B2 (ja) | 画像処理装置および画像処理方法 | |
JP2022117996A (ja) | 情報処理装置、データ生成方法、及びプログラム | |
JP2007164641A (ja) | 人物オブジェクト判定装置及び人物オブジェクト判定プログラム | |
JP2007179224A (ja) | 情報処理装置および方法、並びにプログラム | |
JP2008299834A (ja) | 被写体追跡プログラム、および被写体追跡装置 | |
AU2021204584A1 (en) | Methods, apparatuses, devices and storage media for detecting correlated objects involved in image | |
JP7438690B2 (ja) | 情報処理装置、画像認識方法及び学習モデル生成方法 | |
EP3088059A1 (en) | Analysis device, recording medium, and analysis method | |
JP4449483B2 (ja) | 画像解析装置、および画像解析方法、並びにコンピュータ・プログラム | |
JP4809869B2 (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5247569 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160419 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |