JP2012033054A - 顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム - Google Patents
顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム Download PDFInfo
- Publication number
- JP2012033054A JP2012033054A JP2010172854A JP2010172854A JP2012033054A JP 2012033054 A JP2012033054 A JP 2012033054A JP 2010172854 A JP2010172854 A JP 2010172854A JP 2010172854 A JP2010172854 A JP 2010172854A JP 2012033054 A JP2012033054 A JP 2012033054A
- Authority
- JP
- Japan
- Prior art keywords
- person
- face
- area
- face image
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【解決手段】人物が含まれる映像を取得する映像取得手段31と、映像から人物領域を検出する人物領域検出手段32と、映像を表示装置21に表示する表示手段42と、人物領域と人物情報の対応づけを受け付ける対応づけ受け付け手段40と、人物領域に人物IDを付与する人物ID付与手段33と、人物領域の人物を追尾する人物追尾手段34と、映像から人物の顔を検出する顔検出手段35と、顔を含む領域の顔画像又は顔画像から求められた識別用特徴量を、人物IDと対応づけてデータベース38に登録する特徴量登録手段37と、を有することを特徴とする顔画像サンプル採取装置100を提供する。
【選択図】図1
Description
図1は、本実施形態の顔画像サンプル採取装置100の概略を説明する図の一例である。図1(a)は例えば会議の映像の1フレームを静止画として表示した図である。
(1)顔画像サンプル採取装置100は、フレームに画像処理を施し、人物領域を検出する。会議のような映像では、撮影される人物は固定であり一度検出された人物領域の人物は容易に追尾することができる。この追尾中の人物が顔画像サンプルの採取中の人物となる。顔画像サンプル採取装置100は、顔画像サンプルの採取を人物毎に行う。
(2)顔画像サンプル採取装置100は人物領域を矩形で囲んだり輝度を変化させるなどして明示し、ユーザが人物領域と人物IDを対応づけるためのUIを提供する。図1(b)では、強調枠などで明示された人物領域と参加者リストをユーザがマウスで選択したり、タッチパネルに表示された人物領域と参加者リストをユーザがタッチすることで、人物領域と人物IDが対応づけられている。
(3)顔画像サンプル採取装置100は、人物領域を追尾して人物領域と人物IDの対応付けを継続する(自動で行う)。したがって、(1)の段階で顔個人識別が困難でも人物IDを付与でき、一度、人物領域と人物IDが対応づけられた後は、同一人物に同一の人物IDが付与される。また、同じフレームに複数の人物が撮影されていても、各人物領域に別々の人物IDが付与されるので、同じフレームに複数の人物領域が検出されても各人物を確実に識別できる。
(4)顔画像サンプル採取装置100は、時間と共に変化するフレームのそれぞれから顔認識することで顔画像サンプルを取得して、顔画像サンプルの位置に基づき顔画像サンプルと人物領域とを対応づけてデータベースに登録する。
図2は、顔画像サンプル採取装置100のハードウェア構成図の一例を示す。顔画像サンプル採取装置100は、表示装置21、計算機22、映像入力装置24、及び、入力装置23を有する。顔画像サンプル採取装置100は、計算機22により制御され、計算機22には表示装置21、映像入力装置24、及び、入力装置23が有線又は無線で通信可能に接続されている。
続いて、いくつかのフローチャート図を用いて顔画像サンプル採取装置100の全体的な処理手順について説明する。図5はフレーム中の人物領域と人物IDを対応付ける手順の一例を示すフローチャート図である。図5の手順はフレーム毎に実行される。
図6は、人物領域への人物IDの付与を説明する図の一例を、図7は、人物領域への人物IDの付与の手順を説明するフローチャート図の一例をそれぞれ示す。
(i)人物の顔位置のヒストグラム・画素のブロック
(ii)人物の首から胸までのヒストグラム・画素のブロック
などを用いる。
上記フローチャート図の変形例を説明する。上記のステップS20では人物領域検出部32が画像処理により人物領域を検出していたが、ユーザによる操作を人物領域の特定に利用することもできる。
人物領域検出部32は、
(ア)指示された位置から半径20ピクセルの円の内部を人物領域とする
(イ)一定フレーム前から顔検知を行い検知した顔の大きさの半径の平均値を求め、指示された位置から平均値のピクセルの円の内部を人物領域とする
(ウ)指示した位置から類似の色(肌色)が続く範囲を人物領域とする
等の方法で人物領域を検出する。
図10は、顔画像サンプルを採取する処理の手順を示すフローチャート図の一例である。顔検知部35は、映像取得部31からフレームを取得する(S110)。顔検知部35は1フレームごとに以下の処理を行う。
追尾の方法は、以下の方法等が知られている。
(ii)ブロックマッチング
パーティクルフィルタは、追尾する対象物のダイナミクスモデルと、対象物の存在を推定する尤度関数を用いた、推定フィルタの一種である。
a)まず、所定数(数百〜数千)のパーティクルをフレームの全体に分散させる。尤度の算出後は重み付けに応じて分散させる。
b)各パーティクルの状態ベクトルにダイナミクスモデルを適用し、パーティクルの次の状態を予測する。状態ベクトルはパーティクルの位置、x方向、y方向の速度ベクトルである。速度ベクトルは2つのフレームのパーティクルの重心位置の差から求めることができる。
c)尤度関数を定義し、各パーティクルの尤度を算出する。ここでは、特徴量であるヒストグラムを利用する。人物追尾部34は、予め人物領域の認識のためにいくつかの種類のテンプレート画像を用意し、各テンプレート画像の正規化されたヒストグラムh(a)を求めておく。また、人物追尾部34は、パーティクルの周囲の所定の領域のピクセル値から正規化されたヒストグラムh(id)を生成する。ヒストグラムの一致度が高い矩形領域は人物領域の近くにあるパーティクルから生成されたものであると推定できる。
ヒストグラムの一致度=Σ√{hi(a)×hi(id)}
と表すことができる。添字の「i」はbinの番号を示すので、この式から各bin毎の高さの積の平方根の合計が求められる。これを各パーティクル毎に求め、重み付け(各パーティクルの尤度で正規化)する。
d)重みが所定値以上のパーティクルが集中した領域が追尾された人物の顔領域である。パーティクル(小さい丸いアイコン)を表示装置21に提示してもよい。
顔領域から顔が検知された場合、顔検知部35は、検知された顔領域がS30で人物IDが付与された、顔画像サンプルを採取中の人物の人物領域から抽出されたか否かを判定する(S160)。顔検知部35は、追尾により得られている現在の人物領域の人物の位置に、検出した顔領域が含まれているか否かに基づき、検知された顔領域が採取中の人物の顔領域か否かを判定する。
個人識別に使用する識別用特徴量は識別方法によって様々である。本願の特徴部ではないが、顔識別には固有顔方式、制約相互部分空間方式、LFA(Lacal Feature Analysis)方式、平均顔方式等がある。また、これらから派生したり組み合わせたりするなどの各種方法が提案されている。
図12は、顔画像サンプルデータベース38に登録された顔画像サンプルを表示した表示例を模式的に示す図の一例である。
22 計算機
23 入力装置
24 映像入力装置
31 映像取得部
32 人物領域検出部
33 人物ID付与部
34 人物追尾部
35 顔検知部
36 顔個人識別部
37 顔画像サンプル登録部
38 顔画像サンプルデータベース
39 特徴量抽出部
40 人物ID付与判断部
100 顔画像サンプル採取装置
Claims (12)
- 人物が含まれる映像を取得する映像取得手段と、
前記映像から人物領域を検出する人物領域検出手段と、
前記映像を表示装置に表示する表示手段と、
前記人物領域と人物情報の対応づけを受け付ける対応づけ受け付け手段と、
前記人物領域に人物IDを付与する人物ID付与手段と、
前記人物領域の人物を追尾する人物追尾手段と、
前記映像から人物の顔を検出する顔検出手段と、
当該顔を含む領域の顔画像又は顔画像から求められた識別用特徴量を、前記人物IDと対応づけてデータベースに登録する特徴量登録手段と、
を有することを特徴とする顔画像サンプル採取装置。 - 前記顔検出手段が検出した顔画像のうち、前記人物ID付与手段が前記人物IDを付与した前記人物領域に含まれない顔画像を顔個人識別する顔個人識別手段を有する、
ことを特徴とする請求項1記載の顔画像サンプル採取装置。 - 前記人物領域検出手段は、前記映像のフレーム全体から前記人物領域を検出する、ことを特徴とする請求項1又は2記載の顔画像サンプル採取装置。
- 前記人物領域検出手段は、入力装置が受け付けたフレーム中の位置情報の周囲を前記人物領域とする、ことを特徴とする請求項1又は2記載の顔画像サンプル採取装置。
- 前記対応づけ受け付け手段は、前記表示装置に表示された人物情報リスト内の前記人物情報及び前記人物領域の選択を受け付け、前記人物領域と前記人物情報とを対応付ける、
ことを特徴とする請求項1〜4いずれか1項記載の顔画像サンプル採取装置。 - 同一の前記人物IDに対応づけて前記データベースに登録された一連の顔画像を、所定のフレームの該人物IDに対応する前記人物領域に関連づけて前記表示装置に表示し、
前記データベースに登録する顔画像の選別を受け付けるサンプル選別手段、
を有することを特徴とする請求項1〜5いずれか1項記載の顔画像サンプル採取装置。 - 前記人物領域検出手段は、前記位置情報の画素の画素値との差異が所定値内の画素値を有する前記位置情報の周囲を前記人物領域とする、
ことを特徴とする請求項4記載の顔画像サンプル採取装置。 - 前記人物領域検出手段は、過去のフレームの前記顔画像の大きさの平均値を算出し、前記位置情報を中心として前記平均値の範囲を前記人物領域とする、
ことを特徴とする請求項4記載の顔画像サンプル採取装置。 - 前記人物追尾手段は、前記人物領域の画素値のヒストグラム又は画素値を特徴量にして、所定の画像処理を適用して前記人物領域の人物を追尾する、
ことを特徴とする請求項1〜8いずれか1項記載の顔画像サンプル採取装置。 - 前記サンプル選別手段は、
前記データベースに登録された一連の顔画像の認識用特徴量に基づき顔画像間の距離情報を算出し、距離情報に応じて顔画像を離間して前記表示装置に表示する、ことを特徴とする請求項6記載の顔画像サンプル採取装置。 - 映像取得手段が、人物が含まれる映像を取得するステップと、
人物領域検出手段が、前記映像から人物領域を検出するステップと、
表示手段が、前記映像を表示装置に表示するステップと、
対応づけ受け付け手段が、前記人物領域と人物情報の対応づけを受け付けるステップと、
人物ID付与手段が、前記人物領域に人物IDを付与するステップと、
人物追尾手段が、前記人物領域の人物を追尾するステップと、
顔検出手段が、前記映像から人物の顔を検出するステップと、
特徴量登録手段が、当該顔を含む領域の顔画像又は顔画像から求められた識別用特徴量を、前記人物IDと対応づけてデータベースに登録するステップと、
を有することを特徴とする顔画像サンプル採取方法。 - コンピュータに、
人物が含まれる映像を取得するステップと、
前記映像から人物領域を検出するステップと、
前記映像を表示装置に表示するステップと、
前記人物領域と人物情報の対応づけを受け付けるステップと、
前記人物領域に人物IDを付与するステップと、
前記人物領域の人物を追尾するステップと、
前記映像から人物の顔を検出するステップと、
当該顔を含む領域の顔画像又は顔画像から求められた識別用特徴量を、前記人物IDと対応づけてデータベースに登録するステップと、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010172854A JP5552946B2 (ja) | 2010-07-30 | 2010-07-30 | 顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010172854A JP5552946B2 (ja) | 2010-07-30 | 2010-07-30 | 顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012033054A true JP2012033054A (ja) | 2012-02-16 |
JP5552946B2 JP5552946B2 (ja) | 2014-07-16 |
Family
ID=45846370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010172854A Expired - Fee Related JP5552946B2 (ja) | 2010-07-30 | 2010-07-30 | 顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5552946B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014021005A1 (ja) * | 2012-07-31 | 2014-02-06 | 日本電気株式会社 | 画像処理システム、画像処理方法及びプログラム |
JP2020017301A (ja) * | 2014-03-31 | 2020-01-30 | 日本電気株式会社 | 画像処理方法、画像処理システムおよび画像処理端末 |
KR102408567B1 (ko) * | 2021-09-28 | 2022-06-14 | 주식회사 넷온 | 영상 내 복수의 대상을 실시간 모자이킹하는 인공지능 영상처리 장치 및 방법 |
JP2022545933A (ja) * | 2019-08-30 | 2022-11-01 | 華為技術有限公司 | 目標ユーザのロック方法および電子デバイス |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0723012A (ja) * | 1993-06-30 | 1995-01-24 | Takahashi Takeshi | 視聴率調査システム |
JP2000339466A (ja) * | 1999-05-31 | 2000-12-08 | Omron Corp | データ保存装置及び顔画像保存装置 |
JP2002157592A (ja) * | 2000-11-16 | 2002-05-31 | Nippon Telegr & Teleph Corp <Ntt> | 人物情報登録方法、装置、人物情報登録プログラムを記録した記録媒体 |
JP2005128774A (ja) * | 2003-10-23 | 2005-05-19 | Seiko Epson Corp | 画像領域抽出装置及び方法 |
JP2006031678A (ja) * | 2004-05-28 | 2006-02-02 | Sony United Kingdom Ltd | 画像処理 |
JP2008199549A (ja) * | 2007-02-15 | 2008-08-28 | Hitachi Ltd | 監視画像処理方法、監視システム及び監視画像処理プログラム |
-
2010
- 2010-07-30 JP JP2010172854A patent/JP5552946B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0723012A (ja) * | 1993-06-30 | 1995-01-24 | Takahashi Takeshi | 視聴率調査システム |
JP2000339466A (ja) * | 1999-05-31 | 2000-12-08 | Omron Corp | データ保存装置及び顔画像保存装置 |
JP2002157592A (ja) * | 2000-11-16 | 2002-05-31 | Nippon Telegr & Teleph Corp <Ntt> | 人物情報登録方法、装置、人物情報登録プログラムを記録した記録媒体 |
JP2005128774A (ja) * | 2003-10-23 | 2005-05-19 | Seiko Epson Corp | 画像領域抽出装置及び方法 |
JP2006031678A (ja) * | 2004-05-28 | 2006-02-02 | Sony United Kingdom Ltd | 画像処理 |
JP2008199549A (ja) * | 2007-02-15 | 2008-08-28 | Hitachi Ltd | 監視画像処理方法、監視システム及び監視画像処理プログラム |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014021005A1 (ja) * | 2012-07-31 | 2014-02-06 | 日本電気株式会社 | 画像処理システム、画像処理方法及びプログラム |
JPWO2014021005A1 (ja) * | 2012-07-31 | 2016-07-21 | 日本電気株式会社 | 画像処理システム、画像処理方法及びプログラム |
US10368010B2 (en) | 2012-07-31 | 2019-07-30 | Nec Corporation | Image processing system, image processing method, and program |
US10554905B2 (en) | 2012-07-31 | 2020-02-04 | Nec Corporation | Image processing system, image processing method, and program |
US10623659B2 (en) | 2012-07-31 | 2020-04-14 | Nec Corporation | Image processing system, image processing method, and program |
US11082634B2 (en) | 2012-07-31 | 2021-08-03 | Nec Corporation | Image processing system, image processing method, and program |
JP2020017301A (ja) * | 2014-03-31 | 2020-01-30 | 日本電気株式会社 | 画像処理方法、画像処理システムおよび画像処理端末 |
US11100691B2 (en) | 2014-03-31 | 2021-08-24 | Nec Corporation | Image processing system, image processing method and program, and device |
US11798211B2 (en) | 2014-03-31 | 2023-10-24 | Nec Corporation | Image processing system, image processing method and program, and device |
JP2022545933A (ja) * | 2019-08-30 | 2022-11-01 | 華為技術有限公司 | 目標ユーザのロック方法および電子デバイス |
JP7341324B2 (ja) | 2019-08-30 | 2023-09-08 | 華為技術有限公司 | 目標ユーザのロック方法および電子デバイス |
KR102408567B1 (ko) * | 2021-09-28 | 2022-06-14 | 주식회사 넷온 | 영상 내 복수의 대상을 실시간 모자이킹하는 인공지능 영상처리 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP5552946B2 (ja) | 2014-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2022252799B2 (en) | System and method for appearance search | |
CN108334848B (zh) | 一种基于生成对抗网络的微小人脸识别方法 | |
JP6013241B2 (ja) | 人物認識装置、及び方法 | |
US9025864B2 (en) | Image clustering using a personal clothing model | |
WO2019023921A1 (zh) | 一种手势识别方法、装置及设备 | |
Avgerinakis et al. | Recognition of activities of daily living for smart home environments | |
EP3224809A1 (en) | Fast object tracking framework for sports video recognition | |
WO2019033569A1 (zh) | 眼球动作分析方法、装置及存储介质 | |
JP2016072964A (ja) | 被写体再識別のためのシステム及び方法 | |
KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
JP2008146539A (ja) | 顔認証装置 | |
CN105335691A (zh) | 笑脸识别鼓励系统 | |
WO2019033570A1 (zh) | 嘴唇动作分析方法、装置及存储介质 | |
CN103996046A (zh) | 基于多视觉特征融合的人员识别方法 | |
CN111209818A (zh) | 视频个体识别方法、系统、设备及可读存储介质 | |
JP5552946B2 (ja) | 顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム | |
Khryashchev et al. | Age estimation from face images: challenging problem for audience measurement systems | |
JP2006293720A (ja) | 顔検出装置、顔検出方法、及び顔検出プログラム | |
Arunnehru et al. | Difference intensity distance group pattern for recognizing actions in video using support vector machines | |
JP6467994B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
CN105760881A (zh) | 基于Haar分类器方法的人脸建模检测方法 | |
JP4838272B2 (ja) | 映像インデキシング装置,映像インデキシング方法,映像インデキシングプログラムおよびその記録媒体 | |
Singh et al. | Generic action recognition from egocentric videos | |
Hbali et al. | Object detection based on HOG features: Faces and dual-eyes augmented reality | |
Zhang et al. | Human interaction recognition in the wild: analyzing trajectory clustering from multiple-instance-learning perspective |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130523 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140121 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140513 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5552946 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |