JP2002133423A - 顔画像データベース新規登録装置および記録媒体 - Google Patents
顔画像データベース新規登録装置および記録媒体Info
- Publication number
- JP2002133423A JP2002133423A JP2000319915A JP2000319915A JP2002133423A JP 2002133423 A JP2002133423 A JP 2002133423A JP 2000319915 A JP2000319915 A JP 2000319915A JP 2000319915 A JP2000319915 A JP 2000319915A JP 2002133423 A JP2002133423 A JP 2002133423A
- Authority
- JP
- Japan
- Prior art keywords
- face
- frame
- person
- database
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 顔画像データベース新規登録装置および記録
媒体に関し、新規人物のデータベース登録作業を自動化
する。 【解決手段】 推定部１は入力素材（動画像、静止画像
集合）ＩＮから顔領域を検出し、検出後の各フレーム毎
に、顔の向きＡ１と顔領域における複数の特徴点の位置
を推定する。フレーム選択部３はＧＵＩ４の制御に従っ
て動作し、推定部１により推定された顔の向きデータＡ
１または外部から入力された顔の向きデータＡ２を使用
して、顔の向きが１０度の倍数になるべく近いフレーム
を選択する。ＧＵＩ４は、表示データにしたがって、フ
レーム選択部３により選択されたフレームと推定部１に
より推定されたそのフレームにおける特徴点の位置をデ
ィスプレイに表示させる。このときＧＵＩ４は、目標の
向きを示す標準テンプレートも同時に表示させる。顔特
徴データベース成分計算部５は顔特徴データベース成分
２１を計算する。
媒体に関し、新規人物のデータベース登録作業を自動化
する。 【解決手段】 推定部１は入力素材（動画像、静止画像
集合）ＩＮから顔領域を検出し、検出後の各フレーム毎
に、顔の向きＡ１と顔領域における複数の特徴点の位置
を推定する。フレーム選択部３はＧＵＩ４の制御に従っ
て動作し、推定部１により推定された顔の向きデータＡ
１または外部から入力された顔の向きデータＡ２を使用
して、顔の向きが１０度の倍数になるべく近いフレーム
を選択する。ＧＵＩ４は、表示データにしたがって、フ
レーム選択部３により選択されたフレームと推定部１に
より推定されたそのフレームにおける特徴点の位置をデ
ィスプレイに表示させる。このときＧＵＩ４は、目標の
向きを示す標準テンプレートも同時に表示させる。顔特
徴データベース成分計算部５は顔特徴データベース成分
２１を計算する。
Description
【０００１】
【発明の属する技術分野】本発明は顔画像データベース
新規登録装置および記録媒体に関し、特に、動画像また
は静止画像である入力素材中の人物顔領域を検出・追跡
する技術、顔領域における特徴点追跡や顔の向きを推定
する技術を用いて人物の顔画像データベースおよびその
特徴データベースへの新規登録作業を自動化する顔画像
データベース新規登録装置、および新規人物登録方法の
プログラムをコンピュータにより読み取り可能に記録し
た記録媒体に関する。
新規登録装置および記録媒体に関し、特に、動画像また
は静止画像である入力素材中の人物顔領域を検出・追跡
する技術、顔領域における特徴点追跡や顔の向きを推定
する技術を用いて人物の顔画像データベースおよびその
特徴データベースへの新規登録作業を自動化する顔画像
データベース新規登録装置、および新規人物登録方法の
プログラムをコンピュータにより読み取り可能に記録し
た記録媒体に関する。
【０００２】
【従来の技術】人物顔画像認識技術は業界に普及してい
るが、入場管理・パソコンのスクリーンセーバーのロッ
ク解除などのこれまで実現された応用のほとんどが、撮
像パラメータに何らかの制約条件を有していた。例え
ば、顔の向きが正面に近い必要がある、カメラが固
定されて背景が動かず、顔もほとんど動かない必要があ
る、顔領域の数に制約がある、等の制約条件があっ
た。しかし、任意の映像から認識を行う場合、もっと柔
軟なアプローチが必要である。特に顔の向きが知られて
いないときには、三次元顔や頭のモデル、あるいは多重
の向きを示す二次元画像（ｍｕｌｔｉｐｌｅ−ｖｉｅｗ
ｍｏｄｅｌ：ＭＶＭ）の二つのアプローチが挙げられ
る。
るが、入場管理・パソコンのスクリーンセーバーのロッ
ク解除などのこれまで実現された応用のほとんどが、撮
像パラメータに何らかの制約条件を有していた。例え
ば、顔の向きが正面に近い必要がある、カメラが固
定されて背景が動かず、顔もほとんど動かない必要があ
る、顔領域の数に制約がある、等の制約条件があっ
た。しかし、任意の映像から認識を行う場合、もっと柔
軟なアプローチが必要である。特に顔の向きが知られて
いないときには、三次元顔や頭のモデル、あるいは多重
の向きを示す二次元画像（ｍｕｌｔｉｐｌｅ−ｖｉｅｗ
ｍｏｄｅｌ：ＭＶＭ）の二つのアプローチが挙げられ
る。
【０００３】後者のＭＶＭアプローチによる認識技術と
して、Ｓｉｍｏｎ ＣＬＩＰＰＩＮＧＤＡＬＥ，伊藤崇
之による“動画像の顔検出・追跡・認識への統一された
アプローチ”（電子情報通信学会ＰＲＭＵ９８−２０
０．１９９９年１月）が知られている。ここには、動画
像中の顔を認識するたため、顔の向き、サイズ等変化す
るパラメータを追跡して、人物のＩＤ情報を累積して認
識するプロトタイプシステムの技術概要が紹介されてい
る。以下、本明細書において、当該システムを「ＦＡＶ
ＲＥＴ」と称する。
して、Ｓｉｍｏｎ ＣＬＩＰＰＩＮＧＤＡＬＥ，伊藤崇
之による“動画像の顔検出・追跡・認識への統一された
アプローチ”（電子情報通信学会ＰＲＭＵ９８−２０
０．１９９９年１月）が知られている。ここには、動画
像中の顔を認識するたため、顔の向き、サイズ等変化す
るパラメータを追跡して、人物のＩＤ情報を累積して認
識するプロトタイプシステムの技術概要が紹介されてい
る。以下、本明細書において、当該システムを「ＦＡＶ
ＲＥＴ」と称する。
【０００４】この人物顔画像検出・追跡・認識システム
「ＦＡＶＲＥＴ」は、入力素材に制約条件を必要としな
いという固有の特徴を有しており、具体的には被写体で
ある人物の顔の向きが例えば右横顔から左横顔までの任
意の向きでも検出・追跡が可能であり、固定カメラでな
く背景が動いても認識可能であり、顔領域の数などの制
約条件もない。
「ＦＡＶＲＥＴ」は、入力素材に制約条件を必要としな
いという固有の特徴を有しており、具体的には被写体で
ある人物の顔の向きが例えば右横顔から左横顔までの任
意の向きでも検出・追跡が可能であり、固定カメラでな
く背景が動いても認識可能であり、顔領域の数などの制
約条件もない。
【０００５】
【発明が解決しようとする課題】ＭＶＭシステムが克服
しなければならない問題の一つはデータベース構築であ
り、「ＦＡＶＲＥＴ」の場合、顔の複数の向きを含む顔
画像データベースまたは顔画像特徴データベースに新規
人物を登録する作業に非常に手間がかかるという課題が
あった。
しなければならない問題の一つはデータベース構築であ
り、「ＦＡＶＲＥＴ」の場合、顔の複数の向きを含む顔
画像データベースまたは顔画像特徴データベースに新規
人物を登録する作業に非常に手間がかかるという課題が
あった。
【０００６】「ＦＡＶＲＥＴ」のプロトタイプシステム
の場合、付属の顔特徴データベースを構築するために、
例えば右横顔から左横顔までの、向きが１０度ずつ異な
る複数の画像が必要である。このような映像または静止
画像集合（以下「入力素材」）を入手できたとすると、
以下の手順に従って手動による新規登録作業を行なって
いる。 １．なるべく正確に１０度毎の向きを示す入力素材のフ
レームを選択する。 ２．選択された画像１９枚それぞれに、特徴点（「ＦＡ
ＶＲＥＴ」は現在９点を使用している）の位置をマウス
を使用して指定する。或る特徴点が見えなかった場合、
そのことを入力する。
の場合、付属の顔特徴データベースを構築するために、
例えば右横顔から左横顔までの、向きが１０度ずつ異な
る複数の画像が必要である。このような映像または静止
画像集合（以下「入力素材」）を入手できたとすると、
以下の手順に従って手動による新規登録作業を行なって
いる。 １．なるべく正確に１０度毎の向きを示す入力素材のフ
レームを選択する。 ２．選択された画像１９枚それぞれに、特徴点（「ＦＡ
ＶＲＥＴ」は現在９点を使用している）の位置をマウス
を使用して指定する。或る特徴点が見えなかった場合、
そのことを入力する。
【０００７】手順１では、目視によって顔の向きを判断
することが難しく、正確な選択は困難である。正確に目
標の１０度毎の向きを示し、入力素材フレームと比較可
能なテンプレート画像があれば判断が容易になるが、現
状では選択作業にはまだ手間がかかる。
することが難しく、正確な選択は困難である。正確に目
標の１０度毎の向きを示し、入力素材フレームと比較可
能なテンプレート画像があれば判断が容易になるが、現
状では選択作業にはまだ手間がかかる。
【０００８】手順２は手間がかかることに加え、オペレ
ータにより特徴点の指定場所が微妙に違ってしまう。同
一オペレータが２回作業を繰り返した場合にも、指定場
所が微妙に違ってしまう。また、特徴点の個性が入力順
番により定められた場合、オペレータが入力順番を間違
えるとエラーメッセージ無しでデータに誤りが生じ、そ
の後、誤ったデータをデータベース成分の一つとして追
跡・認識システムに使用すると、システムのパフォーマ
ンスが劣化してしまう。
ータにより特徴点の指定場所が微妙に違ってしまう。同
一オペレータが２回作業を繰り返した場合にも、指定場
所が微妙に違ってしまう。また、特徴点の個性が入力順
番により定められた場合、オペレータが入力順番を間違
えるとエラーメッセージ無しでデータに誤りが生じ、そ
の後、誤ったデータをデータベース成分の一つとして追
跡・認識システムに使用すると、システムのパフォーマ
ンスが劣化してしまう。
【０００９】さらに、手順２を済ませた後で向きが少し
ずれているフレームがあると判断したときは、新たに手
順１と２を繰り返し実行して、そのフレームに対して特
徴点の位置を指定し直す必要があった。
ずれているフレームがあると判断したときは、新たに手
順１と２を繰り返し実行して、そのフレームに対して特
徴点の位置を指定し直す必要があった。
【００１０】本発明の目的は、入力素材の各フレームに
おける顔の向きを自動的に推定することで可能な限り正
確に１０度毎の向きを示すフレームを選択し、そして、
入力素材の各フレームにおける特徴点の位置を自動的に
推定し、当該特徴点をＧＵＩにより表示することで上記
の課題を解決することのできる顔画像データベース新規
登録装置、および新規人物登録方法のプログラムをコン
ピュータにより読み取り可能に記録した記録媒体を提供
することである。
おける顔の向きを自動的に推定することで可能な限り正
確に１０度毎の向きを示すフレームを選択し、そして、
入力素材の各フレームにおける特徴点の位置を自動的に
推定し、当該特徴点をＧＵＩにより表示することで上記
の課題を解決することのできる顔画像データベース新規
登録装置、および新規人物登録方法のプログラムをコン
ピュータにより読み取り可能に記録した記録媒体を提供
することである。
【００１１】
【課題を解決するための手段】上記の目的を達成するた
めに請求項１の発明は、人物の顔画像データベースと顔
特徴データベースに新規人物を登録する顔画像データベ
ース新規登録装置において、入力画像中の人物の顔領域
における複数の特徴点の位置、および前記人物の顔の向
きを推定する推定手段と、前記推定手段により推定され
た顔の向き情報または外部から入力された顔の向き情報
に従って、前記人物の顔が所定の向きを示すフレームを
前記入力画像から選択する選択手段と、前記選択手段に
より選択されたフレームとその関連情報をユーザ命令を
受けて表示させるユーザインタフェース手段と、前記選
択手段により選択された前記フレームにおいて、前記推
定手段により推定された前記複数の特徴点の近傍で前記
人物の顔の特徴量を計測することで、前記入力画像中の
前記人物のデータベース成分を計算する計算手段とを含
む形態の顔画像データベース新規登録装置を実施した。
めに請求項１の発明は、人物の顔画像データベースと顔
特徴データベースに新規人物を登録する顔画像データベ
ース新規登録装置において、入力画像中の人物の顔領域
における複数の特徴点の位置、および前記人物の顔の向
きを推定する推定手段と、前記推定手段により推定され
た顔の向き情報または外部から入力された顔の向き情報
に従って、前記人物の顔が所定の向きを示すフレームを
前記入力画像から選択する選択手段と、前記選択手段に
より選択されたフレームとその関連情報をユーザ命令を
受けて表示させるユーザインタフェース手段と、前記選
択手段により選択された前記フレームにおいて、前記推
定手段により推定された前記複数の特徴点の近傍で前記
人物の顔の特徴量を計測することで、前記入力画像中の
前記人物のデータベース成分を計算する計算手段とを含
む形態の顔画像データベース新規登録装置を実施した。
【００１２】請求項２の発明は、請求項１に記載の顔画
像データベース新規登録装置において、前記推定手段
は、既登録人物のデータベース成分からなる顔データベ
ースを利用して前記入力画像中の前記人物の前記顔領域
を初期検出する初期検出手段と、前記初期検出手段によ
り検出された前記顔領域における前記複数の特徴点の位
置を、前記初期検出を行ったフレームの後の各フレーム
について検索・追跡する特徴点追跡手段と、前記初期検
出手段により検出された前記顔の向きを、初期検出を行
ったフレームの後の各フレームについて追跡する顔の向
き追跡手段とを含む形態の顔画像データベース新規登録
装置を実施した。
像データベース新規登録装置において、前記推定手段
は、既登録人物のデータベース成分からなる顔データベ
ースを利用して前記入力画像中の前記人物の前記顔領域
を初期検出する初期検出手段と、前記初期検出手段によ
り検出された前記顔領域における前記複数の特徴点の位
置を、前記初期検出を行ったフレームの後の各フレーム
について検索・追跡する特徴点追跡手段と、前記初期検
出手段により検出された前記顔の向きを、初期検出を行
ったフレームの後の各フレームについて追跡する顔の向
き追跡手段とを含む形態の顔画像データベース新規登録
装置を実施した。
【００１３】請求項３の発明は、人物の顔画像データベ
ースと顔特徴データベースに新規人物を登録する方法の
プログラムをコンピュータにより読み取り可能に記録し
た記録媒体において、前記プログラムは、入力画像中の
人物の顔領域における複数の特徴点の位置、および前記
人物の顔の向きを推定する推定ステップと、前記推定ス
テップにおいて推定された顔の向き情報または外部から
入力された顔の向き情報に従って、前記人物の顔が所定
の向きを示すフレームを前記入力画像から選択する選択
ステップと、前記選択ステップにおいて選択されたフレ
ームとその関連情報をユーザ命令を受けて表示させるユ
ーザインタフェースステップと、前記選択ステップにお
いて選択された前記フレームにおいて、前記推定ステッ
プにおいて推定された前記複数の特徴点の近傍で前記人
物の顔の特徴量を計測することで、前記入力画像中の前
記人物のデータベース成分を計算する計算ステップとを
含む形態の記録媒体を実施した。
ースと顔特徴データベースに新規人物を登録する方法の
プログラムをコンピュータにより読み取り可能に記録し
た記録媒体において、前記プログラムは、入力画像中の
人物の顔領域における複数の特徴点の位置、および前記
人物の顔の向きを推定する推定ステップと、前記推定ス
テップにおいて推定された顔の向き情報または外部から
入力された顔の向き情報に従って、前記人物の顔が所定
の向きを示すフレームを前記入力画像から選択する選択
ステップと、前記選択ステップにおいて選択されたフレ
ームとその関連情報をユーザ命令を受けて表示させるユ
ーザインタフェースステップと、前記選択ステップにお
いて選択された前記フレームにおいて、前記推定ステッ
プにおいて推定された前記複数の特徴点の近傍で前記人
物の顔の特徴量を計測することで、前記入力画像中の前
記人物のデータベース成分を計算する計算ステップとを
含む形態の記録媒体を実施した。
【００１４】請求項４の発明は、請求項３に記載の記録
媒体において、前記推定ステップは、既登録人物のデー
タベース成分からなる顔データベースを利用して前記入
力画像中の前記人物の前記顔領域を初期検出する初期検
出ステップと、前記初期検出ステップにおいて検出され
た前記顔領域における前記複数の特徴点の位置を、前記
初期検出を行ったフレームの後の各フレームについて検
索・追跡する特徴点追跡ステップと、前記初期検出ステ
ップにおいて検出された前記顔の向きを、初期検出を行
ったフレームの後の各フレームについて追跡する顔の向
き追跡ステップとを含む形態の記録媒体を実施した。
媒体において、前記推定ステップは、既登録人物のデー
タベース成分からなる顔データベースを利用して前記入
力画像中の前記人物の前記顔領域を初期検出する初期検
出ステップと、前記初期検出ステップにおいて検出され
た前記顔領域における前記複数の特徴点の位置を、前記
初期検出を行ったフレームの後の各フレームについて検
索・追跡する特徴点追跡ステップと、前記初期検出ステ
ップにおいて検出された前記顔の向きを、初期検出を行
ったフレームの後の各フレームについて追跡する顔の向
き追跡ステップとを含む形態の記録媒体を実施した。
【００１５】
【発明の実施の形態】図１は、本発明に係る顔画像デー
タベース新規登録装置の一実施形態のハードウエア構成
の概要を示すブロック図である。
タベース新規登録装置の一実施形態のハードウエア構成
の概要を示すブロック図である。
【００１６】本発明に係る顔画像データベース新規登録
装置は専用の装置構成とすることもできるが、例えば、
汎用のパーソナルコンピュータ、ワークステーション等
も使用できる。図１における実施形態の顔画像データベ
ース新規登録装置は、ＣＰＵ６，システムメモリ７，デ
ィスプレイ１２，ハードディスク記憶装置（ＨＤＤ）
８，キーボード１０，マウス１１，入出力インターフェ
ース（Ｉ／Ｏ）９を有する。これらは、システムバス１
３を介して相互に接続されている。認識の対象となる映
像信号は、入出力インターフェース９を介して入力され
る。
装置は専用の装置構成とすることもできるが、例えば、
汎用のパーソナルコンピュータ、ワークステーション等
も使用できる。図１における実施形態の顔画像データベ
ース新規登録装置は、ＣＰＵ６，システムメモリ７，デ
ィスプレイ１２，ハードディスク記憶装置（ＨＤＤ）
８，キーボード１０，マウス１１，入出力インターフェ
ース（Ｉ／Ｏ）９を有する。これらは、システムバス１
３を介して相互に接続されている。認識の対象となる映
像信号は、入出力インターフェース９を介して入力され
る。
【００１７】ＣＰＵ６は、システムメモリ７に格納され
たプログラムに基づき、後述する各処理を含む本実施形
態の装置全体の処理を制御する。システムメモリ７は、
後述する被写体の初期検出、追跡、認識等の処理を行う
際に使用するフレームメモリおよびＣＰＵ６の作業領域
を提供する。このプログラムは、ＣＤ−ＲＯＭドライ
ブ、ＣＤ−ＲＷドライブその他の各種記憶装置（図示せ
ず）によって各種記録媒体からシステムメモリ７にロー
ドして実行することも、これら記録媒体から一旦ハード
ディスク記憶装置８にコピーしてからシステムメモリ７
にロードして実行することもできる。
たプログラムに基づき、後述する各処理を含む本実施形
態の装置全体の処理を制御する。システムメモリ７は、
後述する被写体の初期検出、追跡、認識等の処理を行う
際に使用するフレームメモリおよびＣＰＵ６の作業領域
を提供する。このプログラムは、ＣＤ−ＲＯＭドライ
ブ、ＣＤ−ＲＷドライブその他の各種記憶装置（図示せ
ず）によって各種記録媒体からシステムメモリ７にロー
ドして実行することも、これら記録媒体から一旦ハード
ディスク記憶装置８にコピーしてからシステムメモリ７
にロードして実行することもできる。
【００１８】図２は、本実施形態の装置を用いて実現さ
れる機能を示す機能ブロック図である。上記構成および
機能を備えた本発明に係る顔画像データベース新規登録
装置は、人物顔画像検出・追跡・認識システムである
「ＦＡＶＲＥＴ」が利用する顔特徴データベースの新規
人物登録作業を自動化するものであり、図２の機能は顔
検出・追跡・認識システム「ＦＡＶＲＥＴ」の機能縮小
バージョンを中心技術として実現できる。
れる機能を示す機能ブロック図である。上記構成および
機能を備えた本発明に係る顔画像データベース新規登録
装置は、人物顔画像検出・追跡・認識システムである
「ＦＡＶＲＥＴ」が利用する顔特徴データベースの新規
人物登録作業を自動化するものであり、図２の機能は顔
検出・追跡・認識システム「ＦＡＶＲＥＴ」の機能縮小
バージョンを中心技術として実現できる。
【００１９】すなわち、「ＦＡＶＲＥＴ」の顔認識機能
は使用せずに、顔の向き（頭部の垂直軸に対する回転
角）と特徴点の位置を推定・追跡するモジュールのみに
よる以下に説明するような各処理のプログラムを実行す
ることで、動画像または静止画像集合である入力素材か
ら顔領域を検出し、顔の向きが１０度の倍数に近いフレ
ームを選択し、そこにおける複数の特徴点の位置とそれ
ぞれの近傍で計測した特徴量（すなわちＷａｖｅｌｅｔ
係数）を出力する。この技術は入力素材が持つ時間的連
続性を利用して顔の向きや特徴点の位置を追跡すること
により、各フレーム個別に推定するより精度が高い。
は使用せずに、顔の向き（頭部の垂直軸に対する回転
角）と特徴点の位置を推定・追跡するモジュールのみに
よる以下に説明するような各処理のプログラムを実行す
ることで、動画像または静止画像集合である入力素材か
ら顔領域を検出し、顔の向きが１０度の倍数に近いフレ
ームを選択し、そこにおける複数の特徴点の位置とそれ
ぞれの近傍で計測した特徴量（すなわちＷａｖｅｌｅｔ
係数）を出力する。この技術は入力素材が持つ時間的連
続性を利用して顔の向きや特徴点の位置を追跡すること
により、各フレーム個別に推定するより精度が高い。
【００２０】出力データは「ＦＡＶＲＥＴ」の顔特徴デ
ータベースのデータ形式に準拠し、そのデータベースの
一人分の「データベース成分」として使用することがで
きる。また、このモジュールが推定した入力素材中の顔
の向きと特徴点の位置情報に基づいて、別のモジュール
により向きが１０度の倍数を示すフレームが選択され、
更に別のモジュールによりそこにおける特徴点の位置で
特徴量が計算される仕組になっている。
ータベースのデータ形式に準拠し、そのデータベースの
一人分の「データベース成分」として使用することがで
きる。また、このモジュールが推定した入力素材中の顔
の向きと特徴点の位置情報に基づいて、別のモジュール
により向きが１０度の倍数を示すフレームが選択され、
更に別のモジュールによりそこにおける特徴点の位置で
特徴量が計算される仕組になっている。
【００２１】まず、推定部１は入出力インターフェース
９からの入力素材（動画像または静止画像集合）ＩＮか
ら顔領域を検出する。そして、検出した後の各フレーム
毎に、顔の向きＡ１と顔領域における複数の特徴点の位
置を推定する。この推定は、「ＦＡＶＲＥＴ」の機能縮
小バージョンが提供する顔の向き追跡・特徴点の位置追
跡機能を利用して行なうことができる。推定部１には、
「ＦＡＶＲＥＴ」が推定処理に必要とする付属顔特徴デ
ータベース２が付属している。
９からの入力素材（動画像または静止画像集合）ＩＮか
ら顔領域を検出する。そして、検出した後の各フレーム
毎に、顔の向きＡ１と顔領域における複数の特徴点の位
置を推定する。この推定は、「ＦＡＶＲＥＴ」の機能縮
小バージョンが提供する顔の向き追跡・特徴点の位置追
跡機能を利用して行なうことができる。推定部１には、
「ＦＡＶＲＥＴ」が推定処理に必要とする付属顔特徴デ
ータベース２が付属している。
【００２２】続いて、フレーム選択部３はＧＵＩ４の制
御に従って動作し、推定部１により推定された顔の向き
データＡ１または外部から入力された顔の向きデータＡ
２を使用して、顔の向きが１０度の倍数になるべく近い
フレームを選択する。ＧＵＩ４は新規技術ではないが本
発明に必須の要素であり、ディスプレイ１２に情報を表
示させ、表示を見たユーザからの命令を受けてフレーム
選択部３の制御を行なう。入力素材ＩＮが参照データ
（すなわち正確に１０度毎の顔の向きを示すフレームが
指定されているリファレンス映像または静止画像集合）
であれば推定部１による顔の向きの推定は必要が無く、
フレーム選択部３は参照データ（入力素材ＩＮ）の向き
ラベルＡ２を使用する。
御に従って動作し、推定部１により推定された顔の向き
データＡ１または外部から入力された顔の向きデータＡ
２を使用して、顔の向きが１０度の倍数になるべく近い
フレームを選択する。ＧＵＩ４は新規技術ではないが本
発明に必須の要素であり、ディスプレイ１２に情報を表
示させ、表示を見たユーザからの命令を受けてフレーム
選択部３の制御を行なう。入力素材ＩＮが参照データ
（すなわち正確に１０度毎の顔の向きを示すフレームが
指定されているリファレンス映像または静止画像集合）
であれば推定部１による顔の向きの推定は必要が無く、
フレーム選択部３は参照データ（入力素材ＩＮ）の向き
ラベルＡ２を使用する。
【００２３】続いてＧＵＩ４は、表示データにしたがっ
て、フレーム選択部３により選択されたフレームと推定
部１により推定されたそのフレームにおける特徴点の位
置をディスプレイ１２に表示させる。このときＧＵＩ４
は、目標の向きを示す標準テンプレートもディスプレイ
１２に同時に表示させる。ディスプレイ１２を見たオペ
レータは、フレーム選択部３により選択されたフレーム
が示す顔の向きが目標の向きからずれていると判断した
場合、ＧＵＩ４により標準テンプレートを見ながらマウ
ス１１を用いて手動で入力フレームを進めたり戻したり
して、適当な向きを示すフレームに訂正することができ
る。同様に、推定部１により推定された特徴点の位置が
ずれていると判断した場合、オペレータはＧＵＩ４によ
り表示された特徴点をマウス１１を用いて画面上で手動
により訂正することができる。
て、フレーム選択部３により選択されたフレームと推定
部１により推定されたそのフレームにおける特徴点の位
置をディスプレイ１２に表示させる。このときＧＵＩ４
は、目標の向きを示す標準テンプレートもディスプレイ
１２に同時に表示させる。ディスプレイ１２を見たオペ
レータは、フレーム選択部３により選択されたフレーム
が示す顔の向きが目標の向きからずれていると判断した
場合、ＧＵＩ４により標準テンプレートを見ながらマウ
ス１１を用いて手動で入力フレームを進めたり戻したり
して、適当な向きを示すフレームに訂正することができ
る。同様に、推定部１により推定された特徴点の位置が
ずれていると判断した場合、オペレータはＧＵＩ４によ
り表示された特徴点をマウス１１を用いて画面上で手動
により訂正することができる。
【００２４】なお、入力素材ＩＮが参照データである場
合、その素材中のラベルが付いている１０度毎の向きを
示すフレーム集合とそれぞれのフレームにおける特徴点
の位置をＧＵＩ４のテンプレート集合として設定するこ
とができる。
合、その素材中のラベルが付いている１０度毎の向きを
示すフレーム集合とそれぞれのフレームにおける特徴点
の位置をＧＵＩ４のテンプレート集合として設定するこ
とができる。
【００２５】上記手順により顔の向きと特徴点位置の訂
正作業が終了すると続いて、フレーム選択部３からは、
選択された１０度毎の向きを示すフレーム集合をそのま
ま出力することができ、さらに特徴点データを付けたも
のを顔画像データベース成分２２（すなわち、一人分の
顔画像データベースのデータ）として出力し、ストアす
ることができる。顔画像データベース成分２２は特徴点
の位置が描かれたフレーム集合を画像データベースとし
たもので、「ＦＡＶＲＥＴ」ステムの付属顔特徴データ
ベース２の内容を説明するために役立つ。
正作業が終了すると続いて、フレーム選択部３からは、
選択された１０度毎の向きを示すフレーム集合をそのま
ま出力することができ、さらに特徴点データを付けたも
のを顔画像データベース成分２２（すなわち、一人分の
顔画像データベースのデータ）として出力し、ストアす
ることができる。顔画像データベース成分２２は特徴点
の位置が描かれたフレーム集合を画像データベースとし
たもので、「ＦＡＶＲＥＴ」ステムの付属顔特徴データ
ベース２の内容を説明するために役立つ。
【００２６】一方、顔画像そのものではなく顔画像から
計測された特徴量がデータベース構築に必要な場合、フ
レーム選択部３からのフレームと特徴点データに基づい
て、顔特徴データベース成分計算部５は顔特徴データベ
ース成分２１を計算し、ストアする。顔画像追跡・認識
システム「ＦＡＶＲＥＴ」が必要とする特徴量は、例え
ば、特徴点の位置とそこで計測したＧａｂｏｒ Ｗａｖ
ｅｌｅｔ係数である。
計測された特徴量がデータベース構築に必要な場合、フ
レーム選択部３からのフレームと特徴点データに基づい
て、顔特徴データベース成分計算部５は顔特徴データベ
ース成分２１を計算し、ストアする。顔画像追跡・認識
システム「ＦＡＶＲＥＴ」が必要とする特徴量は、例え
ば、特徴点の位置とそこで計測したＧａｂｏｒ Ｗａｖ
ｅｌｅｔ係数である。
【００２７】
【発明の効果】以上説明した通り本発明によれば、人物
顔画像検出・追跡・認識システム「ＦＡＶＲＥＴ」にお
いて顔画像データベースまたは顔画像特徴データベース
に新規人物を登録する作業を自動化したもので、入力素
材の各フレームにおける顔の向きを自動的に推定するこ
とで可能な限り正確に１０度毎の向きを示すフレームを
選択し、入力素材の各フレームにおける特徴点の位置を
自動的に推定することができる。最終判断はオペレータ
の判断によるが、オペレータが行う最終訂正作業は比較
的少ないので価値がある。それに加え、オペレータの入
力エラーやオペレータ同士の間のシステマティックな違
いも、本発明がデフォルトを提示することにより軽減す
ることができる。
顔画像検出・追跡・認識システム「ＦＡＶＲＥＴ」にお
いて顔画像データベースまたは顔画像特徴データベース
に新規人物を登録する作業を自動化したもので、入力素
材の各フレームにおける顔の向きを自動的に推定するこ
とで可能な限り正確に１０度毎の向きを示すフレームを
選択し、入力素材の各フレームにおける特徴点の位置を
自動的に推定することができる。最終判断はオペレータ
の判断によるが、オペレータが行う最終訂正作業は比較
的少ないので価値がある。それに加え、オペレータの入
力エラーやオペレータ同士の間のシステマティックな違
いも、本発明がデフォルトを提示することにより軽減す
ることができる。
【図１】本発明に係る顔画像データベース新規登録装置
の一実施形態のハードウエア構成の概要を示すブロック
図である。
の一実施形態のハードウエア構成の概要を示すブロック
図である。
【図２】本発明装置を用いて実現される機能の概要を示
す機能ブロック図である。
す機能ブロック図である。
１ 推定部 ２ 付属顔特徴データベース ３ フレーム選択部 ４ ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅ
ｒｆａｃｅ） ５ 顔特徴データベース成分計算部 ６ ＣＰＵ ７ システムメモリ ８ ハードディスク記憶装置（ＨＤＤ） ９ 入出力インターフェース（Ｉ／Ｏ） １０ キーボード １１ マウス １２ ディスプレイ １３ システムバス ２１ 顔特徴データベース成分 ２２ 顔画像データベース成分
ｒｆａｃｅ） ５ 顔特徴データベース成分計算部 ６ ＣＰＵ ７ システムメモリ ８ ハードディスク記憶装置（ＨＤＤ） ９ 入出力インターフェース（Ｉ／Ｏ） １０ キーボード １１ マウス １２ ディスプレイ １３ システムバス ２１ 顔特徴データベース成分 ２２ 顔画像データベース成分
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 BA12 CA07 EA05 EA07 FA02 FA19 GA08 5B057 AA20 CA12 CA16 CB12 CB16 CB19 DA08 DB02 DC05 DC08 5L096 BA20 FA09 FA67 JA11
Claims (4)
- 【請求項１】 人物の顔画像データベースと顔特徴デー
タベースに新規人物を登録する顔画像データベース新規
登録装置において、 入力画像中の人物の顔領域における複数の特徴点の位
置、および前記人物の顔の向きを推定する推定手段と、 前記推定手段により推定された顔の向き情報または外部
から入力された顔の向き情報に従って、前記人物の顔が
所定の向きを示すフレームを前記入力画像から選択する
選択手段と、 前記選択手段により選択されたフレームとその関連情報
をユーザ命令を受けて表示させるユーザインタフェース
手段と、 前記選択手段により選択された前記フレームにおいて、
前記推定手段により推定された前記複数の特徴点の近傍
で前記人物の顔の特徴量を計測することで、前記入力画
像中の前記人物のデータベース成分を計算する計算手段
とを含むことを特徴とする顔画像データベース新規登録
装置。 - 【請求項２】 請求項１に記載の顔画像データベース新
規登録装置において、 前記推定手段は、 既登録人物のデータベース成分からなる顔データベース
を利用して前記入力画像中の前記人物の前記顔領域を初
期検出する初期検出手段と、 前記初期検出手段により検出された前記顔領域における
前記複数の特徴点の位置を、前記初期検出を行ったフレ
ームの後の各フレームについて検索・追跡する特徴点追
跡手段と、 前記初期検出手段により検出された前記顔の向きを、初
期検出を行ったフレームの後の各フレームについて追跡
する顔の向き追跡手段とを含むことを特徴とする顔画像
データベース新規登録装置。 - 【請求項３】 人物の顔画像データベースと顔特徴デー
タベースに新規人物を登録する方法のプログラムをコン
ピュータにより読み取り可能に記録した記録媒体におい
て、 前記プログラムは、 入力画像中の人物の顔領域における複数の特徴点の位
置、および前記人物の顔の向きを推定する推定ステップ
と、 前記推定ステップにおいて推定された顔の向き情報また
は外部から入力された顔の向き情報に従って、前記人物
の顔が所定の向きを示すフレームを前記入力画像から選
択する選択ステップと、 前記選択ステップにおいて選択されたフレームとその関
連情報をユーザ命令を受けて表示させるユーザインタフ
ェースステップと、 前記選択ステップにおいて選択された前記フレームにお
いて、前記推定ステップにおいて推定された前記複数の
特徴点の近傍で前記人物の顔の特徴量を計測すること
で、前記入力画像中の前記人物のデータベース成分を計
算する計算ステップとを含むことを特徴とする記録媒
体。 - 【請求項４】 請求項３に記載の記録媒体において、 前記推定ステップは、 既登録人物のデータベース成分からなる顔データベース
を利用して前記入力画像中の前記人物の前記顔領域を初
期検出する初期検出ステップと、 前記初期検出ステップにおいて検出された前記顔領域に
おける前記複数の特徴点の位置を、前記初期検出を行っ
たフレームの後の各フレームについて検索・追跡する特
徴点追跡ステップと、 前記初期検出ステップにおいて検出された前記顔の向き
を、初期検出を行ったフレームの後の各フレームについ
て追跡する顔の向き追跡ステップとを含むことを特徴と
する記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000319915A JP2002133423A (ja) | 2000-10-19 | 2000-10-19 | 顔画像データベース新規登録装置および記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000319915A JP2002133423A (ja) | 2000-10-19 | 2000-10-19 | 顔画像データベース新規登録装置および記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002133423A true JP2002133423A (ja) | 2002-05-10 |
Family
ID=18798292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000319915A Pending JP2002133423A (ja) | 2000-10-19 | 2000-10-19 | 顔画像データベース新規登録装置および記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002133423A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100478222B1 (ko) * | 2002-06-17 | 2005-03-21 | 전진규 | 영상 데이터의 처리장치 |
| JP2005108196A (ja) * | 2003-09-09 | 2005-04-21 | Fuji Photo Film Co Ltd | 対象物識別装置および方法並びにプログラム |
| JP2006033659A (ja) * | 2004-07-21 | 2006-02-02 | Sony Corp | コンテンツ記録再生装置、コンテンツ記録再生方法及びそのプログラム |
| WO2007105768A1 (ja) | 2006-03-15 | 2007-09-20 | Omron Corporation | 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 |
| JP2010039795A (ja) * | 2008-08-06 | 2010-02-18 | Casio Comput Co Ltd | 認識用データ生成装置及び電子カメラ、認識用データ生成プログラム、並びに認識用データ生成方法 |
| JP2011039869A (ja) * | 2009-08-13 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | 顔画像処理装置およびコンピュータプログラム |
| US7920725B2 (en) | 2003-09-09 | 2011-04-05 | Fujifilm Corporation | Apparatus, method, and program for discriminating subjects |
| US8335354B2 (en) | 2008-09-16 | 2012-12-18 | Kddi Corporation | Apparatus for registering face identification features, method for registering the same, program for registering the same, and recording medium |
| US11380132B2 (en) | 2019-09-13 | 2022-07-05 | Fujitsu Limited | Face image processing apparatus and face image processing method |
-
2000
- 2000-10-19 JP JP2000319915A patent/JP2002133423A/ja active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100478222B1 (ko) * | 2002-06-17 | 2005-03-21 | 전진규 | 영상 데이터의 처리장치 |
| JP4541806B2 (ja) * | 2003-09-09 | 2010-09-08 | 富士フイルム株式会社 | 対象物識別装置および方法並びにプログラム |
| JP2005108196A (ja) * | 2003-09-09 | 2005-04-21 | Fuji Photo Film Co Ltd | 対象物識別装置および方法並びにプログラム |
| US8184870B2 (en) | 2003-09-09 | 2012-05-22 | Fujifilm Corporation | Apparatus, method, and program for discriminating subjects |
| US7920725B2 (en) | 2003-09-09 | 2011-04-05 | Fujifilm Corporation | Apparatus, method, and program for discriminating subjects |
| JP4586446B2 (ja) * | 2004-07-21 | 2010-11-24 | ソニー株式会社 | コンテンツ記録再生装置、コンテンツ記録再生方法及びそのプログラム |
| JP2006033659A (ja) * | 2004-07-21 | 2006-02-02 | Sony Corp | コンテンツ記録再生装置、コンテンツ記録再生方法及びそのプログラム |
| WO2007105768A1 (ja) | 2006-03-15 | 2007-09-20 | Omron Corporation | 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 |
| US8848985B2 (en) | 2006-03-15 | 2014-09-30 | Omron Corporation | Face-image registration device, face-image registration method, face-image registration program, and storage medium |
| JP2010039795A (ja) * | 2008-08-06 | 2010-02-18 | Casio Comput Co Ltd | 認識用データ生成装置及び電子カメラ、認識用データ生成プログラム、並びに認識用データ生成方法 |
| US8335354B2 (en) | 2008-09-16 | 2012-12-18 | Kddi Corporation | Apparatus for registering face identification features, method for registering the same, program for registering the same, and recording medium |
| JP2011039869A (ja) * | 2009-08-13 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | 顔画像処理装置およびコンピュータプログラム |
| US11380132B2 (en) | 2019-09-13 | 2022-07-05 | Fujitsu Limited | Face image processing apparatus and face image processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10964049B2 (en) | Method and device for determining pose of camera | |
| US20200005447A1 (en) | Computer aided rebar measurement and inspection system | |
| US9076059B2 (en) | Key-frame selection for parallel tracking and mapping | |
| US9892516B2 (en) | Three-dimensional coordinate computing apparatus, three-dimensional coordinate computing method, and non-transitory computer readable recording medium having therein program for three-dimensional coordinate computing | |
| US20180204070A1 (en) | Image processing apparatus and image processing method | |
| US10636165B2 (en) | Information processing apparatus, method and non-transitory computer-readable storage medium | |
| US8059888B2 (en) | Semi-automatic plane extrusion for 3D modeling | |
| Tevs et al. | Animation cartography—intrinsic reconstruction of shape and motion | |
| US20240092344A1 (en) | Method and apparatus for detecting parking space and direction and angle thereof, device and medium | |
| Kwon et al. | A geometric particle filter for template-based visual tracking | |
| US6826292B1 (en) | Method and apparatus for tracking moving objects in a sequence of two-dimensional images using a dynamic layered representation | |
| US9756261B2 (en) | Method for synthesizing images and electronic device thereof | |
| KR20200111617A (ko) | 제스처 인식 방법, 장치, 전자 기기 및 저장 매체 | |
| EP3477543A1 (en) | System and method using augmented reality for efficient collection of training data for machine learning | |
| WO2012023593A1 (en) | Position and orientation measurement apparatus, position and orientation measurement method, and storage medium | |
| US20200184697A1 (en) | Image Modification Using Detected Symmetry | |
| JP2002269559A (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
| AU2004285183A1 (en) | Estimation system, estimation method, and estimation program for estimating object state | |
| US20150310617A1 (en) | Display control device and display control method | |
| JP2007042072A (ja) | 追跡装置 | |
| JP2010279023A (ja) | 情報処理装置およびその制御方法 | |
| CN110648363A (zh) | 相机姿态确定方法、装置、存储介质及电子设备 | |
| JP7192143B2 (ja) | オンライン学習を利用した物体追跡のための方法およびシステム | |
| JP2002133423A (ja) | 顔画像データベース新規登録装置および記録媒体 | |
| AU2018282254A1 (en) | System and method for determining a three-dimensional position of a person |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090424 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090424 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090522 |