JP2002189724A - 画像データ検索装置 - Google Patents
画像データ検索装置Info
- Publication number
- JP2002189724A JP2002189724A JP2000387644A JP2000387644A JP2002189724A JP 2002189724 A JP2002189724 A JP 2002189724A JP 2000387644 A JP2000387644 A JP 2000387644A JP 2000387644 A JP2000387644 A JP 2000387644A JP 2002189724 A JP2002189724 A JP 2002189724A
- Authority
- JP
- Japan
- Prior art keywords
- face image
- image
- face
- unit
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 顔画像を用いて画像データベース部から所望
の画像を検索する。 【解決手段】 多数の入力画像を蓄積する原画像データ
ベース部２０と、多数の入力画像中にそれぞれ顔画像領
域があるか否かを検出し、検出した各顔画像領域内に存
在する各顔画像の特徴量を抽出する顔画像領域検出／顔
画像特徴量抽出手段３０，４０と、顔画像領域検出／顔
画像特徴量抽出手段で抽出した各顔画像の特徴量を蓄積
する顔画像特徴量データベース部５０と、検索対象顔画
像を指定する顔画像指定用検索キー部６０と、顔画像指
定用検索キー部で指定した検索対象顔画像の特徴量と顔
画像特徴量データベース部に蓄積した各顔画像の特徴量
との間で相関を求め、相関の高い顔画像を得る顔画像照
合部７０と、顔画像照合部で得た相関の高い顔画像を含
む画像を原画像データベース部から検索して表示する検
索結果表示部８０とを具備した。
の画像を検索する。 【解決手段】 多数の入力画像を蓄積する原画像データ
ベース部２０と、多数の入力画像中にそれぞれ顔画像領
域があるか否かを検出し、検出した各顔画像領域内に存
在する各顔画像の特徴量を抽出する顔画像領域検出／顔
画像特徴量抽出手段３０，４０と、顔画像領域検出／顔
画像特徴量抽出手段で抽出した各顔画像の特徴量を蓄積
する顔画像特徴量データベース部５０と、検索対象顔画
像を指定する顔画像指定用検索キー部６０と、顔画像指
定用検索キー部で指定した検索対象顔画像の特徴量と顔
画像特徴量データベース部に蓄積した各顔画像の特徴量
との間で相関を求め、相関の高い顔画像を得る顔画像照
合部７０と、顔画像照合部で得た相関の高い顔画像を含
む画像を原画像データベース部から検索して表示する検
索結果表示部８０とを具備した。
Description
【０００１】
【発明の属する技術分野】本発明は、多数の入力画像を
蓄積する原画像データベース部と、多数の入力画像から
それぞれ抽出した各顔画像の特徴量を蓄積する顔画像特
徴量データベース部とを備え、顔画像指定用検索キー部
で指定した検索対象顔画像に対して顔画像特徴量データ
ベース部から相関の高い顔画像を得て、相関の高い顔画
像を含む画像を原画像データベース部から検索できるよ
うに構成した画像データ検索装置に関するものである。
蓄積する原画像データベース部と、多数の入力画像から
それぞれ抽出した各顔画像の特徴量を蓄積する顔画像特
徴量データベース部とを備え、顔画像指定用検索キー部
で指定した検索対象顔画像に対して顔画像特徴量データ
ベース部から相関の高い顔画像を得て、相関の高い顔画
像を含む画像を原画像データベース部から検索できるよ
うに構成した画像データ検索装置に関するものである。
【０００２】
【従来の技術】最近、電子スチルカメラ，ビデオカメラ
などで撮影したスチル画像を、ディジタル画像データと
してパソコン上に保存するための画像データベースの需
要が増大している。また、サーバー上にデータベースを
構築してユーザーにインターネットを通して提供するビ
ジネスも行われるようになっている。
などで撮影したスチル画像を、ディジタル画像データと
してパソコン上に保存するための画像データベースの需
要が増大している。また、サーバー上にデータベースを
構築してユーザーにインターネットを通して提供するビ
ジネスも行われるようになっている。
【０００３】一般的に、個人が撮影したスチル画像で
は、人物を中心に撮影したものが多いので、画像データ
ベース上において撮影したスチル画像中の人物を検索対
象にできれば大変便利である。
は、人物を中心に撮影したものが多いので、画像データ
ベース上において撮影したスチル画像中の人物を検索対
象にできれば大変便利である。
【０００４】例えば、特開２０００−３０６０９５号公
報には、入力画像と登録画像の撮影環境、条件等が異な
る場合においても高精度な照合処理を維持することがで
きる画像照合・検索システムが開示されている。
報には、入力画像と登録画像の撮影環境、条件等が異な
る場合においても高精度な照合処理を維持することがで
きる画像照合・検索システムが開示されている。
【０００５】図６は従来の画像照合・検索システムを説
明するための構成図である。図６に示した従来の画像照
合・検索システム１００は、上記した特開２０００−３
０６０９５号公報に開示されているものであり、ここで
は簡略に説明する。
明するための構成図である。図６に示した従来の画像照
合・検索システム１００は、上記した特開２０００−３
０６０９５号公報に開示されているものであり、ここで
は簡略に説明する。
【０００６】図６に示した如く、従来の画像照合・検索
システム１００は、大別して、画像入力部１１０と、入
力画像環境対象推定処理部１２０と、照合画像生成処理
部１３０と、登録画像データベース１４０と、画像照合
処理部１５０と、ユーザーインタフェース部１６０とを
備えている。
システム１００は、大別して、画像入力部１１０と、入
力画像環境対象推定処理部１２０と、照合画像生成処理
部１３０と、登録画像データベース１４０と、画像照合
処理部１５０と、ユーザーインタフェース部１６０とを
備えている。
【０００７】この画像照合・検索システム１００では、
予め利用者の登録画像を登録画像データベース１４０に
登録しておく。認証処理では、画像入力部１１０のカメ
ラ１１１より利用者の顔画像を撮影し、且つ、撮影時に
センサ１１２により関知した各種情報を環境パラメー
タ，対象状態パラメータの解析・推定に利用する。入力
画像環境対象推定処理部１２０は顔画像を解析し、環境
パラメータ，対象状態パラメータを推定する。例えば、
照明条件を示す照明パラメータ，撮影方向，（立ち位置
に依存する）顔サイズ等を示すポジションパラメータ，
眼鏡等の付随物の有無を示す付随物パラメータ，表情パ
ラメータ等を推定する。照合画像生成処理部１３０は登
録画像データベース１４０から登録画像を取り出し、入
力画像の推定したパラメータ値を目標としてパラメータ
値を調整して照合画像を生成する。画像照合処理部１５
０は照合画像と登録画像を比較照合し、照合した結果を
ユーザーインタフェース部１６０内の表示装置１６１で
表示する。尚、ユーザーインタフェース部１６０内の入
力装置１６２はデータの入出力に利用される。
予め利用者の登録画像を登録画像データベース１４０に
登録しておく。認証処理では、画像入力部１１０のカメ
ラ１１１より利用者の顔画像を撮影し、且つ、撮影時に
センサ１１２により関知した各種情報を環境パラメー
タ，対象状態パラメータの解析・推定に利用する。入力
画像環境対象推定処理部１２０は顔画像を解析し、環境
パラメータ，対象状態パラメータを推定する。例えば、
照明条件を示す照明パラメータ，撮影方向，（立ち位置
に依存する）顔サイズ等を示すポジションパラメータ，
眼鏡等の付随物の有無を示す付随物パラメータ，表情パ
ラメータ等を推定する。照合画像生成処理部１３０は登
録画像データベース１４０から登録画像を取り出し、入
力画像の推定したパラメータ値を目標としてパラメータ
値を調整して照合画像を生成する。画像照合処理部１５
０は照合画像と登録画像を比較照合し、照合した結果を
ユーザーインタフェース部１６０内の表示装置１６１で
表示する。尚、ユーザーインタフェース部１６０内の入
力装置１６２はデータの入出力に利用される。
【０００８】
【発明が解決しようとする課題】ところで、上記した従
来の画像照合・検索システム１００では、予め利用者の
顔画像を登録画像データベース１４０に登録しているた
め、登録した特定者が日常的に利用する機関とか、装置
への照合に適しており、例えば、従来、暗証番号，パス
ワード，ＩＤカードなどを用いていた金融機関の現金自
動処理システムの利用者認証、パソコン通信やインター
ネットヘのログインの利用者認証を、顔画像で代用する
ことが可能になるものの、登録画像データベース１４０
は利用者の顔画像のみを蓄積しているために、画像照合
・検索システム１００の使用範囲が限定されてしまう。
来の画像照合・検索システム１００では、予め利用者の
顔画像を登録画像データベース１４０に登録しているた
め、登録した特定者が日常的に利用する機関とか、装置
への照合に適しており、例えば、従来、暗証番号，パス
ワード，ＩＤカードなどを用いていた金融機関の現金自
動処理システムの利用者認証、パソコン通信やインター
ネットヘのログインの利用者認証を、顔画像で代用する
ことが可能になるものの、登録画像データベース１４０
は利用者の顔画像のみを蓄積しているために、画像照合
・検索システム１００の使用範囲が限定されてしまう。
【０００９】一方、前述したように、画像データベース
は多数の画像データを蓄積できるので、ここに蓄積した
画像データを用いて広範囲の使用目的を設定できるが、
その際に画像データ中に存在する顔画像を用いて多数の
画像データから所望の画像データを検索できれば大変便
利であり、そこで、上記した従来の画像照合・検索シス
テム１００の技術的思想を一部適用して、顔画像を用い
て画像データベースから所望の画像データを検索できる
画像データ検索装置が望まれている。
は多数の画像データを蓄積できるので、ここに蓄積した
画像データを用いて広範囲の使用目的を設定できるが、
その際に画像データ中に存在する顔画像を用いて多数の
画像データから所望の画像データを検索できれば大変便
利であり、そこで、上記した従来の画像照合・検索シス
テム１００の技術的思想を一部適用して、顔画像を用い
て画像データベースから所望の画像データを検索できる
画像データ検索装置が望まれている。
【００１０】
【課題を解決するための手段】本発明は上記課題に鑑み
てなされたものであり、第１の発明は、多数の入力画像
を蓄積する原画像データベース部と、前記多数の入力画
像中にそれぞれ顔画像領域があるか否かを検出し、検出
した各顔画像領域内に存在する各顔画像の特徴量を抽出
する顔画像領域検出／顔画像特徴量抽出部と、前記顔画
像領域検出／顔画像特徴量抽出部で抽出した各顔画像の
特徴量を蓄積する顔画像特徴量データベース部と、検索
対象顔画像を指定する顔画像指定用検索キー部と、前記
顔画像指定用検索キー部で指定した前記検索対象顔画像
の特徴量と前記顔画像特徴量データベース部に蓄積した
各顔画像の特徴量との間で相関を求めて、該検索対象顔
画像に対して該顔画像特徴量データベース部から相関の
高い顔画像を得る顔画像照合部と、前記顔画像照合部で
得た相関の高い顔画像を含む画像を前記原画像データベ
ース部から検索して表示する検索結果表示部とを具備し
たことを特徴とする画像データ検索装置である。
てなされたものであり、第１の発明は、多数の入力画像
を蓄積する原画像データベース部と、前記多数の入力画
像中にそれぞれ顔画像領域があるか否かを検出し、検出
した各顔画像領域内に存在する各顔画像の特徴量を抽出
する顔画像領域検出／顔画像特徴量抽出部と、前記顔画
像領域検出／顔画像特徴量抽出部で抽出した各顔画像の
特徴量を蓄積する顔画像特徴量データベース部と、検索
対象顔画像を指定する顔画像指定用検索キー部と、前記
顔画像指定用検索キー部で指定した前記検索対象顔画像
の特徴量と前記顔画像特徴量データベース部に蓄積した
各顔画像の特徴量との間で相関を求めて、該検索対象顔
画像に対して該顔画像特徴量データベース部から相関の
高い顔画像を得る顔画像照合部と、前記顔画像照合部で
得た相関の高い顔画像を含む画像を前記原画像データベ
ース部から検索して表示する検索結果表示部とを具備し
たことを特徴とする画像データ検索装置である。
【００１１】また、第２の発明は、上記した第１の発明
の画像データ検索装置において、前記顔画像領域検出／
顔画像特徴量抽出部は、予め求めておいた確率密度関数
を用いて前記入力画像内で肌色である確率を求める手段
と、予め求めておいた顔画像領域を示す第１部分空間及
び予め求めておいた非顔画像領域を示す第２部分空間へ
の各射影成分の大きさを求める手段とから前記入力画像
内の前記顔画像領域を抽出することを特徴とする画像デ
ータ検索装置である。
の画像データ検索装置において、前記顔画像領域検出／
顔画像特徴量抽出部は、予め求めておいた確率密度関数
を用いて前記入力画像内で肌色である確率を求める手段
と、予め求めておいた顔画像領域を示す第１部分空間及
び予め求めておいた非顔画像領域を示す第２部分空間へ
の各射影成分の大きさを求める手段とから前記入力画像
内の前記顔画像領域を抽出することを特徴とする画像デ
ータ検索装置である。
【００１２】
【発明の実施の形態】以下に本発明に係る画像データ検
索装置の一実施例を図１乃至図５を参照して詳細に説明
する。
索装置の一実施例を図１乃至図５を参照して詳細に説明
する。
【００１３】図１は本発明に係る画像データ検索装置の
全体構成を示した構成図、図２は図１に示した顔画像領
域検出部を説明するためのブロック図、図３は図１に示
した顔画像特徴量抽出部を説明するためのブロック図、
図４は図１に示した顔画像指定用検索キー部の動作を説
明するための図、図５は図１に示した検索結果表示部の
動作を説明するための図である。
全体構成を示した構成図、図２は図１に示した顔画像領
域検出部を説明するためのブロック図、図３は図１に示
した顔画像特徴量抽出部を説明するためのブロック図、
図４は図１に示した顔画像指定用検索キー部の動作を説
明するための図、図５は図１に示した検索結果表示部の
動作を説明するための図である。
【００１４】図１に示した如く、本発明に係る画像デー
タ検索装置１０は、多数の入力画像を蓄積する原画像デ
ータベース部２０と、多数の入力画像中にそれぞれ顔画
像領域があるか否かを検出すると共に、検出した各顔画
像領域内に存在する各顔画像の位置及び各顔画像の向き
を出力する顔画像領域検出部３０と、顔画像領域検出部
３０で検出した各顔画像領域内に存在する各顔画像の個
人的特徴量をそれぞれ抽出する顔画像特徴量抽出部４０
と、顔画像領域検出部３０から出力された各顔画像の位
置及び各顔画像の向きと顔画像特徴量抽出部４０で抽出
した各顔画像の個人的特徴量とを蓄積する顔画像特徴量
データベース部５０と、検索対象顔画像を指定する顔画
像指定用検索キー部６０と、顔画像指定用検索キー部６
０で指定した検索対象顔画像の特徴量と顔画像特徴量デ
ータベース部５０に蓄えられている各顔画像の特徴量と
の間で相関を求めて、検索対象顔画像に対して顔画像特
徴量データベース部５０から相関の高い顔画像を得る顔
画像照合部７０と、顔画像照合部７０で得た相関の高い
顔画像を含む画像を原画像データベース部２０から検索
して表示する検索結果表示部８０とから概略構成されて
いる。
タ検索装置１０は、多数の入力画像を蓄積する原画像デ
ータベース部２０と、多数の入力画像中にそれぞれ顔画
像領域があるか否かを検出すると共に、検出した各顔画
像領域内に存在する各顔画像の位置及び各顔画像の向き
を出力する顔画像領域検出部３０と、顔画像領域検出部
３０で検出した各顔画像領域内に存在する各顔画像の個
人的特徴量をそれぞれ抽出する顔画像特徴量抽出部４０
と、顔画像領域検出部３０から出力された各顔画像の位
置及び各顔画像の向きと顔画像特徴量抽出部４０で抽出
した各顔画像の個人的特徴量とを蓄積する顔画像特徴量
データベース部５０と、検索対象顔画像を指定する顔画
像指定用検索キー部６０と、顔画像指定用検索キー部６
０で指定した検索対象顔画像の特徴量と顔画像特徴量デ
ータベース部５０に蓄えられている各顔画像の特徴量と
の間で相関を求めて、検索対象顔画像に対して顔画像特
徴量データベース部５０から相関の高い顔画像を得る顔
画像照合部７０と、顔画像照合部７０で得た相関の高い
顔画像を含む画像を原画像データベース部２０から検索
して表示する検索結果表示部８０とから概略構成されて
いる。
【００１５】尚、上記構成による画像データ検索装置１
０において、顔画像領域検出部３０と顔画像特徴量抽出
部４０とを合体させて顔画像領域検出／顔画像特徴量抽
出部としても同じである。
０において、顔画像領域検出部３０と顔画像特徴量抽出
部４０とを合体させて顔画像領域検出／顔画像特徴量抽
出部としても同じである。
【００１６】まず、原画像データベース部２０では、多
数の入力画像に対して、撮影日時、撮影場所など各種の
撮影データと、蓄積時の蓄積番号とをそれぞ付与して蓄
積しており、また、新たに登録した入力画像に対しては
その都度蓄積している。この際、入力画像は、画像圧縮
を施した状態で蓄積するか、又は、画像圧縮をしないで
入力状態のままで蓄積するかのいずれでも良い。
数の入力画像に対して、撮影日時、撮影場所など各種の
撮影データと、蓄積時の蓄積番号とをそれぞ付与して蓄
積しており、また、新たに登録した入力画像に対しては
その都度蓄積している。この際、入力画像は、画像圧縮
を施した状態で蓄積するか、又は、画像圧縮をしないで
入力状態のままで蓄積するかのいずれでも良い。
【００１７】次に、顔画像領域検出部３０では、入力画
像が人物を含んでいるとは限らないために、入力画像中
に顔画像領域があるか否かを検出して、入力画像中に顔
画像領域が存在した場合にはここで顔画像領域を検出し
ている。
像が人物を含んでいるとは限らないために、入力画像中
に顔画像領域があるか否かを検出して、入力画像中に顔
画像領域が存在した場合にはここで顔画像領域を検出し
ている。
【００１８】上記した顔画像領域検出部３０をより具体
的に説明すると、図２に示したように、肌色確率演算部
３１は、確率密度関数算出部３２で複数のサンプル用顔
画像により予め求めておいた確率密度関数３２ａを用い
て、入力画像に対して肌色である確率を演算して、この
結果を顔画像領域判断部３６に出力している。
的に説明すると、図２に示したように、肌色確率演算部
３１は、確率密度関数算出部３２で複数のサンプル用顔
画像により予め求めておいた確率密度関数３２ａを用い
て、入力画像に対して肌色である確率を演算して、この
結果を顔画像領域判断部３６に出力している。
【００１９】この際、確率密度関数算出部３２は、ＥＭ
（Ｅｘｐｅｃｔａｔｉｏｎ ａｎｄＭａｘｉｍｉｚａｔ
ｉｏｎ）アルゴリズムを用いて人間の顔の皮膚の色を予
め学習して、混合正規分布からなる確率密度関数３２ａ
を求めている。即ち、予め複数のサンプル用顔画像に対
して肌色部分のみを取り出して、各顔画像の画素に対し
て例えば色相及び彩度の出現回数をカウントし、色相及
び彩度の度数分布が得られる。そして、顔画像に対する
色相及び彩度の度数分布を得て、この色相及び彩度のバ
ラツキが正規分布に従っていると仮定した上で、混合正
規分布からなる確率密度関数３２ａを求めている。尚、
ＥＭアルゴリズムは、観測されない隠れ変数がある場合
に、最尤推定量を得ることを目的とした逐次的手法であ
る。
（Ｅｘｐｅｃｔａｔｉｏｎ ａｎｄＭａｘｉｍｉｚａｔ
ｉｏｎ）アルゴリズムを用いて人間の顔の皮膚の色を予
め学習して、混合正規分布からなる確率密度関数３２ａ
を求めている。即ち、予め複数のサンプル用顔画像に対
して肌色部分のみを取り出して、各顔画像の画素に対し
て例えば色相及び彩度の出現回数をカウントし、色相及
び彩度の度数分布が得られる。そして、顔画像に対する
色相及び彩度の度数分布を得て、この色相及び彩度のバ
ラツキが正規分布に従っていると仮定した上で、混合正
規分布からなる確率密度関数３２ａを求めている。尚、
ＥＭアルゴリズムは、観測されない隠れ変数がある場合
に、最尤推定量を得ることを目的とした逐次的手法であ
る。
【００２０】また、部分空間射影成分演算部３３は、第
１部分空間算出部３４で複数のサンプル用画像により予
め求めておいた顔画像領域を示す複数の第１部分空間及
び第２部分空間算出部３５で複数のサンプル用画像によ
り予め求めておいた非顔画像領域を示す第２部分空間を
用いて、各部分空間への各射影成分の大きさをそれぞれ
演算して、この結果を顔画像領域判断部３６に出力して
いる。
１部分空間算出部３４で複数のサンプル用画像により予
め求めておいた顔画像領域を示す複数の第１部分空間及
び第２部分空間算出部３５で複数のサンプル用画像によ
り予め求めておいた非顔画像領域を示す第２部分空間を
用いて、各部分空間への各射影成分の大きさをそれぞれ
演算して、この結果を顔画像領域判断部３６に出力して
いる。
【００２１】この際、第１，第２部分空間算出部３４，
３５は、予め複数のサンプル用画像に対してそれぞ同じ
向きを持つ顔画像から構成される集合による複数の第１
部分空間と、顔画像でない画像（非顔画像）から構成さ
れる集合による第２部分空間とに画像パターンのクラス
タ化を行っている。
３５は、予め複数のサンプル用画像に対してそれぞ同じ
向きを持つ顔画像から構成される集合による複数の第１
部分空間と、顔画像でない画像（非顔画像）から構成さ
れる集合による第２部分空間とに画像パターンのクラス
タ化を行っている。
【００２２】ここで、サンプル用画像はｎ個の画素数を
有し、ｎ画素の輝度値を要素とするｎ次元ベクトルＮで
表現する。一方、各部分空間の次元をｘ（但し、ｘ＜
ｎ）とすると、各部分空間はｘ個のＮ次元ベクトルの基
底Ａｉ（ｉ＝１，２，…，ｘ），Ｂｉ（ｉ＝１，２，
…，ｘ），Ｃｉ（ｉ＝１，２，…，ｘ），……でそれぞ
れ構成される。
有し、ｎ画素の輝度値を要素とするｎ次元ベクトルＮで
表現する。一方、各部分空間の次元をｘ（但し、ｘ＜
ｎ）とすると、各部分空間はｘ個のＮ次元ベクトルの基
底Ａｉ（ｉ＝１，２，…，ｘ），Ｂｉ（ｉ＝１，２，
…，ｘ），Ｃｉ（ｉ＝１，２，…，ｘ），……でそれぞ
れ構成される。
【００２３】従って、各部分空間の各射影成分の大きさ
は下記する［数１］により求めることができる。
は下記する［数１］により求めることができる。
【００２４】
【数１】 尚、第２部分空間は顔画像でない画像を一括して処理し
ているが、これに限ることなく、複数の第２部分空間で
構成して処理しても構わない。
ているが、これに限ることなく、複数の第２部分空間で
構成して処理しても構わない。
【００２５】更に、顔画像領域判断部３６は、肌色確率
演算部３１で演算した肌色である確率が予め設定された
閾値より高く、且つ、部分空間射影成分演算部３３で演
算した顔画像から構成される集合による複数の第１部分
空間への各射影成分のうちで最も大きい値（最大値）が
閾値以上であり、更に、第２部分空間への射影成分より
大きい領域を顔画像領域と判断している。この際、顔画
像領域内の画像顔の向きは最も射影成分が大きかった第
１部分空間に対応する集合の顔画像の向きを用いること
にすることで、顔画像の位置、顔画像の向きが得られ
る。
演算部３１で演算した肌色である確率が予め設定された
閾値より高く、且つ、部分空間射影成分演算部３３で演
算した顔画像から構成される集合による複数の第１部分
空間への各射影成分のうちで最も大きい値（最大値）が
閾値以上であり、更に、第２部分空間への射影成分より
大きい領域を顔画像領域と判断している。この際、顔画
像領域内の画像顔の向きは最も射影成分が大きかった第
１部分空間に対応する集合の顔画像の向きを用いること
にすることで、顔画像の位置、顔画像の向きが得られ
る。
【００２６】そして、顔画像領域検出部３０で検出した
顔画像領域内の顔画像は顔画像特徴量抽出部４０に出力
されると共に、顔画像領域検出部３０で得られた顔画像
の位置、顔画像の向きは、各顔画像の全体的な特徴量を
示すものであり、これらの顔画像の位置、顔画像の向き
は、入力画像と対応する蓄積番号を付与して顔画像特徴
量データベース部５０に蓄積される。
顔画像領域内の顔画像は顔画像特徴量抽出部４０に出力
されると共に、顔画像領域検出部３０で得られた顔画像
の位置、顔画像の向きは、各顔画像の全体的な特徴量を
示すものであり、これらの顔画像の位置、顔画像の向き
は、入力画像と対応する蓄積番号を付与して顔画像特徴
量データベース部５０に蓄積される。
【００２７】次に、顔画像特徴量抽出部４０では、顔画
像領域検出部３０で検出した顔画像領域内の顔画像の個
人的特徴量の抽出を行っている。
像領域検出部３０で検出した顔画像領域内の顔画像の個
人的特徴量の抽出を行っている。
【００２８】上記した顔画像特徴量抽出部４０をより具
体的に説明すると、図３に示したように、目、口の位置
検出部４１は、目や口のテンプレートを用いたテンプレ
ートマッチングやエッジ検出などを用いて、顔画像領域
内に存在する顔画像中から目と口の位置を求めて、求め
た目と口の位置を顔画像正規化部４２と顔画像大きさ演
算部４３とに出力している。
体的に説明すると、図３に示したように、目、口の位置
検出部４１は、目や口のテンプレートを用いたテンプレ
ートマッチングやエッジ検出などを用いて、顔画像領域
内に存在する顔画像中から目と口の位置を求めて、求め
た目と口の位置を顔画像正規化部４２と顔画像大きさ演
算部４３とに出力している。
【００２９】また、顔画像正規化部４２は、目、口の位
置検出部４１で検出した目、口の位置情報を用いて、ア
フィン変換により目と口の位置を予め設定した標準位置
に移動することにより顔画像の正規化を行っている。そ
して、正規化した顔画像を顔画像輝度補正部４４に出力
している。
置検出部４１で検出した目、口の位置情報を用いて、ア
フィン変換により目と口の位置を予め設定した標準位置
に移動することにより顔画像の正規化を行っている。そ
して、正規化した顔画像を顔画像輝度補正部４４に出力
している。
【００３０】また、顔画像大きさ演算部４３は、目、口
の位置検出部４１で検出した目、口の位置情報をもとに
顔画像の大きさを求めている。
の位置検出部４１で検出した目、口の位置情報をもとに
顔画像の大きさを求めている。
【００３１】また、顔画像輝度補正部４４は、顔画像正
規化部４２で正規化した顔画像に対してシェーディング
除去などの輝度補正を行って、輝度補正した画像顔を顔
画像特徴ベクトル部４５に出力している。
規化部４２で正規化した顔画像に対してシェーディング
除去などの輝度補正を行って、輝度補正した画像顔を顔
画像特徴ベクトル部４５に出力している。
【００３２】また、顔画像特徴ベクトル部４５は、予め
収集した正規化されたサンプル用顔画像の集合に対して
主成分分析を行い、対応する固有値の大きい方から適当
の個数に対応する固有ベクトルを基底として用いて、顔
画像正規化部４２で正規化された顔画像に対してＫＬ
（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ）変換を施して新たな
ベクトルとして表現している。これにより情報量の圧縮
と顔画像特徴量の抽出が実現できる。
収集した正規化されたサンプル用顔画像の集合に対して
主成分分析を行い、対応する固有値の大きい方から適当
の個数に対応する固有ベクトルを基底として用いて、顔
画像正規化部４２で正規化された顔画像に対してＫＬ
（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ）変換を施して新たな
ベクトルとして表現している。これにより情報量の圧縮
と顔画像特徴量の抽出が実現できる。
【００３３】そして、顔画像特徴量抽出部４０で抽出し
た顔画像の個人的特徴量となる顔画像の大きさ、顔画像
特徴ベクトルは、入力画像と対応する蓄積番号を付与し
て顔画像特徴量データベース部５０に蓄積される。
た顔画像の個人的特徴量となる顔画像の大きさ、顔画像
特徴ベクトルは、入力画像と対応する蓄積番号を付与し
て顔画像特徴量データベース部５０に蓄積される。
【００３４】次に、顔画像指定用検索キー設定部６０で
は、撮影日時、撮影場所など各種の撮影データを参照し
て原画像データベース２０中から選んだ一つの画像（蓄
積した入力画像）、又は、新たに入力した写真画像など
を用いて、図４に示したように、一つの画像中又は写真
画像中に存在する顔画像領域を矩形枠Ａ，Ｂ，Ｃで囲ん
で、例えば矩形枠Ｂ内の顔画像を検索対象顔画像として
指定している。
は、撮影日時、撮影場所など各種の撮影データを参照し
て原画像データベース２０中から選んだ一つの画像（蓄
積した入力画像）、又は、新たに入力した写真画像など
を用いて、図４に示したように、一つの画像中又は写真
画像中に存在する顔画像領域を矩形枠Ａ，Ｂ，Ｃで囲ん
で、例えば矩形枠Ｂ内の顔画像を検索対象顔画像として
指定している。
【００３５】次に、顔画像照合部７０は、顔画像指定用
検索キー設定部６０で指定した矩形枠Ｂ内の検索対象顔
画像に対して、顔画像特徴量データベース部５０に蓄え
られている各顔画像の特徴量への照合を行う。ここで
は、顔画像特徴量データベース部５０に蓄えられている
顔画像の位置、顔画像の向き、顔画像の大きさ、顔画像
特徴ベクトルなどの特徴量を参照して、顔画像指定用検
索キー設定部６０で指定した矩形枠Ｂ内の検索対象顔画
像の特徴量に対して相関の高い顔画像を得ている。この
際、顔画像指定用検索キー設定部６０で原画像データベ
ース２０中から選んだ一つの画像を用いて検索対象顔画
像を指定した場合には、原画像データベース２０中から
選んだ一つの画像は相関が一番高くなるので、この選ん
だ一つの画像に対しては照合をしないようにしている。
検索キー設定部６０で指定した矩形枠Ｂ内の検索対象顔
画像に対して、顔画像特徴量データベース部５０に蓄え
られている各顔画像の特徴量への照合を行う。ここで
は、顔画像特徴量データベース部５０に蓄えられている
顔画像の位置、顔画像の向き、顔画像の大きさ、顔画像
特徴ベクトルなどの特徴量を参照して、顔画像指定用検
索キー設定部６０で指定した矩形枠Ｂ内の検索対象顔画
像の特徴量に対して相関の高い顔画像を得ている。この
際、顔画像指定用検索キー設定部６０で原画像データベ
ース２０中から選んだ一つの画像を用いて検索対象顔画
像を指定した場合には、原画像データベース２０中から
選んだ一つの画像は相関が一番高くなるので、この選ん
だ一つの画像に対しては照合をしないようにしている。
【００３６】次に、検索結果表示部８０では、検索対象
顔画像に対して顔画像照合部７０で得られた相関の高い
顔画像を含む画像を原画像データベース部２０から検索
して、図５に示したように相関の高い順に複数表示して
いる。勿論、顔画像照合部７０で照合精度が高ければ、
最も相関の高い顔画像を含む一つの画像のみを表示して
も良い。
顔画像に対して顔画像照合部７０で得られた相関の高い
顔画像を含む画像を原画像データベース部２０から検索
して、図５に示したように相関の高い順に複数表示して
いる。勿論、顔画像照合部７０で照合精度が高ければ、
最も相関の高い顔画像を含む一つの画像のみを表示して
も良い。
【００３７】
【発明の効果】以上詳述した本発明に係る本発明に係る
画像データ検索装置によると、とくに、多数の入力画像
を蓄積する原画像データベース部と、多数の入力画像か
らそれぞれ抽出した各顔画像の特徴量を蓄積する顔画像
特徴量データベース部とを備えているので、顔画像を用
いて原画像データベース部に蓄積した多数の画像から所
望の画像を検索することができる。
画像データ検索装置によると、とくに、多数の入力画像
を蓄積する原画像データベース部と、多数の入力画像か
らそれぞれ抽出した各顔画像の特徴量を蓄積する顔画像
特徴量データベース部とを備えているので、顔画像を用
いて原画像データベース部に蓄積した多数の画像から所
望の画像を検索することができる。
【００３８】また、顔画像の特徴量として入力画像から
統計処理などにより顔画像の特徴量を抽出しているた
め、情報の欠落の恐れがなく、且つ、人間の恣意の入る
余地がないので、検索精度が高い。
統計処理などにより顔画像の特徴量を抽出しているた
め、情報の欠落の恐れがなく、且つ、人間の恣意の入る
余地がないので、検索精度が高い。
【００３９】また、入力画像に対して統計処理を行うこ
とにより、顔画像の特徴量の項目とそれに対応する特徴
量をほぼ自動的に同時に求めることができ、顔画像の特
徴量の項目ごとのアルゴリズムを考える必要がない。更
に、顔画像の個人差などの微妙な差異を表現することが
でき、顔画像を用いて同一人物の写っている画像を原画
像データベース部から検索することができる。
とにより、顔画像の特徴量の項目とそれに対応する特徴
量をほぼ自動的に同時に求めることができ、顔画像の特
徴量の項目ごとのアルゴリズムを考える必要がない。更
に、顔画像の個人差などの微妙な差異を表現することが
でき、顔画像を用いて同一人物の写っている画像を原画
像データベース部から検索することができる。
【図１】本発明に係る画像データ検索装置の全体構成を
示した構成図である。
示した構成図である。
【図２】図１に示した顔画像領域検出部を説明するため
のブロック図である。
のブロック図である。
【図３】図１に示した顔画像特徴量抽出部を説明するた
めのブロック図である。
めのブロック図である。
【図４】図１に示した顔画像指定用検索キー部の動作を
説明するための図である。
説明するための図である。
【図５】図１に示した検索結果表示部の動作を説明する
ための図である。
ための図である。
【図６】従来の画像照合・検索システムを説明するため
の構成図である。
の構成図である。
１０…画像データ検索装置、２０…原画像データベース
部、３０…顔画像領域検出部、３１…肌色確率演算部、
３２…部分空間射影成分演算部、４０…顔画像特徴量抽
出部、５０…顔画像特徴量データベース部、６０…顔画
像指定用検索キー部、７０…顔画像照合部、８０…検索
結果表示部。
部、３０…顔画像領域検出部、３１…肌色確率演算部、
３２…部分空間射影成分演算部、４０…顔画像特徴量抽
出部、５０…顔画像特徴量データベース部、６０…顔画
像指定用検索キー部、７０…顔画像照合部、８０…検索
結果表示部。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 ２５０ Ｇ０６Ｔ 7/00 ２５０ ３００ ３００Ｆ Ｆターム(参考） 5B050 BA12 EA06 EA18 FA19 GA08 5B057 CA08 CA12 CB08 CB12 CC03 CE09 DA16 DB02 DB09 DC19 DC34 5B075 ND08 NK06 NK39 NR02 NR16 PQ02 PR06 QM05 5L096 AA02 BA18 CA24 FA34 FA38 GA30 GA41 HA01 JA03 JA11 KA09
Claims (2)
- 【請求項１】 多数の入力画像を蓄積する原画像データ
ベース部と、 前記多数の入力画像中にそれぞれ顔画像領域があるか否
かを検出し、検出した各顔画像領域内に存在する各顔画
像の特徴量を抽出する顔画像領域検出／顔画像特徴量抽
出部と、 前記顔画像領域検出／顔画像特徴量抽出部で抽出した各
顔画像の特徴量を蓄積する顔画像特徴量データベース部
と、 検索対象顔画像を指定する顔画像指定用検索キー部と、 前記顔画像指定用検索キー部で指定した前記検索対象顔
画像の特徴量と前記顔画像特徴量データベース部に蓄積
した各顔画像の特徴量との間で相関を求めて、該検索対
象顔画像に対して該顔画像特徴量データベース部から相
関の高い顔画像を得る顔画像照合部と、 前記顔画像照合部で得た相関の高い顔画像を含む画像を
前記原画像データベース部から検索して表示する検索結
果表示部とを具備したことを特徴とする画像データ検索
装置。 - 【請求項２】 請求項１記載の画像データ検索装置にお
いて、 前記顔画像領域検出／顔画像特徴量抽出部は、予め求め
ておいた確率密度関数を用いて前記入力画像内で肌色で
ある確率を求める手段と、予め求めておいた顔画像領域
を示す第１部分空間及び予め求めておいた非顔画像領域
を示す第２部分空間への各射影成分の大きさを求める手
段とから前記入力画像内の前記顔画像領域を抽出するこ
とを特徴とする画像データ検索装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000387644A JP2002189724A (ja) | 2000-12-20 | 2000-12-20 | 画像データ検索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000387644A JP2002189724A (ja) | 2000-12-20 | 2000-12-20 | 画像データ検索装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002189724A true JP2002189724A (ja) | 2002-07-05 |
Family
ID=18854534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000387644A Pending JP2002189724A (ja) | 2000-12-20 | 2000-12-20 | 画像データ検索装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002189724A (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005084980A (ja) * | 2003-09-09 | 2005-03-31 | Fuji Photo Film Co Ltd | 顔画像付きカード用データ生成装置および方法並びにプログラム |
| JP2005174308A (ja) * | 2003-11-14 | 2005-06-30 | Fuji Photo Film Co Ltd | 顔認識に基づいたデジタル媒体の整理方法および装置 |
| JP2006079220A (ja) * | 2004-09-08 | 2006-03-23 | Fuji Photo Film Co Ltd | 画像検索装置および方法 |
| JP2006261711A (ja) * | 2005-03-15 | 2006-09-28 | Seiko Epson Corp | 画像生成装置 |
| JP2007144947A (ja) * | 2005-11-30 | 2007-06-14 | Seiko Epson Corp | 画像形成システム |
| JP2007174026A (ja) * | 2005-12-20 | 2007-07-05 | Sony Corp | 画像収集システム、電子機器および画像送信方法、プログラム、並びに記録媒体 |
| JP2007179198A (ja) * | 2005-12-27 | 2007-07-12 | Canon Marketing Japan Inc | 画像管理サーバおよび画像掲載情報生成方法およびプログラムおよび記録媒体 |
| JP2009540414A (ja) * | 2006-06-09 | 2009-11-19 | ソニー エリクソン モバイル コミュニケーションズ， エービー | メディア識別 |
| GB2463378A (en) * | 2008-09-16 | 2010-03-17 | Kddi Corp | Registering faces and identification features from images received via a network |
| US8107689B2 (en) | 2007-04-04 | 2012-01-31 | Sony Corporation | Apparatus, method and computer program for processing information |
| JP2013016030A (ja) * | 2011-07-04 | 2013-01-24 | Mitsubishi Electric Corp | 番組再生装置および番組再生方法 |
| JP2013061974A (ja) * | 2012-11-30 | 2013-04-04 | Sony Corp | 画像処理装置および方法、情報処理装置および方法、プログラム、並びに画像処理システム |
| US9047287B2 (en) | 2006-02-01 | 2015-06-02 | Sony Corporation | System, apparatus, method, program and recording medium for processing image |
| JP2016201135A (ja) * | 2009-08-07 | 2016-12-01 | グーグル インコーポレイテッド | ソーシャルネットワークの支援による顔認識 |
| WO2022019171A1 (ja) * | 2020-07-20 | 2022-01-27 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
-
2000
- 2000-12-20 JP JP2000387644A patent/JP2002189724A/ja active Pending
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005084980A (ja) * | 2003-09-09 | 2005-03-31 | Fuji Photo Film Co Ltd | 顔画像付きカード用データ生成装置および方法並びにプログラム |
| US8781178B2 (en) | 2003-11-14 | 2014-07-15 | Fujifilm Corporation | Method and apparatus for organizing digital media based on face recognition |
| JP2005174308A (ja) * | 2003-11-14 | 2005-06-30 | Fuji Photo Film Co Ltd | 顔認識に基づいたデジタル媒体の整理方法および装置 |
| US9336443B2 (en) | 2003-11-14 | 2016-05-10 | Fujifilm Corporation | Method and apparatus for organizing digital media based on face recognition |
| US7822233B2 (en) | 2003-11-14 | 2010-10-26 | Fujifilm Corporation | Method and apparatus for organizing digital media based on face recognition |
| JP2006079220A (ja) * | 2004-09-08 | 2006-03-23 | Fuji Photo Film Co Ltd | 画像検索装置および方法 |
| JP2006261711A (ja) * | 2005-03-15 | 2006-09-28 | Seiko Epson Corp | 画像生成装置 |
| JP2007144947A (ja) * | 2005-11-30 | 2007-06-14 | Seiko Epson Corp | 画像形成システム |
| JP2007174026A (ja) * | 2005-12-20 | 2007-07-05 | Sony Corp | 画像収集システム、電子機器および画像送信方法、プログラム、並びに記録媒体 |
| JP2007179198A (ja) * | 2005-12-27 | 2007-07-12 | Canon Marketing Japan Inc | 画像管理サーバおよび画像掲載情報生成方法およびプログラムおよび記録媒体 |
| US11281712B2 (en) | 2006-02-01 | 2022-03-22 | Sony Group Corporation | System, apparatus, method, program and recording medium for processing image |
| US10289698B2 (en) | 2006-02-01 | 2019-05-14 | Sony Corporation | System, apparatus, method, program and recording medium for processing image |
| US9965493B2 (en) | 2006-02-01 | 2018-05-08 | Sony Corporation | System, apparatus, method, program and recording medium for processing image |
| US9805064B2 (en) | 2006-02-01 | 2017-10-31 | Sony Corporation | System, apparatus, method, program and recording medium for processing image |
| US9710490B2 (en) | 2006-02-01 | 2017-07-18 | Sony Corporation | System, apparatus, method, program and recording medium for processing image |
| US10579669B2 (en) | 2006-02-01 | 2020-03-03 | Sony Corporation | System, apparatus, method, program and recording medium for processing image |
| US9047287B2 (en) | 2006-02-01 | 2015-06-02 | Sony Corporation | System, apparatus, method, program and recording medium for processing image |
| JP2009540414A (ja) * | 2006-06-09 | 2009-11-19 | ソニー エリクソン モバイル コミュニケーションズ， エービー | メディア識別 |
| US8107689B2 (en) | 2007-04-04 | 2012-01-31 | Sony Corporation | Apparatus, method and computer program for processing information |
| US8335354B2 (en) | 2008-09-16 | 2012-12-18 | Kddi Corporation | Apparatus for registering face identification features, method for registering the same, program for registering the same, and recording medium |
| GB2463378B (en) * | 2008-09-16 | 2011-03-09 | Kddi Corp | Apparatus for registering face identification features, method for registering the same, program for registering the same, and recording medium |
| GB2463378A (en) * | 2008-09-16 | 2010-03-17 | Kddi Corp | Registering faces and identification features from images received via a network |
| JP2016201135A (ja) * | 2009-08-07 | 2016-12-01 | グーグル インコーポレイテッド | ソーシャルネットワークの支援による顔認識 |
| US10031927B2 (en) | 2009-08-07 | 2018-07-24 | Google Llc | Facial recognition with social network aiding |
| US10515114B2 (en) | 2009-08-07 | 2019-12-24 | Google Llc | Facial recognition with social network aiding |
| JP2013016030A (ja) * | 2011-07-04 | 2013-01-24 | Mitsubishi Electric Corp | 番組再生装置および番組再生方法 |
| JP2013061974A (ja) * | 2012-11-30 | 2013-04-04 | Sony Corp | 画像処理装置および方法、情報処理装置および方法、プログラム、並びに画像処理システム |
| WO2022019171A1 (ja) * | 2020-07-20 | 2022-01-27 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4543423B2 (ja) | 対象物自動認識照合方法および装置 | |
| CN101189621B (zh) | 利用摄影者身份来分类图像 | |
| US8600121B2 (en) | Face recognition system and method | |
| JP5174045B2 (ja) | 分類器チェーンを用いた照明検出 | |
| JP3469031B2 (ja) | 顔画像登録装置及びその方法 | |
| US20060110014A1 (en) | Expression invariant face recognition | |
| JP5801601B2 (ja) | 画像認識装置、画像認識装置の制御方法、およびプログラム | |
| US20070098303A1 (en) | Determining a particular person from a collection | |
| JP2000306095A (ja) | 画像照合・検索システム | |
| JP2002189724A (ja) | 画像データ検索装置 | |
| WO2008072622A1 (ja) | 顔認証装置 | |
| EP3139308A1 (en) | People search system and people search method | |
| KR101252843B1 (ko) | 이동 통신 단말기에서 이미지 관리 방법 | |
| US9286707B1 (en) | Removing transient objects to synthesize an unobstructed image | |
| JP2004128715A (ja) | ビデオデータの記憶制御方法およびシステム、プログラム、記録媒体、ビデオカメラ | |
| JP3962517B2 (ja) | 顔面検出方法及びその装置、コンピュータ可読媒体 | |
| JP2003178304A (ja) | 顔画像検索装置、顔画像検索方法、およびその方法をコンピュータに実行させるプログラム | |
| JP2002208011A (ja) | 画像照合処理システムおよび画像照合方法 | |
| JP7103443B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| Marciniak et al. | Influence of pose angle on face recognition from very low resolution images | |
| US7283649B1 (en) | System and method for image recognition using stream data | |
| CN115880787A (zh) | 一种人脸活体检测方法、系统、终端设备及存储介质 | |
| Papaj et al. | Facial features extraction for color, frontal images | |
| CN112183202A (zh) | 一种基于牙齿结构特征的身份认证方法及装置 | |
| CN115512408A (zh) | 一种基于深度学习的自然监控下的人脸识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091124 |