JP2002183205A - データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置 - Google Patents

データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置

Info

Publication number
JP2002183205A
JP2002183205A JP2000375720A JP2000375720A JP2002183205A JP 2002183205 A JP2002183205 A JP 2002183205A JP 2000375720 A JP2000375720 A JP 2000375720A JP 2000375720 A JP2000375720 A JP 2000375720A JP 2002183205 A JP2002183205 A JP 2002183205A
Authority
JP
Japan
Prior art keywords
feature
face image
database
feature vector
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000375720A
Other languages
English (en)
Inventor
Hiroshi Hasegawa
弘 長谷川
Kyoko Nakamura
恭子 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP2000375720A priority Critical patent/JP2002183205A/ja
Publication of JP2002183205A publication Critical patent/JP2002183205A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 ユーザの望む特徴を有する顔画像を効率よく
適切に顔画像データベースから検索することを可能とす
る。 【解決手段】 データベース検索装置200は、検索に
用いる例示画像を提示するための例示画像提示部201
と、検索を希望する属性(特徴)を指定するための検索
属性指定部203と、提示された例示画像から指定され
た属性(特徴)に関する特徴ベクトルを抽出する特徴ベ
クトル抽出部205と、抽出された特徴ベクトルと、顔
画像データベース1000内に登録されている該当する
特徴ベクトルとの類似度を計算する類似度計算部207
と、その計算結果である類似度を顔画像とともに表示す
る表示部209と、顔画像およびその特徴ベクトルが対
応づけて登録されている顔画像データベース1000と
を含む。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、データベース構築
プログラムを記録したコンピュータ読み取り可能な記録
媒体、データベース構築方法および装置、ならびに、デ
ータベース検索プログラムを記録したコンピュータ読取
可能な記録媒体、データベース検索方法および装置に関
し、特に、顔画像、特徴パラメータ(年齢、性別、表
情、個人性等)、およびキーワードをそれぞれ対応づけ
て登録するデータベース構築プログラムを記録したコン
ピュータ読み取り可能な記録媒体、データベース構築方
法および装置、ならびに、特徴パラメータを用いてパラ
メータ間の距離の近さによって類似度を算出することで
所望の画像を検索することのできるデータベース検索プ
ログラムを記録したコンピュータ読み取り可能な記録媒
体、データベース検索方法および装置に関する。
【0002】
【従来の技術】データベースの中から所望の情報を入手
するために、従来からキーワード入力によるデータベー
ス検索が行なわれている。このようなキーワード検索を
可能とするためには、データベースを構築する際に、画
像とその画像に関するキーワードとをそれぞれ対応づけ
て登録する必要がある。そして、検索時には、所望の情
報に対応して登録されているキーワードを適切に入力し
なければならない。
【0003】したがって、キーワード入力によるデータ
ベース検索では、登録を行なう際のキーワード入力が面
倒な場合が多い。また、適切なキーワードが指定されな
かった場合には、所望の画像を取得することができない
という問題もある。
【0004】このため、たとえば、キーワード入力の代
わりに検索キーとなる画像を入力し、その画像をキーと
して、類似する画像を直接データベースから検索すると
いう方法も考えられる。この方法だと、登録時および検
索時ともキーワード入力が不要であり、また、不適切な
キーワード入力により検索ができないという問題も生じ
ない。しかしながら、検索時には画像同士の照合により
類似するか否かが判断されるため、照合処理に非常に時
間を要することになる。
【0005】このため、たとえば、特開2000−14
8795公報では、画像とその特徴量をデータベースに
登録し、登録された特徴量の類似度により所望の画像を
検索するという方法が提案されている。これによると、
検索を希望する画像を提示するだけで、その画像の特徴
量が算出される。そして、この算出された特徴量とデー
タベースに登録されている画像の特徴量との類似度が求
められ、それによって所望の画像が抽出される。したが
って、検索時に長時間を要する画像の照合処理を行なう
必要がなくなる。
【0006】
【発明が解決しようとする課題】しかしながら、特開2
000−148795公報に開示された技術では、以下
のような問題があった。すなわち、データベースに登録
される特徴量は、各画像に対して1種類である。しか
も、その特徴量は対象となる画像のみから簡単な画像処
理で得られるものである。したがって、提示された画像
に類似する画像を大まかに検索するには適しているが、
高精度の検索には不向きであった。
【0007】また、たとえば提示された画像が人物の顔
画像の場合、提示された人物そのものではなく、その人
物と同じ年代の人物が写っている画像を検索したいとき
や、その人物と同じ表情をした顔画像が移っている画像
を検索したいときなど、提示された画像のある特徴を捉
えて、その特徴に合致する人物の写っている画像を検索
したいときなどは、この検索方法では検索できないこと
になる。
【0008】本発明はこれらの実情に鑑み考え出された
ものであり、その目的の1つは、ユーザの望む特徴を有
する顔画像を効率よく適切に検索することを可能とする
データベース構築プログラムを記録したコンピュータ読
取可能な記録媒体、データベース構築方法および装置、
ならびに、データベース検索プログラムを記録したコン
ピュータ読取可能な記録媒体、データベース検索方法お
よび装置を提供することである。
【0009】
【課題を解決するための手段】上記目的を達成するため
に本発明のある局面に従うと、コンピュータ読み取り可
能な記録媒体は、顔画像を取得する顔画像取得ステップ
と、取得された顔画像を特徴モデル空間に射影すること
によって特徴ベクトルを抽出する特徴ベクトル抽出ステ
ップと、取得された顔画像に抽出された特徴ベクトルを
対応付けてデータベースに登録する登録ステップと、を
コンピュータに実行させるためのデータベース構築プロ
グラムを記録する。
【0010】この発明によると、登録対象となる顔画像
が取得されると、その顔画像が特徴モデル空間に射影さ
れて、その特徴に関する特徴ベクトルが抽出される。そ
して、顔画像と共に、その抽出された特徴ベクトルが対
応付けてデータベースに登録される。
【0011】このため、顔画像を提示してデータベース
を検索する際には、この登録された特徴ベクトルを利用
することができるため、画像同士の照合等が不要とな
り、高速かつ適切に顔画像の検索を行なうことが可能と
なる。また、抽出される特徴ベクトルは、統計的手法に
より用意されたモデル空間を用いて抽出されたものであ
るため、各特徴に関して的確なベクトルが抽出されるこ
とになる。よって、信頼性の高い検索データベースが構
築される。なお、抽出される特徴ベクトルが複数である
と、各属性(特徴)に基づいた顔画像の検索を行なうな
ど、多様な検索に対応することも可能となる。
【0012】したがって、ユーザの望む特徴を有する顔
画像を効率よく適切に検索することを可能とするデータ
ベース構築プログラムを記録したコンピュータ読取可能
な記録媒体を提供することが可能となる。
【0013】また、本発明の別の局面に従うと、データ
ベース構築方法は、顔画像を取得する顔画像取得ステッ
プと、取得された顔画像を特徴モデル空間に射影するこ
とによって特徴ベクトルを抽出する特徴ベクトル抽出ス
テップと、取得された顔画像に抽出された特徴ベクトル
を対応付けてデータベースに登録する登録ステップとを
含む。
【0014】この発明によると、登録対象となる顔画像
が取得されると、その顔画像が特徴モデル空間に射影さ
れて、その特徴に関する特徴ベクトルが抽出される。そ
して、顔画像と共に、その抽出された特徴ベクトルが対
応付けてデータベースに登録される。
【0015】したがって、ユーザの望む特徴を有する顔
画像を効率よく適切に検索することを可能とするデータ
ベース構築方法を提供することが可能となる。
【0016】また、本発明のさらに別の局面に従うと、
データベース構築装置は、顔画像を取得する顔画像取得
手段と、取得された顔画像を特徴モデル空間に射影する
ことによって特徴ベクトルを抽出する特徴ベクトル抽出
手段と、取得された顔画像に抽出された特徴ベクトルを
対応付けてデータベースに登録する登録手段とを含む。
【0017】この発明によると、登録対象となる顔画像
が取得されると、その顔画像が特徴モデル空間に射影さ
れて、その特徴に関する特徴ベクトルが抽出される。そ
して、顔画像と共に、その抽出された特徴ベクトルが対
応付けてデータベースに登録される。
【0018】したがって、ユーザの望む特徴を有する顔
画像を効率よく適切に検索することを可能とするデータ
ベース構築装置を提供することが可能となる。
【0019】本発明のさらに別の局面に従うと、コンピ
ュータ読み取り可能な記録媒体は、顔画像を取得する顔
画像取得ステップと、検索対象となる特徴を指定する特
徴指定ステップと、取得された顔画像から、指定された
特徴についての特徴ベクトルを取得する特徴ベクトル取
得ステップと、取得された特徴ベクトルと、データベー
スに顔画像に対応付けて登録されている複数の特徴ベク
トルのうちの指定された特徴についての特徴ベクトルと
の類似度を算出する類似度算出ステップと、算出された
類似度の結果を表示する類似度表示ステップと、をコン
ピュータに実行させるためのデータベース検索プログラ
ムを記録する。
【0020】この発明によると、取得された顔画像の特
徴のうち、指定された特徴についての特徴ベクトルが取
得される。そして、取得された特徴ベクトルと、データ
ベースに顔画像に対応付けて登録されている複数の特徴
ベクトルのうちの指定された特徴についての特徴ベクト
ルとの類似度が算出され、その結果が表示される。
【0021】ユーザは、顔画像を提示し、その顔画像の
持つ特徴のうちの検索を希望する特徴について指定を行
なう。すると、その提示された顔画像から、指定された
特徴に関する特徴ベクトルが自動的に取得される。たと
えば、提示した顔画像と同じ年齢の顔画像を検索したい
場合などは、提示された顔画像から年齢についての特徴
ベクトルが取得される。そして、この特徴ベクトルとデ
ータベース中の年齢の特徴ベクトルとを用いてベクトル
間距離を計算することにより、両者の類似度が算出され
る。このため、提示した画像そのものと類似する顔画像
ではなく、提示した画像のある特徴を捉えて、その特徴
と類似する顔画像を検索したいような場合にも、柔軟に
検索を行なうことが可能となる。
【0022】したがって、ユーザの望む特徴を有する顔
画像を効率よく適切に検索することを可能とするデータ
ベース検索プログラムを記録したコンピュータ読み取り
可能な記録媒体を提供することが可能となる。
【0023】好ましくは、取得された顔画像がデータベ
ースに登録されたものである場合、特徴ベクトル取得ス
テップは、データベースから取得された顔画像に対応付
けて登録されている特徴ベクトルを読み出すことを特徴
とする。
【0024】この発明によると、取得された顔画像がデ
ータベースに予め登録されたものである場合、データベ
ースから、取得された顔画像に対応付けて登録されてい
る特徴ベクトルが読み出される。したがって、特徴ベク
トルを取得する際の処理時間が短縮され、全体として検
索効率が向上する。
【0025】好ましくは、取得された顔画像が前記デー
タベースに登録されていないものである場合、特徴ベク
トル取得ステップは、取得された顔画像を指定された特
徴のモデル空間に射影することによって特徴ベクトルを
抽出することを特徴とする。
【0026】この発明によると、取得された顔画像を指
定された特徴のモデル空間に射影することによって特徴
ベクトルが抽出される。そして、この抽出された特徴ベ
クトルを用いて検索対象となる顔画像の類似度が算出さ
れる。モデル空間は統計的手法等により予め作成された
ものであるため、これを用いて抽出される特徴ベクトル
は、特徴をより適切に表わすものである。したがって、
算出される類似度の信頼性も向上する。
【0027】好ましくは、データベース検索プログラム
は、さらに、特徴ベクトル取得ステップにより取得され
た特徴ベクトルを変更する特徴ベクトル変更ステップを
コンピュータに実行させ、類似度算出ステップは、特徴
ベクトル変更ステップにより変更された特徴ベクトル
と、データベースに登録されている指定された特徴につ
いての特徴ベクトルとの類似度を算出することを特徴と
する。
【0028】この発明によると、取得された特徴ベクト
ルが変更され、その変更後の特徴ベクトルを用いて、検
索対象となる顔画像の類似度が算出される。すなわち、
変更後の特徴ベクトルと、データベースに登録されてい
る同じ特徴についての特徴ベクトルとの距離に基づく顔
画像の特徴の類似度が算出される。
【0029】したがって、取得された顔画像のある特徴
そのものではなく、ある特徴を少し変化させたような画
像を検索したい場合なども、特徴ベクトルを変更するこ
とにより所望の検索を行なうことが可能となる。たとえ
ば、提示された画像と同じ表情を持つ顔画像を顔画像デ
ータベースから検索したい場合、取得された画像の表情
よりもたとえばさらに怒った表情の顔を検索したいとき
などは、その特徴ベクトルをより怒った表情のベクトル
に変更することにより、所望の顔画像を適切に抽出する
ことが可能となる。このように、取得された顔画像の特
徴を適切に変更できるためより柔軟な検索を行なうこと
が可能となる。
【0030】好ましくは、類似度算出ステップは、類似
度算出の対象となる特徴ベクトルの複数成分うち、使用
する成分を決定する決定ステップを含み、決定された成
分を用いて類似度を算出することを特徴とする。
【0031】この発明によると、類似度算出の対象とな
る特徴ベクトルの複数成分のうち、使用する成分が決定
され、その決定されたベクトル成分を用いて類似度が算
出される。特徴ベクトルは、多次元ベクトルであって、
その特徴について重要度の高い順に成分が並んでいるよ
うなベクトルである。その複数成分のうち使用されるべ
き一部あるいは全部の成分が重要度の高いものから順に
決定され、その成分を用いて類似度が算出される。
【0032】したがって、使用される成分数が少ないと
きは類似度の算出に要する時間が短縮され、大まかな検
索が可能となる。また、使用される成分数が多いときは
厳密な検索が可能となる。このため、ユーザが希望する
検索状況に応じた柔軟な検索を行なうことが可能とな
る。
【0033】好ましくは、決定ステップは、ユーザが要
求する類似性の曖昧度に応じて使用する成分を決定する
ことを特徴とする。
【0034】この発明によると、ユーザが要求する類似
性の曖昧度に応じて使用する成分が決定され、それを用
いて類似度が算出される。したがって、曖昧度が高い場
合は決定される成分数が少なくなり高速処理が可能とな
る。逆に、曖昧度が低い場合は成分数が多くなり、厳密
な検索が可能となる。このため、ユーザの要求する曖昧
度を的確に考慮した検索処理を行なうことが可能とな
る。
【0035】好ましくは、決定ステップは、ユーザが要
求する検索速度に応じて使用する成分を決定することを
特徴とする。
【0036】この発明によると、ユーザが要求する検索
速度に応じて使用する成分が決定され、それを用いて類
似度が算出される。したがって、高速の検索要求がなさ
れたときは少ない成分数により類似度が算出され、速度
よりも厳密性が要求されたときは、多い成分数により類
似度が算出される。よって、検索速度に関するユーザの
意向を反映した適切な検索処理を行なうことが可能とな
る。
【0037】好ましくは、決定ステップは、検索装置の
混雑度に応じて使用する成分を決定することを特徴とす
る。
【0038】この発明によると、検索装置の混雑度に応
じて使用する成分が決定され、それを用いて類似度が算
出される。したがって、検索装置が混雑しているとき
は、処理時間を短縮するために少ない成分数により類似
度が算出され、空いているときは、多い成分数により厳
密な類似度が算出される。よって、検索処理時間が考慮
され、検索装置の混雑度に応じた柔軟な処理を行なうこ
とが可能となる。
【0039】好ましくは、類似度表示ステップは、算出
された類似度に応じて結果を表示することを特徴とす
る。
【0040】この発明によると、算出された類似度に応
じてその結果が表示されるため、たとえば、類似度の高
いものから順に、顔画像と類似度とが表示されるなど、
ユーザの要求に沿った適切な表示を行なうことが可能と
なる。
【0041】好ましくは、データベース検索プログラム
は、さらに、キーワードを取得するキーワード取得ステ
ップをコンピュータに実行させ、類似度算出ステップ
は、取得されたキーワードを有する顔画像を対象として
類似度を算出することを特徴とする。
【0042】この発明によると、取得されたキーワード
を有する顔画像を対象として類似度が算出されるため、
キーワード検索結果に対して特徴ベクトルを用いた類似
度検索が行なわれる。このため、より適切かつ効率よ
く、ユーザが所望する顔画像を検索することが可能とな
る。
【0043】本発明のさらに別の局面に従うと、データ
ベース検索方法は、顔画像を取得する顔画像取得ステッ
プと、検索対象となる特徴を指定する特徴指定ステップ
と、取得された顔画像から、指定された特徴についての
特徴ベクトルを取得する特徴ベクトル取得ステップと、
取得された特徴ベクトルと、データベースに顔画像に対
応付けて登録されている複数の特徴ベクトルのうちの指
定された特徴についての特徴ベクトルとの類似度を算出
する類似度算出ステップと、算出された類似度の結果を
表示する類似度表示ステップとを含む。
【0044】この発明によると、取得された顔画像の特
徴のうち、指定された特徴についての特徴ベクトルが取
得される。そして、取得された特徴ベクトルと、データ
ベースに顔画像に対応付けて登録されている複数の特徴
ベクトルのうちの指定された特徴についての特徴ベクト
ルとの類似度が算出され、その結果が表示される。
【0045】ユーザは、顔画像を提示し、その顔画像の
持つ特徴のうちの検索を希望する特徴について指定を行
なう。すると、その提示された顔画像から、指定された
特徴に関する特徴ベクトルが自動的に取得される。たと
えば、提示した顔画像と同じ年齢の顔画像を検索したい
場合などは、提示された顔画像から年齢についての特徴
ベクトルが取得される。そして、この特徴ベクトルとデ
ータベース中の年齢の特徴ベクトルとを用いてベクトル
間距離を計算することにより、両者の類似度が算出され
る。このため、提示した画像そのものと類似する顔画像
ではなく、提示した画像のある特徴を捉えて、その特徴
と類似する顔画像を検索したいような場合にも、柔軟に
検索を行なうことが可能となる。
【0046】したがって、ユーザの望む特徴を有する顔
画像を効率よく適切に検索することを可能とするデータ
ベース検索方法を提供することが可能となる。
【0047】本発明のさらに別の局面に従うと、データ
ベース検索装置は、顔画像を取得する顔画像取得手段
と、検索対象となる特徴を指定する特徴指定手段と、取
得された顔画像から、指定された特徴についての特徴ベ
クトルを取得する特徴ベクトル取得手段と、取得された
特徴ベクトルと、データベースに顔画像に対応付けて登
録されている複数の特徴ベクトルのうちの指定された特
徴についての特徴ベクトルとの類似度を算出する類似度
算出手段と、算出された類似度の結果を表示する類似度
表示手段とを含む。
【0048】この発明によると、取得された顔画像の特
徴のうち、指定された特徴についての特徴ベクトルが取
得される。そして、取得された特徴ベクトルと、データ
ベースに顔画像に対応付けて登録されている複数の特徴
ベクトルのうちの指定された特徴についての特徴ベクト
ルとの類似度が算出され、その結果が表示される。
【0049】したがって、ユーザの望む特徴を有する顔
画像を効率よく適切に検索することを可能とするデータ
ベース検索装置を提供することが可能となる。
【0050】
【発明の実施の形態】次に、本発明の実施の形態を図面
に基づいて詳細に説明する。
【0051】(第1の実施の形態)図1は、本発明の第
1の実施の形態におけるデータベース構築装置100の
全体構成を示す概略ブロック図である。図1を参照し
て、データベース構築装置100は、登録対象となる顔
画像を入力するための顔画像入力部101と、顔画像の
ある特徴についてのモデル空間である第1特徴モデル空
間103と、第1モデル特徴空間103に顔画像を射影
することによりある特徴を抽出するための第1特徴ベク
トル抽出部104と、顔画像の別の特徴についてのモデ
ル空間である第2特徴モデル空間105と、第2モデル
特徴空間105に顔画像ベクトルを射影することにより
別の特徴を抽出するための第2徴ベクトル抽出部10
6、キーワードを入力するためのキーワード入力部10
2と、顔画像が登録される顔画像データベース1000
と、顔画像、キーワード、および抽出された特徴ベクト
ルをそれぞれ対応づけて顔画像データベース1000に
登録する登録部107とを含む。
【0052】ここでは、第1および第2の2つの特徴ベ
クトルを抽出するような場合の構成を示しているが、抽
出する特徴ベクトルの数はこれに限るものではなく1つ
あるいは3つ以上であってもよい。その場合は、抽出す
べき特徴ベクトルの数に応じて、特徴モデル空間および
特徴ベクトル抽出部が含まれる構成となる。
【0053】顔画像入力部101では、たとえば、デジ
タルカメラやスキャナなどの画像入力機器により取得さ
れた顔画像が入力されると、その顔画像から顔領域の切
り出し、および、切り出された顔領域の形状の正規化
等、必要な補正処理が行なわれる。そして、補正後の顔
画像が、第1ベクトル抽出部104、第2ベクトル抽出
部106、および登録部107へと送られる。
【0054】第1特徴ベクトル抽出部104では、補正
後の顔画像を第1特徴モデル空間103に射影すること
によって第1の特徴に関する特徴ベクトルの抽出を行な
う。
【0055】ここでいう特徴とは、たとえば、性別、年
齢、表情、個人性などのことをいう。そして、特徴モデ
ル空間とは、たとえば「固有空間法と自由判別分析によ
る顔画像の個人性と表情の解析」(電子情報通信学会技
術報告,CS98−122,IE98−101,199
8)で示されている手法(主成分分析法と部分空間法と
を組み合わせるなどして複数の顔画像を統計的に解析す
る方法)を用いて予め作成された空間のことをいう。
【0056】この特徴モデル空間に顔画像が射影される
と、特徴ベクトルが導出される。特徴ベクトルは、多次
元のベクトルであり、各成分は当該特徴を表わすのに重
要度の高い順番に並んでいる。詳細については後述す
る。
【0057】第1特徴モデル空間に射影することによっ
て抽出された第1特徴ベクトルは、登録部107へと送
られる。
【0058】第2特徴ベクトル抽出部106でも同様
に、補正後の顔画像を第2特徴モデル空間105に射影
することによって第2の特徴に関する特徴ベクトルの抽
出が行なわれる。そして抽出された第2特徴ベクトルは
登録部107へと送られる。
【0059】キーワード入力部102では、画像の撮像
日時、撮像位置、画像ファイルサイズ、画像の解像度
等、画像そのものから直接得られる情報や、画像に写っ
ている人物の名前、コメントなどがキーワードとして入
力される。
【0060】画像自体から直接得られる情報は自動的に
入力され、それ以外の名前やコメント等はキーボード等
からユーザにより入力される。
【0061】登録部107では、画像入力部101から
送られてきた補正後の顔画像と、第1特徴ベクトル抽出
部104から送られてきた第1特徴ベクトルと、第2特
徴ベクトル抽出部106から送られてきた第2特徴ベク
トルと、キーワード入力部102から送られてきたキー
ワードとをそれぞれ対応づけて顔画像データベース10
00に登録する。
【0062】図2は、このデータベース構築装置100
におけるデータベース構築処理の流れを示したフローチ
ャートである。本図を参照して、まず、ステップS20
1において、顔画像入力部101に、デジタルカメラ等
の入力機器により取得された顔画像が入力される。ま
た、キーワード入力部102にキーワードが入力され
る。なお、入力された顔画像は、顔画像入力部101に
おいて適切な補正処理が行なわれる。
【0063】次に、ステップS203において、補正後
の顔画像が第1特徴モデル空間103および第2特徴モ
デル空間に射影される。そして、ステップS205にお
いて、各モデル空間における特徴ベクトルが抽出され
る。そして、ステップS207において、抽出された各
特徴ベクトルと補正後の顔画像と入力されたキーワード
とがそれぞれ関連づけて顔画像データベース1000に
登録される。
【0064】このようなデータベース構築処理に従う
と、顔画像データベース1000には、顔画像とキーワ
ードの他に適当な特徴ベクトルが自動的に抽出されて登
録される。したがって、顔画像データベース1000を
検索する際には、この登録された特徴ベクトルを利用す
ることができるため、高速かつ適切に顔画像の検索を行
なうことが可能となる。
【0065】特に、抽出される特徴ベクトルは、統計的
手法により用意されたモデル空間を用いて抽出されたも
のであるため、各特徴に関して的確なベクトルが抽出さ
れることになる。また、抽出される特徴ベクトルが複数
であると、各属性(特徴)に基づいた顔画像の検索を行
なうなど、多様な検索に対応することも可能となる。
【0066】(第2の実施の形態)次に、本発明の第2
の実施の形態におけるデータベース検索装置200につ
いて説明する。図3は、本発明の第2の実施の形態にお
けるデータベース検索装置200の全体構成を示す概略
ブロック図である。
【0067】図3を参照して、データベース検索装置2
00は、検索に用いる例示画像を提示するための例示画
像提示部201と、検索を希望する属性(特徴)を指定
するための検索属性指定部203と、提示された例示画
像から指定された属性(特徴)に関する特徴ベクトルを
抽出する特徴ベクトル抽出部205と、抽出された特徴
ベクトルと、顔画像データベース1000内に登録され
ている該当する特徴ベクトルとの類似度を計算する類似
度計算部207と、その計算結果である類似度を顔画像
とともに表示する表示部209と、顔画像およびその特
徴ベクトルが対応づけて登録されている顔画像データベ
ース1000とを含む。
【0068】例示画像提示部201および検索属性指定
部203には、顔画像データベース1000から所望の
顔画像を検索するための条件が入力される。すなわち、
例示画像提示部201では、検索を行なうべき検索属性
を決定するためのベースとなる顔が一例として提示され
る。検索属性指定部203では、例示画像提示部201
により提示された例示画像の中で、検索を希望する属性
(特徴)が指定される。
【0069】したがって、たとえば、検索属性指定部2
03で、表情という属性(特徴)が指定されると、例示
画像提示部201で提示された例示画像と同じ表情を持
つ顔が検索されることになる。また、性別という属性が
指定されると、例示画像と同じ性別の顔画像が検索さ
れ、年齢が指定されると、同年代の顔画像が検索され
る。そして、個人性が指定されると、同一人物が検索さ
れることになる。
【0070】このように、例示画像と検索属性とが指定
されることにより、例示された顔に関する特徴のうち、
指定された特徴と同じ特徴を持つ顔が検索されることに
なる。
【0071】特徴ベクトル抽出部205は、例示画像提
示部201で提示された例示画像から、検索属性指定部
203で指定された特徴に関する特徴ベクトルの抽出を
行なう。図4に、この特徴ベクトル抽出部205の構成
をブロック図形式にて示す。
【0072】本図に示すように、特徴ベクトル抽出部2
05は、複数の特徴モデル空間2052(1)〜(n)
と、特徴ベクトル抽出に用いる特徴モデル空間を選択す
る特徴モデル空間選択部2051と、例示画像を選択さ
れた特徴モデル空間に射影する射影部2053とを含
む。
【0073】特徴モデル空間選択部2051は、検索属
性指定部203により指定された検索属性に基づいて、
複数の特徴モデル空間2052(1)〜(n)の中から
指定された属性についてのモデル空間を選択する。
【0074】射影部2053は、その選択された特徴モ
デル空間に、例示画像提示部201により提示された例
示画像を射影する。そして、例示画像から指定された特
徴に関する特徴ベクトルを抽出する。抽出された特徴ベ
クトルは、類似度計算部207へと送られる。
【0075】類似度計算部207では、顔画像データベ
ース1000の中に顔画像とともに登録されている複数
の特徴ベクトルのうち、指定された検索属性(特徴)に
関する特徴ベクトルが読み出される。そして、その読み
出された特徴ベクトルと、特徴ベクトル検出部205か
ら抽出された例示画像に関する特徴ベクトルとの類似度
が計算される。
【0076】ここで、顔画像データベース1000は、
第1の実施の形態におけるデータベース構築装置100
により構築された顔画像データベース1000が用いら
れる。したがって、登録されている複数の顔画像は、n
個の特徴ベクトルがそれぞれの顔画像に対応づけて登録
されている。
【0077】類似度の計算は、たとえば(1)式のよう
に、特徴ベクトル抽出部205から抽出された特徴ベク
トルCfと、顔画像データベース1000に登録されて
いる同じ特徴に関する特徴ベクトルCfiとの距離をも
とにして求められる。
【0078】
【数1】
【0079】ここで、mは登録されている顔の数であ
り、nは特徴ベクトルの次元数である。類似度が大きい
ほど、提示された顔画像についての指定された特徴と、
登録されている顔画像についての対応する特徴とが似て
いることを意味する。
【0080】そして、計算された類似度の結果は該当す
る顔画像とともに表示部209において表示される。た
とえば、顔画像データベース1000のすべての顔につ
いて、類似度の大きい順に並べ替えが行なわれ、その並
べ替えられた順に、顔画像と類似度とが表示される。
【0081】次に、データベース検索装置200におけ
るデータベース検索処理の流れをフローチャートにて図
5に示す。データベース検索装置200では、まず、ス
テップS501において、検索条件を決定するための例
示画像が提示される。次に、ステップS503におい
て、検索属性が指定される。これらの処理により、例示
画像の中のどの特徴に関する検索を行なうべきかという
検索条件が明確にされる。
【0082】検索条件が決定されると、ステップS50
5において、掲示された例示画像から指定された特徴に
関する特徴ベクトルの抽出が行われる。そして、ステッ
プS507において、抽出された特徴ベクトルと、顔画
像データベース1000に顔画像とともに登録されてい
る同じ特徴に関する特徴ベクトルとの類似度が計算され
る。そして、ステップS509において、計算結果であ
る類似度が表示部209に表示される。
【0083】以上説明したように、本実施の形態による
と、ユーザは、例示画像を提示し、その例示画像の中の
どの特徴についての検索を行なうかを決定すべく、検索
属性(年齢、性別、表情、個人性等)を指定する。する
と、その特徴に関するベクトルが自動的に抽出され、そ
の特徴ベクトルと顔画像データベース1000に登録さ
れている同じ特徴ベクトルとの類似度が計算される。
【0084】したがって、従来のように、例示画像と類
似する画像が抽出されるのみならず、検索属性を指定す
ることで、例示画像の中の所望の特徴について類似する
画像が、容易に顔画像データベース1000から抽出さ
れることになる。
【0085】また、画像同士の照合により類似するか否
かを判断するのではなく、特徴ベクトル同士を用いて判
断するため、処理に要する時間が短縮される。
【0086】(第3の実施の形態)続いて、本発明の第
3の実施の形態におけるデータベース検索装置300に
ついて説明する。本実施の形態におけるデータベース検
索装置300は、第2の実施の形態におけるデータベー
ス検索装置200と異なり、例示画像として提示される
画像が、既に顔画像データベース1000に登録済みの
画像であるというものである。
【0087】図6は、本発明の第3の実施の形態におけ
るデータベース検索装置300の全体構成を示す概略ブ
ロック図である。例示画像提示部201に提示される画
像は顔画像データベース1000に既に登録されている
ものであるため、指定された属性についての特徴ベクト
ルは、特徴モデル空間に射影して抽出されるのではな
く、顔画像データベース1000から読み出される。し
たがって、本図に示すように、図3の特徴ベクトル抽出
部205の代わりにここでは特徴ベクトル読込部305
が含まれる構成となっている。
【0088】すなわち、データベース検索装置300
は、例示画像提示部201と、検索属性指定部203
と、特徴ベクトル読込部305と、類似度計算部207
と、表示部209と、顔画像データベース1000とを
含む。
【0089】特徴ベクトル読込部305は、例示画像提
示部201で提示された例示画像と検索属性指定部20
3で指定された特徴とに基づき、顔画像データベース1
000から、例示画像とともに登録されている指定され
た特徴に関する特徴ベクトルが読み込まれる。
【0090】類似度計算部207では、この読み込まれ
た特徴ベクトルと、顔画像データベース1000に顔画
像とともに登録されている同じ特徴についての特徴ベク
トルとの類似度が計算される。類似度の計算方法は第2
の実施の形態において述べた計算と同様である。そし
て、顔画像とその顔画像についての類似度の計算結果と
が、表示部209において類似度の高い順に表示され
る。
【0091】図7は、データベース検索装置300にお
けるデータベース検索処理の流れを示したフローチャー
トである。本図に示すように、データベース検索処理
は、図5に示すデータベース検索装置200における処
理の流れとほぼ同様である。
【0092】すなわち、まず、例示画像が提示され(ス
テップS501)、続いて検索属性が指定される(ステ
ップS503)。この検索条件が決定されるまでの処理
の流れは図5と同様である。
【0093】次に、ステップS705において、顔画像
データベース1000から、指定された属性(特徴)に
ついての特徴ベクトルが読み出される。この処理が図5
の特徴ベクトルの抽出処理(ステップS505)と異な
る。
【0094】その後の処理は図5と同様である。すなわ
ち、読み出された特徴ベクトルと、顔画像データベース
1000に登録されている顔画像の同じ特徴を示す特徴
ベクトルとの類似度が計算され(ステップS507)、
その計算結果が表示される(ステップS509)。
【0095】以上説明したように、本実施の形態におけ
るデータベース検索装置300では、例示画像提示部2
01において提示される画像が、顔画像データベース1
000に登録されている顔画像である。このため、顔画
像データベース1000から、その顔画像について指定
された特徴に関する特徴ベクトルが読み出される。した
がって、特徴ベクトルを特徴モデル空間に射影して抽出
するという処理が不用となり、全体として、検索処理時
間が短縮される。
【0096】(第4の実施の形態)続いて、本発明の第
4の実施の形態におけるデータベース検索装置400に
ついて説明する。ここでは、検索の条件となる特徴ベク
トルをユーザの希望により変更できる点が前述した第2
および第3の実施の形態におけるデータベース検索装置
と異なる。
【0097】図8は、本発明の第4の実施の形態におけ
るデータベース検索装置400の全体構成を示す概略ブ
ロック図である。本図を参照して、データベース検索装
置400は、第2の実施の形態におけるデータベース検
索装置200と同様に、例示画像提示部201と、検索
属性指定部203と、特徴ベクトル抽出部205と、類
似度計算部207と、表示部209と、顔画像データベ
ース1000とを含む。そして、これらに加えてさらに
特徴ベクトル変更部406を含む。
【0098】図9は、このデータベース検索装置400
の特徴ベクトル変更部406の構成を示すブロック図で
ある。ここでは、検索属性指定部203において、「表
情」という属性(特徴)が指定され、例示画像の表情成
分が変更される場合を示している。
【0099】特徴ベクトル変更部406は、特徴を変更
する特徴変更部4061と、第1から第nまでの複数の
特徴モデル空間とを含んでいる。ただし、本図では、特
徴モデル空間のうちの表情特徴モデル空間4062のみ
を示している。
【0100】特徴モデル抽出部205から、特徴ベクト
ルとして表情特徴ベクトルが送られてくると、特徴変更
部4061に入力される。そして特徴変更部4061に
おいて、この表情特徴ベクトルを表情特徴モデル空間4
062に作用させることによって、顔の表情、すなわち
表情特徴ベクトルが変更される。そして変更された特徴
ベクトルが類似度計算部207へと送られる。
【0101】特徴変更部4061に入力された特徴ベク
トルをCf、特徴変更部4061において、変更された
特徴シフトベクトルをΔCfとすると、変更後の特徴ベ
クトルCf′は、Cf′=Cf+ΔCfとして表わされ
ることになる。
【0102】なお、特徴変更部4061において、特徴
ベクトルが変更されない場合もあり、その場合は特徴シ
フトベクトルΔCfが、ΔCf=0となり、入力された
特徴ベクトルCfがそのまま出力される。
【0103】図10は、特徴変更部4061の具体的な
操作パネルの一例を示した図である。本図に示すよう
に、操作パネルは、提示された例示画像を表示する顔画
像表示部10と、指定された検索属性(特徴)について
のスライドバー11とを備える。ここでは、検索属性と
して表情が指定されたため、顔画像表示部10の横に表
情に関するスライドバー11が表示される。
【0104】なお、検索属性指定部203において年齢
や性別、個人性等その他の属性(特徴)が指定された場
合は、それに対応するスライドバーが表示されることに
なる。
【0105】ユーザは、スライドバー11を左右いずれ
かにシフトさせることにより、顔画像表示部10に表示
される顔画像の表情を変化させることができる。そし
て、表示される顔画像の表情を見ながら、検索を希望す
る表情となるように、スライドバー11が操作される。
このスライドバー11のシフト量に応じて特徴シフトベ
クトルΔCfが決定される。
【0106】なお、本図においてはスライドバー11の
シフト量により特徴シフトベクトルΔCfを制御してい
るが、これに限られず、たとえばラジオボタンその他の
操作オブジェクトが表示されこれにより制御されるよう
にしてもよい。また、顔画像表示部10による表示は必
ずしも必要ではなく、操作オブジェクトのみが表示され
るようにしてもよい。
【0107】図11は、操作パネルのスライドバー11
を操作することにより、顔画像表示部10に表示された
例示画像が変化する例を示した図である。顔画像表示部
10に表示された例示画像(図11(a))は、表情の
スライドバー11を移動させることにより、表情につい
ての特徴ベクトルが変化し、図11(b)に示すように
その顔画像の表情が変化する。この際、年齢、性別、個
人性等の他の特徴は変化しない。
【0108】図12は、データベース検索装置400に
おけるデータベース検索処理の流れを示したフローチャ
ートである。ここでは、ステップS1201およびステ
ップS1202における特徴ベクトルの変更処理を除い
ては、図5におけるフローチャートと同様である。すな
わち、例示画像が提示され(ステップS501)、検索
属性が指定される(ステップS503)。そして、これ
らに基づいて特徴ベクトルが抽出される(ステップS5
05)。
【0109】次に、ステップS1201において、抽出
された特徴ベクトルについての特徴ベクトルを変更する
か否かが判断される。特徴ベクトルの属性情報を変更す
る場合は(ステップS1201で“Yes”)、ステッ
プS1202において、その特徴ベクトルが変更され
る。たとえば、図10で示した操作パネルのスライドバ
ー11が操作されることにより、特徴ベクトルCfがC
f′に変更される。
【0110】そして、ステップS507において、その
変更された特徴ベクトルに基づいて類似度の計算が行な
われ、計算結果が表示される(ステップS509)。
【0111】以上説明したように本実施の形態による
と、例示画像について指定された検索属性(特徴)の情
報を任意に変更することが可能となる。したがって、例
示画像のある特徴そのものではなく、ある特徴を少し変
化させたような画像を検索したい場合なども、特徴ベク
トルを変更することにより検索を行なうことが可能とな
る。
【0112】たとえば、提示された画像と同じ表情を持
つ顔画像を顔画像データベース1000から検索したい
場合(検索属性として表情が指定された場合)、その例
示画像の表情よりもたとえばさらに笑った表情の顔を検
索したいときなどは、その特徴ベクトルをより笑った表
情のベクトルに変更することにより、所望の顔画像を適
切に抽出することが可能となる。このように、例示画像
の特徴を適切に変更できるためより柔軟な検索を行なう
ことが可能となる。
【0113】特に、図10で示したような操作パネルを
用いると、スライドバー11を操作しながら例示画像の
特徴が画面上で変化するのを視覚的に確認することがで
きるため、所望の検索画像を確実に指定することが可能
となる。
【0114】なお、本実施の形態においては、第2の実
施の形態と同様に、特徴ベクトル抽出部205が設けら
れ、これにより例示画像提示部201で提示された例示
画像から指定された検索属性の特徴ベクトルが抽出され
ている。しかし、このような構成ではなく、第3の実施
の形態と同様に特徴ベクトル読込部305を設けるよう
にしてもよい。
【0115】すなわち、図6に示すように、特徴ベクト
ル抽出部205の代わりに特徴ベクトル読込部305が
設けられ、これにより顔画像データベース1000から
対応する特徴ベクトルが読み込まれるようにしてもよ
い。
【0116】(変形例)次に、本発明の実施の形態にお
ける変形例について説明する。今回示した第2の実施の
形態から第4の実施の形態までのデータベース検索装置
においては、検索対象となる属性を指定することにより
その属性に関する特徴ベクトルが抽出あるいは読み出さ
れ、その特徴と類似する画像が検索されている。しか
し、属性のみならずキーワードを指定することによりキ
ーワードと属性とを組み合わせた検索を行なうことも可
能である。
【0117】図13は、キーワードと属性指定とを組み
合わせて検索を行なう場合の検索処理の流れを示したフ
ローチャートである。ただし、ここでは第1の実施の形
態で示したように、データベース1000に顔画像とと
もにキーワードが登録されているものとする。
【0118】図13を参照して、まずステップ1301
において、ユーザにより入力されたキーワードによる顔
画像の検索処理が行なわれる。そして、ステップS13
03において、キーワードによる検索結果に対して、属
性による検索処理が行なわれる。すなわち、キーワード
により検索された顔画像を母集団として、その母集団の
中から指定された検索属性に基づいて、たとえば第2の
実施の形態におけるデータベース検索装置200におけ
る処理と同様の検索処理が行なわれる。
【0119】そして、ステップS1305においてその
最終的な検索結果が表示される。ここではキーワードに
よる検索処理(ステップS1301)の後に属性による
検索処理(ステップS1303)が行なわれる場合を示
したが、この逆であってもよい。
【0120】今回説明した実施の形態においては、いず
れの場合も検索属性としては1種類が指定される場合を
示している。しかし、複数の属性が指定されてもよい。
図14は、複数の属性が指定された場合の検索処理の流
れを示したフローチャートである。ここでは、第1から
第nまでの属性が検索属性として指定された場合を示し
ている。
【0121】この場合、本図に示すように、まずステッ
プS1401において第1の属性による検索処理が行な
われる。そして、ステップS1403において、第1の
属性による検索結果に対して第2の属性による検索処理
が行なわれる。このようにして最後は、ステップS14
05において、第n−1の属性による検索結果に対して
第nの属性による検索処理が行なわれる。そして、最終
的な検索結果がステップS1407において表示され
る。
【0122】このように、第1の属性から順番に検索が
繰り返されて次々に検索結果が絞り込まれていく。この
ため、効率的にユーザの希望する画像が抽出されること
になる。
【0123】最後に、複数の検索属性が指定された場合
であって、その指定された各々の属性の情報(特徴ベク
トル)が変更される場合の検索処理について説明する。
図15は、複数の属性が指定され、かつ、その属性情報
が変更される場合の検索処理の流れを示したフローチャ
ートである。
【0124】本図に示すように、まずステップS150
1において例示画像が提示される。次に、ステップS1
503において第1から第nまでの検索属性の指定が行
なわれる。そして、ステップS1505において、指定
された第1から第nまでの属性について、それぞれの特
徴ベクトルの抽出が行なわれる。なお、例示画像がデー
タベース1000に登録されている場合は、特徴パラメ
ータの抽出ではなく、そこから特徴パラメータが読み出
される。
【0125】続いて、ステップS1507からステップ
S1515において、抽出された(あるいは読み出され
た)特徴ベクトルの変更処理が行なわれる。まず、ステ
ップS1507で、kに1が代入され(k=1)、第1
の属性情報を変更する場合は(ステップS1509で
“Yes”)、ステップS1511で、第1の特徴ベク
トルが変更される。なお、変更しない場合はステップS
1511の処理がスキップされる。
【0126】そして、kがnより小さいときは(ステッ
プS1513で“Yes”)、kが1つインクリメント
され(ステップS1511)、再びステップS1509
の処理に戻る。そして、第2の属性情報を変更するか否
かが判断される。変更する場合はステップS1511で
変更され、変更しない場合はこの処理はスキップされ
る。
【0127】このようにして、第1から第nまでの特徴
ベクトルについて、ステップS1509からステップS
1513の処理が繰り返され、必要であればその属性が
変更される。具体的には、たとえば図10のスライドバ
ー11がn個表示され、各特徴について変更が必要であ
ればユーザによりそのスライドバーがシフトされる。
【0128】そして最終的に、ステップS1517にお
いて、検索対象となる第1から第nの各属性について、
変更後の特徴ベクトルに基づいた類似度が計算される。
そして、ステップS1519においてその計算結果が表
示される。
【0129】以上説明したように、検索属性指定部20
3において指定された属性情報が、必要に応じて変更さ
れるため、ユーザが検索を希望する画像が柔軟かつ適切
に検索されることになる。
【0130】なお、今回示した実施の形態においては、
類似度を計算する際に、(1)式において示したよう
に、特徴ベクトルの全ての成分を用いて計算を行なって
いる。しかし、特徴ベクトルの次元nが大きい場合など
に、全ての成分を用いて類似度を計算すると処理時間が
かかる。一方、各成分の中には重要度の低いものもあ
る。このため、特徴ベクトルの成分のうち重要な成分の
みを用いて類似度を計算するようにしてもよい。
【0131】前述したように、抽出された(あるいは読
み出された)特徴ベクトルCf、および、データベース
1000から対応して読み出された同じ特徴に関する特
徴ベクトルCfiの各成分は、その特徴に関して重要度
の高いものから順に並んでいる。
【0132】したがって、そのうちの重要な成分のみを
用いて類似度を計算する場合は次のようになる。たとえ
ば3成分のみを用いる場合は、特徴ベクトルCfおよび
Cf iはそれぞれ(2)式のように近似される。このた
め、類似度は(3)式のように表わされる。
【0133】
【数2】
【0134】このように、類似度の計算に、各特徴ベク
トルのうちの重要度の高いものから順に適当な成分数で
もって近似された特徴ベクトルが用いられると、処理時
間の短縮を図ることが可能となる。
【0135】この特徴ベクトルの成分のうち、いくつの
成分を用いるかは、ユーザが指定する類似性の曖昧度
(厳密度)、レスポンスの速さ、検索装置の混雑度等に
応じて決定されるようにしてもよい。
【0136】たとえば、類似性の曖昧度が高い(厳密度
が低い)とき、すなわち大まかな検索が希望されたとき
は少ない成分数に決定され、曖昧度が低い(厳密度が高
い)とき、すなわち、厳密な検索が希望されたときは多
目の成分数に決定される。また、レスポンスの速さが要
求されるときは少ない成分数に、そして、要求されない
ときは、多目の成分数に決定される。また、検索装置の
混雑度が高いとき、すなわち混雑時には少ない成分数に
決定され、混雑度が低いとき、すなわち空いている時に
は多い成分数に決定される。
【0137】このように特徴ベクトルの成分の一部を使
用することにより、必要に応じて類似度の範囲を広く取
ったり狭く取ったりできる柔軟な検索が可能となる。
【0138】今回示したデータベース構築方法および検
索方法は、上述した一連の処理動作を機能させるための
プログラムによって実現されることができる。データベ
ース構築および検索プログラムは、予め画像検索装置内
のハードディスクにインストールされたものであっても
よいし、CD−ROM、磁気テープのような取外し可能
な記録媒体に記録されたものであってもよい。いずれに
せよ、データベース構築および検索プログラムはコンピ
ュータ読取可能な記録媒体に記録されている。
【0139】なお、コンピュータ読取可能な記録媒体と
しては、磁気テープやカセットテープなどのテープ系、
磁気ディスク(フレキシブルディスク、ハードディスク
装置等)や光ディスク(CD−ROM/MO/MD/D
VD等)などのディスク系、ICカード(メモリカード
を含む)や光カードなどのカード系、あるいはROM、
EPROM、EEPROM、フラッシュROMなどの半
導体メモリ等の固定的にプログラムを担持する媒体が考
えられる。
【0140】またネットワークからプログラムがダウン
ロードされるように、流動的にプログラムを担持する媒
体であってもよい。なお、記録媒体に格納される内容と
しては、プログラムに限定されず、データであってもよ
い。
【0141】なお、今回示した実施の形態においては、
類似度の算出結果をディスプレイ等の表示部209に表
示する場合について説明した。しかし、このような形態
に限られず、例えば、プリンタ等の出力機器に出力する
ようにしてもよい。また、表示の方法としては、顔画像
と共に類似度を全て表示するのではなく、類似度がある
値よりも高いものについてのみ表示するようにしてもよ
い。
【0142】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
【図面の簡単な説明】
【図1】 本発明の第1の実施の形態におけるデータベ
ース構築装置100の全体構成を示す概略ブロック図で
ある。
【図2】 データベース構築装置100におけるデータ
ベース構築処理の流れを示したフローチャートである。
【図3】 本発明の第2の実施の形態におけるデータベ
ース検索装置200の全体構成を示す概略ブロック図で
ある。
【図4】 データベース検索装置200の特徴ベクトル
抽出部205の構成を示すブロック図である。
【図5】 データベース検索装置200におけるデータ
ベース検索処理の流れを示したフローチャートである。
【図6】 本発明の第3の実施の形態におけるデータベ
ース検索装置300の全体構成を示す概略ブロック図で
ある。
【図7】 データベース検索装置300におけるデータ
ベース検索処理の流れを示したフローチャートである。
【図8】 本発明の第4の実施の形態におけるデータベ
ース検索装置400の全体構成を示す概略ブロック図で
ある。
【図9】 データベース検索装置400の特徴ベクトル
変更部406の構成を示すブロック図である。
【図10】 特徴変更部4061の具体的な操作パネル
の一例を示した図である。
【図11】 操作パネルのスライドバー11を操作する
ことにより、顔画像表示部10に表示された例示画像が
変化する例を示した図である。
【図12】 データベース検索装置400におけるデー
タベース検索処理の流れを示したフローチャートであ
る。
【図13】 キーワードと属性指定とを組み合わせて検
索を行なう場合の検索処理の流れを示したフローチャー
トである。
【図14】 複数の属性が指定された場合の検索処理の
流れを示すフローチャートである。
【図15】 複数の属性が指定され、かつ、その属性情
報が変更される場合の検索処理の流れを示したフローチ
ャートである。
【符号の説明】 100 データベース構築装置、101 顔画像入力
部、102 キーワード入力部、103 第1特徴モデ
ル空間、104 第1特徴ベクトル抽出部、105 第
2特徴モデル空間、106 第2特徴ベクトル抽出部、
107 登録部、200,300,400 データベー
ス検索装置、201 例示画像提示部、203 検索属
性指定部、205 特徴ベクトル抽出部、207 類似
度計算部、209 表示部、305 特徴ベクトル読込
部、406 特徴ベクトル変更部、2051 特徴モデ
ル空間選択部、2052 特徴モデル空間、2053
射影部、4061 特徴変更部、4062 表情特徴モ
デル空間。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 7/00 300 G06T 7/00 300F Fターム(参考) 5B050 BA10 BA12 BA15 DA01 DA10 EA04 EA18 FA02 GA08 5B057 AA20 BA02 CE09 DA20 DC30 DC33 DC36 5B075 ND06 NK06 NK31 PQ02 PQ46 PQ75 PR06 QM08 5L096 BA18 FA81 JA04 (54)【発明の名称】 データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構 築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピ ュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】 顔画像を取得する顔画像取得ステップ
    と、 前記取得された顔画像を特徴モデル空間に射影すること
    によって特徴ベクトルを抽出する特徴ベクトル抽出ステ
    ップと、 前記取得された顔画像に前記抽出された特徴ベクトルを
    対応付けてデータベースに登録する登録ステップと、を
    コンピュータに実行させるためのデータベース構築プロ
    グラムを記録したコンピュータ読み取り可能な記録媒
    体。
  2. 【請求項2】 顔画像を取得する顔画像取得ステップ
    と、 前記取得された顔画像を特徴モデル空間に射影すること
    によって特徴ベクトルを抽出する特徴ベクトル抽出ステ
    ップと、 前記取得された顔画像に前記抽出された特徴ベクトルを
    対応付けてデータベースに登録する登録ステップとを含
    むデータベース構築方法。
  3. 【請求項3】 顔画像を取得する顔画像取得手段と、 前記取得された顔画像を特徴モデル空間に射影すること
    によって特徴ベクトルを抽出する特徴ベクトル抽出手段
    と、 前記取得された顔画像に前記抽出された特徴ベクトルを
    対応付けてデータベースに登録する登録手段とを含むデ
    ータベース構築装置。
  4. 【請求項4】 顔画像を取得する顔画像取得ステップ
    と、 検索対象となる特徴を指定する特徴指定ステップと、 前記取得された顔画像から、前記指定された特徴につい
    ての特徴ベクトルを取得する特徴ベクトル取得ステップ
    と、 前記取得された特徴ベクトルと、データベースに顔画像
    に対応付けて登録されている複数の特徴ベクトルのうち
    の前記指定された特徴についての特徴ベクトルとの類似
    度を算出する類似度算出ステップと、 前記算出された類似度の結果を表示する類似度表示ステ
    ップと、をコンピュータに実行させるためのデータベー
    ス検索プログラムを記録したコンピュータ読み取り可能
    な記録媒体。
  5. 【請求項5】 前記取得された顔画像が前記データベー
    スに登録されたものである場合、前記特徴ベクトル取得
    ステップは、前記データベースから前記取得された顔画
    像に対応付けて登録されている特徴ベクトルを読み出す
    ことを特徴とする、請求項4に記載のデータベース検索
    プログラムを記録したコンピュータ読み取り可能な記録
    媒体。
  6. 【請求項6】 前記取得された顔画像が前記データベー
    スに登録されていないものである場合、前記特徴ベクト
    ル取得ステップは、前記取得された顔画像を前記指定さ
    れた特徴のモデル空間に射影することによって特徴ベク
    トルを抽出することを特徴とする、請求項4または5に
    記載のデータベース検索プログラムを記録したコンピュ
    ータ読み取り可能な記録媒体。
  7. 【請求項7】 さらに、前記特徴ベクトル取得ステップ
    により取得された特徴ベクトルを変更する特徴ベクトル
    変更ステップをコンピュータに実行させ、 前記類似度算出ステップは、前記特徴ベクトル変更ステ
    ップにより変更された特徴ベクトルと、前記データベー
    スに登録されている前記指定された特徴についての特徴
    ベクトルとの類似度を算出することを特徴とする、請求
    項4〜6のいずれかに記載のデータベース検索プログラ
    ムを記録したコンピュータ読み取り可能な記録媒体。
  8. 【請求項8】 前記類似度算出ステップは、 類似度算出の対象となる特徴ベクトルの複数成分うち、
    使用する成分を決定する決定ステップを含み、 前記決定された成分を用いて類似度を算出することを特
    徴とする、請求項4〜7のいずれかに記載のデータベー
    ス検索プログラムを記録したコンピュータ読み取り可能
    な記録媒体。
  9. 【請求項9】 前記決定ステップは、ユーザが要求する
    類似性の曖昧度に応じて前記使用する成分を決定するこ
    とを特徴とする請求項8に記載のデータベース検索プロ
    グラムを記録したコンピュータ読み取り可能な記録媒
    体。
  10. 【請求項10】 前記決定ステップは、ユーザが要求す
    る検索速度に応じて前記使用する成分を決定することを
    特徴とする請求項8または9に記載のデータベース検索
    プログラムを記録したコンピュータ読み取り可能な記録
    媒体。
  11. 【請求項11】 前記決定ステップは、検索装置の混雑
    度に応じて前記使用する成分を決定することを特徴とす
    る、請求項8〜10のいずれかに記載のデータベース検
    索プログラムを記録したコンピュータ読み取り可能な記
    録媒体。
  12. 【請求項12】 前記類似度表示ステップは、算出され
    た類似度に応じて結果を表示することを特徴とする、請
    求項4〜11のいずれかに記載のデータベース検索プロ
    グラムを記録したコンピュータ読み取り可能な記録媒
    体。
  13. 【請求項13】 さらに、キーワードを取得するキーワ
    ード取得ステップをコンピュータに実行させ、 前記類似度算出ステップは、前記取得されたキーワード
    を有する顔画像を対象として類似度を算出することを特
    徴とする、請求項4〜12のいずれかに記載のデータベ
    ース検索プログラムを記録したコンピュータ読み取り可
    能な記録媒体。
  14. 【請求項14】 顔画像を取得する顔画像取得ステップ
    と、 検索対象となる特徴を指定する特徴指定ステップと、 前記取得された顔画像から、前記指定された特徴につい
    ての特徴ベクトルを取得する特徴ベクトル取得ステップ
    と、 前記取得された特徴ベクトルと、データベースに顔画像
    に対応付けて登録されている複数の特徴ベクトルのうち
    の前記指定された特徴についての特徴ベクトルとの類似
    度を算出する類似度算出ステップと、 前記算出された類似度の結果を表示する類似度表示ステ
    ップとを含む、データベース検索方法。
  15. 【請求項15】 顔画像を取得する顔画像取得手段と、
    検索対象となる特徴を指定する特徴指定手段と、 前記取得された顔画像から、前記指定された特徴につい
    ての特徴ベクトルを取得する特徴ベクトル取得手段と、 前記取得された特徴ベクトルと、データベースに顔画像
    に対応付けて登録されている複数の特徴ベクトルのうち
    の前記指定された特徴についての特徴ベクトルとの類似
    度を算出する類似度算出手段と、 前記算出された類似度の結果を表示する類似度表示手段
    とを含む、データベース検索装置。
JP2000375720A 2000-12-11 2000-12-11 データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置 Withdrawn JP2002183205A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000375720A JP2002183205A (ja) 2000-12-11 2000-12-11 データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000375720A JP2002183205A (ja) 2000-12-11 2000-12-11 データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置

Publications (1)

Publication Number Publication Date
JP2002183205A true JP2002183205A (ja) 2002-06-28

Family

ID=18844691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000375720A Withdrawn JP2002183205A (ja) 2000-12-11 2000-12-11 データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置

Country Status (1)

Country Link
JP (1) JP2002183205A (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005174308A (ja) * 2003-11-14 2005-06-30 Fuji Photo Film Co Ltd 顔認識に基づいたデジタル媒体の整理方法および装置
JP2006092396A (ja) * 2004-09-27 2006-04-06 Oki Electric Ind Co Ltd 単独行動者及びグループ行動者検知装置
EP1673714A1 (en) * 2003-10-09 2006-06-28 University of York Image recognition
JP2006190192A (ja) * 2005-01-07 2006-07-20 Sony Corp 情報処理装置および方法、並びにプログラム
JP2007140897A (ja) * 2005-11-18 2007-06-07 Fujifilm Corp 画像検索装置および方法並びにプログラム
WO2007072947A1 (ja) 2005-12-22 2007-06-28 Matsushita Electric Industrial Co., Ltd. 画像検索装置および画像検索方法
JP2007179198A (ja) * 2005-12-27 2007-07-12 Canon Marketing Japan Inc 画像管理サーバおよび画像掲載情報生成方法およびプログラムおよび記録媒体
JP2009059042A (ja) * 2007-08-30 2009-03-19 Olympus Imaging Corp 画像取扱装置、画像取扱方法および画像取扱のためのプログラム
WO2010100687A1 (ja) 2009-03-06 2010-09-10 パナソニック株式会社 画像検索装置及び画像検索方法
JP2012003623A (ja) * 2010-06-18 2012-01-05 Toshiba Corp 顔画像検索装置および顔画像検索方法
JP2012124658A (ja) * 2010-12-07 2012-06-28 Hitachi Kokusai Electric Inc 特定人物検知システムおよび検知方法
US8886634B2 (en) 2008-04-30 2014-11-11 Panasonic Corporation Apparatus for displaying result of analogous image retrieval and method for displaying result of analogous image retrieval
WO2018203555A1 (ja) * 2017-05-02 2018-11-08 日本電信電話株式会社 信号検索装置、方法、及びプログラム
WO2018203551A1 (ja) * 2017-05-02 2018-11-08 日本電信電話株式会社 信号検索装置、方法、及びプログラム
US10140354B2 (en) 2013-03-01 2018-11-27 Nec Corporation Information processing device, data processing method therefor, and recording medium

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1673714A1 (en) * 2003-10-09 2006-06-28 University of York Image recognition
JP4860472B2 (ja) * 2003-10-09 2012-01-25 ユニヴァーシティ オブ ヨーク 画像認識
JP2007508609A (ja) * 2003-10-09 2007-04-05 ユニヴァーシティ オブ ヨーク 画像認識
JP2005174308A (ja) * 2003-11-14 2005-06-30 Fuji Photo Film Co Ltd 顔認識に基づいたデジタル媒体の整理方法および装置
JP4506381B2 (ja) * 2004-09-27 2010-07-21 沖電気工業株式会社 単独行動者及びグループ行動者検知装置
JP2006092396A (ja) * 2004-09-27 2006-04-06 Oki Electric Ind Co Ltd 単独行動者及びグループ行動者検知装置
JP2006190192A (ja) * 2005-01-07 2006-07-20 Sony Corp 情報処理装置および方法、並びにプログラム
JP4556121B2 (ja) * 2005-01-07 2010-10-06 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2007140897A (ja) * 2005-11-18 2007-06-07 Fujifilm Corp 画像検索装置および方法並びにプログラム
WO2007072947A1 (ja) 2005-12-22 2007-06-28 Matsushita Electric Industrial Co., Ltd. 画像検索装置および画像検索方法
US8560551B2 (en) 2005-12-22 2013-10-15 Panasonic Corporation Image search apparatus and image search method
US8150854B2 (en) 2005-12-22 2012-04-03 Panasonic Corporation Image search apparatus and image search method
JP2007179198A (ja) * 2005-12-27 2007-07-12 Canon Marketing Japan Inc 画像管理サーバおよび画像掲載情報生成方法およびプログラムおよび記録媒体
JP2009059042A (ja) * 2007-08-30 2009-03-19 Olympus Imaging Corp 画像取扱装置、画像取扱方法および画像取扱のためのプログラム
US8886634B2 (en) 2008-04-30 2014-11-11 Panasonic Corporation Apparatus for displaying result of analogous image retrieval and method for displaying result of analogous image retrieval
US8401254B2 (en) 2009-03-06 2013-03-19 Panasonic Corporation Image search device and image search method
WO2010100687A1 (ja) 2009-03-06 2010-09-10 パナソニック株式会社 画像検索装置及び画像検索方法
JP2012003623A (ja) * 2010-06-18 2012-01-05 Toshiba Corp 顔画像検索装置および顔画像検索方法
JP2012124658A (ja) * 2010-12-07 2012-06-28 Hitachi Kokusai Electric Inc 特定人物検知システムおよび検知方法
US10140354B2 (en) 2013-03-01 2018-11-27 Nec Corporation Information processing device, data processing method therefor, and recording medium
US11423054B2 (en) 2013-03-01 2022-08-23 Nec Corporation Information processing device, data processing method therefor, and recording medium
WO2018203555A1 (ja) * 2017-05-02 2018-11-08 日本電信電話株式会社 信号検索装置、方法、及びプログラム
WO2018203551A1 (ja) * 2017-05-02 2018-11-08 日本電信電話株式会社 信号検索装置、方法、及びプログラム
JPWO2018203555A1 (ja) * 2017-05-02 2019-12-19 日本電信電話株式会社 信号検索装置、方法、及びプログラム
JPWO2018203551A1 (ja) * 2017-05-02 2020-01-23 日本電信電話株式会社 信号検索装置、方法、及びプログラム
US11335118B2 (en) * 2017-05-02 2022-05-17 Nippon Telegraph And Telephone Corporation Signal retrieval apparatus, method, and program
US11615611B2 (en) 2017-05-02 2023-03-28 Nippon Telegraph And Telephone Corporation Signal retrieval device, method, and program

Similar Documents

Publication Publication Date Title
US11327936B1 (en) Facial based image organization and retrieval method
CN102855463B (zh) 面部识别装置及其控制方法和面部识别方法
US9972113B2 (en) Computer-readable recording medium having stored therein album producing program, album producing method, and album producing device for generating an album using captured images
US6549913B1 (en) Method for compiling an image database, an image database system, and an image data storage medium
JP2002183205A (ja) データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置
US20050234896A1 (en) Image retrieving apparatus, image retrieving method and image retrieving program
US7243101B2 (en) Program, image managing apparatus and image managing method
US20020111939A1 (en) Image data retrieval apparatus and method capable of facilitating retrieval of desired image data from image database
WO2004055696A2 (en) Method for generating customized photo album pages and prints based on people and gender profiles
WO2019129075A1 (zh) 视频检索的方法和装置以及计算机可读存储介质
JP2008165701A (ja) 画像処理装置、電子機器、画像処理方法、及び、プログラム
JP2007280325A (ja) 動画表示装置
JP4490214B2 (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
JP2014016790A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2008269490A (ja) 画像管理方法、画像管理装置、制御プログラム及びコンピュータ可読記憶媒体
JP2006081021A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP2006079460A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP2006163527A (ja) 画像検索装置及び方法
US11869127B2 (en) Image manipulation method and apparatus
JP2002169810A (ja) 画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体、画像検索方法および画像検索装置
JP6839366B2 (ja) 情報処理装置、情報処理システム、その制御方法、及びプログラム
JP2011524570A (ja) スキャンしたハードコピー媒体の位置付けの決定
WO2021145030A1 (ja) 映像検索システム、映像検索方法、及びコンピュータプログラム
JPH1185982A (ja) 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体
US20180189602A1 (en) Method of and system for determining and selecting media representing event diversity

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050613

A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080304