JP2008152789A

JP2008152789A - 顔映像の類似度の算出方法及び装置とこれを利用した顔映像の検索方法及び装置、並びに顔合成方法

Info

Publication number: JP2008152789A
Application number: JP2007325232A
Authority: JP
Inventors: Won-Jun Hwang; 元俊黄; Eui-Hyeon Hwang; 義賢黄; Young-Su Moon; 永秀文; Keitai Boku; 奎泰朴
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2006-12-18
Filing date: 2007-12-17
Publication date: 2008-07-03
Also published as: KR20080056591A; KR100860989B1; US20080144891A1

Abstract

【課題】顔映像の類似度の算出方法及び装置と、これを利用した顔映像の検索方法及び装置、並びに顔合成方法を提供する。
【解決手段】顔映像の全体特徴による顔映像の全体的な類似度と顔映像の局部特徴による顔映像の局部的な類似度とをそれぞれ別途に計算し、計算された類似度結果を加重値によって合算して対応する顔映像の類似度を計算することによって、顔の全体的な特徴と局部的な特徴とがいずれも考慮された顔類似度計算結果を得ることができ、顔映像類似度計算の信頼性を向上させることができ、複雑性を低減させることできる顔映像の類似度の算出方法。
【選択図】図２

Description

本発明は、顔映像類似度の算出方法及び装置とこれを利用した顔映像の検索方法及び装置、並びに顔合成方法に係り、特に、顔映像から全体特徴ベクトル及び局部特徴ベクトルを抽出して顔映像間の類似度を算出する方法及び装置に関する。本発明の顔映像類似度の算出方法及び装置は、顔映像間の類似程度を計算する顔類似度計算システムと顔映像検索システムなどに使われる。

近来、テロや情報盗難事件が頻繁に発生するにつれて、これを抑制するための一つの手段である顔認識システムの重要性はさらに高まりつつある。顔映像間の類似度を計算する効率的なアルゴリズムは、顔認識システムにおいて最も重要な問題のうち一つである。

顔類似度を計算するための従来の方法としては、重要成分分析（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔｓＡｎａｌｙｓｉｓ：ＰＣＡ）技法がある。ＰＣＡ技法は、顔全体特徴を利用して顔全体の類似度を比較する方法である。ＰＣＡ技法を利用する場合、類似度計算結果がヘアスタイルや顔の輪郭によって変わるという限界があった。

線形判別分析技法は、集団間の特性差を極大化させうる変数の線形結合を導出し、このような線形結合により新たな変数上に集団がどのように配列されるかを考慮して、各変数に付与された加重値を再調整することによって２つまたは２つ以上のクラスを最もよく分類できる特徴の組み合わせを探す方法である。このような線形判別分析を利用して顔映像間の類似度を計算する場合、線形判別分析方法の特性上、異種のクラスに属する顔映像間の類似度値は非常に低い値に集中した分布を持つために、他のクラスに属する顔映像間の類似程度を把握するために活用し難いという問題がある。

本発明が解決しようとする技術的課題は、顔映像の全体的な特徴と局部的な特徴とが類似度結果にいずれも反映されることによって、顔映像類似度計算の信頼性を向上させ、複雑性を低める顔映像類似度の判断方法及び装置と、これを利用した顔映像の検索方法及び装置、並びに顔映像の合成方法を提供するところにある。

前記技術的課題を達成するための本発明による顔類似度の算出方法は、トレーニング顔映像セットから抽出された顔全体領域に対する第１ベーシスに入力顔映像を投影して、入力顔映像の全体特徴ベクトルを生成するステップと、前記トレーニング顔映像セットから抽出された顔局部領域に対する第２ベーシスに前記入力顔映像を投影して、入力顔映像の局部特徴ベクトルを生成するステップと、前記トレーニング顔映像セットから選択されたいずれか一つのトレーニング顔映像による全体特徴ベクトル及び局部特徴ベクトルと、前記入力顔映像の全体特徴ベクトル及び局部特徴ベクトルとを利用して、前記選択されたトレーニング顔映像と入力顔映像との類似度を算出するステップとを含む。

前記他の技術的課題を達成するための本発明による顔類似度の算出方法は、トレーニング顔映像セットから顔全体領域に対する第１ベーシスを抽出するステップと、前記トレーニング顔映像セットから顔局部領域に対する第２ベーシスを抽出するステップと、入力顔映像を前記第１ベーシスに投影して入力顔映像の全体特徴ベクトルを生成するステップと、前記入力顔映像を前記第２ベーシスに投影して入力顔映像の局部特徴ベクトルを生成するステップと、前記トレーニング顔映像セットから選択されたいずれか一つのトレーニング顔映像を前記第１ベーシスに投影して、前記選択されたトレーニング顔映像の全体特徴ベクトルを生成するステップと、前記選択されたトレーニング顔映像を前記第２ベーシスに投影して、前記選択されたトレーニング顔映像の局部特徴ベクトルを生成するステップと、前記入力顔映像と前記選択されたトレーニング顔映像との全体特徴ベクトルを比較するステップと、前記入力顔映像と前記選択されたトレーニング顔映像との局部特徴ベクトルを比較するステップと、前記比較結果を利用して前記入力顔映像と前記選択されたトレーニング顔映像との類似度を算出するステップとを含む。

前記技術的課題を達成するために本発明は、本発明の顔映像類似度の算出方法を実行できるプログラムが記録されたコンピュータで読み取り可能な記録媒体を提供する。

前記技術的課題を解決するための本発明による顔映像の類似度の算出装置は、入力顔映像を受信する受信部と、トレーニング顔映像セットから抽出された顔全体領域に対する第１ベーシスに入力顔映像を投影して、入力顔映像の全体特徴ベクトルを生成する全体特徴生成部と、前記トレーニング顔映像セットから抽出された顔局部領域に対する第２ベーシスに入力顔映像を投影して、入力顔局部特徴ベクトルを生成する局部特徴生成部と、前記トレーニング顔映像セットから選択されたいずれか一つのトレーニング顔映像による全体特徴ベクトル及び局部特徴ベクトルと、前記入力顔映像による全体特徴ベクトル及び局部特徴ベクトルとを利用して、前記選択されたトレーニング顔映像と入力顔映像との類似度を算出する類似度算出部とを備える。

前記技術的課題を解決するための本発明による顔映像の検索方法は、トレーニング顔映像セットから抽出された顔全体領域に対する第１ベーシスに入力顔映像を投影して入力顔映像の全体特徴ベクトルを生成するステップと、前記トレーニング顔映像セットから抽出された顔局部領域に対する第２ベーシスに前記入力顔映像を投影して入力顔映像の局部特徴ベクトルを生成するステップと、前記生成された全体特徴ベクトル及び局部特徴ベクトルを利用して、前記入力顔映像と所定の類似度を持つ顔映像を前記トレーニング顔映像セットで検索するステップとを含む。

前記技術的課題を解決するための本発明による顔映像検索装置は、入力顔映像を受信する受信部と、トレーニング顔映像セットから抽出された顔全体領域に対する第１ベーシスに入力顔映像を投影して入力顔映像の全体特徴ベクトルを生成する全体特徴生成部と、前記トレーニング顔映像セットから抽出された顔局部領域に対する第２ベーシスに前記入力顔映像を投影して、入力顔映像の局部特徴ベクトルを生成する局部特徴生成部と、前記入力顔映像による全体特徴ベクトルと局部映像ベクトルとを利用して、前記入力顔映像と所定の類似度を持つ顔映像を前記トレーニング顔映像セットで検索する検索部とを備える。

前記技術的課題を解決するための本発明による顔映像の合成方法は、顔合成のための２つ以上の顔映像を選択するステップと、前記選択されたそれぞれの顔映像から全体特徴ベクトル及び局部特徴ベクトルを抽出するステップと、前記選択されたそれぞれの顔映像から抽出された全体特徴ベクトルを利用して全体特徴による顔映像ベクトルを復元するステップと、前記選択されたそれぞれの顔映像から抽出された局部特徴ベクトルを利用して局部特徴による顔映像ベクトルを復元するステップと、前記復元された顔映像ベクトルを合成するステップとを含む。

本発明によれば、顔映像の全体特徴による顔映像の全体的な類似度と顔映像の局部特徴による顔映像の局部的な類似度とをそれぞれ別途に計算し、計算された類似度結果を加重値によって合算して、対比される顔映像の類似度を計算することによって、顔の全体的な特徴と局部的な特徴とがいずれも考慮された顔類似度計算結果を得ることができ、顔映像類似度計算の信頼性を向上させることができ、複雑性を低減させることできる。

以下では、本発明の図面及び実施形態を参照して、本発明の顔映像類似度の算出方法及び装置について詳細に説明する。

図１は、本発明の一実施形態による顔映像の類似度の算出装置１を示すブロック図である。本実施形態による顔映像の類似度の算出装置は、受信部１０、トレーニング顔映像保存部２０、全体特徴ベクトル生成部３０、局部特徴ベクトル生成部４０、全体特徴類似度計算部５０、局部特徴類似度計算部６０、加重値選択部７０及び最終類似度算出部８０を備える。

受信部１０は、顔映像の類似度算出のための入力顔映像を受信する。前記受信された入力顔映像は、顔映像を獲得できるカメラ、カムコーダなどの映像獲得装置を通じて獲得できる。

受信部１０を通じて獲得された入力顔映像は所定の前処理部（図示せず）を通じて正規化することが望ましい。入力顔映像に対する正規化プロセスは、入力された顔映像から背景映像を除去し、ガウス低域通過フィルタを通じて顔イメージをフィルタリングした後、フィルタリングされたイメージから眼領域を探して眼の位置を基準としてイメージを正規化させ、照明を変化させて照明の分散を除去するステップを含む。

トレーニング顔映像保存部２０は、トレーニング顔映像セットについての情報を保存する。前記トレーニング顔映像セットは複数のトレーニング顔映像で形成される。本実施形態は、後述する全体特徴ベクトル生成部３０及び局部特徴ベクトル生成部４０を通じてトレーニング顔映像に対する全体特徴ベクトル及び局部特徴ベクトルを抽出する例を開示する。本実施形態とは異なって、トレーニング顔映像に対するＰＣＡと局部特徴分析（ＬｏｃａｌＦｅａｔｕｒｅＡｎａｌｙｓｉｓ：ＬＦＡ）とを事前に行うことによって、これを通じて抽出されたそれぞれのトレーニング顔映像による全体特徴ベクトル及び局部特徴ベクトルのデータベースをあらかじめ構築することで、トレーニング顔映像らから特徴ベクトルを抽出するプロセスが不要になるようにシステムを構成することもできる。

全体特徴ベクトル生成部３０は、入力顔映像とトレーニング顔映像とをそれぞれＰＣＡベーシス（第１ベーシス）に投影して、顔全体特徴に対する全体特徴ベクトルをそれぞれ生成する。

ここでＰＣＡベーシスは、顔全体領域に対する固有ベクトルであり、トレーニング顔映像に対してＰＣＡを行うことによって生成される。ＰＣＡを行う方法とＰＣＡベーシスを得る方法については後述する。

局部特徴ベクトル生成部４０は、入力顔映像とトレーニング顔映像とをそれぞれＬＦＡベーシス（第２ベーシス）に投影して顔局部特徴（ｌｏｃａｌｆａｃｉａｌｆｅａｔｕｒｅｓ）に対する局部特徴ベクトルをそれぞれ生成する。ここでＬＦＡベーシスは、トレーニング顔映像に対してＬＦＡを行うことによって生成される。ＬＦＡベーシスは、顔局部領域による特徴を抽出するためのベクトルであり、ＬＦＡを行う方法及びＬＦＡベーシスを得る方法については後述する。

局部特徴ベクトル生成部４０を通じて生成される局部特徴ベクトルは、顔の特定領域による特徴を反映する特徴ベクトルである。本実施形態で顔の局部領域は、眼を中心とする領域、鼻を中心とする領域、口を中心とする領域を意味する。ここで局部特徴ベクトルは、眼、鼻、口のように選択された特定領域に相対的に大きい加重値を付与して、顔全体領域から抽出される特徴ベクトルを意味するものであり、選択された特定領域のみから抽出された特徴ベクトルを意味するものではない。

局部特徴ベクトル生成部４０は、第１局部特徴ベクトル生成部４１、第２局部特徴ベクトル生成部４２及び第３局部特徴ベクトル生成部４３を備える。

第１局部特徴ベクトル生成部４１は、眼領域から特徴ベクトル抽出のためのＬＦＡ基底ベクトルに入力顔映像を投影することによって、眼領域の特徴を主に反映する第１局部特徴ベクトルを生成する。第２局部特徴ベクトル生成部４２は、鼻領域を中心とする第２局部特徴ベクトルを生成し、第３局部特徴ベクトル生成部４３は口の領域を中心とする第３局部特徴ベクトルを生成する。

全体特徴類似度計算部５０は、全体特徴ベクトル生成部３０で生成された入力顔映像の全体特徴ベクトルと、トレーニング顔映像保存部２０に保存されたトレーニング顔映像の全体特徴ベクトルとの類似度を計算する。

局部特徴類似度計算部６０は、局部特徴ベクトル生成部４０で生成された入力顔映像の局部特徴ベクトルと、トレーニング顔映像保存部２０に保存されたトレーニング顔映像の局部特徴ベクトルとの類似度を計算する。

第１局部特徴類似度計算部６１は、第１局部ベクトル特徴生成部４１で生成された入力顔映像の第１局部特徴ベクトルと、トレーニング顔映像の第１局部特徴ベクトルとの類似度を計算する。同様に、第２局部特徴類似度計算部６２及び第３局部特徴類似度計算部６３は、第２局部特徴ベクトル間の類似度と第３局部特徴ベクトル間の類似度とをそれぞれ計算する。

局部特徴類似度合算部６４は、第１ないし第３局部特徴類似度計算部を通じて計算された類似度値を、加重値選択部７０を通じて特定された加重値によって合算して統合された部分類似度値を計算する。

加重値選択部７０は、顔領域を特定領域に分割し、分割された領域にそれぞれ異なる加重値を付与する。例えば、眼、鼻、口の領域による局部特徴ベクトル間の類似度を計算し、前記計算されたそれぞれの類似度を合算するときに、眼領域にさらに大きい加重値を付与することによって、統合された類似度を得ることができる。顔の局部領域による加重値はユーザインターフェースを通じて容易に特定でき、顔映像間の類似程度を把握しようとするユーザの志向を反映でき、多角的な観点での類似程度測定ができるという長所がある。

また、加重値選択部７０は、全体特徴類似度計算部５０を通じて計算された類似度及び局部特徴類似度計算部６０を通じて計算された類似度値を最終類似度結果に反映するための所定の加重値を付与する。全体特徴ベクトル間の類似度値に加重値が大きく付与される場合、最終類似度計算において局部特徴ベクトル間の相異の比重は相対的に低くなる。

最終類似度算出部８０は、全体特徴類似度計算部５０及び局部特徴類似度計算部６０を通じて計算された全体特徴類似度値と局部特徴類似度値とを、加重値選択部７０を通じて特定された加重値によって合算し、合算された結果をディスプレイまたは音声送出などの方式を利用して出力する。

図２は、本発明の一実施形態による顔映像類似度の算出方法を示すフローチャートである。本実施形態による顔映像類似度の算出方法は、顔映像類似度の算出装置１で時系列的に処理される次のようなステップを含む。

１１０ステップで受信部１０は、顔映像の類似度算出のための入力顔映像を受信する。

１２０ステップで全体特徴ベクトル生成部３０は、受信された入力顔映像を第１ベーシス（ＰＣＡベーシス）に投影して入力顔映像の全体特徴ベクトルを生成し、トレーニング顔映像セットから選択された一つのトレーニング顔映像を第１ベーシスに投影して、前記選択されたトレーニング顔映像の全体特徴ベクトルを生成する。

図３は、図２に示す１２０ステップについての詳細フローチャートである。図３は、ＰＣＡベーシスを計算する方法、入力顔映像及びトレーニング顔映像から全体特徴ベクトルを生成する方法についての詳細図である。本実施形態とは異なって、トレーニング顔映像セットに含まれているあらゆるトレーニング顔映像に対してＰＣＡ学習をあらかじめ行った場合には、ＰＣＡベーシスを計算するステップが別途に必要ない。

１２１ステップでベーシス生成部（図示せず）は、トレーニング顔映像が保存されたトレーニング顔映像セットに保存されたＭ個のトレーニング顔映像

の平均値を下記式（１）によって計算する。

ここで、

は、それぞれのトレーニング顔映像ベクトルを表し、Ｍは、トレーニング顔映像の数を表す。

１２２ステップでベーシス生成部（図示せず）は、トレーニング顔映像と平均値との差ｘ_ｉを下記の式（２）によって計算する。

１２３ステップでベーシス生成部は、行列

を利用して下記式（３）によって共分散行列を計算する。

１２４ステップでベーシス生成部は、下記式（４）を利用して固有ベクトル行列Ｕと固有値行列Λとを計算する。

前記式（４）を通じて計算された固有ベクトル行列Ｕは、本実施形態で顔類似度計算のためのＰＣＡベーシスとして使われる。

図４は、図３によるＰＣＡベーシスの例を示すものである。図４で左側上段の固有顔は分散度が最も大きく、右側または下側へ行くほど固有顔の分散度は小さくなる。

１２５ステップでベーシス生成部（図示せず）は、１２４ステップを通じて生成された固有ベクトル行列Ｕ、すなわち、ＰＣＡベーシスと１２１ステップを通じて生成された平均ベクトルｍとを利用して、下記式（５）によってＰＣＡプロジェクションを行う。

ここで

は、入力顔映像ベクトルであり、ｙ^Ｐは、入力顔映像の全体特徴ベクトルである。これと同様に、トレーニング顔映像の全体特徴ベクトルは、トレーニング顔映像ベクトルを

に代入させることによって計算できる。

１３０ステップで全体特徴類似度計算部５０は、入力顔映像とトレーニング顔映像との全体特徴ベクトル間の類似度を計算する。全体特徴ベクトル間の類似度はそれぞれの全体特徴ベクトル間のコサイン距離、ユークリッド距離、マハラノビス距離などを利用して計算できる。例えば、加重値基盤ユークリッド距離（ＷｅｉｇｈｔｅｄＥｕｃｌｉｄｅａｎＤｉｓｔａｎｃｅ）を利用した類似度は、下記式（６）によって計算できる。

ここで、

とはそれぞれ比較しようとする顔映像による全体特徴ベクトルであり、ｋは、ＰＣＡベーシスのうち固有分散度が高い順に選択されたｎ個を意味し、

は、顔類似度計算のために既設定の全体特徴ベクトルによる加重値である。

１４０ステップで局部特徴ベクトル生成部４０は、受信された入力顔映像を第２ベーシス（ＬＦＡベーシス）に投影して、入力顔映像の局部特徴ベクトルを生成する。また、局部特徴ベクトル生成部４０は、トレーニング顔映像セットから選択された一つのトレーニング顔映像を第２ベーシスに投影して、前記選択されたトレーニング顔映像の局部特徴ベクトルを生成する。他の局部領域による局部特徴ベクトルを追加で生成しようとする場合、１４０ステップは、前記他の局部領域による第３ベーシスに前記それぞれの顔映像を投影するステップをさらに含む。

図５は、図２に示す１４０ステップについての詳細フローチャートである。図３は、ＬＦＡベーシスを計算するステップを含み、入力顔映像とトレーニング顔映像とから全体特徴ベクトルを生成する方法についての詳細図である。図２には、ＬＦＡベーシス（第２ベーシス）を生成するステップが図示されていない。トレーニング顔映像セットに含まれているあらゆるトレーニング顔映像についてＬＦＡ学習をあらかじめ行った場合、ＬＦＡベーシスを計算するステップは必要ない。

１４１ステップでベーシス生成部（図示せず）は、１２４ステップを通じて計算された固有値行列ΛからＬＦＡ固有値行列を下記式（７）または（８）によって計算する。

ここで

は、固有値行列Λを構成する各固有値成分であり、ｄｉａｇ（）は、対角行列関数である。

ここで、

であり、ｎは、ノイズ除去のために設定された一種のＬｏｗ−ＰａｓｓＦｉｌｔｅｒ（Ｆ_ｉ）のパラメータである。

１４２ステップで、１２４ステップを通じて生成された固有ベクトル行列Ｕと１４１ステップを通じて生成された固有値行列

とを利用して、下記の式（９）によってカーネル行列

を計算する。

前記カーネル行列は、本実施形態で顔映像の局部特徴による類似度を計算するためのＬＦＡベーシスとして使われる。

図６は、図５によるＬＦＡベーシスの例を示すものである。暗い部分は、類似度計算において比重の低い領域を表し、明るい部分は、比重の高い領域を表す。

１４３ステップでベーシス生成部（図示せず）は、１４２ステップを通じて生成されたカーネル行列、すなわち、ＬＦＡベーシスと１２１ステップを通じて生成された平均ベクトルｍとを利用して、下記式（１０）によってＬＦＡプロジェクションを行う。

ここで、

は、入力顔映像ベクトルであり、ｙ^Ｌは、入力顔映像の局部特徴ベクトルである。これと同様に、トレーニング顔映像の局部特徴ベクトルは、トレーニング顔映像ベクトルを

に代入させることによって計算できる。

１５０ステップで局部特徴類似度計算部６０は、入力顔映像とトレーニング顔映像との局部特徴ベクトル間の類似度を計算する。顔映像から複数の局部特徴ベクトルを抽出した場合、例えば眼、鼻、口によるそれぞれの局部特徴ベクトルを抽出した場合、局部特徴類似度はそれぞれの領域によって別途に計算され、加重値選択部７０によって付与された所定の加重値によって合算される。

局部領域、すなわち、眼、鼻、口の領域から抽出された局部特徴ベクトル間の類似度は、下記式（１１）のユークリッド距離関数を利用して計算できる。

ここで、（ｉ，ｊ）は、所定の領域（ｒｅｇｉｏｎ）に属する映像座標を表す。

図７Ａは、顔領域のうち眼領域を局部領域として選択する一例を示し、図７Ｂは、各ピクセルによる加重値の例を示す。図７Ａで、ボックス領域は眼に対する局部領域であり、式（１１）で（ｉ，ｊ）は、ボックス領域に属する映像座標を表す。局部特徴ベクトルの類似度は、各映像座標による局部領域特徴値である

とのユークリッド距離で表すことができる。このような局部映像の類似度を求める時にあらかじめ設定された領域加重値を使用できるが、この値は式（１２）を通じて得ることができる。

式（１２）は、同一人の顔変化による分散の和、すなわち、それぞれのクラスに属する顔映像の変化による分散の和を各ピクセル別に計算したものである。

ここで、

は、ｊ番目人物のｉ番目映像を意味し、

はｊ番目人物の平均顔映像を意味する。このように求められた人物の各ピクセル分散度は図７Ｂの通りである。図７Ｂは、局部領域による加重値の例示であり、この時に明るい色は同一人の映像で分散度が低いことを意味し、黒い色は分散度が高いことを意味する。分散度が高いという意味は、同一人の写真でも表情やポーズ変化によってピクセル値の変化が大きいという意味となる。結局、加重値

と同じ意味となる。

下記の式（１３）は、局部領域別加重値を考慮して局部特徴類似度を統合するための関数である。

ここで、

は局部領域

による最終加重値である。この値は、ユーザの意図や応用プログラムによって異なる値が設定される。

１６０ステップで最終類似度算出部８０は、１３０ステップを通じて計算された全体特徴ベクトルの類似度値と１５０ステップを通じて計算された局部特徴ベクトルの類似度値とを合算するが、加重値選択部７０によって付与された所定の加重値によって類似度値を合算することによって最終類似度を計算する。

ここで、ｗ_Ｈは、全体特徴ベクトル間の類似度に対する加重値であり、ｗ_Ｌは、局部特徴ベクトルの類似度に対する加重値である。

以下では、本発明の図面及び実施形態を参照して本発明の顔映像検索装置及び方法について詳細に説明する。

図８は、本発明の一実施形態による顔映像検索装置を示すブロック図である。

本実施形態による顔映像検索装置２００は、受信部２１０、トレーニング顔映像保存部２２０、全体特徴ベクトル生成部２３０、局部特徴ベクトル生成部２４０、全体特徴類似度計算部２５０、局部特徴類似度計算部２６０、第１比較部２７０、加重値選択部２８０、最終類似度算出部２９０及び第２比較部２９５を備える。本実施形態の顔映像検索装置２００は、図１に示す顔映像類似度の算出装置１と多くの構成要素が共通するので、以下、共通の説明は省略する。

受信部２１０は、検索しようとする顔映像についての情報を受信する。

トレーニング顔映像保存部２２０は、複数のトレーニング顔映像を保存する。顔映像の検索は、トレーニング顔映像保存部２２０に保存されたトレーニング顔映像に対して行われる。

全体特徴ベクトル生成部２３０は、入力顔映像とトレーニング顔映像とをそれぞれＰＣＡベーシスに投影し、それぞれの顔映像による全体特徴ベクトルを生成する。全体特徴類似度計算部２５０は、全体特徴ベクトル生成部２３０を通じて生成された全体特徴ベクトルの類似度を計算する。

第１比較部２７０は、前記類似度と所定の基準値とを比較する。比較結果、前記類似度が所定の基準値より大きい場合、局部特徴ベクトル生成部２４０は、入力顔映像とトレーニング顔映像とによる局部特徴ベクトルを生成する。前記類似度が所定の基準値より小さな場合、現在のトレーニング顔映像は入力顔映像と非類似度が大きいことを意味し、この場合、現在のトレーニング顔映像に対する局部特徴ベクトルが不要である。この場合、第１比較部２７０の判断結果によってトレーニング顔映像保存部２２０は、さらに一つのトレーニング顔映像についてのデータを全体特徴ベクトル生成部２３０に伝達し、全体特徴ベクトル生成部２３０は、新たなトレーニング顔映像に対する全体特徴ベクトルを生成し、類似度を計算し、所定の基準値と比較するプロセスを行う。本実施形態で全体特徴ベクトル生成部２３０、全体特徴類似度計算部２５０、第１比較部２７０は、トレーニング顔映像保存部に保存されたあらゆるトレーニング顔映像に対して、それぞれの類似如何を判断するまで前記プロセスを反復して行う。

局部特徴ベクトル生成部２４０は、入力顔映像とトレーニング顔映像とをＬＦＡベーシスに投影してそれぞれの顔映像による局部特徴ベクトルを生成する。第１局部特徴ベクトル生成部２４１は、眼を中心とする領域から第１局部特徴ベクトルを抽出し、第２局部特徴ベクトル生成部２４２は、鼻を中心とする領域から第２局部特徴ベクトルを抽出し、第３局部特徴ベクトル生成部２４３は、口を中心とする領域から第３局部特徴ベクトルを抽出する。

第１ないし第３局部特徴類似度計算部２６１〜２６３は、第１ないし第３局部特徴ベクトル生成部２４１〜２４３で生成された入力顔映像とトレーニング顔映像とから抽出された局部特徴ベクトル間の類似度をそれぞれ計算する。

局部特徴類似度合算部２６４は、加重値選択部２８０を通じて特定される所定の加重値によって前記計算された類似度値を合算する。

最終類似度算出部２９０は、全体特徴と部分特徴との類似度値を所定の加重値によって合算する。

第２比較部２９５は、最終類似度値を所定の基準値と比較して、最終類似度値が基準値より大きい場合、現在のトレーニング顔映像を検索結果として出力する。

図９Ａ及び図９Ｂは、本発明の一実施形態による顔映像の検索方法を示すフローチャートである。本実施形態の顔映像の検索方法は、顔映像検索装置２００で時系列的に処理される次のステップを含む。

３１０ステップは、入力顔映像を受信して、受信された入力顔映像とトレーニング顔映像保存部２２０に保存されたトレーニング顔映像との全体類似度を計算するステップであって、３１１ないし３１４ステップを含む。

３１１ステップで受信部２１０は、検索しようとする入力顔映像情報を受信する。

３１２ステップで全体特徴ベクトル生成部２３０は、受信された入力顔映像をＰＣＡベーシスに投影して入力顔映像の全体特徴ベクトルを生成する。

３１３ステップで全体特徴ベクトル生成部２３０は、トレーニング顔映像をＰＣＡベーシスに投影して、（ｎ番目）トレーニング顔映像の全体特徴ベクトルを生成する。ここで（ｎ番目）トレーニング顔映像は、トレーニング顔映像セットから選択された一つのトレーニング顔映像であって、現在ステップで入力顔映像と類似しているかどうかを判断している現在のトレーニング顔映像を意味する。

３１４ステップで全体特徴類似度計算部２５０は、入力顔映像とトレーニング顔映像との類似度を計算する。

３１５ステップで第１比較部２７０は、全体特徴ベクトルの類似度値が所定の基準値より大きいかどうかを判断する。本ステップの判断結果、類似度値が所定の基準値より大きい場合には以後のステップが行われ、所定の基準値より小さな場合には、次の（ｎ＋１番目）トレーニング顔映像をトレーニング顔映像保存部２２０からフェッチするステップ（３６０ステップ）が行われる。全体特徴生成部２３０は、３６０ステップを通じてフェッチしたトレーニング顔映像をＰＣＡベクトルベーシスに投影して、全体特徴ベクトルを生成する。

３２０ステップは、受信された入力顔映像とトレーニング顔映像保存部２２０に保存されたトレーニング顔映像との局部的な類似度を計算するステップであり、３２１ないし３２３ステップを含む。

３２１ステップで局部特徴ベクトル生成部２４０は、入力顔映像をＬＦＡベーシスに投影して、入力顔映像の局部特徴ベクトルを生成する。本実施形態の局部特徴ベクトル生成部２４０は、第１ないし第３局部特徴生成部２４１〜２４３を備え、図１に示す局部特徴生成部と同様に眼、鼻、口の領域から局部特徴ベクトルを生成する。

３２２ステップで局部特徴ベクトル生成部２４０は、トレーニング顔映像をＬＦＡベーシスに投影してトレーニング顔映像の局部特徴ベクトルを生成する。

３２３ステップで局部特徴類似度計算部２６０は、入力顔映像とトレーニング顔映像とから抽出された局部特徴ベクトルの類似度を計算する。本実施形態の局部特徴類似度計算部２６０は第１ないし第３局部特徴類似度計算部２６１〜２６３を備え、加重値選択部２８０により特定された加重値によって、それぞれの局部特徴による類似度値を合算する局部特徴類似度合算部２６４を備える。

３３０ステップは、最終類似度を計算し、計算された最終類似度を所定の基準値と比較するステップであり、３３１ステップと３３２ステップとを含む。

３３１ステップで最終類似度算出部２９０は、３１５ステップで計算された全体特徴ベクトルの類似度と３２３ステップで計算された局部特徴ベクトルの類似度とを、加重値選択部２８０による加重値によって合算する。

３３２ステップで第２比較部２９５は、最終類似度値と所定の基準値とを比較する。本ステップの判断結果、類似度値が所定の基準値より大きい場合には、現在のトレーニング顔映像を検索結果として出力する。

３４０ステップで結果出力部（図示せず）は、ユーザに現在のトレーニング顔映像と類似度結果についての情報とを検索結果として示す。

３５０ステップで第２比較部２９５は、あらゆるトレーニング顔映像について類似度を判断したかどうかを判断する。類似度を判断していないトレーニング顔映像がそれ以上ない場合には、本プロセスは終了する。

３６０ステップで全体特徴ベクトル生成部２３０は、他のトレーニング顔映像（ｎ＋１番目トレーニング顔映像）についてのデータをトレーニング顔映像保存部２２０から読み出す。３１３ステップないし３５０ステップは再び行われ、あらゆるトレーニング顔映像と入力顔映像との類似度計算を行うまで反復される。

以下では、本発明の図面及び実施形態を参照して、本発明の顔映像合成装置及び方法について詳細に説明する。

図１０は、本発明の一実施形態による顔映像合成装置を示すブロック図である。本実施形態の顔映像合成装置４００は、第１顔映像選択部４１１、第２顔映像選択部４１２、全体特徴ベクトル抽出部４２１、４２３、局部特徴ベクトル抽出部４２２、４２４、第１加重値選択部４３１、第２加重値選択部４３２、全体特徴ベクトル生成部４４１、局部特徴ベクトル選択部４４２、全体特徴ベクトルによる顔映像復元部４５１、局部特徴ベクトルによる顔映像復元部４５２及び顔映像合成部４６０を備える。

第１顔映像選択部４１１及び２顔映像選択部４１２は、ユーザインターフェースを通じて２個の顔映像についての情報を受信する。

全体特徴ベクトル抽出部４２１は第１顔映像から全体特徴ベクトルを抽出し、局部特徴ベクトル抽出部４２２は、第１顔映像から局部特徴ベクトルを抽出する。本実施形態は選択された顔映像に対する特徴ベクトル抽出部を備えるが、トレーニング顔映像に対するＰＣＡ、ＬＦＡ学習をあらかじめ行って、これをデータベースとして構築した場合、別途の特徴ベクトル抽出部は不要である。

第１加重値選択部４３１は、全体特徴ベクトル抽出部４２１、４２３から抽出された全体特徴ベクトルに所定の加重値を付与する。ここで所定の加重値は、最終結果物である合成された顔映像で第１顔映像及び第２顔映像が占める比重を反映するものであり、ユーザの好みによって多様に調節できる。

全体特徴ベクトル生成部４４１は、前記加重値によって第１顔映像と第２顔映像との全体特徴ベクトルを合算する。

全体特徴ベクトルによる顔映像復元部４５１は、合算された全体特徴ベクトル値と式（６）とを利用して顔映像ベクトルを復元する。

同様に、第２加重値選択部４３２は、局部特徴ベクトル抽出部４２２、４２４から抽出された局部特徴ベクトルに所定の加重値を付与する。局部特徴ベクトル選択部４４２は、前記加重値によって第１顔映像と第２顔映像との局部特徴ベクトルを合算する。局部特徴ベクトルによる顔映像復元部４５２は、合算された局部特徴ベクトル値と式（１０）を利用して顔映像ベクトル

を復元する。

顔映像合成部４６０は、顔映像復元部４５１、４５２を通じて復元されたそれぞれの顔映像ベクトルを合算する。

図１０に図示されていないが、顔映像合成部４６０を通じて合算された顔映像ベクトルは、ユーザが視覚的に認識できる信号の形態に変更され、別途のディスプレイ部（図示せず）を通じてディスプレイされるように備えられる。

図１１は、本発明の一実施形態による顔映像の合成方法を示すフローチャートである。本実施形態の顔映像の合成方法は、顔映像合成装置４００で時系列的に処理される次のステップを含む。

５１０ステップで第１顔映像選択部４１１及び第２顔映像選択部４１２は、顔映像合成のための２個の顔映像を選択する。

５２０ステップは、第１顔映像と第２顔映像との組み合わせによる全体特徴ベクトルを生成するステップである。５２１ステップは、第１顔映像と第２顔映像から全体特徴ベクトルを抽出するステップで、５２２ステップは、それぞれの全体特徴ベクトルに加重値を付与するステップであり、５２３ステップは、所定の加重値によって全体特徴ベクトルを合算して、新たな全体特徴ベクトルを生成するステップである。

５３０ステップは、第１顔映像と第２顔映像との組み合わせによる局部特徴ベクトルを生成するステップである。５３１ステップは、第１顔映像と第２顔映像から局部特徴ベクトルを抽出するステップで、５３２ステップは、それぞれの局部特徴ベクトルに加重値を付与するステップであり、５３３ステップは、所定の加重値によって局部特徴ベクトルを合算して、新たな局部特徴ベクトルを生成するステップである。

５４０ステップで顔映像復元部４５１、４５２は、５２０ステップ及び５３０ステップを通じて生成された全体特徴ベクトル及び局部特徴ベクトルを利用して、顔映像ベクトルを復元する。

最後に、５５０ステップで顔映像合成部４６０は、顔映像復元部４５１、４５２を通じて復元されたそれぞれの顔映像ベクトルを合算する。図１０には図示されていないが、前記合算された顔映像ベクトルをユーザが視覚的に認識するように、ディスプレイするステップをさらに含むことができる。

本発明の図面には図示されていないが、本発明による顔映像の類似度の算出方法、類似映像の検索方法及び顔映像の合成方法は複雑性が低いために、モバイル端末を通じて具現できる。特に、トレーニング顔映像についての事前学習を通じて抽出された全体特徴ベクトル及び局部特徴ベクトルについてのデータベースをあらかじめ構築することで、顔映像の類似度計算速度を向上させることができる。

また、本発明は、入力顔映像の受信または加重値入力のみ行うモバイル端末、顔映像の類似度判断サービスを提供する別途のサーバ、前記サーバ側に構築されているトレーニング顔映像についてのデータベースを含む類似した顔を検索するシステムの形態で使われうる。

本発明はコンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードで具現できる。コンピュータで読み取り可能な記録媒体はコンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。

コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現するものを含む。また、コンピュータで読み取り可能な記録媒体はネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論される。

これまで本発明について望ましい実施形態を中心に説明した。当業者ならば本発明の本質的な特性から逸脱しない範囲で変形された形態で本発明を具現できるということを理解できるであろう。したがって、前記開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく特許請求の範囲に現れており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれていると解釈されねばならない。

本発明の顔映像類似度の算出方法及び装置は、セキュリティー関連の技術分野に好適に適用可能である。

本発明の一実施形態による顔映像類似度の算出装置を示すブロック図である。本発明の一実施形態による顔映像類似度の算出方法を示すフローチャートである。図２に示す１２０ステップに対する詳細フローチャートである。図３の固有ベクトル行列による映像の例を示す写真である。図２に示す１４０ステップについての詳細フローチャートである。図５のカーネル行列による映像の例を示す図である。顔領域のうち、眼領域を局部領域として選択する一例を示す写真である。顔領域のうち、各ピクセルによる加重値の例を示す写真である。本発明の一実施形態による顔映像検索装置を示すブロック図である。本発明の一実施形態による顔映像の検索方法を示すフローチャートである。本発明の一実施形態による顔映像の検索方法を示すフローチャートである。本発明の一実施形態による顔映像合成装置を示すブロック図である。本発明の一実施形態による顔映像の合成方法を示すフローチャートである。

符号の説明

１顔映像類似度の算出装置
１０、２１０受信部
２０、２２０トレーニング顔映像保存部
３０、２３０全体特徴ベクトル生成部
４０、２４０局部特徴ベクトル生成部
４１、２４１第１局部特徴ベクトル生成部
４２、２４２第２局部特徴ベクトル生成部
４３、２４３第３局部特徴ベクトル生成部
５０、２５０全体特徴類似度計算部
６０、２６０局部特徴類似度計算部
６１、２６１第１局部特徴類似度計算部
６２、２６２第２局部特徴類似度計算部
６３、２６３第３局部特徴類似度計算部
６４、２６４局部特徴類似度合算部
７０、２８０加重値選択部
８０、２９０最終類似度算出部
２７０第１比較部
２９５第２比較部
４００顔映像合成装置
４１１第１顔映像選択部
４１２第２顔映像選択部
４２１、４２３全体特徴ベクトル抽出部
４２２、４２４局部特徴ベクトル抽出部
４３１第１加重値選択部
４３２第２加重値選択部
４４１全体特徴ベクトル生成部
４４２局部特徴ベクトル選択部
４５１全体特徴ベクトルによる顔映像復元部
４５２局部特徴ベクトルによる顔映像復元部
４６０顔映像合成部

Claims

（ａ）トレーニング顔映像セットから抽出された顔全体領域に対する第１ベーシスに入力顔映像を投影して、入力顔映像の全体特徴ベクトルを生成するステップと、
（ｂ）前記トレーニング顔映像セットから抽出された顔局部領域に対する第２ベーシスに前記入力顔映像を投影して、入力顔映像の局部特徴ベクトルを生成するステップと、
（ｃ）前記トレーニング顔映像セットから選択されたいずれか一つのトレーニング顔映像による全体特徴ベクトル及び局部特徴ベクトルと、前記（ａ）ステップと（ｂ）ステップとを通じて生成された全体特徴ベクトル及び局部特徴ベクトルとを利用して、前記選択されたトレーニング顔映像と入力顔映像との類似度を算出するステップと、を含む顔映像の類似度の算出方法。
前記（ｃ）ステップは、
（ｃ１）前記トレーニング顔映像セットから選択されたいずれか一つのトレーニング顔映像による全体特徴ベクトルと前記入力顔映像による全体特徴ベクトルとの類似度を計算するステップと、
（ｃ２）前記選択されたトレーニング顔映像による局部特徴ベクトルと前記入力顔映像による局部特徴ベクトルとの類似度を計算するステップと、
（ｃ３）前記（ｃ１）及び（ｃ２）で計算された類似度に所定の加重値を付与し、前記選択されたトレーニング顔映像と入力顔映像との類似度を算出するステップと、を含むことを特徴とする請求項１に記載の顔映像の類似度の算出方法。
前記第１ベーシスは、前記トレーニング顔映像セットに対するＰＣＡを行って生成することを特徴とする請求項１に記載の顔映像の類似度の算出方法。
前記第２ベーシスは、トレーニング顔映像セットに対してＬＦＡを行って生成することを特徴とする請求項１に記載の顔映像の類似度の算出方法。
前記ＰＣＡを行うことは、
前記トレーニング顔映像セットによる顔映像平均ベクトルを計算するステップと、
前記トレーニング顔映像セットに属するそれぞれのトレーニング顔映像ベクトルと前記顔映像平均ベクトルとの差による行列を生成するステップと、
前記生成された行列の共分散行列を生成するステップと、
前記生成された共分散行列に対する固有分析を行って固有ベクトル行列を生成するステップと、を含み、
前記第１ベーシスは、前記固有ベクトル行列であることを特徴とする請求項３に記載の顔映像の類似度の算出方法。
前記ＬＦＡを行うことは、
前記生成された共分散行列に対する固有値をさらに生成するステップと、
前記生成された固有値を利用して第１局部領域による低域通過行列を生成するステップと、
前記生成された低域通過行列と前記第１ベーシスベクトルとを利用して第２ベーシスを生成するステップと、を含むことを特徴とする請求項５に記載の顔映像の類似度の算出方法。
前記低域通過行列及び前記第２ベーシスは、下記の数式によって生成することを特徴とする請求項６に記載の顔映像の類似度の算出方法：
ここで、
は、低域通過行列であり、
であり、
は、前記共分散行列による固有値であり、ｎは、低域通過フィルタの幅定数であり、Ｕは、前記第１ベーシス行列であり、
は、第２ベーシス行列である。
前記生成された固有値を利用して前記所定の局部領域と同一でない第２局部領域による低域通過行列を生成し、前記生成された低域通過行列及び前記第１ベーシスを利用して第３ベーシスを生成するステップをさらに含み、
前記（ｂ）ステップは、前記第３ベーシスに前記入力顔映像を投影して入力顔映像の局部特徴ベクトルを生成するステップをさらに含み、
前記（ｃ）ステップで前記トレーニング顔映像と入力顔映像との類似度を算出することは、前記第３ベーシスに前記入力顔映像を投影することによって生成された局部特徴ベクトルと、前記第３ベーシスに前記選択されたトレーニング顔映像を投影することによって生成された局部特徴ベクトルとをさらに利用して算出することを特徴とする請求項１に記載の顔映像類似度の算出方法。
前記第２ベーシスは、２つ以上の局部領域に対する複数の局部ベーシスで形成され、
前記（ｃ２）ステップは、前記局部領域による所定の加重値をさらに考慮して局部特徴ベクトルの類似度を計算することを特徴とする請求項２に記載の顔映像類似度の算出方法。
前記入力顔映像及び前記選択されたトレーニング顔映像は、
ガウス低域通過フィルタを利用して顔映像をフィルタリングするステップと、
前記フィルタリングされた顔イメージで眼領域を探すステップと、
前記眼領域を基準として顔映像を正規化させるステップと、
照明の分散を除去するために照明を変化させるステップと、を通じて正規化されたことを特徴とする請求項４に記載の顔映像類似度の算出方法。
請求項１ないし１０のうちいずれか一項に記載の顔映像類似度の算出方法を実行できるプログラムが記録されたコンピュータで読み取り可能な記録媒体。
（ａ）トレーニング顔映像セットから顔全体領域に対する第１ベーシスを抽出するステップと、
（ｂ）前記トレーニング顔映像セットから顔局部領域に対する第２ベーシスを抽出するステップと、
（ｃ）入力顔映像を前記第１ベーシスに投影して入力顔映像の全体特徴ベクトルを生成するステップと、
（ｄ）前記入力顔映像を前記第２ベーシスに投影して入力顔映像の局部特徴ベクトルを生成するステップと、
（ｅ）前記トレーニング顔映像セットから選択されたいずれか一つのトレーニング顔映像を前記第１ベーシスに投影して、前記選択されたトレーニング顔映像の全体特徴ベクトルを生成するステップと、
（ｆ）前記選択されたトレーニング顔映像を前記第２ベーシスに投影して、前記選択されたトレーニング顔映像の局部特徴ベクトルを生成するステップと、
（ｇ）前記入力顔映像と前記選択されたトレーニング顔映像との全体特徴ベクトルを比較するステップと、
（ｈ）前記入力顔映像と前記選択されたトレーニング顔映像との局部特徴ベクトルを比較するステップと、
（ｉ）前記比較結果を利用して、前記入力顔映像と前記選択されたトレーニング顔映像との類似度を算出するステップと、を含む顔映像類似度の算出方法。
入力顔映像を受信する受信部と、
トレーニング顔映像セットから抽出された顔全体領域に対する第１ベーシスに入力顔映像を投影して、入力顔映像の全体特徴ベクトルを生成する全体特徴生成部と、
前記トレーニング顔映像セットから抽出された顔局部領域に対する第２ベーシスに入力顔映像を投影して、入力顔局部特徴ベクトルを生成する局部特徴生成部と、
前記トレーニング顔映像セットから選択されたいずれか一つのトレーニング顔映像による全体特徴ベクトル及び局部特徴ベクトルと、前記入力顔映像による全体特徴ベクトル及び局部特徴ベクトルとを利用して、前記選択されたトレーニング顔映像と入力顔映像との類似度を算出する類似度算出部と、を備える顔映像の類似度の算出装置。
前記トレーニング顔映像セットに対するＰＣＡを行って前記第１ベーシスを生成するＰＣＡベーシス生成部をさらに備えることを特徴とする請求項１３に記載の顔映像類似度の算出装置。
前記トレーニング顔映像セットに対するＬＦＡを行って前記第２ベーシスを生成するＬＦＡベーシス生成部をさらに備えることを特徴とする請求項１３に記載の顔映像類似度の算出装置。
前記類似度算出部は、
前記選択されたトレーニング顔映像による全体特徴ベクトルと前記入力顔映像による全体特徴ベクトルとの類似度を計算する第１類似度計算部と、
前記選択されたトレーニング顔映像による局部特徴ベクトルと前記入力顔映像による局部特徴ベクトルとの類似度を計算する第２類似度計算部と、をさらに備え、
前記類似度算出部は、前記第１及び第２類似度計算部を通じて計算されたそれぞれの類似度値を利用して、前記選択されたトレーニング顔映像と入力顔映像との類似度を算出することを特徴とする請求項１３に記載の顔類似度の算出装置。
顔映像の検索方法において、
（ａ）トレーニング顔映像セットから抽出された顔全体領域に対する第１ベーシスに入力顔映像を投影して、入力顔映像の全体特徴ベクトルを生成するステップと、
（ｂ）前記トレーニング顔映像セットから抽出された顔局部領域に対する第２ベーシスに前記入力顔映像を投影して、入力顔映像の局部特徴ベクトルを生成するステップと、
（ｃ）前記（ａ）ステップ及び（ｂ）ステップを通じて生成された全体特徴ベクトル及び局部特徴ベクトルを利用して、前記入力顔映像と所定の類似度を持つ顔映像を前記トレーニング顔映像セットで検索するステップと、を含むことを特徴とする顔映像の検索方法。
入力顔映像を受信する受信部と、
トレーニング顔映像セットから抽出された顔全体領域に対する第１ベーシスに入力顔映像を投影して、入力顔映像の全体特徴ベクトルを生成する全体特徴生成部と、
前記トレーニング顔映像セットから抽出された顔局部領域に対する第２ベーシスに前記入力顔映像を投影して、入力顔映像の局部特徴ベクトルを生成する局部特徴生成部と、
前記入力顔映像による全体特徴ベクトルと局部映像ベクトルとを利用して、前記入力顔映像と所定の類似度を持つ顔映像を前記トレーニング顔映像セットで検索する検索部と、を備えることを特徴とする顔映像検索装置。
（ａ）顔合成のための２つ以上の顔映像を選択するステップと、
（ｂ）前記選択されたそれぞれの顔映像から全体特徴ベクトル及び局部特徴ベクトルを抽出するステップと、
（ｃ）前記選択されたそれぞれの顔映像から抽出された全体特徴ベクトルを利用して、全体特徴による顔映像ベクトルを復元するステップと、
（ｄ）前記選択されたそれぞれの顔映像から抽出された局部特徴ベクトルを利用して、局部特徴による顔映像ベクトルを復元するステップと、
（ｅ）前記（ｃ）ステップ及び（ｄ）ステップを通じて復元された顔映像ベクトルを合成するステップと、を含むことを特徴とする顔映像の合成方法。