JP2003076990A

JP2003076990A - 顔画像検索装置

Info

Publication number: JP2003076990A
Application number: JP2001265614A
Authority: JP
Inventors: Koji Fujiwara; 浩次藤原; Hideo Yasutomi; 英雄保富; Masaaki Takama; 正彰高間; Masami Asano; 雅己浅野
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2001-09-03
Filing date: 2001-09-03
Publication date: 2003-03-14

Abstract

(57)【要約】【課題】特定の顔画像を効率的に検索する顔画像検索
装置を提供する。【解決手段】この顔画像検索システム１におけるサー
バ１０は、検索すべき特定の顔画像ＦＸをＫＬ展開を用
いて分析するとともに、検索範囲に含まれる複数の顔画
像ＦＶのそれぞれをＫＬ展開を用いて分析する。具体的
には、ＫＬ展開における固有ベクトルである複数の基底
顔画像を用いて特定の顔画像ＦＸを基底分解することに
より、特定の顔画像ＦＸについて、複数の基底顔画像の
それぞれに対応する複数の係数ｋｊを求めるとともに、
複数の基底顔画像を用いて複数の顔画像ＦＶのそれぞれ
を基底分解することにより、複数の顔画像ＦＶのそれぞ
れについて、複数の係数ｈｊを求める。さらに、サーバ
１０は、求められた各係数ｋｊ，ｈｊをそれぞれ比較し
て両画像ＦＶ，ＦＸの類似度を求めて、複数の顔画像Ｆ
Ｖの中から特定の顔画像ＦＸを検索する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔画像を検索する
顔画像検索装置に関する。

【０００２】

【背景技術】従来、インターネットのＷＷＷ上におい
て、個人の顔画像を公開しているホームページが存在す
る。

【０００３】そして、このような個人の顔画像の中に
は、その個人の承諾を得た上で公開されているものの
他、その個人に無断で掲載されているものも存在する。

【０００４】また、アイドルなどの顔画像を別の画像と
組みあわせた猥褻な合成画像が生成されて公開されるこ
ともあり、アイドル個人の名誉等が著しく損なわれるな
どの問題も生じている。

【０００５】

【発明が解決しようとする課題】ところで、このような
顔画像の無断掲載を防止するためには、ＷＷＷ上におい
て顔画像を公開しているホームページの中から、その特
定の個人の顔画像が掲載されているか否かをまず調べる
必要がある。

【０００６】しかしながら、ＷＷＷ上の顔画像は膨大な
数に上り、これらを人間が目視で確認することは非効率
的であるため、ホームページ内に特定の顔画像が掲載さ
れているか否かを自動で確認する技術が待望されてい
る。

【０００７】そこで、本発明は前記問題点に鑑み、特定
の顔画像を効率的に検索する顔画像検索装置を提供する
ことを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の発明は、顔画像を検索する顔画像検索装
置であって、検索すべき特定の顔画像をＫＬ展開を用い
て分析する第１分析手段と、検索範囲に含まれる複数の
顔画像のそれぞれをＫＬ展開を用いて分析し、その分析
結果を所定のデータベースに登録する第２分析手段と、
前記第１分析手段による分析結果と前記所定のデータベ
ースに登録された前記第２分析手段による分析結果とを
用いて、前記複数の顔画像の中から前記特定の顔画像を
検索する検索手段と、を備えることを特徴とする。

【０００９】請求項２の発明は、請求項１の発明に係る
顔画像検索装置において、前記検索範囲に含まれる複数
の顔画像は、インターネット上のホームページから抽出
され、その分析結果が前記所定のデータベースに登録さ
れることを特徴とする。

【００１０】請求項３の発明は、請求項１または請求項
２の発明に係る顔画像検索装置において、前記第１分析
手段は、前記ＫＬ展開における固有ベクトルである複数
の基底顔画像を用いて前記特定の顔画像を基底分解する
ことにより、前記特定の顔画像について、当該複数の基
底顔画像のそれぞれに対応する複数の係数を求め、前記
第２分析手段は、前記複数の基底顔画像を用いて前記複
数の顔画像のそれぞれを基底分解することにより、前記
複数の顔画像のそれぞれについて、前記複数の係数を求
め、前記検索手段は、前記特定の顔画像についての前記
複数の係数と前記複数の顔画像のそれぞれについての前
記複数の係数とを比較することにより、前記複数の顔画
像の中から前記特定の顔画像を検索することを特徴とす
る。

【００１１】請求項４の発明は、請求項１ないし請求項
３のいずれかの発明に係る顔画像検索装置において、前
記第２分析手段による分析結果に基づいて前記複数の顔
画像を分類する分類手段、をさらに備え、前記検索手段
は、前記分類手段による分類結果を用いて検索対象をさ
らに絞り込んだ上で、前記複数の顔画像の中から前記特
定の顔画像を検索することを特徴とする。

【００１２】請求項５の発明は、請求項１ないし請求項
４のいずれかの発明に係る顔画像検索装置において、前
記検索手段による検索結果を電子メールを用いて通知す
る通知手段、をさらに備えることを特徴とする。

【００１３】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。

【００１４】＜システム構成＞図１は、本発明の実施形
態に係る顔画像検索システム１を示す図である。この顔
画像検索システム１は、顔画像を検索するシステムであ
り、より詳細には、インターネットのＷＷＷ（Ｗｏｒｌ
ｄＷｉｄｅＷｅｂ）上において公開された複数の顔
画像の中から、特定の顔画像を検索するシステムであ
る。

【００１５】この顔画像検索システム１は、インターネ
ットに接続されたサーバコンピュータ１０（以下、単に
「サーバ」ないし「ウェブサーバ」とも称する）を備え
ている。このサーバ１０は、ネットワークＮを介してイ
ンターネット上の他のウェブサーバ（Ｗｅｂサーバ）２
０Ａ，２０Ｂ，２０Ｃ，...にアクセスすることができ
る。ここでは、このサーバ１０が顔画像検索装置に相当
する。

【００１６】なお、「ネットワーク」とは、データ伝送
を行う通信回線網であり、具体的には、インターネッ
ト、ＬＡＮ、ＷＡＮ、ＣＡＴＶなどの、電気通信回線
（光通信回線を含む）により構成される各種の通信回線
網である。

【００１７】また、ここでは、顔画像検索装置は、ウエ
ブサーバ１０として構成されているが、これに限定され
ず、インターネット接続プロバイダなどを介してインタ
ーネットに接続される非サーバコンピュータであっても
良い。この場合、インターネットに対する接続形態は、
専用回線などを利用した常時接続であってもよいし、ア
ナログ回線あるいはデジタル回線（ＩＳＤＮ）などの電
話回線を利用したダイアルアップ接続などの一時的な接
続のいずれであってもよい。また、その伝送方式は、無
線方式および有線方式のいずれであってもよい。

【００１８】また、図２は、サーバ１０のハードウエア
構成を示すブロック図である。サーバ１０は、図２に示
すように、ハードウエア的には、ＣＰＵ２と、ＲＡＭ
（および／またはＲＯＭ）などの半導体メモリにより構
成される主記憶部およびハードディスクドライブ（ＨＤ
Ｄ）などの補助記憶部を有する記憶部３と、メディアド
ライブ４と、ディスプレイなどの表示部５と、キーボー
ドおよびマウスなどの入力部６と、ネットワークカード
などの通信部７とを備えるコンピュータシステム（単に
「コンピュータ」とも称する）として構成される。

【００１９】サーバ１０は、通信部７を介した無線若し
くは有線のデータ通信等によって他のサーバ２０との間
でコマンドやデータの授受が可能なように構成される。

【００２０】また、メディアドライブ４は、ＣＤ−ＲＯ
Ｍ、ＤＶＤ（Digital Versatile Disk）、フレキシブル
ディスク、メモリカードなどの可搬性の記録媒体９から
その中に記録されている情報を読み出す。

【００２１】このサーバ１０は、記録媒体９に記録され
たソフトウエアプログラム（以下、単に「プログラム」
とも称する）を読み込み、そのプログラムをＣＰＵ２等
を用いて実行することによって、下記の機能を有するア
プリケーションサービスを提供する顔画像検索装置とし
て機能する。なお、各機能を有するプログラムは、記録
媒体９を介して供給（ないし配給）される場合に限定さ
れず、ＬＡＮおよびインターネットなどのネットワーク
を介して、このコンピュータに対して供給（ないし配
給）されてもよい。

【００２２】また、図１の他の各サーバ２０（２０Ａ，
２０Ｂ，２０Ｃ）も、サーバ１０と同様のハードウエア
構成を有するコンピュータである。これらのこれらのサ
ーバ２０内には、複数のホームページが存在する。これ
らの複数のホームページのうちのいくつかには、顔画像
が公開されている。

【００２３】さらに、クライアント３０も、サーバ１０
と同様のハードウエア構成を有するコンピュータであ
る。クライアント３０は、所定のプログラムを読み込
み、クライアント３０のＣＰＵ等を用いて実行すること
によって、後述する所定の機能を発揮する。このクライ
アント３０は、ネットワークＮに対して接続可能であ
り、サーバ１０に対してネットワークＮを介してアクセ
スすることにより、後述する顔画像の検索サービスを享
受することができる。具体的には、このクライアント３
０は、検索すべき顔画像を特定してサーバ１０に対して
送信する機能などを有している。

【００２４】この顔画像検索システム１は、ＷＷＷ上に
存在する複数のホームページに掲載された複数の顔画像
の中から、特定の個人の顔画像を検索するシステムであ
る。

【００２５】＜原理＞つぎに、図３のシステム概要図を
用いて、検索動作の原理について説明する。ここでは、
ＫＬ展開を用いて、検索すべき特定の顔画像ＦＸと、検
索範囲に含まれる複数の顔画像ＦＶのそれぞれとを分析
し、これらの分析結果を用いて、複数の顔画像の中から
特定の顔画像ＦＸを自動的に検索する場合について説明
する。

【００２６】ここにおいて、検索すべき特定の顔画像Ｆ
Ｘは、この顔画像検索システム１の利用者であるユーザ
によって、クライアント３０を用いて指定される。ま
た、検索範囲に含まれる複数の顔画像ＦＶは、サーバ１
０がインターネット上の所定のＵＲＬ（Uniform Resour
ce Locator）で指し示されるホームページ内を自動的に
検索することによって、それらのホームページ内に含ま
れる複数の画像の中から選択されて抽出される。

【００２７】詳細には、ＫＬ展開を用いた分析の結果、
特定の顔画像ＦＸと、検索範囲内の各サーバ２０Ａ，２
０Ｂ，２０Ｃ，...内に含まれる複数の顔画像ＦＶと
は、それぞれ、次述する基底顔画像（固有ベクトル）を
用いて基底展開された画像ベクトルとして表現される。
そして、サーバ１０は、両顔画像ＦＸ，ＦＶの各基底顔
画像（固有ベクトルｅｊ）に対応する係数をそれぞれ比
較して類似度を求めることによって、その顔画像ＦＶ
が、検索すべき顔画像ＦＸであるか否かを判定する。サ
ーバ１０は、このような動作を複数の顔画像ＦＶに対し
て繰り返すことによって、複数の顔画像ＦＶの中から特
定の顔画像ＦＸを検索することができる。

【００２８】以下では、この顔画像ＦＸの検索動作の原
理等について、次の（１）〜（６）の順に説明を進め
る。

【００２９】（１）まず、複数の顔画像Ｐｉを用いてＫ
Ｌ展開を行い、その固有ベクトルｅｊを求める。なお、
このＫＬ展開に用いる複数の顔画像Ｐｉとしては、顔画
像ＦＶ，ＦＸとは別個に予め用意された適度なばらつき
を有する標準的な複数の画像を用いればよい。

【００３０】具体的には、まず、複数の顔画像Ｐｉの各
画素の画素値を要素とする顔画像ベクトルｙｉを生成す
る。ここで、各顔画像ＰｉはＭ画素×Ｍ画素の大きさを
有するものとする。このとき、ベクトルｙｉは、（Ｍ×
Ｍ）個の画素値を並べた縦ベクトルとして定義される。
このベクトルｙｉを数１を用いて正規化し、ベクトルｘ
ｉを求める。

【００３１】

【数１】

【００３２】次に、数２に基づいて複数（ｎ個）のベク
トルｘｉについての平均値ベクトルｃを求める。

【００３３】

【数２】

【００３４】そして、数３に基づいて、各ベクトルｘｉ
からベクトルｃを差し引いたベクトルをｎ列並べた行列
Ｘを生成する。

【００３５】

【数３】

【００３６】さらに、数４に基づいて、この行列Ｘを用
いて共分散行列Ｑを生成する。

【００３７】

【数４】

【００３８】そして、共分散行列Ｑについての複数の固
有ベクトルｅｊを求める。数５において、値λｊは、各
固有ベクトルｅｊに対応する固有値を表す。

【００３９】

【数５】

【００４０】以上のようにして、各固有ベクトルｅｊを
求めることができる。

【００４１】（２）つぎに、数６に示すように、検索す
べき特定の顔画像ＦＸの顔画像ベクトルｘを、複数の固
有ベクトルｅｊを基底ベクトルとして表現する。言い換
えれば、ＫＬ展開による固有ベクトル（基底ベクトル）
を用いて基底分解した形式で、この特定の顔画像ＦＸの
画像ベクトルｘを表現する。なお、サイズ変換等によ
り、顔画像ＦＸも、顔画像Ｐｉと同様に、Ｍ画素×Ｍ画
素の大きさを有するものとする。したがって、ベクトル
ｘは、（Ｍ×Ｍ）行、１列のベクトルである。また、数
６において、値ｋｊは、顔画像ベクトルｘを基底分解
（ないし基底変換）したときの各固有ベクトルｅｊに対
応する係数を示す。

【００４２】

【数６】

【００４３】このとき、各固有ベクトルｅｊは、顔画像
ベクトルの基底成分に相当するため、基底顔画像ベクト
ル（単に基底顔画像とも称する）と表現することができ
る。また、対応する固有値λｊの値が大きい程、その固
有ベクトルｅｊは、顔画像についてのより大きな特徴を
表現するベクトルであるといえる。言い換えれば、その
固有値λｊの値が大きな固有ベクトルｅｊは、顔画像の
主成分となる基底ベクトルであるといえる。したがっ
て、その固有値が大きなものから順にｍ個の固有ベクト
ルを基底ベクトルとしてその顔画像を表現することによ
り、顔画像の特徴を効率的に表現することができる。

【００４４】以上のようにして、特定の顔画像ＦＸの顔
画像ベクトルｘを基底顔画像（固有ベクトルｅｊ）を用
いて基底分解することにより、複数の基底顔画像につい
ての各係数ｋｊを求めることができる。すなわち、特定
の顔画像ＦＸの顔画像ベクトルｘを、基底分解した形式
で表現することができる。

【００４５】（３）さらに、検索範囲内にある複数の顔
画像ＦＶのそれぞれを示す各顔画像ベクトルｖについて
も同様の基底分解を行う。これにより、各顔画像ベクト
ルｖは、数６と同一の固有ベクトルｅｊを用いて、数７
に示すような基底分解形式で表現される。ただし、各顔
画像ＦＶは、サイズ変換等により、Ｍ画素×Ｍ画素の大
きさを有するものとする。したがって、ベクトルｘは、
（Ｍ×Ｍ）行、１列のベクトルである。また、数７にお
いて、値ｈｊは、顔画像ベクトルｖを基底分解したとき
の各固有ベクトルｅｊに対応する係数を示す。

【００４６】

【数７】

【００４７】このように、検索範囲内の所定の顔画像Ｆ
Ｖを表す顔画像ベクトルｖを基底顔画像（固有ベクトル
ｅｊ）を用いて基底分解することにより、複数の基底顔
画像についての各係数ｈｊを求めることができる。

【００４８】（４）そして、各固有ベクトルｅｊについ
ての係数ｋｊと係数ｈｊとを相互に比較することによ
り、複数の顔画像ＦＶの中から特定の顔画像ＦＸを検索
する。

【００４９】具体的には、次の数８に基づいて、２つの
顔画像ＦＸ，ＦＶ相互間の類似度Ｆ１を求める。

【００５０】

【数８】

【００５１】また、数８の係数αｊ（＞０）は、各係数
の相違に関する重み付けを行う係数である。各係数αｊ
は、たとえば、各固有ベクトルｅｊの重要度に応じた値
として決定される。具体的には、固有値λｊが比較的大
きな固有ベクトルｅｊの係数の差（ｋｊ−ｈｊ）に関し
ては、比較的大きな係数値αｊを定めることができる。
たとえば、α１＞α２とすることができる。なお、各係
数αｊを全て同一の値として、重み付けを行わないよう
にしても良いことは言うまでもない。

【００５２】そして、このようにして算出された類似度
Ｆ１が小さくなればなるほど、２つの顔画像ＦＸ，ＦＶ
が類似していることを表す。したがって、算出された類
似度Ｆ１が所定の閾値よりも小さい場合には、検索範囲
内のその顔画像ＦＶが、検索すべき特定の顔画像ＦＸに
非常に類似している、言い換えれば、その顔画像ＦＶが
特定の顔画像ＦＸであるものとして判定することができ
る。

【００５３】このようにして、特定の顔画像ＦＸについ
ての複数の係数ｋｊと複数の顔画像ＦＶのそれぞれにつ
いての複数の係数ｈｊとを比較することにより、複数の
顔画像ＦＶの中から特定の顔画像ＦＸを検索することが
可能である。

【００５４】ここにおいて、比喩的には、上記の各基底
顔画像は、顔の輪郭、目、口、鼻、耳、などの各部分を
表すものであるとも理解することが可能である。そし
て、基底変換によって得られた各係数ｋｊ，ｈｊは、そ
の顔画像の各部分の特徴を示す値を表すものと理解する
ことができる。そして、検索範囲内の所定の顔画像ＦＶ
と検索対象の特定の顔画像ＦＸとを比較するにあたっ
て、或る基底顔画像の係数の差が大きく異なるときに
は、その基底顔画像の特徴（例えば目の特徴）が互いに
異なることを表すものと理解することができる。また、
逆に、或る基底顔画像の係数の差が小さいときには、そ
の基底顔画像の特徴（例えば目の特徴）が互いに近似し
ていることを表すものと理解することができる。

【００５５】このように、サーバ１０は、上記の類似度
Ｆ１を用いることにより、その顔画像ＦＶが顔画像ＦＸ
に類似しているか否か、すなわち、両顔画像ＦＶ，ＦＸ
が同一人物の顔を表現するものであると認識される程度
に類似しているか否かを判定することができる。

【００５６】（５）さらに、このような検索動作をより
高速にするため、サーバ１０は、予め複数の顔画像ＦＶ
を分類して記憶おくことが好ましい。具体的には、サー
バ１０は、上記の係数ｈｊを用いて複数の顔画像ＦＶを
分類して、顔画像データベースＤＢ１内の分類テーブル
ＴＢＬ１（図３）に記憶しておく。たとえば、図８に示
すように、その固有値が最も大きな固有ベクトルについ
ての係数ｈ１の値に応じて、複数の顔画像ＦＶを幾つか
のグループに分類して記憶しておけばよい。より詳細に
は、複数の顔画像ＦＶを、各係数ｈ１の値に応じて、０
≦ｈ１＜２を満たすグループＧＡと、２≦ｈ１＜４を満
たすグループＧＢと、４≦ｈ１を満たすグループＧＣと
の３つのグループに分類することができる。なお、図８
は、２つの係数ｈ１，ｈ２のみを考慮した各顔画像ＦＶ
の分布状況を示す図であり、図８のｈ１−ｈ２平面にお
いては、各顔画像ＦＶがいずれかの位置にプロットされ
る。また、図８の楕円の内部は、類似度Ｆ１が所定の閾
値よりも小さい範囲、言い換えれば顔画像ＦＸに類似す
る顔画像ＦＶの範囲を示している。

【００５７】そして、この分類結果を用いて検索対象を
さらに絞り込むことによって、特定の顔画像ＦＸをより
効率的に検索することができる。たとえば、特定顔画像
ＦＸの係数ｋ１が０．８であるときにおいては、グルー
プＧＣ内の顔画像ＦＶの係数ｈ１とｋ１との差は３．２
となり、この差は一定値（たとえば２）以上になること
が明らかである。このとき、両顔画像ＦＸ，ＦＶは非類
似であることが明らかであると判定し、グループＧＣを
検索対象から予め除外し、グループＧＡ，ＧＢ内の顔画
像ＦＶに検索対象を絞り込む。この上で、グループＧ
Ａ，ＧＢ内の顔画像ＦＶのそれぞれに対して、数８に基
づいて類似度Ｆ１を求め、各顔画像ＦＶが特定の顔画像
ＦＸに類似しているか否かを判定する。このように、検
索対象を絞り込むことにより、特定の顔画像ＦＸを効率
的に検索することが可能である。

【００５８】なお、上記においては、複数の係数ｈｊの
うちの１つの係数ｈ１を用いて複数の顔画像を分類し、
その分類結果に基づいて、非類似になることが明らかな
グループをその検索対象から除外することによって、検
索効率を向上させる場合について例示したが、これに限
定されない。複数の係数ｈｊのうちの２つ以上の係数
（たとえばｈ１，ｈ２）を用いて分類し、その分類結果
に基づいて、非類似になることが明らかなグループをそ
の検索対象から予め除外するようにしても良い。

【００５９】（６）また、上記においては、両顔画像Ｆ
Ｘ，ＦＶの画像データのみに基づいて比較を行う場合に
ついて説明したが、両顔画像の画像データのそれぞれの
近傍に付随する文字情報をも考慮して比較を行うように
することができる。これについて以下に説明する。

【００６０】具体的には、サーバ１０は、検索対象とな
る複数の顔画像ＦＶのそれぞれに付随する文字情報を、
各顔画像ＦＶとともにあらかじめ抽出して登録してお
く。詳細には、その顔画像ＦＶが示す個人の人名等に関
する文字情報を抽出して登録しておく。

【００６１】また、サーバ１０は、検索すべき顔画像Ｆ
Ｘとともに、その顔画像ＦＸに関する文字情報をも併せ
て登録しておく。たとえば、検索したい個人名を登録し
ておく。

【００６２】さらに、サーバ１０は、検索時において、
この両者の文字情報を比較し、その類似度Ｆ２を求め
る。この類似度Ｆ２は、顔画像ＦＶについて抽出された
文字情報の中に、顔画像ＦＸについて指定された文字列
と全体的または部分的に同一の文字列がいくつ有るかな
どの基準に基づいて算出される。特に、検索対象となる
ホームページに掲載されている顔画像ＦＶに対して、顔
画像ＦＸの人物との混同を生じさせるような名称が付さ
れている場合には、類似度が高いものとして類似度Ｆ２
が算出されることが好ましい。

【００６３】そして、両類似度Ｆ１，Ｆ２を加算した類
似度Ｆ（数９参照）を求め、その類似度Ｆが所定の閾値
よりも大きい場合に、その顔画像ＦＶが検索したい顔画
像ＦＸであるものとして判断することができる。

【００６４】

【数９】

【００６５】このように、特定の顔画像ＦＸに付随する
文字情報と、複数の顔画像ＦＶのそれぞれに付随する文
字情報との比較結果をも反映させて、複数の顔画像ＦＶ
の中から特定の顔画像ＦＸを検索することによって、検
索結果の精度を向上させることが可能である。

【００６６】＜動作＞つぎに、具体的な動作例について
図４および図５のフローチャートを参照しながら説明す
る。

【００６７】まず、ステップＳ１０（図４）において、
サーバ１０の管理者（あるいはこの顔画像検索サービス
のサービス提供者等）は、あらかじめ顔画像が含まれて
いるホームページを検索しておき、そのＵＲＬを顔画像
データベースＤＢ１に登録する。

【００６８】つぎに、ステップＳ２０において、サーバ
１０は、登録されたＵＲＬのホームページ（たとえば、
各ＵＲＬに対応するＷＷＷサーバ２０Ａ，２０Ｂ，２０
Ｃ内の所定のアドレスを有するホームページ）にアクセ
スし、そのホームページ内に含まれる顔画像を抽出す
る。より詳細には、アクセス先のホームページ内に含ま
れる画像ファイルを抽出し、その画像ファイルが顔画像
を含むものであるか否かを判定する。顔画像が含まれて
いるときには、その画像中の顔位置を特定して顔画像を
抽出する。このように、あらかじめ顔画像のみを抽出し
て検索対象とすること、言い換えれば、顔画像を含まな
い画像を検索対象から除外することにより、検索効率を
向上させることができる。

【００６９】そして、抽出された顔画像ＦＶのそれぞれ
について、ＫＬ展開による各基底顔画像（各固有ベクト
ルｅｊ）を用いた基底展開を行い、各固有ベクトルｅｊ
に対応する各係数ｈｊを求める。さらに、ステップＳ３
０において、サーバ１０は、抽出された顔画像の画像フ
ァイルの名称（ＵＲＬを含む）とその顔画像についての
係数ｈｊとを顔画像データベースＤＢ１に記憶する。ま
た、サーバ１０は、各顔画像ＦＶに応じた係数ｈｊに応
じて各顔画像ＦＶを分類し、その分類結果（すなわち、
各顔画像ＦＶがいずれのグループに属するか等）を顔画
像データベースＤＢ１内の分類テーブルＴＢＬ１に記憶
しておく。

【００７０】以上のようにして、サーバ１０は、検索範
囲内の複数の顔画像ＦＶに関する情報を顔画像データベ
ースＤＢ１内に蓄積することができる。

【００７１】また、サーバ１０は、顔画像データベース
ＤＢ１内の情報を更新するため、このステップＳ２０，
Ｓ３０の動作（すなわち顔画像データベースＤＢ１の更
新動作）を定期的に行う。そして、これらの動作におい
て、検索範囲に含まれる複数の顔画像が更新されている
か否かを検出し、更新された顔画像が存在する場合には
その更新日時とともにその更新内容を顔画像データベー
スＤＢ１内に記憶する。このようにサーバ１０は、検索
範囲に含まれる複数の顔画像が更新されているか否かを
検出する更新検出機能を有している。さらに、顔画像デ
ータベースＤＢ１内の情報を出来る限り新しいものに更
新するため、顔画像データベースＤＢ１は、比較的短い
所定の時間間隔で定期的に更新されることが好ましい。
この更新頻度は、たとえば、後述する検索頻度よりも短
い間隔に設定されることが好ましく、より詳細には、数
時間に１回程度の間隔であることが好ましい。

【００７２】つぎに、ステップＳ４０（図５）におい
て、ユーザはクライアント３０を用いて、サーバ１０内
のこの検索サービスを提供しているホームページにアク
セスする。より具体的には、ユーザは、クライアント３
０の表示部に表示されている認証用画面を用いて、認証
用のＩＤとパスワードとを入力する。その後、正規のユ
ーザであることがサーバ１０において確認されると、検
索対象画像の登録画面がクライアント３０に表示され
る。この画面に関するデータは、クライアント３０の送
信要求に基づいて、サーバ１０からクライアント３０に
送信される。

【００７３】図６は、このときクライアント３０に表示
される画面の一例を示す図である。図６の欄ＣＬ１にお
いては、これまでにユーザが登録しておいた複数の顔画
像が表示されている。ユーザは、検索すべき顔画像（言
い換えれば検索したい顔画像）をこれらの複数の画像の
中から選択する。より詳細には、太線で示されるカーソ
ルの位置を所望の画像に合わせることにより、所望の画
像を選択することができる。図６においては、”ｍｙｆ
ａｃｅ．ｊｐｇ”が選択されている状態が示されてい
る。なお、顔画像ＦＸとしては、正面からみた顔画像な
どを用いることが好ましい。正面から見た画像が公開さ
れることが多いからである。

【００７４】また、図６に示されている追加登録ボタン
ＢＴ１を押下することにより、新たな画像を追加登録す
ることができる。この追加登録動作は、追加登録ボタン
ＢＴ１の押下に応答して表示される別個の追加登録画面
（図示せず）を用いて行うことができる。これにより、
新たに追加登録した画像をもその選択対象とすることが
可能になる。たとえば、初めてこの検索サービスを利用
する際には、この追加登録機能を用いることによって、
検索したい顔画像ＦＸを登録し、登録したその顔画像を
検索対象として特定することができる。

【００７５】また、ここでは、この顔画像の選択動作と
ともに文字情報を指定するものとする。具体的には、入
力欄ＣＬ２に対して、検索すべき顔画像の人物の個人名
を入力することにより文字情報を登録する。なお、ユー
ザが個人名による検索を望まない場合には、登録せずに
空欄のままにしておいても良い。

【００７６】そして、ユーザが「ＳＥＮＤ（送信）」ボ
タンＢＴ２を押下すると、上記において指定した内容が
サーバ１０へと送信されるとともに、次の画面（図７）
に進む。なお、ユーザが「ＣＡＮＣＥＬ（キャンセ
ル）」ボタンＢＴ３を押下したときには、一つ前の画面
に戻る。

【００７７】図７は、チェック頻度（検索頻度）等を指
定する画面である。ユーザはチェック頻度について複数
の選択肢（「３ヶ月に１回」、「１ヶ月に１回」、「１
週間に１回」、「１日に１回」、「今回限り」等）の中
から所望のものを選択する。なお、「今回限り」は、継
続的な検索ではなく、１回のみの検索を行う旨を指定す
る選択肢である。ユーザは、これらの複数の選択肢の中
から、たとえば、「１週間に１回」の選択肢を選択する
ことができる。

【００７８】また、図７の画面を用いることにより、支
払い方法などをも指定することができるが、ここではそ
の詳細については省略する。

【００７９】その後、ユーザが「ＳＥＮＤ（送信）」ボ
タンＢＴ２を押下すると、上記において指定した内容が
サーバ１０へと送信され、登録動作が終了する。

【００８０】また、この時点において、サーバ１０は、
ユーザによって登録された特定の顔画像ＦＸについて、
上述の基底分解を行い、各固有ベクトルｅｊに対応する
各係数ｋｊを求めておく（図５のステップＳ４５）。

【００８１】次のステップＳ５０（図５）以降において
は、サーバ１０による検索動作が行われる。

【００８２】まず、指定時刻になったか否かがステップ
Ｓ５０において判断される。検索頻度として「１週間に
一度」が指定されている場合には、サーバ１０は、最初
の登録時点、およびその登録時点から１週間が経過する
たびに、指定時刻になったものとして判断する。そし
て、指定時刻になったと判断されると、ステップＳ６０
に進む。

【００８３】ステップＳ６０においては、サーバ１０
は、検索範囲として登録されたＵＲＬのホームページ内
に含まれる複数の顔画像ＦＶを検索の対象として、これ
らの複数の顔画像ＦＶの中から特定の顔画像ＦＸを検索
する検索動作を行う。各顔画像ＦＶの特徴としては、ス
テップＳ２０，Ｓ３０の動作によって顔画像データベー
スＤＢ１に予め格納されている情報、すなわち係数ｈｊ
等を用いることができる。

【００８４】ここにおいて、各顔画像ＦＶの情報に関し
ては、検索時において再度各ホームページ内からその情
報を収集する必要がなく、顔画像データベースＤＢ１に
予め格納されている情報を用いることができるので、効
率的な検索が可能である。特に、複数のユーザに対する
検索を行う場合であっても、各ユーザの検索ごとに係数
ｈｊの算出動作等を再度行う必要がなく、予め効率的な
状態でデータベースＤＢ１に格納されている各顔画像Ｆ
Ｖに関する情報を用いて検索することができるので、高
速な検索が可能である。さらに、各顔画像ＦＶの情報
は、大量の画像情報が小量の係数ｈｊに予め圧縮された
状態、すなわち効率的な状態でデータベースＤＢ１に格
納されているので、高速な検索が可能になる。

【００８５】また、ここでは、特定の顔画像ＦＸについ
ての各係数ｋｊに基づいて、分類テーブルを用いて検索
対象を絞り込んだ上で検索動作を行うことによって、さ
らに、検索効率を向上させるものとする。より詳細に
は、複数の顔画像ＦＶについての複数の係数ｈｊのうち
所定の係数ｈ１が顔画像ＦＸについての対応係数ｋ１と
大きく異なる値を有することになるグループを検索対象
から除外した上で、顔画像データベースＤＢ１に登録さ
れた各顔画像ＦＶについての各係数ｈｊと、特定の顔画
像ＦＸについての各係数ｋｊとを比較することによっ
て、類似度Ｆ１を求める。

【００８６】さらに、ここでは、上述の文字情報に基づ
いて類似度Ｆ２を求めるものとする。その後、サーバ１
０は、２つの類似度Ｆ１，Ｆ２を加算した類似度Ｆ（数
９参照）に基づいて、各顔画像ＦＶが指定された特定の
顔画像ＦＸに類似しているか否かの判断を行う。

【００８７】次に、ステップＳ７０において、サーバ１
０は、この検索結果をユーザに電子メールＭＬ（図３）
で通知する。この通知メールＭＬには、たとえば、特定
の顔画像ＦＸに類似する顔画像ＦＶが存在するＵＲＬ
と、その類似度Ｆ（Ｆ１，Ｆ２）と、文字情報とが記載
される。これにより、ユーザは、その検索結果を容易に
かつ迅速に知ることができる。

【００８８】ステップＳ８０においては、終了判定が行
われる。「今回限り」の検索の場合等においては、検索
処理が終了する。

【００８９】一方、継続して検索を行う必要があるとき
には、ステップＳ５０に戻り、サーバ１０は指定時刻が
到来するのを待つ。そして、指定時刻の到来後、ステッ
プＳ６０において第２回目の検索動作を行う。

【００９０】ここで、第２回目以降の検索時点において
は、処理の効率化のため、更新された顔画像についての
みを対象にして上記の検索動作を行う。

【００９１】具体的には、顔画像の更新が検出されてい
ないときには、類似度の算出等の処理を行うことなく、
次のステップＳ７０に進んで、検出結果に変更が無い旨
を通知メールＭＬでユーザに通知する。

【００９２】また、顔画像の更新が検出されているとき
には、検索範囲に含まれる複数の顔画像のうち更新され
た顔画像についての更新後の各係数ｈｊと特定の顔画像
ＦＸについての各係数ｋｊとを用いて、特定の顔画像Ｆ
Ｘを検索する。その後、再び、上述したステップＳ７０
において、その処理結果を通知メールＭＬでユーザに通
知する。このような処理によれば、更新されていない顔
画像については上記のような類似度の算出等を行わずに
済むので、検索効率を向上させることができる。ただ
し、前回の検索で特定の顔画像ＦＸに類似していると判
定された顔画像ＦＶについては、再度、判定動作を行う
ようにしてもよい。これにより、前回検索された類似画
像がＷＷＷ上に引き続き存在することを確認することが
可能になる。

【００９３】その後、ステップＳ８０において終了すべ
き旨が判定されるまで、同様の処理（ステップＳ５０〜
Ｓ８０）が繰り返される。

【００９４】以上のように、ＫＬ展開を用いた分析結果
を利用することによって、ＷＷＷ上に公開されている特
定の顔画像ＦＸを自動的に検索することができる。

【００９５】特に、ＫＬ展開を用いた特徴量（すなわち
係数ｈｊ）を用いて顔画像に関する検索動作を行ってい
るので効率的な検索を行うことが可能である。

【００９６】＜その他＞上記実施形態のステップＳ１０
においては、ＵＲＬの登録動作を管理者が行う場合（い
わば人手で行う場合）について説明しているが、仮想エ
ージェント等を利用した検索（いわゆるロボット検索）
をサーバ１０が実行することによってサーバ１０がこの
ＵＲＬの登録動作を自動的に行うようにしても良い。

【００９７】また、上記実施形態においては、１人の顔
画像ＦＸの検索に際して、１枚の顔画像（たとえば正面
からみた顔画像）を登録する場合について説明したが、
髪型や顔の姿勢（向き）などを変化させた複数の顔画像
を登録するようにしても良い。そして、これらの顔画像
のうちのいずれかに類似する画像を検索するようにして
も良い。

【００９８】さらに、上記実施形態においては、１人の
顔画像の検索依頼を受け付ける場合について説明した
が、複数人の顔画像の検索依頼を同時に受け付けるよう
にしても良い。これによれば、たとえば家族全員の顔画
像の検索を容易に受け付けることも可能である。また、
この場合、この複数人にわたる検索依頼に基づく検索結
果を１つの通知メールＭＬで通知するようにしても良
い。

【００９９】また、顔画像に合成された猥褻な画像が公
開されていないか否かを検索する際には、上記の類似度
Ｆに加えて、肌の露出度合いに関する評価値をも考慮し
て検索動作を行うようにしても良い。具体的には、顔画
像に合成されている画像における肌色部分の面積を算出
することによって、肌の露出度合いに関する評価値を算
出することが可能である。

【０１００】なお、上述した具体的実施形態には下記
(1)(2)(3)の構成を有する発明が含まれている。

【０１０１】(1) 顔画像を検索する顔画像検索装置で
あって、検索すべき特定の顔画像をＫＬ展開を用いて分
析する第１分析手段と、検索範囲に含まれる複数の顔画
像のそれぞれをＫＬ展開を用いて分析し、その分析結果
を所定のデータベースに登録する第２分析手段と、前記
第１分析手段による分析結果と前記所定のデータベース
に登録された前記第２分析手段による分析結果とを用い
て、前記複数の顔画像の中から前記特定の顔画像を検索
する検索手段と、を備え、前記検索手段は、指定された
時間間隔で前記特定の顔画像を定期的に検索することを
特徴とする顔画像検索装置。この構成によれば、特定の
顔画像が定期的に検索されるので、利便性が高い。

【０１０２】(2) 上記(1)に記載の顔画像検索装置であ
って、前記検索範囲に含まれる複数の顔画像が更新され
ているか否かを検出する更新検出手段をさらに備え、前
記検索手段は、前記更新検出手段によって顔画像の更新
が検出されたときには、前記検索範囲に含まれる複数の
顔画像のうち前記更新された顔画像についての前記第２
分析手段による分析結果と前記第１分析手段による分析
結果とを用いて、前記特定の顔画像を検索することを特
徴とする顔画像検索装置。この構成によれば、更新検出
手段によって顔画像の更新が検出されたときには、検索
範囲に含まれる複数の顔画像のうち更新された顔画像に
ついての第２分析手段による分析結果と第１分析手段に
よる分析結果とを用いて、特定の顔画像が検索されるの
で、さらに効率的な検索が可能になる。

【０１０３】(3) 顔画像を検索する顔画像検索装置で
あって、検索すべき特定の顔画像をＫＬ展開を用いて分
析する第１分析手段と、検索範囲に含まれる複数の顔画
像のそれぞれをＫＬ展開を用いて分析し、その分析結果
を所定のデータベースに登録する第２分析手段と、前記
第１分析手段による分析結果と前記所定のデータベース
に登録された前記第２分析手段による分析結果とを用い
て、前記複数の顔画像の中から前記特定の顔画像を検索
する検索手段と、を備え、前記検索手段は、前記特定の
顔画像に付随する文字情報と、前記複数の顔画像のそれ
ぞれに付随する文字情報との比較結果をも反映させて、
前記複数の顔画像の中から前記特定の顔画像を検索する
ことを特徴とする顔画像検索装置。この構成によれば、
検索手段は、特定の顔画像に付随する文字情報と、複数
の顔画像のそれぞれに付随する文字情報との比較結果を
も反映させて、複数の顔画像の中から特定の顔画像を検
索するので、検索結果の精度を向上させることができ
る。

【０１０４】

【発明の効果】以上のように、請求項１ないし請求項５
に記載の発明によれば、検索すべき特定の顔画像をＫＬ
展開を用いて分析した結果と、検索範囲に含まれる複数
の顔画像のそれぞれをＫＬ展開を用いて分析し所定のデ
ータベースに登録された分析結果とを用いて、複数の顔
画像の中から特定の顔画像を検索するので、特定の顔画
像を効率的に検索することができる。

【０１０５】特に、請求項４に記載の発明によれば、検
索手段は、分類手段による分類結果を用いて検索対象を
さらに絞り込んだ上で、複数の顔画像の中から特定の顔
画像を検索するので、特定の顔画像をより効率的に検索
することができる。

【０１０６】また、請求項５に記載の発明によれば、検
索手段による検索結果が電子メールを用いて通知される
ので、ユーザは検索結果を容易に知ることができる。

【図面の簡単な説明】

【図１】本発明の実施形態に係る顔画像検索システム１
の構成を示す概略図である。

【図２】サーバ１０のハードウエア構成を示すブロック
図である。

【図３】顔画像検索システム１の概要図である。

【図４】顔画像検索システム１における動作を示すフロ
ーチャートである。

【図５】顔画像検索システム１における動作を示す別の
フローチャートである。

【図６】クライアント３０に表示される登録画面の一例
を示す図である。

【図７】別の登録画面の一例を示す図である。

【図８】分類状況を示す概念図である。

【符号の説明】

１顔画像検索システム９記録媒体１０，２０，２０Ａ，２０Ｂ，２０Ｃサーバ３０クライアントＤＢ１顔画像データベースＰｉ，ＦＶ，ＦＸ顔画像ＧＡ，ＧＢ，ＧＣグループＭＬ通知メール（電子メール）ＮネットワークＴＢＬ１分類テーブル

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 1/00 ２００Ｇ０６Ｔ 1/00 ２００Ｅ３４０３４０Ａ 7/20 ３００ 7/20 ３００Ｂ (72)発明者高間正彰大阪府大阪市中央区安土町二丁目３番13号大阪国際ビルミノルタ株式会社内 (72)発明者浅野雅己大阪府大阪市中央区安土町二丁目３番13号大阪国際ビルミノルタ株式会社内Ｆターム(参考） 5B050 AA08 BA12 CA05 EA04 GA08 5B057 CA16 CB20 CG09 CH01 CH12 CH14 CH20 DA11 DC33 DC36 5B075 ND08 PP02 PP03 PQ02 PR06 QM08 5L096 BA18 EA21 FA28 HA08 JA11 LA05 MA07

Claims

【特許請求の範囲】

【請求項１】顔画像を検索する顔画像検索装置であっ
て、検索すべき特定の顔画像をＫＬ展開を用いて分析する第
１分析手段と、検索範囲に含まれる複数の顔画像のそれぞれをＫＬ展開
を用いて分析し、その分析結果を所定のデータベースに
登録する第２分析手段と、前記第１分析手段による分析結果と前記所定のデータベ
ースに登録された前記第２分析手段による分析結果とを
用いて、前記複数の顔画像の中から前記特定の顔画像を
検索する検索手段と、を備えることを特徴とする顔画像
検索装置。
【請求項２】請求項１に記載の顔画像検索装置におい
て、前記検索範囲に含まれる複数の顔画像は、インターネッ
ト上のホームページから抽出され、その分析結果が前記
所定のデータベースに登録されることを特徴とする顔画
像検索装置。
【請求項３】請求項１または請求項２に記載の顔画像
検索装置において、前記第１分析手段は、前記ＫＬ展開における固有ベクト
ルである複数の基底顔画像を用いて前記特定の顔画像を
基底分解することにより、前記特定の顔画像について、
当該複数の基底顔画像のそれぞれに対応する複数の係数
を求め、前記第２分析手段は、前記複数の基底顔画像を用いて前
記複数の顔画像のそれぞれを基底分解することにより、
前記複数の顔画像のそれぞれについて、前記複数の係数
を求め、前記検索手段は、前記特定の顔画像についての前記複数
の係数と前記複数の顔画像のそれぞれについての前記複
数の係数とを比較することにより、前記複数の顔画像の
中から前記特定の顔画像を検索することを特徴とする顔
画像検索装置。
【請求項４】請求項１ないし請求項３のいずれかに記
載の顔画像検索装置において、前記第２分析手段による分析結果に基づいて前記複数の
顔画像を分類する分類手段、をさらに備え、前記検索手段は、前記分類手段による分類結果を用いて
検索対象をさらに絞り込んだ上で、前記複数の顔画像の
中から前記特定の顔画像を検索することを特徴とする顔
画像検索装置。
【請求項５】請求項１ないし請求項４のいずれかに記
載の顔画像検索装置において、前記検索手段による検索結果を電子メールを用いて通知
する通知手段、をさらに備えることを特徴とする顔画像
検索装置。