JP2006079220A - 画像検索装置および方法 - Google Patents

Abstract

【目的】 所望の顔を持つ被写体像を見つける。
【構成】 多数のサムネイル画像を一覧で表示し（ステップ21），それらのサムネイル画像の中から所望の顔が写っているサムネイル画像が選択される（ステップ22）。選択されたサムネイル画像の中から顔の画像部分が検出される（ステップ23）。検出された顔の画像部分に枠がつけられて表示される（ステップ24）。表示された被写体像の顔の画像部分の中からいずれかの顔の画像部分が選択される（ステップ25）。選択された顔の画像部分の顔と同じ顔をもつ被写体像が見つけられ（ステップ26），見つけられた被写体像のサムネイル画像が一覧で表示される（ステップ27）。所望の顔の画像が含まれている被写体像を見つけ出すことができる。
【選択図】 図３

Description

この発明は，画像検索装置および方法に関する。

顔の認識を用いた画像検索技術は，セキュリティ対策に用いられることが多いため精度を向上させるものが多い。画像の中の顔の部分をユーザが指定することにより，顔の画像部分を切り出すものもある（特許文献１）。
特開2002-207741号公報

しかしながら，ユーザが顔の部分を指定しなければならず，ユーザの手間がかかる。

この発明は，比較的簡単に多数の画像の中から所望の顔の画像が含まれている画像を選び出すことを目的とする。

第１の発明による画像検索装置は，多数の被写体像の中から少なくとも一つの被写体像を指定する指定手段，指定された被写体像の中から顔の画像部分を検出する顔画像検出手段，上記多数の被写体像のうち，上記顔画像検出手段によって検出された顔画像の顔と同じ顔の画像部分を含む被写体像を見つける被写体像検索手段，および上記検索手段によって見つけられた被写体像を出力する出力手段を備えていることを特徴とする。

第１の発明は，上記画像検索装置に適した方法も提供している。すなわち，この方法は，多数の被写体像の中から少なくとも一つの被写体像を指定し，指定された被写体像の中から顔の画像部分を検出し，上記多数の被写体像のうち，検出された顔画像の顔と同じ顔の画像部分を含む被写体像を見つけ，見つけられた被写体像を出力するものである。

第１の発明によると，多数の被写体像の中から少なくとも一つの被写体像が指定される。指定された被写体像の中に含まれる顔の画像部分が検出される。検出される顔の画像部分の数は一つでも複数でもよい。検出された顔の画像部分の顔と同じ顔の画像部分をもつ被写体像が多数の被写体像の中から見つけられる。見つけられた被写体像が出力（見つけられた被写体像の表示，プリント，見つけられた被写体像を表す画像データの出力など）される。多数の被写体像の中から所望の顔の画像部分をもつ被写体像を見つけ出すことができるようになる。

上記多数の被写体像のうち複数の被写体像を一覧で表示する第１の表示装置をさらに備えることが好ましい。この場合，上記指定手段は，上記第１の表示装置に表示された複数の被写体像の中から少なくとも一つの被写体像を指定するものとなろう。

上記出力手段は，たとえば，上記検索手段によって見つけられた被写体像を一駒ずつまたは一覧で表示する第２の表示装置である。

上記第２の表示装置が，上記検索手段によって見つけられた被写体像のうち上記顔画像検出手段によって検出された顔画像の部分と他の部分と区別して表示するものでもよい。見つけられた被写体像のうち，どの部分に顔の画像があるのかが分かる。

上記顔画像検出手段によって検出された顔の画像部分を他の部分と区別して，上記指定された被写体像を表示する第３の表示装置をさらに備えるようにしてもよい。どの部分が顔の部分かを認識しやすくなる。

好ましくは，上記顔の画像部分が複数あった場合に，複数の上記顔の画像部分の中から少なくとも一つの顔の画像部分を選択する選択手段をさらに備える。この場合，上記検索手段が，上記多数の被写体像のうち上記選択手段によって選択された顔の画像部分を含む被写体像を見つけるものとなろう。

上記第３の表示装置は，上記選択手段によって選択された顔の画像部分を選択されない顔の画像部分と区別して表示するとよい。どの顔の画像部分が選択されたかがわかりやすくなる。

上記第１の表示装置，上記第２の表示装置および上記第３の表示装置のうちいずれか二つまたはすべてが同じ表示装置であってもよい。

第２の発明による画像検索装置は，多数の被写体像の中の各被写体像における顔の画像部分の位置を記憶する顔画像記憶装置，上記多数の被写体像のうち，上記各被写体像における顔の画像部分の顔と同じ顔の画像部分の位置を記憶する顔マッチ記憶装置，上記多数の被写体像の中から少なくとも一つの被写体像を指定する指定手段，上記指定手段によって指定された被写体像に含まれている顔の画像部分の顔と同じ顔の画像部分をもつ被写体像を，上記顔画像記憶装置および上記顔マッチ記憶装置に記憶されている顔の画像部分の位置にもとづいて上記多数の被写体像の中から見つける被写体像検索手段，ならびに上記検索手段によって見つけられた被写体像を出力する出力手段を備えていることを特徴とする。

第２の発明は，上記画像検索装置に適した方法も提供している。すなわち，この方法は，多数の被写体像の中の各被写体像における顔の画像部分の位置および上記多数の被写体像のうち，上記各被写体像における顔の画像部分の顔と同じ顔の画像部分の位置をそれぞれ記憶しておき，上記多数の被写体像の中から少なくとも一つの被写体像を指定し，指定された被写体像に含まれている顔の画像部分の顔と同じ顔の画像部分をもつ被写体像を，上記記憶されている顔の画像部分の位置にもとづいて上記多数の被写体像の中から見つけ，見つけられた被写体像を出力するものである。

第２の発明によると，各被写体像における顔の画像部分および各被写体像における顔の画像部分の顔と同じ顔の画像部分の位置がそれぞれ記憶されている。多数の被写体像の中から少なくとも一つの被写体像が指定されると，指定された被写体像に含まれている顔の画像部分の顔と同じ顔の画像部分をもつ被写体像が，記憶されている顔の画像部分の位置にもとづいて多数の被写体像の中から見つけられる。見つけられた被写体像が出力される。

顔の画像部分の位置が記憶されているので，顔の画像部分の位置の検出処理および同じ顔をもつ画像部分の位置の検出処理が不要となる。検出処理の負担が軽くなるので，迅速に必要な被写体像を得ることができるようになる。

図１は，この発明の実施例を示すもので，画像検索装置の外観を示している。

この画像検索装置は，メモリ・カードに格納されている多数の画像ファイルによって表される被写体像の中から所望の顔の画像が表す顔と同じ画像を含む画像ファイルを見つけ，その見つけられた画像ファイルによって表される被写体像を一覧で表示するものである。所望の顔の画像が含まれている被写体像が表示されることとなる。

画像検索装置１は，その前面にほぼ全体に渡って液晶表示画面２が形成されている。この液晶表示画面２に後述するように，検索により見つけられた画像が表示される。

液晶表示画面２の右下には，次ボタン３，決定ボタン４および前ボタン５が設けられている。次ボタン３は，後述するように，表示画面２に表示される枠等を所定の進行方向（通常は右方向から下方向）に移動させる指令を画像検索装置１に与えるものである。決定ボタン４は，枠等によって囲まれている画像を最終的に選択する指令を画像検索装置１に与えるものである。前ボタン５は，表示画面に表示される枠等を，次ボタン３にしたがって移動させる方向とは逆方向に移動させる指令を画像検索装置１に与えるものである。

図２は，画像検索装置１の電気的構成を示すブロック図である。

画像検索装置１の全体の動作は，ＣＰＵ10によって統括される。

画像検索装置１には，上述した液晶表示画面２をもつ液晶表示装置12ならびに次ボタン３，決定ボタン４および前ボタン５を含むボタン17が含まれている。ボタン17からの各種指令信号は，ＣＰＵ10に与えられる。

画像検索装置１には，メモリ・カード19を装填するためのメモリ・カード・インターフェイス18が含まれている。また，画像検索装置１には，データを一時的に記憶等するためのメモリ11，メモリ・カード19から読み取られた画像ファイルを記録するためのハードディスク14およびそのハードディスク14にアクセスするためのハードディスク・ドライブ13が設けられている。

さらに，画像検索装置１には，上述したように，所望の顔と同じ顔の画像をもつ被写体を見つけるために，被写体像の中から顔の画像を抽出する顔検出装置15および顔検出装置15によって抽出された顔の画像を見つける顔検索装置16が設けられている。顔検出装置15には，顔の画像を抽出するために顔らしさを示すデータ（顔のサンプル画像，顔を構成する目，鼻，口，耳などの相対的位置および画像等を示すデータ）が記憶されており，この顔らしさを示すデータにもとづいて顔の画像が見つけられる。また，顔検索装置16は，検出された顔の画像と被写体像とのマッチング処理を，顔の画像の大きさを変えながら行い，顔の画像によって表される顔と同じ画像をもつ被写体像を見つける。

図３は，画像検索装置１の処理手順を示すフローチャートである。図４から図６は，画像検索装置１の外観を示している。

画像検索装置１には，メモリ・カード19が装填され，そのメモリ・カード19に記録されている多数の画像ファイルがハードディスク14に記録されているものとする。

画像検索装置１の電源がオンされると，ハードディスク14に記録されている多数の画像ファイルが読み取られ，それらの画像ファイルによって表される被写体像（サムネイル画像）ｉ１が図４に示すように一覧で表示される（ステップ21）。

図４を参照して，液晶表示画面２には，多数のサムネイル画像ｉ１が一覧で表示されている。左上のサムネイル画像ｉ１の周囲にサムネイル画像を囲む被写体像枠Ｃが表示されている。次ボタン３が押されると，被写体像枠Ｃは，その右側のサムネイル画像ｉ１を囲むように移動する。一番右側のサムネイル画像ｉ１を被写体像枠Ｃが囲んでいる場合に次ボタン３が押されると，一つ下の行の一番左側のサムネイル画像ｉ１を囲むように被写体像枠Ｃが移動する。前ボタン５が押されれると，次ボタン３が押された場合と逆方向に被写体像枠Ｃが移動する。

ユーザは，一覧で表示されている多数のサムネイル画像ｉ１の中から見つけ出したい顔が含まれているサムネイル画像ｉ１が被写体像枠Ｃで囲まれるように次ボタン３および前ボタン５を操作する。見つけ出したい顔が含まれているサムネイル画像ｉ１が被写体像枠Ｃで囲まれると，ユーザによって決定ボタン４が押される。図３に戻って，ユーザによって，所望の顔が写っている被写体像が選択されたこととなる（ステップ22）。ここでは，図４の表示画面２中の左上のサムネイル画像ｉ１がユーザによって選択されたものとする。

サムネイル画像ｉ１が選択されると，その選択されたサムネイル画像に対応する画像ファイルがハードディスク14から読み取られ，顔検出装置15に与えられる。顔検出装置15において，与えられた画像ファイルによって表される画像から顔の画像部分が検出される（ステップ23）。すると，検出された顔の画像部分の領域が他の部分よりも比較的明るくなっている被写体像（選択されたサムネイル画像ｉ１に対応する画像であってサムネイル画像ｉ１の大きさよりも大きい）が表示画面２の全画面に表示される（ステップ24）。

図５は，ユーザによって選択され，表示画面２の全画面に渡って表示されている被写体像Ｉを示している。

選択された被写体像Ｉ中には顔検出装置15による顔検出処理において得られた顔の画像領域（左から順にFACE[0]，FACE[1]およびFACE[2]）が，その他の領域とは異なるように明るくされている（明るさがハッチングで示されている）。顔の画像領域FACE[0]，FACE[1]およびFACE[2]が明るくされているので，それらの領域FACE[0]，FACE[1]およびFACE[2]が顔の画像として検出されたことが分かる。これらの領域FACE[0]，FACE[1]およびFACE[2]のうち，一つの領域が次ボタン３および前ボタン５の押し下げに応じて明るさがもっとも明るくなる。図５においては，中央の顔の画像領域FACE[1]がもっとも明るくされている。次ボタン３が押されると，右側の顔の画像領域FACE[2]がもっとも明るくなり，前ボタン５が押されると，左側の顔の画像領域FACE[0]がもっとも明るくなる。これらの顔の画像領域FACE[0]，FACE[1]およびFACE[2]のうち見つけ出す顔の画像が含まれている領域がもっとも明るくなっている状態で決定ボタン４が押される。すると，そのもっとも明るい顔の画像領域内に含まれている顔と同じ顔の画像が含まれている被写体像が多数の画像ファイルの中から見つけ出される。ここでは，左側の画像領域FACE[0]が選択されたものとする。

図３に戻って，上述したようにして顔の画像が選択されると（ステップ25），選択された顔の画像と同じ顔の画像が含まれている被写体像が顔検索装置16によって多数の画像ファイルの中から見つけられる（ステップ26）。見つけられた被写体像のサムネイル画像が，それぞれのサムネイル画像が一覧で表示画面２上に一覧で表示される（ステップ27）。それぞれのサムネイル画像においては，ユーザによって選択された顔の画像領域内に含まれている顔と同じ顔の画像部分が枠で囲まれている。

図６は，見つけられた被写体像のサムネイル画像ｉ２が一覧で表示画面２に表示されている様子を示している。

上述したように，表示画面２上には顔検索処理により見つけられたサムネイル画像ｉ２が一覧で表示されている。それぞれのサムネイル画像ｉ２中には，ユーザによって選択された顔の画像領域内に含まれている顔と同じ顔の画像部分が枠Ｆで囲まれている。枠Ｆが表示されていることにより，各サムネイル画像ｉ２のどこに，ユーザによって選択された顔の画像があるかを確認できる。

以上のようにして，所望の顔を含む被写体像を見つけ出すことができるようになる。

図７から図11は，他の実施例を示すものである。

図７は，画像検索装置１Ａの電気的構成を示すブロック図である。この図において図２に示すものと同一物には同一符号を付して説明を省略する。

上述した画像検索装置１においては，顔検出および顔検索は，それぞれ画像検索装置１において行われているが，この実施例における画像検索装置１Ａは，顔検出および顔検索は，画像検索装置１Ａとは別のパーソナル・コンピュータ40で行われる。パーソナル・コンピュータ40において被写体像の中の顔検出が行われ，顔の画像の位置を示す顔位置テーブルが生成される。生成された顔位置テーブルがパーソナル・コンピュータ40から画像検索装置１Ａに与えられ，画像検索装置１Ａの顔データベース31に格納される。また，検出された顔の画像によって表される顔と同じ顔の画像を含む被写体像もパーソナル・コンピュータ40において検出される。どの顔の画像が同じ顔の画像かを示す顔マッチ・テーブルがパーソナル・コンピュータ40において生成される。生成された顔マッチ・テーブルが画像検索装置１Ａに与えられ，顔マッチ・データベース32に記録される。

画像検索装置１Ａには，上述したように，パーソナル・コンピュータ40と接続するためのＵＳＢ（universal serial bus）端子33が設けられている。さらに，上述したように，画像検索装置１Ａには，顔データベース31および顔マッチ・データベース32が設けられている。

図８は，顔位置テーブルを示している。

顔位置テーブルは，各被写体像の中における顔の画像領域（位置）を各被写体像ごとに記憶するものである。

たとえば，DSC0001.jpgというファイル名をもつ被写体像は，顔の画像領域としてFACE[0]，FACE[1]およびFACE[2]を有していることを示している。FACE[0]は，（80，180）および（180，290）の座標で特定される矩形の顔の画像領域を示している（図５の左側の顔の画像領域FACE[0]参照）。同様に，FACE[1]は，（140，10）および（260，140）の座標で特定される矩形の顔の画像領域を示している（図５の中央の画像領域FACE[1]参照）。このように，各被写体像ごとに，それぞれの被写体像に含まれている顔の画像領域の位置および大きさが顔位置テーブルを参照することによりわかる。

図９は，顔マッチ・テーブルを示している。

顔マッチ・テーブルは，顔画像領域に含まれている顔の画像のうち，同じ顔の画像を記憶するものである。

顔マッチ・テーブルには，検索キーとなる顔画像ごとに，その検索キーとなる顔画像の顔と同じ顔をもつ顔画像領域がその顔画像領域が含まれている被写体像のファイル名とともに記憶されている。たとえば，DSC0001.jpgのファイル名をもつ被写体像のうち，FACE[0]の顔画像領域に含まれている顔の画像の顔と同じ顔は，DSC0002.jpgのファイル名をもつ被写体像のFACE[0]の顔画像領域およびDSC0011.jpgのファイル名をもつ被写体像のFACE[0]の顔画像領域に含まれているということがわかる。ユーザが選択した顔画像が検索キーとなって，その検索キーとなる顔画像の顔と同じ顔をもつ顔画像領域が顔マッチ・テーブルを参照することにより見つけることができるようになる。

図１０は，顔位置テーブルおよび顔マッチ・テーブルを顔データベース31および顔マッチ・データベース32に格納する処理手順を示すフローチャートである。画像検索装置１Ａには，パーソナル・コンピュータ40が接続されているものとする。

メモリ・カード・インターフェイス18にメモリ・カード19が装填され，メモリ・カード19に格納されている画像ファイルが読み取られる。読み取られた画像ファイルはハードディスク・ドライブ13によってハードディスク14に書き込まれる（ステップ51）。

すると，ハードディスク14に書き込まれた画像ファイルがパーソナル・コンピュータ40によって読み取られる（ステップ61）。パーソナル・コンピュータ40には，上述した顔検出装置15および顔検索装置16のそれぞれの機能をもつソフトウエアがインストールされており，上述した顔検出処理および顔検索処理がパーソナル・コンピュータ40において行われる（ステップ62）。顔検出処理が行われることにより，顔位置テーブルが生成される。また，顔検索処理が行われることにより，顔マッチ・テーブルが生成される（ステップ63）。生成された顔位置テーブルおよび顔マッチ・テーブルがパーソナル・コンピュータ40から画像検索装置１Ａに送信される（ステップ64）。

パーソナル・コンピュータ40から送信された顔位置テーブルが顔データベース31に書き込まれ，顔マッチ・テーブルが顔マッチ・データベース32にそれぞれ書き込まれる（ステップ52）。

図11は，顔位置テーブルと顔マッチ・テーブルとがすでに格納されている画像検索装置の処理手順を示すフローチャートである。この図において，図３に示す処理と同一の処理については同一符号を付している。

上述したように，一覧で表示されたサムネイル画像の中から所望の顔が写っている被写体像が選択される（ステップ21，22）。

選択された被写体像の中の顔画像部分の位置が顔データベース31を参照して検出される（ステップ71）。すると，顔画像部分に顔枠がつけられた被写体像が上述のようして表示される（ステップ24）。複数の顔画像領域が含まれているとその中から所望の顔画像領域が選択される。選択された顔画像の顔と同じ顔をもつ顔画像領域が顔マッチ・データベース32を参照して見つけられる（ステップ72）。見つけられた被写体像が顔枠がつけられた一覧で表示される（ステップ27）。

あらかじめ顔位置テーブルおよび顔マッチ・テーブルが生成されているので迅速に所望の被写体像を見つけることができる。

上述した実施例においては，所望の顔の画像を含む被写体像（サムネイル画像）が一覧で表示されているが，プリンタを設けることによりプリントするようにしてもよい。また，かならずしも一覧で表示せずに一駒ずつ表示，プリント等するようにしてもよい。さららに，外部のパーソナル・コンピュータ40等に出力して，それらの被写体像を表す画像ファイルを格納するようにしてもよい。

また，上述した実施例においては顔枠Ｆが表示されているが表示されなくともよい。さらに，図５においては画像領域中において選択された画像が他の画像領域よりも明るくされているが枠等により選択されている領域が分かるようにしてもよいし，画像領域以外の領域を暗くしなくともよい。さらに，選択すべき画像領域は一つでなくとも複数でもよい。

画像検索装置の外観を示している。 画像検索装置の電気的構成を示すブロック図である。 画像検索装置の処理手順を示すフローチャートである。 画像検索装置の外観を示している。 画像検索装置の外観を示している。 画像検索装置の外観を示している。 画像検索装置の電気的構成を示すブロック図である。 顔位置テーブルの一例である。 顔マッチ・テーブルの一例である。 顔位置テーブル，顔マッチ・テーブルのインストール処理を示すフローチャートである。 画像検索装置の処理手順を示すフローチャートである。

符号の説明

１，１Ａ 画像検索装置
２ 表示画面
３ 次ボタン
４ 決定ボタン
５ 前ボタン
10 ＣＰＵ
12 液晶表示装置
15 顔検出装置
16 顔検索装置
17 ボタン
31 顔データベース（顔画像記憶装置）
32 顔マッチ・データベース（顔マッチ記憶装置）
33 ＵＳＢ端子
40 パーソナル・コンピュータ
Ｃ 被写体像枠
Ｆ 顔枠
FACE[0]，FACE[1]，FACE[2] 顔画像領域
ｉ１，ｉ２ サムネイル画像

Claims (10)

1. 多数の被写体像の中から少なくとも一つの被写体像を指定する指定手段，
   指定された被写体像の中から顔の画像部分を検出する顔画像検出手段，
   上記多数の被写体像のうち，上記顔画像検出手段によって検出された顔画像の顔と同じ顔の画像部分を含む被写体像を見つける被写体像検索手段，および
   上記検索手段によって見つけられた被写体像を出力する出力手段，
   を備えた画像検索装置。
2. 上記多数の被写体像のうち複数の被写体像を一覧で表示する第１の表示装置をさらに備え，
   上記指定手段が，上記第１の表示装置に表示された複数の被写体像の中から少なくとも一つの被写体像を指定するものである，
   請求項１に記載の画像検索装置。
3. 上記出力手段が，上記検索手段によって見つけられた被写体像を一駒ずつまたは一覧で表示する第２の表示装置である，
   請求項１に記載の画像検索装置。
4. 上記第２の表示装置が，上記検索手段によって見つけられた被写体像のうち上記顔画像検出手段によって検出された顔画像の部分と他の部分と区別して表示するものである，
   請求項３に記載の画像検索装置。
5. 上記顔画像検出手段によって検出された顔の画像部分を他の部分と区別して，上記指定された被写体像を表示する第３の表示装置，
   をさらに備えた請求項１に記載の画像検索装置。
6. 上記顔の画像部分が複数あった場合に，複数の上記顔の画像部分の中から少なくとも一つの顔の画像部分を選択する選択手段をさらに備え，
   上記検索手段が，上記多数の被写体像のうち上記選択手段によって選択された顔の画像部分を含む被写体像を見つけるものである，
   請求項５に記載の画像検索装置。
7. 上記第３の表示装置が，上記選択手段によって選択された顔の画像部分を選択されない顔の画像部分と区別して表示するものである，
   請求項６に記載の画像検索装置。
8. 多数の被写体像の中の各被写体像における顔の画像部分の位置を記憶する顔画像記憶装置，
   上記多数の被写体像のうち，上記各被写体像における顔の画像部分の顔と同じ顔の画像部分の位置を記憶する顔マッチ記憶装置，
   上記多数の被写体像の中から少なくとも一つの被写体像を指定する指定手段，
   上記指定手段によって指定された被写体像に含まれている顔の画像部分の顔と同じ顔の画像部分をもつ被写体像を，上記顔画像記憶装置および上記顔マッチ記憶装置に記憶されている顔の画像部分の位置にもとづいて上記多数の被写体像の中から見つける被写体像検索手段，ならびに
   上記検索手段によって見つけられた被写体像を出力する出力手段，
   を備えた画像検索装置。
9. 多数の被写体像の中から少なくとも一つの被写体像を指定し，
   指定された被写体像の中から顔の画像部分を検出し，
   上記多数の被写体像のうち，検出された顔画像の顔と同じ顔の画像部分を含む被写体像を見つけ，
   見つけられた被写体像を出力する，
   画像検索方法。
10. 多数の被写体像の中の各被写体像における顔の画像部分の位置および上記多数の被写体像のうち，上記各被写体像における顔の画像部分の顔と同じ顔の画像部分の位置をそれぞれ記憶しておき，
    上記多数の被写体像の中から少なくとも一つの被写体像を指定し，
    指定された被写体像に含まれている顔の画像部分の顔と同じ顔の画像部分をもつ被写体像を，上記記憶されている顔の画像部分にもとづいて上記多数の被写体像の中から見つけ，
    見つけられた被写体像を出力する，
    画像検索方法。

Images